tuk's questions

我正在使用 Postgres docker 14.4。我想将服务器配置（比方说idle_session_timeout）传递给 postgres docker。该文档给出了一个使用 docker run 的示例

docker run -d --name test-db -e POSTGRES_PASSWORD=postgres postgres -c idle_session_timeout=900000

如何在 docker-compose 中传递此选项？我的 docker-compose 文件现在如下所示 -

version: '3'
services:
  pgadmin:
    container_name: pgadmin
    image: dpage/pgadmin4
    ports:
      - "6555:80"       # pg admin
      - "6432:6432"     # postgres-db
    environment:
      PGADMIN_DEFAULT_EMAIL: [email protected]
      PGADMIN_DEFAULT_PASSWORD: admin

  postgres-db:
    container_name: test-db
    image: postgres:14.4
    network_mode: "service:pgadmin"
    command: -p 6432
    environment:
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: postgres
      PGUSER: postgres
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -p 6432"]
      interval: 5s
      timeout: 5s
      retries: 3

我试图限制使用Ubuntu 18.04文档MemorySwapMax中提到的进程的交换使用。

环境

ubuntu@vrni-platform:/usr/lib/systemd/system$ uname -a
Linux vrni-platform 4.15.0-143-generic #147-Ubuntu SMP Wed Apr 14 16:10:11 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux

ubuntu@vrni-platform:/usr/lib/systemd/system$ systemctl --version
systemd 237
+PAM +AUDIT +SELINUX +IMA +APPARMOR +SMACK +SYSVINIT +UTMP +LIBCRYPTSETUP +GCRYPT +GNUTLS +ACL +XZ +LZ4 +SECCOMP +BLKID +ELFUTILS +KMOD -IDN2 +IDN -PCRE2 default-hierarchy=hybrid

我的 systemd 单元文件如下所示

[Unit]
Description=My service
After=network.target
StartLimitIntervalSec=0
[Service]
Type=simple
Restart=always
RestartSec=1
User=support
MemoryMax=2000M
KillMode=process
MemoryAccounting=true
OOMScoreAdjust=1000
MemorySwapMax=0
ExecStart=/usr/bin/java -cp /home/support -XX:NativeMemoryTracking=summary -Xmx10000m MemoryConsumer 100 200 1

我试图通过为MemorySwapMax. 但似乎 systemd 中存在一些问题，该问题已在 systemd 239 中修复。

所以我也尝试了设置MemorySwapMax=1M。但这似乎也没有限制此 systemd 服务的交换内存使用。

的文档MemorySwapMax说明了这一点

This setting is supported only if the unified control group hierarchy is used and disables MemoryLimit=.

有人可以让我知道如何知道unified control group hierarchy我的设置中是否正在使用 systemd，或者还有什么可能是不允许MemorySwapMax生效的问题？

编辑

如this answer中所述，我可以看到已cgroup2启用

ubuntu@vrni-platform:/tmp/debraj$ sudo mount -t cgroup2 none /tmp/debraj
ubuntu@vrni-platform:/tmp/debraj$ ls -l /tmp/debraj/
total 0
-r--r--r--  1 root root 0 Jul  2 17:13 cgroup.controllers
-rw-r--r--  1 root root 0 Jul  2 17:13 cgroup.max.depth
-rw-r--r--  1 root root 0 Jul  2 17:13 cgroup.max.descendants
-rw-r--r--  1 root root 0 Jun 30 14:42 cgroup.procs
-r--r--r--  1 root root 0 Jul  2 17:13 cgroup.stat
-rw-r--r--  1 root root 0 Jul  2 17:13 cgroup.subtree_control
-rw-r--r--  1 root root 0 Jul  2 17:13 cgroup.threads
drwxr-xr-x  2 root root 0 Jun 30 14:42 init.scope
drwxr-xr-x 87 root root 0 Jul  2 15:05 system.slice
drwxr-xr-x  7 root root 0 Jun 30 15:22 user.slice
ubuntu@vrni-platform:/tmp/debraj$ sudo umount /tmp/debraj

有人可以告诉我如何在主机关闭期间开始卸载文件系统之前先停止 systemd 服务吗？

单元文件如下所示

[Unit]
Description=FDB Service
After=network-online.target
Wants=network-online.target

[Service]
Environment=FDB_PID_DIR=/var/run/fdb/
Environment=LOCKFILE=/var/run/fdb/fdbmonitor.pid

Type=simple
User=ubuntu
Group=ubuntu
IgnoreSIGPIPE=false

ExecStart=/bin/bash /home/ubuntu/build-target/fdb/fdb-sysd-start.sh
ExecStopPost=-/home/ubuntu/build-target/fdb/fdb-sysd-poststop.sh

RestartSec=2s
Restart=always

[Install]
WantedBy=multi-user.target

• 操作系统 -Ubuntu 16.04.6

在 ubuntu 16.04.6 上尝试屏蔽 systemd 服务。我看到如下错误。

systemctl mask hadoop-hdfs-zkfc.service
Failed to activate service 'org.freedesktop.systemd1': timed out

我使用的是 Ubuntu 16.04.6 附带的默认 systemd 版本。

ubuntu@platform1:~$ systemctl --version
systemd 229
+PAM +AUDIT +SELINUX +IMA +APPARMOR +SMACK +SYSVINIT +UTMP
+LIBCRYPTSETUP +GCRYPT +GNUTLS +ACL +XZ -LZ4 +SECCOMP +BLKID +ELFUTILS
+KMOD -IDN

问题并不总是出现。但是一旦遇到这个问题，恢复 systemd 的唯一方法就是硬重启。

查看系统日志，它似乎 systemd 已中止。

May 18 08:49:24 platform3 systemd[1]: Removed slice User Slice of support.
May 18 08:49:27 platform3 systemd[1]: Assertion 's->type ==
SERVICE_ONESHOT' failed at ../src/core/service.c:1792, function
service_enter_start(). Aborting.
May 18 08:49:27 platform3 systemd[1]: Caught <ABRT>, dumped core as pid 15839.
May 18 08:49:27 platform3 systemd[1]: Freezing execution. 

busctl输出如下所示

ubuntu@platform3:~/logs$ busctl
NAME                               PID PROCESS         USER             CONNECTION    UNIT                      SESSION    DESCRIPTION
:1.1                               976 systemd-logind  root             :1.1          systemd-logind.service    -          -
:1.3                               971 accounts-daemon root             :1.3          accounts-daemon.service   -          -
:1.5434                          49174 systemctl       root             :1.5434       cron.service              -          -
:1.5435                          49223 systemctl       root             :1.5435       ssh.service               -          -
:1.5436                          49408 busctl          ubuntu           :1.5436       ssh.service               -          -
:1.7                              1109 unattended-upgr root             :1.7          unattended-upgrades.se... -          -
com.ubuntu.LanguageSelector          - -               -                (activatable) -                         -
org.debian.AptXapianIndex            - -               -                (activatable) -                         -
org.freedesktop.Accounts           971 accounts-daemon root             :1.3          accounts-daemon.service   -          -
org.freedesktop.DBus               936 dbus-daemon     messagebus       org.freedesktop.DBus dbus.service              -          -
org.freedesktop.hostname1            - -               -                (activatable) -                         -
org.freedesktop.locale1              - -               -                (activatable) -                         -
org.freedesktop.login1             976 systemd-logind  root             :1.1          systemd-logind.service    -          -
org.freedesktop.network1             - -               -                (activatable) -                         -
org.freedesktop.resolve1             - -               -                (activatable) -                         -
org.freedesktop.systemd1             - -               -                (activatable) -                         -
org.freedesktop.thermald             - -               -                (activatable) -                         -
org.freedesktop.timedate1            - -               -                (activatable) -                         - 

有人可以告诉我，如何调试吗？

该问题看起来与此处讨论的问题相似。那么这是 Ubuntu 16.04.6 上一些已知的 systemd 问题吗？

有人可以让我知道以下有关 systemd 服务关闭顺序的信息吗

1. 如果我已指定KillSignal=SIGTERM，那么这将如何相互作用TimeoutStopSec？这是否意味着在服务关闭期间，首先SIGTERM将被发送，如果服务仍在运行，TimeoutStopSec SIGKILL则将被发送（如果SendSIGKILL设置为是）？我问的是在ExecStop.

2. 是否TimeoutStopSec考虑到ExecStop所有ExecPostStop？

有人可以让我知道如何pgstattuple在 Ubuntu 16 上运行的 postgres 10.6 中安装扩展程序吗？

我已经安装了，可以在文件夹postgres-contrib下看到如下sqlextension

ubuntu@vrni-proxy:~$ ls /usr/share/postgresql/10/extension/pgstattuple*
/usr/share/postgresql/10/extension/pgstattuple--1.0--1.1.sql  /usr/share/postgresql/10/extension/pgstattuple--1.3--1.4.sql  /usr/share/postgresql/10/extension/pgstattuple.control
/usr/share/postgresql/10/extension/pgstattuple--1.1--1.2.sql  /usr/share/postgresql/10/extension/pgstattuple--1.4--1.5.sql  /usr/share/postgresql/10/extension/pgstattuple--unpackaged--1.0.sql
/usr/share/postgresql/10/extension/pgstattuple--1.2--1.3.sql  /usr/share/postgresql/10/extension/pgstattuple--1.4.sql

我有一台发生多个并行 Maven 执行的机器。每次执行都会在单独的工作区目录中执行以下命令

mvn -f main/pom.xml clean package -DskipTests -T 6

有人可以让我知道我应该为每次执行使用单独的 maven 本地 repo 路径（ ）还是可以为所有并行运行-Dmaven.repo.local=$MAVEN_REPO使用公共目录？.m2

• Maven 3.5 版
• 爪哇 8

我正在对我的一个 API 进行性能测试。一段时间后，我不断收到错误消息Too many open file。一旦我增加了打开文件描述符（ulimit -Hn, ulimit -Sn& cat /proc/sys/fs/file-max）的数量，request / sec我的 API 就可以服务器增加。但是又出现了太多打开的文件描述符错误。

有人可以让我知道是否可以将打开的文件描述符限制设置为无限制，这样我就不想每次都增加该值，并且只知道假设我有足够的文件描述符，API 的突破限制是多少。

我正在使用 Debian 8。

我是新来的清漆。每当我尝试通过清漆访问我们的后端时，我都会收到以下错误：-

<!DOCTYPE html>
<html>
  <head>
    <title>503 Backend fetch failed</title>
  </head>
  <body>
    <h1>Error 503 Backend fetch failed</h1>
    <p>Backend fetch failed</p>
    <h3>Guru Meditation:</h3>
    <p>XID: 3</p>
    <hr>
    <p>Varnish cache server</p>
  </body>
</html>

我的varnish.vcl样子如下：-

vcl 4.0;
backend default {
    .host = "146.88.25.40";
    .port = "8080";
}

我也试过设置.connect_timeout = 60s，first_byte_timeout = 60s但.between_bytes_timeout = 60s没有运气。

我的/etc/default/varnish：-

START=yes
NFILES=131072
MEMLOCK=82000
DAEMON_OPTS="-a 0.0.0.0:6081 \
             -T localhost:6082 \
             -f /etc/varnish/varnish.vcl \
             -S /etc/varnish/secret \
             -s malloc,1G"

varnishlog内容：-

*   << BeReq    >> 3        
-   Begin          bereq 2 fetch
-   Timestamp      Start: 1451466805.152313 0.000000 0.000000
-   BereqMethod    GET
-   BereqURL       /rde_server/res/feea8d0b3d50/recomm/home/sid/jb55653bbd980baaf37484ef70bcfcef9b84d7c680ad1b487aed1fb21ac6779025?home_tsFilter=&cat_tsFilter=%28conc.item.brand+not+in+%2836%2C4187%2C4201%2C3721%2C4103%2C4101%2C4199%2C4075%29%29%28conc.item.param1+in+%28+a
-   BereqProtocol  HTTP/1.1
-   BereqHeader    User-Agent: curl/7.38.0
-   BereqHeader    Host: localhost:6081
-   BereqHeader    Accept: */*
-   BereqHeader    X-Forwarded-For: ::1
-   BereqHeader    Accept-Encoding: gzip
-   BereqHeader    X-Varnish: 3
-   VCL_call       BACKEND_FETCH
-   VCL_return     fetch
-   FetchError     no backend connection
-   Timestamp      Beresp: 1451466805.152502 0.000189 0.000189
-   Timestamp      Error: 1451466805.152511 0.000198 0.000009
-   BerespProtocol HTTP/1.1
-   BerespStatus   503
-   BerespReason   Service Unavailable
-   BerespReason   Backend fetch failed
-   BerespHeader   Date: Wed, 30 Dec 2015 09:13:25 GMT
-   BerespHeader   Server: Varnish
-   VCL_call       BACKEND_ERROR
-   BerespHeader   Content-Type: text/html; charset=utf-8
-   BerespHeader   Retry-After: 5
-   VCL_return     deliver
-   Storage        malloc Transient
-   ObjProtocol    HTTP/1.1
-   ObjStatus      503
-   ObjReason      Backend fetch failed
-   ObjHeader      Date: Wed, 30 Dec 2015 09:13:25 GMT
-   ObjHeader      Server: Varnish
-   ObjHeader      Content-Type: text/html; charset=utf-8
-   ObjHeader      Retry-After: 5
-   Length         278
-   BereqAcct      0 0 0 0 0 0
-   End           

*   << Request  >> 2        
-   Begin          req 1 rxreq
-   Timestamp      Start: 1451466805.152189 0.000000 0.000000
-   Timestamp      Req: 1451466805.152189 0.000000 0.000000
-   ReqStart       ::1 44193
-   ReqMethod      GET
-   ReqURL         /rde_server/res/feea8d0b3d50/recomm/home/sid/jb55653bbd980baaf37484ef70bcfcef9b84d7c680ad1b487aed1fb21ac6779025?home_tsFilter=&cat_tsFilter=%28conc.item.brand+not+in+%2836%2C4187%2C4201%2C3721%2C4103%2C4101%2C4199%2C4075%29%29%28conc.item.param1+in+%28+a
-   ReqProtocol    HTTP/1.1
-   ReqHeader      User-Agent: curl/7.38.0
-   ReqHeader      Host: localhost:6081
-   ReqHeader      Accept: */*
-   ReqHeader      X-Forwarded-For: ::1
-   VCL_call       RECV
-   VCL_return     hash
-   VCL_call       HASH
-   VCL_return     lookup
-   VCL_call       MISS
-   VCL_return     fetch
-   Link           bereq 3 fetch
-   Timestamp      Fetch: 1451466805.152650 0.000461 0.000461
-   RespProtocol   HTTP/1.1
-   RespStatus     503
-   RespReason     Backend fetch failed
-   RespHeader     Date: Wed, 30 Dec 2015 09:13:25 GMT
-   RespHeader     Server: Varnish
-   RespHeader     Content-Type: text/html; charset=utf-8
-   RespHeader     Retry-After: 5
-   RespHeader     X-Varnish: 2
-   RespHeader     Age: 0
-   RespHeader     Via: 1.1 varnish-v4
-   VCL_call       DELIVER
-   VCL_return     deliver
-   Timestamp      Process: 1451466805.152718 0.000529 0.000068
-   RespHeader     Content-Length: 278
-   Debug          "RES_MODE 2"
-   RespHeader     Connection: keep-alive
-   Timestamp      Resp: 1451466805.152773 0.000584 0.000055
-   ReqAcct        386 0 386 235 278 513
-   End           

*   << Session  >> 1        
-   Begin          sess 0 HTTP/1
-   SessOpen       ::1 44193 :6081 ::1 6081 1451466805.152117 14
-   Link           req 2 rxreq
-   SessClose      REM_CLOSE 0.001
-   End            

如果我按如下方式开始清漆，那么一切正常。只有当我通过以下方式开始清漆时，我才会遇到问题sudo service varnish start

sudo varnishd -n foo -f /etc/varnish/prudsys.vcl -s malloc,1G -T localhost:6082  -a 0.0.0.0:6081

如果我将backend信息添加到/etc/varnish/default.vcl. 不知何故，清漆似乎没有从中选择更新的守护进程配置/etc/default/varnish

我的/etc/init.d/varnish样子如下：-

#! /bin/sh

### BEGIN INIT INFO
# Provides:          varnish
# Required-Start:    $local_fs $remote_fs $network
# Required-Stop:     $local_fs $remote_fs $network
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: Start HTTP accelerator
# Description:       This script provides a server-side cache
#                    to be run in front of a httpd and should
#                    listen on port 80 on a properly configured
#                    system
### END INIT INFO

# Source function library
. /lib/lsb/init-functions

NAME=varnishd
DESC="HTTP accelerator"
PATH=/sbin:/bin:/usr/sbin:/usr/bin
DAEMON=/usr/sbin/varnishd
PIDFILE=/run/$NAME.pid

test -x $DAEMON || exit 0

# Include varnish defaults if available
if [ -f /etc/default/varnish ] ; then
        . /etc/default/varnish
fi

# Open files (usually 1024, which is way too small for varnish)
ulimit -n ${NFILES:-131072}

# Maxiumum locked memory size for shared memory log
ulimit -l ${MEMLOCK:-82000}

# If $DAEMON_OPTS is not set at all in /etc/default/varnish, use minimal useful
# defaults (Backend at localhost:8080, a common place to put a locally
# installed application server.)
DAEMON_OPTS=${DAEMON_OPTS:--b localhost}

# Ensure we have a PATH
export PATH="${PATH:+$PATH:}/usr/sbin:/usr/bin:/sbin:/bin"

start_varnishd() {
    log_daemon_msg "Starting $DESC" "$NAME"
    output=$(/bin/tempfile -s.varnish)
    if start-stop-daemon \
        --start --quiet --pidfile ${PIDFILE} --exec ${DAEMON} -- \
        -P ${PIDFILE} ${DAEMON_OPTS} > ${output} 2>&1; then
        log_end_msg 0
    else
        log_end_msg 1
        cat $output
        exit 1
    fi
    rm $output
}

disabled_varnishd() {
    log_daemon_msg "Not starting $DESC" "$NAME"
    log_progress_msg "disabled in /etc/default/varnish"
    log_end_msg 0
}

stop_varnishd() {
    log_daemon_msg "Stopping $DESC" "$NAME"
    if start-stop-daemon \
        --stop --quiet --pidfile $PIDFILE --retry 10 \
        --exec $DAEMON; then
        log_end_msg 0
    else
        log_end_msg 1
    fi

    if test -r $PIDFILE; then
        read -r PID < $PIDFILE
        if test ! -d /proc/$PID ; then
            # stale pidfile
            unset PID
            rm -f $PIDFILE
        fi
    fi
}

reload_varnishd() {
    log_daemon_msg "Reloading $DESC" "$NAME"
    if /usr/share/varnish/reload-vcl -q; then
        log_end_msg 0
    else
        log_end_msg 1
    fi
}

status_varnishd() {
    start-stop-daemon \
        --status --quiet --pidfile $PIDFILE \
        --exec $DAEMON
    exit $?
}

configtest() {
    $DAEMON ${DAEMON_OPTS} -C -n /tmp 2>/dev/null
    if [ "$?" != 0 ]; then
        $DAEMON ${DAEMON_OPTS} -C -n /tmp
        return $?
    fi
}


case "$1" in
    start)
        case "${START:-}" in
            [Yy]es|[Yy]|1|[Tt]|[Tt]rue)
                start_varnishd
                ;;
            *)
                disabled_varnishd
                ;;
        esac
        ;;
    stop)
        stop_varnishd
        ;;
    reload)
        reload_varnishd
        ;;
    status)
        status_varnishd
        ;;
    restart|force-reload)
    if status_of_proc -p "${PIDFILE}" "${DAEMON}" "${NAME}" 1>/dev/null; then
        if ! configtest; then
        log_failure_msg "Syntax check failed, not restarting"
        exit 1
        fi
    fi
        $0 stop
        $0 start
        ;;
    configtest)
        configtest && log_success_msg "Syntax ok"
        ;;
    *)
        log_success_msg "Usage: $0 {start|stop|restart|reload|force-reload|configtest}"
        exit 1
        ;;
esac

有人可以让我知道出了什么问题吗？我在 Debian 8 上使用 varnish 4.1。

我们有一个 ELK (ElasticSearch-Logstash-Kibana) 部署，我们通过 logstash 将日志发送到 Elasticsearch 集群。每天都会创建索引。我们关闭超过 3 天的索引，并对超过 7 天的索引进行快照，然后通过 curator 将它们推送到 Amazon S3。

我们有大约 10 个不同的每日索引，每个索引的平均大小约为 1GB。复制因子为 1。每个索引有 2 个分片。Logstash 以每秒 2000 个 log_events 的速率将数据推送到 ES Cluster

我们的拓扑

• 3 专用主+数据
• 1 个专用客户端节点 + Kibana

硬件配置

• 12芯
• 64 GB 内存
• 2 TB 旋转磁盘
• Debian 7
• 弹性搜索版本 - 1.7.1
• Logstash - 1.5.3

遵循所有标准配置，如发现中的单播模式，已分配 30 GB RAM。

现在，快照作业通过策展人从客户端机器上运行，请求本地发送到客户端机器上运行的 ES 实例。Logstash 将日志直接发送到客户端节点

正在使用的馆长命令：-

curator --timeout 21600 --host es-client --port 9200  snapshot --name $snapshot_name_$project-$date --repository walle_elk_archive indices --older-than 3 --time-unit days --timestring %Y-%m-%d --prefix $prefix

有人可以在以下方面帮助我：-

1. 可以像我们一样在客户端机器上运行 curator 作业吗？
2. 可以从一台机器上拍摄所有索引的快照吗？
3. 由于日志是连续推送的，当快照创建和推送到 Amazon S3 进行时，是否会使集群不稳定？
4. 人们从 Elasticsearch 备份旧索引时通常遵循哪些最佳实践？