问题[docker](server)

我有一个 Docker Swarm，其中运行着各种服务。我使用https://github.com/linuxserver/docker-syslog-ng添加了 syslog-ng OSE 服务。syslog-ng 堆栈具有以下 docker-compose.yml：

---
services:
  syslog:
    image: registry.local.net/syslog-ng:latest
    ports:
      - 514:514
    volumes:
      - /path/on/host/syslog-ng/config:/config
      - /path/on/host/log:/log
    environment:
      - PUID=1000
      - PGID=1000
      - TZ=Etc/UTC
      - LOG_TO_STDOUT=1
#    healthcheck:
#      test: ["CMD-SHELL", "/usr/sbin/syslog-ng-ctl healthcheck -c /config/syslog-ng.ctl || exit 1"]
#      interval: 10s
#      timeout: 2s
#      retries: 3
    deploy:
      mode: replicated
      replicas: 1
      restart_policy:
        condition: on-failure
      update_config:
        parallelism: 1
        delay: 10s
    networks:
      syslog:

networks:
  syslog:
    external: true

我的 syslog-ng.conf 文件是这样的：

@version: 4.2
@include "scl.conf"

options {
     chain_hostnames(no);
     flush_lines(0);
     use_dns(no);
     time_reopen(1);
};

source net {
    tcp(ip(0.0.0.0) port(514));
};

template my_log_format {
    template("$MSG\n");
};

filter f_access_log { program("httpd.access") };

destination d_logs {
    file(
        "/log/TEST"
        owner("1000")
        group("1000")
        perm(0664)
        template(my_log_format)
        );
};

log {
    source(net); filter(f_access_log); destination(d_logs);
};

我已经在 Docker Swarm 中配置了一个 Apache 服务，以使用 将其日志发送到 syslog-ng 服务logger -T -t httpd.accept -n syslog -P 514 --rfc3164。

Syslog-ng 创建配置的日志文件，从 Apache 接收日志行，并定期将它们附加到配置的日志文件中。一切似乎都按我想要的方式进行。唯一的问题是 syslog-ng Docker 容器每 70-80 秒就会退出并重新启动一次。我尝试添加健康检查（上面已注释掉），但没有任何改变。检查已退出的容器显示，健康检查全部通过，直到容器以退出代码 137 退出，并且已退出容器的 docker 日志没有显示任何明显错误。

syslog-ng 当前日志文件显示以下内容（减去每行开头的时间戳）：

Accepting connections; addr='AF_INET(0.0.0.0:514)'
syslog-ng starting up; version='4.8.1'
Syslog connection accepted; fd='14', client='AF_INET(10.0.6.244:37126)', local='AF_INET(0.0.0.0:514)'

在其中一个容器退出前的几秒，top容器内部显示以下内容：

top - 08:31:26 up 169 days, 17:44,  0 user,  load average: 1.13, 1.05, 1.05
Tasks:  15 total,   1 running,  14 sleeping,   0 stopped,   0 zombie
%Cpu(s): 23.8 us,  1.8 sy,  0.0 ni, 73.9 id,  0.0 wa,  0.2 hi,  0.2 si,  0.0 st 
MiB Mem :   7652.9 total,    405.8 free,   2924.0 used,   4968.6 buff/cache     
MiB Swap:   8192.0 total,   7883.4 free,    308.6 used.   4728.9 avail Mem 

编辑：我以为我通过添加找到了解决方案

    time-reap(30);
    mark-freq(10);

到 syslog-ng 全局选项。在我最初做出该更改后，Docker 容器保持运行近 5 分钟，但现在即使使用这些选项，它也会每隔一分钟左右退出并重新启动一次。

我在 Synology NAS 上运行的 Docker 容器中有一个 GitLab 实例。现在，我想将 GitLab 移动到我拥有的 Windows PC 上，但通过共享文件夹并将其设为 Docker 卷，将数据保留在 NAS 上。为了测试它，我在 NAS 上创建了一些文件夹config、data和，logs并使用“共享文件夹”在网络上共享它们。据我所知，我们已将其配置为使用 SMB 来实现这一点。然后，在 Windows 机器上，我运行（基于此建议）

docker volume create --driver local
  --opt type=cifs
  --opt device=//192.168.1.150/gitlab_docker_volume/config
  --opt o=user=gitlab_docker_volume,password=<password> gitlab-config

另外两个是创建gitlab-data和gitlab-logs。

然后，我使用以下命令启动容器

docker run -d -p 8070:80 -p 8433:443 -p 8012:22
  -v gitlab-logs:/var/log/gitlab:rw
  -v gitlab-data:/var/opt/gitlab:rw
  -v gitlab-config:/etc/gitlab:rw gitlab/gitlab-ce

并因错误而崩溃

...
Mixlib::ShellOut::ShellCommandFailed:
Failed asserting that ownership of "/var/opt/gitlab/git-data" was git:git
...

2024-12-13 13:54:47 + [ root:root = git:git ]

当我查看 NAS 上的文件夹时，我可以看到容器成功创建了 GitLab 所需的所有文件和文件夹，但它们都有所有者gitlab_docker_volume:users和777权限。在dataNAS 上运行的原始 GitLab 容器的卷中，该git-data文件夹属于某个神秘用户998，并且具有2770权限。

如果我理解正确的话，发生的情况是 GitLab 容器尝试访问chown该git-data文件夹，并且该命令必须映射到 SMB/CIFS 共享，但事实并非如此。

有两篇帖子提到了相同的错误，但是它们在使用不同的卷设置时遇到了该问题 - 其中一个似乎是由于在虚拟机中运行 Windows 服务器而出现问题，另一个则使用 Windows 原生文件夹。

https://stackoverflow.com/questions/45134978/setting-up-gitlab-using-docker-on-windows-host-issue-with-shared-folders

https://stackoverflow.com/questions/44684621/volume-trouble-with-gitlab-docker-image-on-windows

我还尝试找出如何通过网络共享来编辑 Linux 权限，但搜索结果充斥着“如何在创建文件夹时设置权限，以便 Docker 容器可以首先编辑它们”——这在我的设置中已经起作用了。

另一方面，我有原本位于 Linux 计算机上的共享文件夹。我能否通过某种方式更改文件夹共享设置、卷设置或其他任何内容，以便容器可以更改文件的用户和权限？顺便说一下，Docker 正在使用 WSL 后端运行。

data我的文件系统根目录下有一个文件夹

arthur@debian:~$ ls -la /data
total 36
drwxr-xr-x  9 root   root            4096 Dec 13 09:45 .
drwxr-xr-x 21 root   root            4096 Dec 13 10:08 ..
drwxr-xr-x  2 root   root            4096 Jun 15  2020 500g2
drwxr-xr-x  6 root   root            4096 Nov 16 18:20 quad_1
drwxr-sr-x  5 arthur arthur          4096 Dec 13 13:29 tera_1
drwxrwxr-x  6 root   root            4096 Dec  7 00:00 tera_2
drwxr-xr-x  5 root   root            4096 Sep 18 21:32 tera_3
drwxr-xr-x  6 root   root            4096 May  5  2021 tera_4

我想将整个目录挂载为 docker 卷，但容器必须具有只读访问权限。所以我使用了:ro

sudo docker run -it --name testcontainer -v /data:/internal_data:ro --rm alpine:latest /bin/sh

当 shell 生成时，我仍然能够写入本应只读的容器。这是为什么？

/ # touch /internal_data/test
touch: /internal_data/test: Read-only file system        # Ok, container prevented from writing
/ # touch /internal_data/tera_1/test                     # This worked
/ # touch /internal_data/tera_2/test                     # This worked
/ # touch /internal_data/500g2/test                      
touch: /internal_data/500g2/test: Read-only file system # Ok, container prevented from writing
/ #

我有一个脚本文件夹，里面有一个 python 脚本、docker 文件以及 requirements.txt

我的 python 脚本在本地单独运行良好。

Python 脚本

import os
import time
from fastapi import FastAPI
import uvicorn

app = FastAPI()


SHARED_VOLUME_PATH = '/mnt/shared'
@app.get("/")
def process_data():
    data = "From Primary car"
    
    with open(os.path.join(SHARED_VOLUME_PATH, 'shared_data_file.txt'), 'w') as f:
        f.write(data)
    
    print("Data processed and stored in shared volume")
    response = "Data processed and stored in shared volume"
    return response

if __name__ == '__main__':
    port = int(os.environ.get("PORT", 8080))
    uvicorn.run(app, host="0.0.0.0", port=port)
    process_data()

Docker文件内容如下

FROM python:3.11

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY main.py .

CMD ["python", "main.py"]

当我运行命令时

gcloud builds submit --tag europe-west4-docker.pkg.dev/<GCP-project-ID>/artifactory/scar-prim-component:latest

我收到了这个错误。

ERROR: (gcloud.builds.submit) HTTPError 412: 'us' violates constraint 'constraints/gcp.resourceLocations'

我在这方面不太擅长。请告诉我需要做哪些更改，以便我可以将我的代码作为 GCP 中的artifactory 组件推送。

我在不同的 GCP 项目中运行了相同的脚本并执行了相同的步骤，并且运行良好并且也得到了部署。

如果有其他方法来构建并推送到artifactory，请提供步骤（详细）

我有以下场景：一台 Docker 主机上有多个 CMS 项目和一个正在运行的 Traefik。我想从公共 IP 地址中过滤掉后端 URL，因为它只能从私有 IP 范围访问。

公开可用： https：//www.project.com/xyz https：//www.project.com/abc

仅限于内部 IP：https: //www.project.com/backend

我是否可以通过 IP 白名单和例如 2 个路由器 (1 个用于公共访问，1 个用于后端访问) 来实现这一点？

我尝试过类似的事情：

  # Backend Router (Restricted Access)
  - "traefik.http.routers.project-backend.rule=Host(`${DOMAINNAME}`) && PathPrefix(`/backend`)"
  - "traefik.http.routers.project-backend.entrypoints=https"
  - "traefik.http.routers.project-backend.tls=true"
  - "traefik.http.routers.project-backend.middlewares=backend-ipwhitelist"
  - "traefik.http.routers.project-backend.priority=100"

但过滤器不起作用 - 仍然可以访问后端。

有什么建议吗？

我想在 docker swarm 中运行多个docker-android实例。但它们失败了：

ERROR   | x86 emulation currently requires hardware acceleration!
https://developer.android.com/studio/run/emulator-acceleration#vm-linux
CPU acceleration status: /dev/kvm is not found: VT disabled in BIOS or KVM kernel module not loaded

我的节点支持 kvm，添加时使用 docker compose 直接在节点上运行privileged: true可以正常工作。
但是 docker swarm 不支持特权模式！
他们最近cap_add在 swarm 中添加了支持，所以我尝试添加所有可用的功能，但它们都没有在容器内启用 kvm。

设备在群体模式下也不受支持！

devices:
      - "/dev/kvm:/dev/kvm"

我知道这种特权模式的解决方法，但我想利用部署资源限制根据内存自动选择节点。

我需要快速找到解决方案，所以我会开一个悬赏。
我愿意接受任何黑客方法或类似支持此方法的 docker fork 之类的东西

我在运行 docker-mail-server 的小型 VPS 上运行邮件服务器。

它一直运行良好，直到 2024-10-02 开始拒绝电子邮件。

我更新了证书，即使它们在 2024-10-15（停止工作两周后）到期。

每当我收到一封电子邮件时，日志中都会出现以下跟踪（这里是从我的 protonmail 地址发送的电子邮件）：

NOQUEUE: reject: RCPT from unknown[185.70.43.21]: 450 4.1.8 <[email protected]>: Sender address rejected: Domain not found; from=<[email protected]> to=<contact@$MY_DOMAIN> proto=ESMTP helo=<mail-4321.protonmail.ch>

将其解释为“我不知道该域名是什么，所以我拒绝该电子邮件”，我运行了dig protonmail.com，并给出了正确的输出：

; <<>> DiG 9.18.28-1~deb12u2-Debian <<>> protonmail.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 12017
;; flags: qr rd ra ad; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 1232
;; QUESTION SECTION:
;protonmail.com.            IN  A

;; ANSWER SECTION:
protonmail.com.     1200    IN  A   185.70.42.12

;; Query time: 31 msec
;; SERVER: 213.186.33.99#53(213.186.33.99) (UDP)
;; WHEN: Thu Oct 10 17:32:34 UTC 2024
;; MSG SIZE  rcvd: 59

Ping protonmail.com 也有效。有没有什么办法可以解决这个问题或它可能来自哪里？我想确保它不是来自用户错误，然后再在 github 上打开问题。

编辑：看来容器本身无法访问互联网。我无法 ping 域或 IP 地址。这是我正在使用的 docker compose：

services:
  mailserver:
    image: ghcr.io/docker-mailserver/docker-mailserver:latest
    container_name: mailserver
    # Provide the FQDN of your mail server here (Your DNS MX record should point to this value)
    hostname: mail.$MY_DOMAIN.fr
    env_file: mailserver.env
    # More information about the mail-server ports:
    # https://docker-mailserver.github.io/docker-mailserver/latest/config/security/understanding-the-ports/
    ports:
      - "143:143"  # IMAP4 (explicit TLS => STARTTLS)
      - "465:465"  # ESMTP (implicit TLS)
      - "587:587"  # ESMTP (explicit TLS => STARTTLS)
      - "993:993"  # IMAP4 (implicit TLS)
      - "25:25"
    volumes:
      - ./docker-data/dms/mail-data/:/var/mail/
      - ./docker-data/dms/mail-state/:/var/mail-state/
      - ./docker-data/dms/mail-logs/:/var/log/mail/
      - ./docker-data/dms/config/:/tmp/docker-mailserver/
      - /etc/localtime:/etc/localtime:ro
      - /docker/vol/dms/cert:/var/cert
      - /etc/letsencrypt:/etc/letsencrypt
    restart: always
    stop_grace_period: 1m
    healthcheck:
      test: "ss --listening --tcp | grep -P 'LISTEN.+:smtp' || exit 1"
      timeout: 3s
      retries: 0

我尝试创建一个外部网络并将服务绑定到它，但没有成功。

为了理解 mariadb 复制，我创建了下一个 docker 容器：

docker run -e TZ=America/Denver --name mariadb1 --network=camino_nw \
  -e MARIADB_SERVER_ID=1 -e MARIADB_LOG_BIN=mysql-bin -e MARIADB_LOG_BASENAME=mariadb1 \
  -e MARIADB_BINLOG_FORMAT=mixed -p 127.0.0.1:53301:3306 \
  -v /home/jcz/Documents/dockerMariadbData1:/var/lib/mysql:z \
  -e MARIADB_ROOT_PASSWORD=S3cretPw -d mariadb:latest

docker run -e TZ=America/Denver --name mariadb2 --network=camino_nw \
  -e MARIADB_SERVER_ID=2 -e MARIADB_LOG_BIN=mysql-bin -e MARIADB_LOG_BASENAME=mariadb2 \
  -e MARIADB_BINLOG_FORMAT=mixed -p 127.0.0.1:53302:3306 \
  -v /home/jcz/Documents/dockerMariadbData2:/var/lib/mysql:z \
  -e MARIADB_ROOT_PASSWORD=S3cretPw -d mariadb:latest

docker run -e TZ=America/Denver --name mariadb3 --network=camino_nw \
  -e MARIADB_SERVER_ID=3 -e MARIADB_LOG_BIN=mysql-bin -e MARIADB_LOG_BASENAME=mariadb3 \
  -e MARIADB_BINLOG_FORMAT=mixed -p 127.0.0.1:53303:3306 \
  -v /home/jcz/Documents/dockerMariadbData3:/var/lib/mysql:z \
  -e MARIADB_ROOT_PASSWORD=S3cretPw -d mariadb:latest

主服务器是 mariadb1，对于这个我执行了：

CREATE USER 'replication_user'@'%' IDENTIFIED BY 'S3cretPw';
GRANT REPLICATION SLAVE ON *.* TO 'replication_user'@'%';

对于每个从属 mariadb2 和 mariadb3 我运行：

CHANGE MASTER TO MASTER_HOST='mariadb1',  MASTER_USER='replication_user',  MASTER_PASSWORD='S3cretPw',  MASTER_PORT=3306, MASTER_CONNECT_RETRY=10;

CHANGE MASTER TO MASTER_USE_GTID = slave_pos;

我还用 START SLAVE 启动了从属服务器；

运行

SHOW SLAVE STATUS \G 

我收到下一个错误：

         Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MariaDB server ids; these ids must be different for replication to work (or the --replicate-same-server-id option must be used on slave but this does not always make sense; please check the manual before using it).

如果我使用，怎么会发生这种情况

MARIADB_SERVER_ID=1
MARIADB_SERVER_ID=2
MARIADB_SERVER_ID=3

对于我的每个容器？

我正在尝试遵循：

https://mariadb.com/kb/en/setting-up-replication/

最后，在配置上花费了大量时间之后，我却束手无策了。本来应该很简单的事情却变得相当复杂。希望有人能帮我找到解决方案。

我正在尝试使用 Traefik 运行容器。我没有像许多人一样将所有配置放在容器的 docker-compose 文件 (docker-compose.yml) 中，而是将配置放在专用文件 (traefik.yml) 中，因为这对我来说更灵活。

我有以下用于 Traefik 的 docker-compose.yml 文件：

version: "3.8"

services:
  traefik:
    image: traefik:latest
    hostname: traefik
    container_name: traefik
    restart: unless-stopped
    command:
      - "--configFile=/traefik.yml"
    networks:
      - traefik_gw_bridge
    ports:
      - 80:80
      - 443:443
      - 8080:8080
    volumes:
      - ./traefik.yml:/traefik.yml
      - logs:/logs
      - letsencrypt:/letsencrypt
      - /var/run/docker.sock:/var/run/docker.sock:ro
    healthcheck:
      test: ["CMD", "traefik", "healthcheck", "--ping"]
      interval: 10s
      timeout: 6s
      retries: 2
      start_period: 5s

networks:
  traefik_gw_bridge:
    driver: bridge
    external: true

volumes:
  letsencrypt:
  logs:

这些是我用于 traefik.yml 的配置参数：

api:
  dashboard: true     
  insecure: false    

ping:
  entryPoint: web      

providers:
  docker:
    endpoint: "unix:///var/run/docker.sock"
    exposedByDefault: false 

entryPoints:
  web:
    address: ":80"   
  websecure:
    address: ":443"   
  traefik:
    address: ":8080" 

http:
  routers:
    dashboard:
      rule: "Host(`traefikdash.mydomain.com`)" 
      entryPoints:
        - traefik
      service: api@internal
      middlewares:
        - auth

  middlewares:
    auth:
      basicAuth:
        users:
          - "admin:$apr1$Nzj4xQwY$QiXQ/eYHzKTFS.Lx.6XG71"

log:                              
  filePath: "/logs/traefik.log"
  format: json
  level: DEBUG

accessLog:                        
  filePath: "/logs/access.log"
  bufferingSize: 150

certificatesResolvers:
  le:    
    acme:
      email: "[email protected]"    
      storage: "/letsencrypt/acme.json"  
      httpChallenge:
        entryPoint: "web" 

从逻辑上讲，在配置文件的以下部分，我尝试定义一个路由器，以使用用户名和密码为仪表板设置基本身份验证：

http:
  routers:
    dashboard:
      rule: "Host(`traefikdash.mydomain.com`)"  # Reemplaza `yourdomain.com` con tu dominio
      entryPoints:
        - traefik
      service: api@internal
      middlewares:
        - auth

  middlewares:
    auth:
      basicAuth:
        users:
          - "admin:$apr1$Nzj4xQwY$QiXQ/eYHzKTFS.Lx.6XG71"

我无法得到我想要的结果。当我访问traefikdash.mydomain.com或traefikdash.mydomain.com:8080或traefikdash.mydomain.com:8080/dashboard/ 时traefikdash.mydomain.com/dashboard，我只是从 Traefik 和我的浏览器得到以下响应：

• HTTP 404 页面未找到
• 错误连接被拒绝

尝试了各种类型的配置后，我根本找不到有关如何实现 HTTP 基本身份验证以访问 Traefik 仪表板的更多信息。

TL;DR：我无法理解为什么telegraf@sha256:05cbea951c5cf9da6c663321b32848c1b6ffdfa877563237838efa21b508b079和telegraf@sha256:848201b0601513122f567a6b690b5ef84abbb38e78ca461d1c1d3d7465691d39是相同的图像telegraf:1.31，而前者却在任何地方都没有提到。我几乎可以肯定这些是完全相同的图像，但我试图了解未知的来源sha256:05cbea9。

我正在一台主机上工作，注意到 Telegraf 的 Docker 镜像有两个存储库摘要，这引起了一些好奇，因为我希望只看到索引摘要或索引摘要和 linux/amd64 摘要，因为该镜像是多架构镜像，主机是 linux/amd64。

当我跑步时：

docker inspect 4fffb7e682428f97779fdee3f4c44d062de6da9ba4a754a0f3b3f0ecaf87052e在服务器上，我得到以下输出：

        "RepoDigests": [
            "telegraf@sha256:05cbea951c5cf9da6c663321b32848c1b6ffdfa877563237838efa21b508b079",
            "telegraf@sha256:6b0d623c54754958fed356d2af239de21dcf7c95d63b76298d0cd70df79cc719"
        ],

第二个摘要似乎没问题，因为它代表索引摘要。但是，当我检查 Docker Hub 的 API 时，根本没有提到第一个摘要（05cbea...）：

curl -s https://hub.docker.com/v2/namespaces/library/repositories/telegraf/tags/1.31 | jq '.images[] | "\(.architecture) \(.digest)"' | grep 05cbea951c5cf9da6c663321b32848c1b6ffdfa877563237838efa21b508b079
# Grep returns an empty result here

curl -s https://hub.docker.com/v2/namespaces/library/repositories/telegraf/tags/1.31 | jq '.images[] | "\(.architecture) \(.digest)"' | grep amd64
"amd64 sha256:848201b0601513122f567a6b690b5ef84abbb38e78ca461d1c1d3d7465691d39"

然而，它们仍然是同一张图像。以下是我检查的方法：

第一个哈希；

docker pull telegraf@sha256:05cbea951c5cf9da6c663321b32848c1b6ffdfa877563237838efa21b508b079

docker images|grep telegraf
telegraf                                                                  <none>      4fffb7e68242   4 weeks ago     472MB

docker inspect 4fffb7e68242 --format='{{json .}}'| jq '"\(.Created) \(.Config.Env[1]) \(.RepoDigests)"'
"2024-08-12T15:27:35Z TELEGRAF_VERSION=1.31.3 [\"telegraf@sha256:05cbea951c5cf9da6c663321b32848c1b6ffdfa877563237838efa21b508b079\"]"

第二个哈希；

docker pull telegraf@sha256:848201b0601513122f567a6b690b5ef84abbb38e78ca461d1c1d3d7465691d39
docker images|grep telegraf
telegraf                                                                  <none>      4fffb7e68242   4 weeks ago     472MB

docker inspect 4fffb7e68242 --format='{{json .}}'| jq '"\(.Created) \(.Config.Env[1]) \(.RepoDigests)"'
"2024-08-12T15:27:35Z TELEGRAF_VERSION=1.31.3 [\"telegraf@sha256:848201b0601513122f567a6b690b5ef84abbb38e78ca461d1c1d3d7465691d39\"]"

我想知道我这里遗漏了什么。任何提示我都会很感激。

编辑； 我唯一忘记提到的事情是由 docker swarm 堆栈运行的 telegraf 容器。我认为这会对图像的提取方式产生影响。