主页 / coding / 问题

问题[docker](coding)

Martin Hope
lalaland
Asked: 2025-04-11 09:07:32 +0800 CST
  • 5

我一直尝试使用 helm chart（作为子图）在我的家庭实验室中托管的 kubernetes 集群上部署 airflow。

我在将本地测试的 dag（在 docker-compose 上）迁移到 Kubernetes 集群时遇到了一些问题。在 Kubernetes 上使用 Airflow 时，可以使用 CeleryExecutor 吗？如果可以，我应该如何更改 dag 中的 DockerOperators？在寻找答案的过程中，我偶然发现了以下 stackoverflow 帖子，它建议在 Kubernetes 上运行时使用 DockerOperator 不是一个好选择，对吗？

  • 这是否意味着我不应该使用 CeleryExecutor ？

  • 将 dags 从 docker-compose 迁移到 Kubernetes 时，最佳实践是什么？谢谢

docker
Martin Hope
xealits
Asked: 2025-04-03 01:55:36 +0800 CST
  • 5

我试图弄清楚有关镜像 ID、清单和摘要的 docker 术语，以便了解 docker 如何维护分布式镜像的完整性。并且有一个（许多）意想不到的点。我刚刚保存了一个现有镜像，将其解压回来，但无法理解其manifest.json文件中的内容：

$ docker save 000908da321f > a.tar
$ tar -xvf ./a.tar -C a
$ ls a
blobs  index.json  manifest.json  oci-layout

以下index.json是指向特定清单的图像索引清单：

{
  "schemaVersion":2,
  "mediaType":"application/vnd.oci.image.index.v1+json",
  "manifests":
  [
    {
    "mediaType":"application/vnd.oci.image.manifest.v1+json",
    "digest":"sha256:dbe15f62d97cfdb1271a9612e4df8bd5d79b11404dcaed42b82e4cf796338f37",
    "size":1011
    }
  ]
}

我可以dbe15在 中找到a/blob/sha256/。这也是有道理的：它是一个mediaType manifest带有config和 的layers内部。重新制作带有 的主题标签sha256sum可以匹配它们。

但manifest.json它不遵循图像规范架构。它是一个列表，并且没有schemaVersionand mediaType：

[
    {
        "Config": "blobs/sha256/000908da321ffa9418f599f3476fece162f3903f3f2e9fdd508c8b91ee9008ff",
        "Layers": [
            "blobs/sha256/08000c18d16dadf9553d747a58cf44023423a9ab010aab96cf263d2216b8b350",
            ...
        ],
        "LayerSources": { ... },
        "RepoTags": null
    }
]

它看起来有点像，但实际上不是。这个文件是什么？当它不遵循图像清单的架构时，docker image inspect <image ID>调用它的原因是什么？manifest.json

docker
Martin Hope
tbhaxor
Asked: 2025-04-02 21:24:09 +0800 CST
  • 7

我正在使用构建秘密提供诗歌认证，但它没有被安装到环境中，我从docker 文档中复制并修改了示例。

export DOCKER_BUILDKIT=1
docker build \
       --secret id=poetry_johndoe_auth_username,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_USERNAME \
       --secret id=poetry_johndoe_auth_password,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_PASSWORD \
       -t example:latest .

在dockerfile中我正在安装到环境中

RUN --mount=type=secret,id=poetry_johndoe_auth_username,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_USERNAME \
    --mount=type=secret,id=poetry_johndoe_auth_password,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_PASSWORD \
    pip install -r /tmp/requirements.txt

CI 返回以下错误

Dockerfile:17
--------------------
  16 |     
  17 | >>> RUN --mount=type=secret,id=poetry_johndoe_auth_username,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_USERNAME \
  18 | >>>     --mount=type=secret,id=poetry_johndoe_auth_password,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_PASSWORD \
  19 | >>>     pip install -r /tmp/requirements.txt
  20 |     
--------------------
ERROR: failed to solve: unexpected key 'env' in 'env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_USERNAME'
docker
Martin Hope
Jelly
Asked: 2025-03-09 19:02:52 +0800 CST
  • 5

我正在尝试使用 Apache 客户端连接从 docker 映像部署的 FTP 服务器：

import org.apache.commons.net.ftp.FTPClient

import java.io.IOException

object FtpClient {

  def main(args: Array[String]): Unit = {

    val ftpClient = new FTPClient()

    try {
      ftpClient.connect("localhost", 21)
      val success = ftpClient.login("one", "1234")

      if (success) {
        println("Success connect")
      }

    } catch {
      case e: IOException => throw new RuntimeException(e)
    } finally {
      // 
    }

  }
}

FTP 服务器运行者：

docker run -d     -p 21:21     -p 21000-21010:21000-21010     -e USERS="one|1234"     -e ADDRESS=ftp.site.domain     delfer/alpine-ftp-server

我收到以下错误：

      Exception in thread "main" java.lang.RuntimeException: org.apache.commons.net.ftp.FTPConnectionClosedException: Connection closed without indication.
at ru.spb.client.FtpClient$.main(FtpClient.scala:23)
at ru.spb.client.FtpClient.main(FtpClient.scala)
     Caused by: org.apache.commons.net.ftp.FTPConnectionClosedException: Connection closed without indication.
at org.apache.commons.net.ftp.FTP.getReply(FTP.java:568)
at org.apache.commons.net.ftp.FTP.getReply(FTP.java:556)

编辑：

Docker 日志返回：

Changing password for one
New password: 
Bad password: too short
Retype password: 
adduser: /ftp/one: No such file or directory
passwd: password for one changed by root
seems like pidfd_open syscall does not work, falling back to 
polling
failed to watch for direct child exit (pidfd_open error): Operation not permitted

也许我错过了一些重要的连接设置？

docker
Martin Hope
Sergio
Asked: 2025-02-25 23:32:57 +0800 CST
  • 5

我正在尝试构建并推送 Docker 映像。这给了我一个错误NU1301：无法加载源的服务索引

文件夹结构如下：src/appfolder/在appfolder中我有Dockerfile和nuget.config

我正在尝试使用的下两个任务是：

  - task: DockerInstaller@0
    inputs:
      dockerVersion: '17.09.0-ce'

  - task: Docker@2
    inputs:
      containerRegistry: '$(dockerRegistryServiceConnection)'
      repository: $(imageRepository)
      command: 'buildAndPush'
      Dockerfile: $(dockerfilePath)
      tags: 'latest'
      buildContext: '$(Build.SourcesDirectory)/src'

查看 Docker 和 nuget.config 文件

码头工人：

FROM mcr.microsoft.com/dotnet/aspnet:8.0 AS base
WORKDIR /app
EXPOSE 80
EXPOSE 443


# This stage is used to build the service project
FROM mcr.microsoft.com/dotnet/sdk:8.0 AS build
ARG BUILD_CONFIGURATION=Release
WORKDIR /src
COPY . .
RUN dotnet restore "./appfolder/app.csproj"
WORKDIR "/src/appfolder"
RUN dotnet build "./app.csproj" -c $BUILD_CONFIGURATION -o /app/build

# This stage is used to publish the service project to be copied to the final stage
FROM build AS publish
ARG BUILD_CONFIGURATION=Release
RUN dotnet publish "./app.csproj" -c $BUILD_CONFIGURATION -o /app/publish /p:UseAppHost=false

# This stage is used in production or when running from VS in regular mode (Default when not using the Debug configuration)
FROM base AS final
WORKDIR /app
COPY --from=publish /app/publish .
ENTRYPOINT ["dotnet", "app.dll"]

nuget.config 文件

<?xml version="1.0" encoding="utf-8"?>
<configuration>
  <packageSources>
    <!--To inherit the global NuGet package sources remove the <clear/> line below -->
    <clear />
    <add key="Feed name" value="https://companyname.pkgs.visualstudio.com/project name/_packaging/feedname/nuget/v3/index.json" />
    <add key="nuget.org" value="https://api.nuget.org/v3/index.json" />
  </packageSources>
  <packageSourceCredentials>
    <companyname>
      <add key="Username" value="my username" />
      <add key="ClearTextPassword" value="my own PAT" />
    </companyname>
  </packageSourceCredentials>
</configuration>

在 Feed 设置 -> 权限选项卡中，我将两个服务用户都添加为 Feed 发布者（贡献者）。

我尝试了很多选项，但我从这里描述的选项开始。

docker
Martin Hope
Pedro Witzel
Asked: 2025-02-14 19:56:02 +0800 CST
  • 5

我正在创建一个Containerfile从主机接收输入文件夹的地方，其中包含我在容器内需要的文件。

我知道的最好的方法是将其通过类似的卷传递：
-v /host/path:/opt/input。

但我想/opt/input以与传递卷名相同的方式从容器的用户中抽象出来：
-v volume-name:/opt/input。

VOLUME不太像这样工作，但我想要实现的是：

VOLUME ["input-data": "/opt/input"]

因此用户可以这样做：
-v /host/path:input-data

并且如果我有一天需要改变该路径，可以更轻松地改进容器文件而不会破坏兼容性。

还有其他我还没能想到的替代方案吗？

docker
Martin Hope
jsamsf
Asked: 2025-02-14 06:09:23 +0800 CST
  • 4

当前的问题是：如果我需要在 Docker 中的阶段构建之间复制数百个依赖库，那么如何在不达到最大深度的情况下完成此操作？

我最终想要做的是：构建一个尽可能小的包含 python 和 ffmpeg 的容器映像，以供 AWS Lambda 使用。

我知道我能做的是：

FROM ubuntu:latest AS build

RUN apt-get update && apt-get clean && apt-get install -y ffmpeg

FROM python:3.12-slim-bookworm

COPY --from=build /usr/bin/ffmpeg /usr/bin/ffmpeg
COPY --from=build /usr/lib/aarch64-linux-gnu/* /usr/lib/aarch64-linux-gnu/

WORKDIR /app

CMD ["foo"]

生成一个有效的容器镜像，但是它非常大，超过 1 GB。

我想复制 ffmpeg 及其依赖项，但这就​​是问题所在。ldd告诉我 /lib 中有超过 200 个依赖项，并且有这么多COPY语句会导致在构建期间超出最大深度。尝试避免：

COPY --from=build /usr/lib/lib1 /usr/lib/lib1
COPY --from=build /usr/lib/lib2 /usr/lib/lib2
...
COPY --from=build /usr/lib/lib227 /usr/lib/lib227

有没有办法从外部 txt 文件循环进入 Dockerfile，或者其他机制来复制数百个依赖项而不超出最大深度？

docker
Martin Hope
Kadiem Alqazzaz
Asked: 2025-02-13 05:59:44 +0800 CST
  • 5

我有一个 rust Axum 应用程序，它一开始就读取数据库 URL 来创建数据库连接：

async fn main() {
    let db_connection_str = std::env::var("DATABASE_URL").expect("DATABASE_URL must be set.");
    println!("Connecting to database: {}", db_connection_str);


    let pool = PgPoolOptions::new()
       .max_connections(5)
       .acquire_timeout(Duration::from_secs(3))
       .connect(&db_connection_str)
       .await
       .expect("can't connect to database");

问题是它没有获取环境变量。db_connection_str是空的，我println在控制台中得到了“连接到数据库：”而没有实际值。

这是 dockerfile

FROM rust:1.84 AS development

WORKDIR /backend

COPY . .

ARG DATABASE_URL
ENV DATABASE_URL=$DATABASE_URL

RUN cargo run

这是 docker-compose 文件

  backend:
    build: ./backend
    ports:
      - "5173:5173"
    environment:
      DATABASE_URL: $DATABASE_URL

我有一个.env环境变量文件。

注意：当我运行此命令时

docker build -t backend --build-arg DATABASE_URL=<Database_url> .

它可以运行，并且可以获取环境变量，但是当我运行docker-compose up它时却没有，并且发生了上述问题。

docker
Martin Hope
padavan
Asked: 2025-02-10 16:49:00 +0800 CST
  • 4

我想了解为什么会发生这种情况。当我使用不带正则表达式的 proxy_pass 时，一切都运行正常，DNS 得到解析，等等。

    location /images/ {
        proxy_pass http://sfs-filer:8888;
        proxy_set_header Host $host;
    }

但是，一旦我添加正则表达式，它就会开始抛出错误。

[错误] 29＃29：*442 没有定义解析器来解析 sfs-filer，客户端：172.18.0.1，服务器：，请求：“GET /9395123a-39bd-4951-acd9-e759fae2e7f4.webp HTTP/1.1”，主机：“localhost”

    location ~ ([a-zA-Z0-9-]+\.(jpg|jpeg|png|gif|webp|bmp|avif))$ {
        proxy_pass http://sfs-filer:8888/$1;
        proxy_set_header Host $host;
    }

请注意，在 proxy_pass 中我根本没有更改域，它保持 1 比 1，如第一个示例所示。这怎么可能呢？为什么解析器依赖于正则表达式？

是的，我可以添加resolver 127.0.0.11 valid=10s;，而且会起作用。但它的本质对我来说绝对是个谜。

docker
Martin Hope
Remotec
Asked: 2025-02-10 06:23:45 +0800 CST
  • 5

在我的构建管道中我拉取这个容器：

mcr.microsoft.com/dotnet/sdk:8.0.405

当我dotnet format --version在该容器中运行时，我得到以下版本号：

8.3.546805+86f5186deeea364bd8541d51657e52a54b2a96b2

当我特别要求容器版本 8.0.405 时，为什么我会获得 .NET 格式版本 8.3？

我在本地安装了 8.0.405 版本的 .Net SDK，运行时dotnet format --version我正确得到：

Welcome to .NET 8.0!
---------------------
SDK Version: 8.0.405

我只是不明白差异是什么。

这给我带来了一个问题，因为该format命令在我的构建服务器上的行为与在本地运行的行为不同，但版本应该完全相同。

docker