Início / coding / 问题

Perguntas[docker](coding)

Martin Hope
Jose Cabrera Zuniga
Asked: 2025-04-30 02:52:36 +0800 CST
  • 5

No exemplo do Traefik publicado em:

https://github.com/bluepuma77/traefik-best-practice/blob/main/docker-traefik-dashboard-letsencrypt/docker-compose.yml

a) Como esse código pode ser modificado para não usar Letsecnrypt e usar apenas alguns certificados SSL válidos enquanto usa apenas comandos, por exemplo, na seção command:?

b) Como o Traefik pode ser forçado a escutar na porta 8443 do host "seguro" e encaminhar para sua porta segura 443?

desde já, obrigado

docker
Martin Hope
C. Claudio
Asked: 2025-04-28 02:52:52 +0800 CST
  • 4

Como configuro o Docker para desenvolver dois repositórios Python dependentes de forma eficiente?

  • Em desenvolvimento: montar o framework em tempo de execução usando volumes para iteração rápida (recarregamento dinâmico).

  • Em produção: crie uma imagem de tempo de execução limpa que não dependa de volumes de host.

dev/
├── framework/
│   └── ...
└── runtime/
    ├── ...
    └── Dockerfile

EDITAR: a velocidade de desenvolvimento da dependência é limitada (por exemplo, um projeto de código aberto que requer a aceitação do usuário). Testar a unidade de tempo de execução por meio de um venv comum pip install -eé uma escolha óbvia, mas será necessário esperar até que o dep seja lançado para instalar em qualquer pipeline CICD.

Como executar no Docker localmente antes de tudo isso - mover-se rapidamente, quebrar coisas e iterar?

docker
Martin Hope
Shweta Dalal
Asked: 2025-04-27 03:58:49 +0800 CST
  • 5

Eu dockerizei o DAG com o Airflow, que basicamente copia um arquivo CSV para o GCP, carrega-o no BigQuery e realiza uma transformação simples. Quando executo o docker-compose run, meu DAG é executado duas vezes. Não consigo entender em qual parte do código isso está acontecendo. Quando aciono o DAG manualmente na interface do usuário, ele é executado uma vez.

Meu Dag:

from scripts import extract_and_gcpload, load_to_BQ

default_args = {
    'owner': 'shweta',
    'start_date': datetime(2025, 4, 24),
    'retries': 0
}

with DAG(
    'spacex_etl_dag',
    default_args=default_args,
    schedule_interval=None,
    schedule=None,
    catchup=False              #prevents Airflow from running missed periods
) as dag:

    extract_and_upload = PythonOperator(
        task_id="extract_and_upload_to_gcs",
        python_callable=extract_and_gcpload.load_to_gcp_pipeline,
    )

    load_to_bq = PythonOperator(
        task_id="load_to_BQ",
        python_callable=load_to_BQ.load_csv_to_bigquery
    )

    run_dbt = BashOperator(
        task_id="run_dbt",
        bash_command="cd '/opt/airflow/dbt/my_dbt' && dbt run --profiles-dir /opt/airflow/dbt"
    )

    extract_and_upload >> load_to_bq >> run_dbt

Meu arquivo de ponto de entrada startscript.sh :

#!/bin/bash
set -euo pipefail

log() {
  echo "[$(date +'%Y-%m-%d %H:%M:%S')] $1"
}

# Optional: Run DB init & parse DAGs
log "Initializing Airflow DB..."
airflow db upgrade

log "Parsing DAGs..."
airflow scheduler --num-runs 1

DAG_ID="spacex_etl_dag"
log "Unpausing DAG: $DAG_ID"
airflow dags unpause "$DAG_ID" || true

log "Triggering DAG: $DAG_ID"
airflow dags trigger "$DAG_ID" || true

log "Creating admin user (if not exists)..."
airflow users create \
    --username admin \
    --firstname Admin \
    --lastname User \
    --role Admin \
    --email [email protected] \
    --password admin || true

if [[ "$1" == "webserver" || "$1" == "scheduler" ]]; then
  log "Starting Airflow: $1"
  exec airflow "$@"
else
  log "Executing: $@"
  exec "$@"
fi

Meu arquivo docker-compose.yaml:

services:

  airflow-webserver:
    build:
      context: .
      dockerfile: Dockerfile
    container_name: airflow-webserver
    env_file: .env
    restart: always
    environment:
      AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'false'
      AIRFLOW__LOGGING__REMOTE_LOGGING: 'False'
      AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      GOOGLE_APPLICATION_CREDENTIALS: /opt/airflow/secrets/llms-395417-c18ea70a3f54.json
    volumes:
      - ./dags:/opt/airflow/dags
      - ./scripts:/opt/airflow/scripts
      - ./dbt:/opt/airflow/dbt
      - ./secrets:/opt/airflow/secrets
    ports:
      - 8080:8080
    command: webserver

  airflow-scheduler:
    build:
      context: .
      dockerfile: Dockerfile
    container_name: airflow-scheduler
    env_file: .env
    restart: always
    environment:
      AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'false'
      AIRFLOW__LOGGING__REMOTE_LOGGING: 'False'
      AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      GOOGLE_APPLICATION_CREDENTIALS: /opt/airflow/secrets/llms-395417-c18ea70a3f54.json
    volumes:
      - ./dags:/opt/airflow/dags
      - ./dbt:/opt/airflow/dbt
      - ./secrets:/opt/airflow/secrets
      - ./scripts:/opt/airflow/scripts
    depends_on:
      - postgres
    command: scheduler

  postgres:
    image: postgres:13
    environment:
      POSTGRES_USER: airflow
      POSTGRES_PASSWORD: airflow
      POSTGRES_DB: airflow
    volumes:
      - postgres-db-volume:/var/lib/postgresql/data

volumes:
  postgres-db-volume:
docker
Martin Hope
林和幸
Asked: 2025-04-22 10:05:45 +0800 CST
  • 5

Sou bastante novo no AWS e no Docker.

No meu ambiente de desenvolvimento local, quero carregar arquivos do servidor de aplicativos e colocá-los no LocalStack S3. No entanto, quando tento acessar o LocalStack S3 a partir do servidor de aplicativos, ocorre o seguinte erro.

AggregateError [ECONNREFUSED]: 
    at internalConnectMultiple (node:net:1139:18)
    at afterConnectMultiple (node:net:1712:7) {
  code: 'ECONNREFUSED',
  '$metadata': { attempts: 3, totalRetryDelay: 105 },
  [errors]: [
    Error: connect ECONNREFUSED ::1:4566
        at createConnectionError (node:net:1675:14)
        at afterConnectMultiple (node:net:1705:16) {
      errno: -111,
      code: 'ECONNREFUSED',
      syscall: 'connect',
      address: '::1',
      port: 4566
    },
    Error: connect ECONNREFUSED 127.0.0.1:4566
        at createConnectionError (node:net:1675:14)
        at afterConnectMultiple (node:net:1705:16) {
      errno: -111,
      code: 'ECONNREFUSED',
      syscall: 'connect',
      address: '127.0.0.1',
      port: 4566
    }
  ]
}

A configuração do docker-compose é a seguinte. Usei este link como referência.

version: '3'

services:
  test-app:
    build:
      dockerfile: Dockerfile
      context: .
      args:
        - VARIANT=22-bookworm
    container_name: test-app
    stdin_open: true
    dns:
      # Set the DNS server to be the LocalStack container
      - 10.0.2.20
    networks:
      - ls
      
  localstack:
    container_name: localstack
    image: localstack/localstack
    ports:
      - "4566:4566"
      - "4510-4559:4510-4559"
    environment:
      - SERVICES=s3
    networks:
      ls:
        # Set the container IP address in the 10.0.2.0/24 subnet
        ipv4_address: 10.0.2.20

networks:
  ls:
    ipam:
      config:
        # Specify the subnet range for IP address allocation
        - subnet: 10.0.2.0/24

O aplicativo é executado no NestJS e o S3Client é inicializado e injetado com o seguinte trecho de código:

import { S3Client } from '@aws-sdk/client-s3';
import type { Provider } from '@nestjs/common';

export const S3_CLIENT_TOKEN = 'S3Client';

export const s3ClientProvider: Provider = {
  provide: S3_CLIENT_TOKEN,
  useValue: new S3Client({
    endpoint: 'https://localhost.localstack.cloud:4566',
    region: 'ap-northeast-1',
    credentials: {
      accessKeyId: '',
      secretAccessKey: '',
    },
  }),
};

O Controlador trabalha com o seguinte trecho de código:

  @Post()
  async uploadFile(
    @AuthorizedUser() _user: User,
    @UploadedFile() file: Express.Multer.File,
  ): Promise<void> {
    const command = new PutObjectCommand({
      Bucket: 'test',
      Key: file.filename,
      Body: await readFile(file.path),
    });

    const response = await this.s3Client.send(command);
    return;
  }

Alguém pode me ajudar com isso? Agradeço desde já :)

Eu esperava um erro de cesta inexistente em vez de um erro de rede, ou que o upload do arquivo fosse bem-sucedido.

Tentei os passos neste link, mas não obtive os resultados esperados.

docker
Martin Hope
Raphael10
Asked: 2025-04-17 02:54:34 +0800 CST
  • 6

Imagem do docker criada:

(base) raphy@raohy:~/.talos/stunner/apps/nexus$ export MYREPO=raphaelcollab/stunner
(base) raphy@raohy:~/.talos/stunner/apps/nexus$ sudo docker build -t $MYREPO/nexus .
[+] Building 71.6s (29/29) FINISHED                                                                                                                                                          docker:default
 => [internal] load build definition from Dockerfile                                                                                                                                                   0.0s
 => => transferring dockerfile: 2.79kB                                                                                                                                                                 0.0s
 => [internal] load metadata for docker.io/library/debian:bookworm-20240701-slim                                                                                                                       0.0s
 => [internal] load metadata for docker.io/hexpm/elixir:1.17.2-erlang-27.0.1-debian-bookworm-20240701-slim                                                                                             0.0s
 => [internal] load .dockerignore                                                                                                                                                                      0.0s
 => => transferring context: 1.31kB                                                                                                                                                                    0.0s
 => [internal] load build context                                                                                                                                                                      0.1s
 => => transferring context: 158.99kB                                                                                                                                                                  0.0s
 => [stage-1 1/6] FROM docker.io/library/debian:bookworm-20240701-slim                                                                                                                                 0.0s
 => [builder  1/17] FROM docker.io/hexpm/elixir:1.17.2-erlang-27.0.1-debian-bookworm-20240701-slim                                                                                                     0.1s
 => [stage-1 2/6] RUN apt-get update -y &&   apt-get install -y libstdc++6 openssl libncurses5 locales ca-certificates   && apt-get clean && rm -f /var/lib/apt/lists/*_*                              9.4s
 => [builder  2/17] RUN apt-get update -y && apt-get install -y build-essential git pkg-config libssl-dev     && apt-get clean && rm -f /var/lib/apt/lists/*_*                                        28.4s
 => [stage-1 3/6] RUN sed -i '/en_US.UTF-8/s/^# //g' /etc/locale.gen && locale-gen                                                                                                                     1.5s
 => [stage-1 4/6] WORKDIR /app                                                                                                                                                                         0.1s
 => [stage-1 5/6] RUN chown nobody /app                                                                                                                                                                0.2s
 => [builder  3/17] WORKDIR /app                                                                                                                                                                       0.0s
 => [builder  4/17] RUN mix local.hex --force &&     mix local.rebar --force                                                                                                                           2.1s
 => [builder  5/17] COPY mix.exs mix.lock ./                                                                                                                                                           0.1s
 => [builder  6/17] RUN mix deps.get --only prod                                                                                                                                                       2.9s
 => [builder  7/17] RUN mkdir config                                                                                                                                                                   0.2s
 => [builder  8/17] COPY config/config.exs config/prod.exs config/                                                                                                                                     0.1s
 => [builder  9/17] RUN mix deps.compile                                                                                                                                                              27.5s
 => [builder 10/17] COPY priv priv                                                                                                                                                                     0.0s
 => [builder 11/17] COPY lib lib                                                                                                                                                                       0.1s
 => [builder 12/17] COPY assets assets                                                                                                                                                                 0.1s
 => [builder 13/17] RUN mix assets.deploy                                                                                                                                                              6.6s
 => [builder 14/17] RUN mix compile                                                                                                                                                                    0.7s
 => [builder 15/17] COPY config/runtime.exs config/                                                                                                                                                    0.1s
 => [builder 16/17] COPY rel rel                                                                                                                                                                       0.0s
 => [builder 17/17] RUN mix release                                                                                                                                                                    1.4s
 => [stage-1 6/6] COPY --from=builder --chown=nobody:root /app/_build/prod/rel/nexus ./                                                                                                                0.4s
 => exporting to image                                                                                                                                                                                 0.6s
 => => exporting layers                                                                                                                                                                                0.5s
 => => writing image sha256:a0e0d292a593181591b1e354c7c5364717e1043cd2fd21acb8f7d3673ed8372d                                                                                                           0.0s
 => => naming to docker.io/raphaelcollab/stunner/nexus

Desconectado e conectado:

(base) raphy@raohy:~/.talos/stunner/apps/nexus$ docker logout
Removing login credentials for https://index.docker.io/v1/

(base) raphy@raohy:~/.talos/stunner/apps/nexus$ docker login -u raphaelcollab

Tag docker criada: ( erro docker push "negado: acesso solicitado ao recurso foi negado" )

(base) raphy@raohy:~/.talos/stunner/apps/nexus$ docker tag docker.io/raphaelcollab/stunner/nexus:latest docker.io/raphaelcollab/stunner/nexus

Tentou enviar para o repositório do docker:

(base) raphy@raohy:~/.talos/stunner/apps/nexus$ docker push docker.io/raphaelcollab/stunner/nexus
Using default tag: latest
The push refers to repository [docker.io/raphaelcollab/stunner/nexus]
0603097560bf: Preparing 
b5a39b1ed0d7: Preparing 
6ecbac9c9860: Preparing 
49d482126ff0: Preparing 
c5a36b2dc9a4: Preparing 
32148f9f6c5a: Waiting 
denied: requested access to the resource is denied

SO: Ubuntu 24.04

Adendo 1: Saída de docker login -u:

(base) raphy@raohy:~/.talos/stunner/apps/nexus$ docker login -u     
raphaelcollab

i Info → A Personal Access Token (PAT) can be used instead.
         To create a PAT, visit https://app.docker.com/settings
     
     
Password: 
Login Succeeded
(base) raphy@raohy:~/.talos/stunner/apps/nexus$

Adendo 2:

Este é o repositório que criei no docker:

insira a descrição da imagem aqui

insira a descrição da imagem aqui

Adendo 3:

Só posso criar um repositório chamado stunner e não stunner/nexus

insira a descrição da imagem aqui

insira a descrição da imagem aqui

E quando eu envio para docker.io/raphaelcollab/stunner/nexus:latest meu acesso é negado:

(base) raphy@raohy:~/.talos/stunner/apps/nexus$ docker tag 
raphaelcollab/stunner/nexus:latest raphaelcollab/stunner/ 
nexus:latest

(base) raphy@raohy:~/.talos/stunner/apps/nexus$ docker push docker.io/raphaelcollab/stunner/nexus:latest
The push refers to repository [docker.io/raphaelcollab/stunner/nexus]
0603097560bf: Preparing 
b5a39b1ed0d7: Preparing 
6ecbac9c9860: Preparing 
49d482126ff0: Preparing 
c5a36b2dc9a4: Preparing 
32148f9f6c5a: Waiting 
denied: requested access to the resource is denied

Como fazer isso funcionar?

docker
Martin Hope
lalaland
Asked: 2025-04-11 09:07:32 +0800 CST
  • 5

Tenho tentado implantar o Airflow usando o Helm Chart (como um subchart) em um cluster Kubernetes hospedado no meu homelab.

Estou enfrentando alguns problemas ao migrar os DAGs que tenho testado localmente (no Docker-Compose) para o cluster do Kubernetes. Ao usar o Airflow no Kubernetes, é possível usar o CeleryExecutor? Em caso afirmativo, como devo alterar os DockerOperators nos meus DAGs? Ao tentar encontrar uma resposta, me deparei com a seguinte postagem no Stackoverflow sugerindo que usar o DockerOperator não é uma boa opção ao executar no Kubernetes. Isso está correto?

  • Isso significa que não devo usar o CeleryExecutor?

  • Quais são as melhores práticas ao migrar DAGs do Docker-Compose para o Kubernetes? Obrigado.

docker
Martin Hope
xealits
Asked: 2025-04-03 01:55:36 +0800 CST
  • 5

Eu estava tentando descobrir a terminologia do docker sobre ID de imagem, manifestos e resumos, para entender como o docker mantém a integridade de imagens distribuídas. E há um (de muitos) bits inesperados. Acabei de salvar uma imagem existente, descompactá-la e não consigo entender o que há em seu manifest.jsonarquivo:

$ docker save 000908da321f > a.tar
$ tar -xvf ./a.tar -C a
$ ls a
blobs  index.json  manifest.json  oci-layout

Aqui index.jsonestá um manifesto de índice de imagem que aponta para um manifesto específico :

{
  "schemaVersion":2,
  "mediaType":"application/vnd.oci.image.index.v1+json",
  "manifests":
  [
    {
    "mediaType":"application/vnd.oci.image.manifest.v1+json",
    "digest":"sha256:dbe15f62d97cfdb1271a9612e4df8bd5d79b11404dcaed42b82e4cf796338f37",
    "size":1011
    }
  ]
}

E eu posso encontrar dbe15em a/blob/sha256/. Também faz sentido: é um mediaType manifestcom um confige layersdentro. E refazer as hashtags com sha256sumcombina com elas.

Mas manifest.jsonnão segue o esquema de especificação de imagem. É uma lista, e não há schemaVersione mediaType:

[
    {
        "Config": "blobs/sha256/000908da321ffa9418f599f3476fece162f3903f3f2e9fdd508c8b91ee9008ff",
        "Layers": [
            "blobs/sha256/08000c18d16dadf9553d747a58cf44023423a9ab010aab96cf263d2216b8b350",
            ...
        ],
        "LayerSources": { ... },
        "RepoTags": null
    }
]

Parece um pouco com o que sai de docker image inspect <image ID>, mas não realmente. O que é esse arquivo e há uma razão pela qual ele é chamado manifest.jsonquando não segue o esquema para um manifesto de imagem?

docker
Martin Hope
tbhaxor
Asked: 2025-04-02 21:24:09 +0800 CST
  • 7

Estou fornecendo autenticação de poesia usando segredos de compilação, mas ela não está sendo montada no ambiente. Copiei e modifiquei o exemplo da documentação do docker .

export DOCKER_BUILDKIT=1
docker build \
       --secret id=poetry_johndoe_auth_username,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_USERNAME \
       --secret id=poetry_johndoe_auth_password,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_PASSWORD \
       -t example:latest .

No dockerfile estou montando no ambiente

RUN --mount=type=secret,id=poetry_johndoe_auth_username,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_USERNAME \
    --mount=type=secret,id=poetry_johndoe_auth_password,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_PASSWORD \
    pip install -r /tmp/requirements.txt

O CI está retornando após o erro

Dockerfile:17
--------------------
  16 |     
  17 | >>> RUN --mount=type=secret,id=poetry_johndoe_auth_username,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_USERNAME \
  18 | >>>     --mount=type=secret,id=poetry_johndoe_auth_password,env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_PASSWORD \
  19 | >>>     pip install -r /tmp/requirements.txt
  20 |     
--------------------
ERROR: failed to solve: unexpected key 'env' in 'env=POETRY_HTTP_BASIC_JOHNDOE_GITLAB_USERNAME'
docker
Martin Hope
Jelly
Asked: 2025-03-09 19:02:52 +0800 CST
  • 5

Estou tentando conectar ao servidor FTP, implantado a partir da imagem do Docker, usando o cliente Apache:

import org.apache.commons.net.ftp.FTPClient

import java.io.IOException

object FtpClient {

  def main(args: Array[String]): Unit = {

    val ftpClient = new FTPClient()

    try {
      ftpClient.connect("localhost", 21)
      val success = ftpClient.login("one", "1234")

      if (success) {
        println("Success connect")
      }

    } catch {
      case e: IOException => throw new RuntimeException(e)
    } finally {
      // 
    }

  }
}

Servidor FTP executado por:

docker run -d     -p 21:21     -p 21000-21010:21000-21010     -e USERS="one|1234"     -e ADDRESS=ftp.site.domain     delfer/alpine-ftp-server

E recebo o seguinte erro:

      Exception in thread "main" java.lang.RuntimeException: org.apache.commons.net.ftp.FTPConnectionClosedException: Connection closed without indication.
at ru.spb.client.FtpClient$.main(FtpClient.scala:23)
at ru.spb.client.FtpClient.main(FtpClient.scala)
     Caused by: org.apache.commons.net.ftp.FTPConnectionClosedException: Connection closed without indication.
at org.apache.commons.net.ftp.FTP.getReply(FTP.java:568)
at org.apache.commons.net.ftp.FTP.getReply(FTP.java:556)

EDITAR:

Os logs do Docker retornam:

Changing password for one
New password: 
Bad password: too short
Retype password: 
adduser: /ftp/one: No such file or directory
passwd: password for one changed by root
seems like pidfd_open syscall does not work, falling back to 
polling
failed to watch for direct child exit (pidfd_open error): Operation not permitted

Talvez eu tenha esquecido alguma configuração de conexão importante?

docker