Início / coding / Perguntas / 79567817
Accepted
lalaland
Asked: 2025-04-11 09:07:32 +0800 CST

Execute contêineres docker no Airflow hospedados no Kubernetes

  • 772

Tenho tentado implantar o Airflow usando o Helm Chart (como um subchart) em um cluster Kubernetes hospedado no meu homelab.

Estou enfrentando alguns problemas ao migrar os DAGs que tenho testado localmente (no Docker-Compose) para o cluster do Kubernetes. Ao usar o Airflow no Kubernetes, é possível usar o CeleryExecutor? Em caso afirmativo, como devo alterar os DockerOperators nos meus DAGs? Ao tentar encontrar uma resposta, me deparei com a seguinte postagem no Stackoverflow sugerindo que usar o DockerOperator não é uma boa opção ao executar no Kubernetes. Isso está correto?

  • Isso significa que não devo usar o CeleryExecutor?

  • Quais são as melhores práticas ao migrar DAGs do Docker-Compose para o Kubernetes? Obrigado.

docker

1 respostas

  1. Best Answer
    1. É possível usar o CeleryExecutor no Kubernetes?

    Sim, você pode. É compatível e funciona perfeitamente no K8S. Você só precisa de:

    • Um corretor Redis/RabbitMQ
    • Um backend de resultados (como Postgres)
    • Trabalhadores operando como grupos separados (conforme gerenciado pelo gráfico Helm)

    Mas a maioria das pessoas opta pelo KubernetesExecutor com o KubernetesPodOperator porque:

    • Escale tarefas como pods isolados
    • Adapte melhor o Kubernetes
    • Evite a complexidade de gerenciar filas de aipo, simultaneidade, etc.
    1. Você deve evitar o DockerOperator no Kubernetes?

    Sim, geralmente.

    Por que?

    • O DockerOperator executa contêineres Docker dentro de um pod.
    • Isso significa que o pod deve ser capaz de executar o Docker-in-Docker, ou o host deve expor o soquete do Docker (por exemplo, /var/run/docker.sock), que é:
      • Bagunçado
      • Um risco de segurança
      • Não nativo da nuvem

    Alternativas: Use o KubernetesPodOperator. Ele:

    • Cria novos pods para executar tarefas em contêineres
    • Funciona naturalmente com o Kubernetes
    • Não requer acesso ao soquete Docker
    1. Isso significa que você não deve usar o CeleryExecutor?

    Não necessariamente. Você pode continuar usando, mas pode considerar migrar para:

    • KubernetesExecutor (simples, escalável, cada tarefa = pod)
    • CeleryKubernetesExecutor (híbrido, executa a maioria das tarefas no Celery, as dinâmicas em pods)

    Depende das suas cargas de trabalho. Se você já se sente confortável com o Celery e precisa de controle específico sobre paralelismo, filas ou workers, mantenha-o.

    Saiba mais sobre KubernetesPodOperator .

    • 0

relate perguntas