主页 / coding / 问题 / 79567817
Accepted
lalaland
Asked: 2025-04-11 09:07:32 +0800 CST

在 Kubernetes 中托管的 Airflow 中运行 docker 容器

  • 772

我一直尝试使用 helm chart（作为子图）在我的家庭实验室中托管的 kubernetes 集群上部署 airflow。

我在将本地测试的 dag（在 docker-compose 上）迁移到 Kubernetes 集群时遇到了一些问题。在 Kubernetes 上使用 Airflow 时，可以使用 CeleryExecutor 吗？如果可以，我应该如何更改 dag 中的 DockerOperators？在寻找答案的过程中，我偶然发现了以下 stackoverflow 帖子，它建议在 Kubernetes 上运行时使用 DockerOperator 不是一个好选择，对吗？

  • 这是否意味着我不应该使用 CeleryExecutor ？

  • 将 dags 从 docker-compose 迁移到 Kubernetes 时，最佳实践是什么？谢谢

docker

1 个回答

  1. Best Answer
    1. 你能在 Kubernetes 上使用 CeleryExecutor 吗？

    是的，可以。它受支持，并且在 Kubernetes 中运行良好。你只需要：

    • Redis/RabbitMQ 代理
    • 结果后端（如 Postgres）
    • 作为单独 pod 运行的 Worker（由 Helm chart 管理）

    但大多数人选择使用 KubernetesExecutor 和 KubernetesPodOperator，因为他们：

    • 将任务扩展为独立的 Pod
    • 更好地适应 Kubernetes
    • 避免管理芹菜队列、并发等的复杂性。
    1. 您是否应该避免在 Kubernetes 中使用 DockerOperator？

    是的，一般来说。

    为什么？

    • DockerOperator 在 pod 内运行 Docker 容器。
    • 这意味着 pod 必须能够运行 Docker-in-Docker，或者主机必须公开 Docker 套接字（例如，/var/run/docker.sock），即：
      • 凌乱的
      • 安全风险
      • 非云原生

    替代方案：改用 KubernetesPodOperator。它：

    • 启动新的 Pod 来运行容器化任务
    • 与 Kubernetes 自然协作
    • 不需要 Docker 套接字访问
    1. 这是否意味着您不应该使用 CeleryExecutor？

    不一定。您可以继续使用，但可以考虑迁移到：

    • KubernetesExecutor（简单、可扩展、每个任务=pod）
    • CeleryKubernetesExecutor（混合，在芹菜上运行大多数任务，在 pod 中运行动态任务）

    这取决于你的工作负载。如果你已经熟悉 Celery，并且需要对并行度、队列或工作器进行特定的控制，那就保留它吧。

    阅读有关KubernetesPodOperator 的更多信息。

    • 0

相关问题