Patterson Asked: 2025-02-24 21:34:44 +0800 CST2025-02-24 21:34:44 +0800 CST 2025-02-24 21:34:44 +0800 CST Databricks Workflows 与本地资源的连接 772 我一直在审查 Databricks 工作流。我读过很多关于 Databricks 工作流的博客，但我找不到任何将工作流与 Azure 数据工厂进行比较的评论。这两项服务可能完全不同，但我认为工作流可以完成 ADF 的工作。 例如，有人能告诉我工作流是否具有与 ADF 相同数量的连接器吗？是否可以连接到本地 SQL Server，类似于使用 ADF 的自托管运行时代理连接到本地 SQL Server/数据库的方式？ 1 个回答 Voted Best Answer Dileep Raj Narayan Thumula 2025-02-25T17:47:32+08:002025-02-25T17:47:32+08:00 Azure 数据工厂 (ADF) 和 Databricks 工作流有不同的用途并具有不同的功能。 Azure 数据工厂： Azure 数据工厂主要用于数据集成、迁移和编排，提供了一个连接、提取和准备来自多个来源的数据的平台。 Databricks Workflows： Databricks Workflows 提供完全托管的编排解决方案，可无缝集成到 Databricks 平台中。它可通过多个界面访问，包括 Workflows UI、强大的 API 和 Databricks CLI。这使用户能够设计、执行、监控和排除数据管道故障，而无需管理基础设施。借助内置的监控功能（例如工作流运行的表格和矩阵视图），它可以快速识别和解决问题。 Databricks 工作流非常适合管理数据管道的转换和处理部分，尤其是当所有繁重的工作都发生在 Databricks 内部时。如果您的数据已存储在 Azure Data Lake (ADLS) 中，则您可以轻松读取、处理和写回数据，而无需外部编排工具。 您还可以使用工作流从云源、Web API 或 Databricks 支持的其他平台高效地提取数据，使其成为处理数据管道的灵活选项。 正如你提到的 是否能够连接到本地 SQL Server，类似于使用 ADF 的自托管运行时代理连接到本地 SQL Server/数据库的方式？ 如果需要从需要自托管集成运行时的本地源或 Databricks JDBC 连接器无法有效处理的数据源中提取数据，最好使用专用的 ETL 工具（如 Azure Data Factory）来完成该作业。 参考：业务流程编排 - Databricks Workflow VS Azure 数据工厂 Databricks Workflow：Lakehouse 的完全托管业务流程编排服务
Azure 数据工厂 (ADF) 和 Databricks 工作流有不同的用途并具有不同的功能。
Azure 数据工厂： Azure 数据工厂主要用于数据集成、迁移和编排，提供了一个连接、提取和准备来自多个来源的数据的平台。
Databricks Workflows： Databricks Workflows 提供完全托管的编排解决方案，可无缝集成到 Databricks 平台中。它可通过多个界面访问，包括 Workflows UI、强大的 API 和 Databricks CLI。这使用户能够设计、执行、监控和排除数据管道故障，而无需管理基础设施。借助内置的监控功能（例如工作流运行的表格和矩阵视图），它可以快速识别和解决问题。
Databricks 工作流非常适合管理数据管道的转换和处理部分，尤其是当所有繁重的工作都发生在 Databricks 内部时。如果您的数据已存储在 Azure Data Lake (ADLS) 中，则您可以轻松读取、处理和写回数据，而无需外部编排工具。
您还可以使用工作流从云源、Web API 或 Databricks 支持的其他平台高效地提取数据，使其成为处理数据管道的灵活选项。
正如你提到的
如果需要从需要自托管集成运行时的本地源或 Databricks JDBC 连接器无法有效处理的数据源中提取数据，最好使用专用的 ETL 工具（如 Azure Data Factory）来完成该作业。
参考：业务流程编排 - Databricks Workflow VS Azure 数据工厂 Databricks Workflow：Lakehouse 的完全托管业务流程编排服务