主页 / dba / 问题 / 140852
Accepted
Minu
Asked: 2016-06-10 06:57:51 +0800 CST

SQL Server 2016 R Services可以用来连接Hadoop数据吗？

  • 772

我最近才尝试使用 SQL Server 2016。因此，如果我的假设不正确，请纠正我：从对SQL Server R Services

的 一些研究中，我发现RxHDFSConnect和RxHDFSFileSystem函数有助于将数据从 Hadoop 直接加载到 SQL Server 2016 数据库中。

  • 如果没有与 Hadoop 的Polybase连接，这些功能仍然可以工作吗？
  • 如果是，为什么要使用 Polybase 连接？
sql-server-2016 hadoop

1 个回答

  1. Best Answer

    将数据导入 SQL 数据仓库的最快方法是使用 PolyBase...

    https://azure.microsoft.com/en-gb/documentation/articles/sql-data-warehouse-overview-load/

    我认为 SQL Server 2016 不存在相同的建议，但它仍然有意义。这两个选项略有不同，因为 Polybase 允许您直接访问 Hadoop 或 Azure Blob 存储，并且针对规模进行了优化，例如PolyBase scale-out groups。您编写普通的 T-SQL 来访问这些外部表，这是主要优势之一——您无需进行 Map Reduce 作业！在 SQL Server 2016 中使用 R，您必须使用存储过程sp_execute_external_script来调用这些库、创建连接并将数据导入数据框。然后，您必须将数据框作为输出结果集公开回 SQL Server，然后将其写入表，例如...

    --NB This is pseduo-code / will not execute!

INSERT INTO dbo.someTable ( ... 
EXEC dbo.sp_execute_external_script
    @language = N'R', 
    @script = N'
library(RxHDFSConnect)
OutputDataSet <- some code that allows RxHDFSConnect to get some data ...'
WITH RESULT SETS ( ( col1 INT NOT NULL, col2 FLOAT NOT NULL ... etc ) );

    就步骤数而言，感觉更复杂。我还没有对此进行任何规模测试，但直觉告诉我这不适合大量使用。有趣的是，我只能在 googlecache 中找到有关使用 RevoScaelR 导入数据的页面。

    出于兴趣，您正在寻找什么样的用例？

    • 2

相关问题