从 jonas幻灯片中,我知道“下推连接”功能可以使连接速度提高 70 倍。最重要的因素是消除 API 节点和数据节点之间的往返。所有数据都在同一个节点中,没有必要进行节点间通信。但是,如果某个表被分区到一组数据节点,AQL 如何消除数据传输呢?分片场景下推可以用吗?
从 jonas幻灯片中,我知道“下推连接”功能可以使连接速度提高 70 倍。最重要的因素是消除 API 节点和数据节点之间的往返。所有数据都在同一个节点中,没有必要进行节点间通信。但是,如果某个表被分区到一组数据节点,AQL 如何消除数据传输呢?分片场景下推可以用吗?
下推基本上意味着作业的某些部分被“下推”到数据节点。所以性能提升是因为:
数据节点间延迟要低得多。所以数据传送对性能没有这样的影响。并且所有表(除了一些绝对极端情况)都在数据节点之间进行分片。对于任何数据获取,数据节点必须找到哪个节点持有所需行的活动部分。
这种延迟仍然不容忽视。人们会发现,为了获得最佳性能,建议使用Dolphin Interconnect。但: