主页 / user-16891669

Dhruv's questions

Martin Hope
Dhruv
Asked: 2025-04-29 16:15:24 +0800 CST
  • 5

我知道，与同分区 DataFrame 的连接不被视为宽变换。以下是原文中关于宽变换和窄变换的定义。

窄依赖，其中父 RDD 的每个分区最多被子 RDD 的一个分区使用，宽依赖，其中多个子分区可能依赖于它。

即使 DataFrame 是共分区的，也不一定意味着它们对应的分区位于同一节点上。例如，的分区 P1df1和 的 P1df2可能位于不同的节点上。因此，在连接期间仍然需要进行数据传输（例如，将 的 P1 移动df1到 的 P1 节点df2）。然而，这并不被视为 Shuffle。

我有两个问题？

  1. 那么，shuffle 到底是什么？我知道并非所有网络数据传输都被视为 shuffle。
  2. 哪些类型的数据传输被视为 shuffle？只有涉及宽转换的数据传输才被视为 shuffle 吗？
apache-spark
Martin Hope
Dhruv
Asked: 2025-02-07 23:30:42 +0800 CST
  • 6

我在查看 python 导入过程时发现了有关冻结模块的信息。搜索后我唯一明白的是，冻结模块是无需在系统上安装 python 即可直接执行的文件。

我想知道一件事。比如sys.modules，sys.builtin_module_namespython 中是否存在在运行 python 时自动加载的冻结模块？如果是，我们是否也可以以某种方式访问​​它们的列表？我的主要目标是了解我应该避免给文件赋予的任何名称。

python
Martin Hope
Dhruv
Asked: 2025-02-07 18:53:57 +0800 CST
  • 6

我正在阅读Python 文档以了解如何解析导入，然后发现了这一点

... 解释器首先搜索具有该名称的内置模块。这些模块名称列在 sys.builtin_module_names 中。如果未找到，它会在变量 sys.path 给出的目录列表中搜索名为 spam.py 的文件。sys.path 从以下位置初始化：

  • 包含输入脚本的目录（未指定文件时为当前目录）。

  • PYTHONPATH（目录名称列表，语法与 shell 变量 PATH 相同）。...

因此 python 首先查看sys.builtin_module_names然后查看sys.path。因此我在我的操作系统 (Mac) 上检查了 sys.builtin_module_names。

>>> sys.builtin_module_names
('_abc', '_ast', '_codecs', '_collections', '_functools', '_imp', '_io', '_locale', '_operator', '_signal', '_sre', '_stat', '_string', '_suggestions', '_symtable', '_sysconfig', '_thread', '_tokenize', '_tracemalloc', '_typing', '_warnings', '_weakref', 'atexit', 'builtins', 'errno', 'faulthandler', 'gc', 'itertools', 'marshal', 'posix', 'pwd', 'sys', 'time')
>>> 'os' in sys.builtin_module_names
False

由于os不在中sys.builtin_module_names，因此与我的 python 文件位于同一目录中的文件os.py应该优先于ospython 模块。

我使用以下简单代码os.py在目录中创建了一个名为的文件：test

#os.py
def fun():
    print("Custom os called!")

并创建另一个名为test.pyimports 的文件os

#test.py
import sys

print("os in sys.builtin_module_names -", 'os' in sys.builtin_module_names)
print("First directory on sys -", sys.path[0])

import os

print("source file of the imported os -", os.__file__)
print(os.fun())

这是输出test.py

> python3 test.py 
os in sys.builtin_module_names - False
First directory on sys - /Users/dhruv/Documents/test
source file of the imported os - /opt/homebrew/Cellar/[email protected]/3.13.1/Frameworks/Python.framework/Versions/3.13/lib/python3.13/os.py
Traceback (most recent call last):
  File "/Users/dhruv/Documents/test/test.py", line 9, in <module>
    print(os.fun())
          ^^^^^^
AttributeError: module 'os' has no attribute 'fun'

为什么调用python os模块？

python-3.x
Martin Hope
Dhruv
Asked: 2024-02-29 17:58:26 +0800 CST
  • 5

我没有任何特定的目的去了解这些奇怪名字的含义，我只是对此感兴趣。

这是一个简单的代码。

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

df1 = spark.createDataFrame([['a', 'b'], ['c', 'd']], 'c1: string, c2: string')
df2 = spark.createDataFrame([['a', 'p'], ['c', 'q']], 'c1: string, c3: string')
df1.join(df2, df1.c1 == df2.c1).explain()

它输出

== Physical Plan ==
AdaptiveSparkPlan isFinalPlan=false
+- SortMergeJoin [c1#0], [c1#4], Inner
   :- Sort [c1#0 ASC NULLS FIRST], false, 0
   :  +- Exchange hashpartitioning(c1#0, 200), ENSURE_REQUIREMENTS, [plan_id=191]
   :     +- Filter isnotnull(c1#0)
   :        +- Scan ExistingRDD[c1#0,c2#1]
   +- Sort [c1#4 ASC NULLS FIRST], false, 0
      +- Exchange hashpartitioning(c1#4, 200), ENSURE_REQUIREMENTS, [plan_id=192]
         +- Filter isnotnull(c1#4)
            +- Scan ExistingRDD[c1#4,c3#5]

列名称后跟诸如c1#0和 之类的数字c2#1。这些数字是多少？我能理解的一件事是它们有助于区分不同数据帧中具有相同名称的列，例如c1#0和c1#4。

任何帮助表示赞赏。

apache-spark