Início / user-16891669

Dhruv's questions

Martin Hope
Dhruv
Asked: 2025-04-29 16:15:24 +0800 CST
  • 5

Sei que junções com DataFrames coparticionados não são consideradas transformações amplas. Aqui estão as definições de transformações amplas e estreitas do artigo original .

dependências estreitas, onde cada partição do RDD pai é usada por no máximo uma partição do RDD filho, dependências amplas, onde várias partições filho podem depender dela.

Mesmo que os DataFrames sejam coparticionados, isso não significa necessariamente que suas partições correspondentes estejam localizadas no mesmo nó. Por exemplo, a partição P1 de df1e P1 de df2podem residir em nós diferentes. Portanto, durante a junção, a transferência de dados (por exemplo, mover P1 de df1para o nó de P1 de df2) ainda é necessária. No entanto, isso não é considerado um embaralhamento.

Tenho duas perguntas?

  1. Então, o que exatamente é um embaralhamento? Entendo que nem todas as transferências de dados de rede são consideradas embaralhadas.
  2. Que tipos de transferências de dados são consideradas embaralhadas? São apenas aquelas envolvidas em transformações amplas?
apache-spark
Martin Hope
Dhruv
Asked: 2025-02-07 23:30:42 +0800 CST
  • 6

Eu estava passando pelo processo de importação do python e descobri sobre módulos congelados. A única coisa que entendi depois de pesquisar é que módulos congelados são arquivos que podem ser executados diretamente sem o python instalado no sistema.

Eu queria saber uma coisa. Tipo sys.modules, e sys.builtin_module_nameshá algum módulo congelado também presente no python que é carregado automaticamente ao executar o python? Se sim, podemos também acessar uma lista deles de alguma forma? Meu principal objetivo é saber quaisquer nomes que eu deva evitar dar aos arquivos.

python
Martin Hope
Dhruv
Asked: 2025-02-07 18:53:57 +0800 CST
  • 6

Eu estava lendo a documentação do Python sobre como a importação é resolvida e encontrei isso

... o interpretador primeiro procura por um módulo interno com esse nome. Esses nomes de módulo são listados em sys.builtin_module_names. Se não for encontrado, ele procura por um arquivo chamado spam.py em uma lista de diretórios dada pela variável sys.path. sys.path é inicializado a partir desses locais:

  • O diretório que contém o script de entrada (ou o diretório atual quando nenhum arquivo é especificado).

  • PYTHONPATH (uma lista de nomes de diretórios, com a mesma sintaxe da variável de shell PATH). ...

Então o python primeiro olha para dentro sys.builtin_module_namese depois para dentro sys.path. Então eu verifiquei sys.builtin_module_names no meu SO (Mac).

>>> sys.builtin_module_names
('_abc', '_ast', '_codecs', '_collections', '_functools', '_imp', '_io', '_locale', '_operator', '_signal', '_sre', '_stat', '_string', '_suggestions', '_symtable', '_sysconfig', '_thread', '_tokenize', '_tracemalloc', '_typing', '_warnings', '_weakref', 'atexit', 'builtins', 'errno', 'faulthandler', 'gc', 'itertools', 'marshal', 'posix', 'pwd', 'sys', 'time')
>>> 'os' in sys.builtin_module_names
False

Como osnão está em sys.builtin_module_names, um arquivo nomeado os.pyno mesmo diretório que meu arquivo python deve ter precedência sobre o osmódulo python.

Criei um arquivo chamado os.pyem um testdiretório com o seguinte código simples:

#os.py
def fun():
    print("Custom os called!")

E criei outro arquivo chamado test.pyque importaos

#test.py
import sys

print("os in sys.builtin_module_names -", 'os' in sys.builtin_module_names)
print("First directory on sys -", sys.path[0])

import os

print("source file of the imported os -", os.__file__)
print(os.fun())

Esta é a saída detest.py

> python3 test.py 
os in sys.builtin_module_names - False
First directory on sys - /Users/dhruv/Documents/test
source file of the imported os - /opt/homebrew/Cellar/[email protected]/3.13.1/Frameworks/Python.framework/Versions/3.13/lib/python3.13/os.py
Traceback (most recent call last):
  File "/Users/dhruv/Documents/test/test.py", line 9, in <module>
    print(os.fun())
          ^^^^^^
AttributeError: module 'os' has no attribute 'fun'

Por que o módulo python os é chamado?

python-3.x
Martin Hope
Dhruv
Asked: 2024-02-29 17:58:26 +0800 CST
  • 5

Não tenho nenhum propósito específico de entender o significado dos nomes estranhos, apenas estou interessado nisso.

Aqui está um código simples para o mesmo.

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

df1 = spark.createDataFrame([['a', 'b'], ['c', 'd']], 'c1: string, c2: string')
df2 = spark.createDataFrame([['a', 'p'], ['c', 'q']], 'c1: string, c3: string')
df1.join(df2, df1.c1 == df2.c1).explain()

Ele produz

== Physical Plan ==
AdaptiveSparkPlan isFinalPlan=false
+- SortMergeJoin [c1#0], [c1#4], Inner
   :- Sort [c1#0 ASC NULLS FIRST], false, 0
   :  +- Exchange hashpartitioning(c1#0, 200), ENSURE_REQUIREMENTS, [plan_id=191]
   :     +- Filter isnotnull(c1#0)
   :        +- Scan ExistingRDD[c1#0,c2#1]
   +- Sort [c1#4 ASC NULLS FIRST], false, 0
      +- Exchange hashpartitioning(c1#4, 200), ENSURE_REQUIREMENTS, [plan_id=192]
         +- Filter isnotnull(c1#4)
            +- Scan ExistingRDD[c1#4,c3#5]

Os nomes das colunas são seguidos por números como c1#0e c2#1. Quais são esses números? Uma coisa que posso entender é que eles ajudam a diferenciar as colunas com o mesmo nome em diferentes dataframes como c1#0e c1#4.

Qualquer ajuda é apreciada.

apache-spark