主页 / coding / 问题 / 79369312
Accepted
user3579222
Asked: 2025-01-20 00:30:59 +0800 CST

阅读以前的 Spark API

  • 772

在使用以前的 Spark 版本时，我总是在指定列名时感到困惑：我应该使用String还是col object。

3.1.2 版中的 regexp_replace示例：

pyspark.sql.functions.regexp_replace（str，pattern，replacement）[来源]

我正在运行版本 3.1.2 的集群，并且两者都可以正常工作：

df1.withColumn("modality",F.regexp_replace(F.col("name"),"i","")).display()
df1.withColumn("modality",F.regexp_replace("name","i","")).display()

从文档中我本来以为只允许使用字符串，但实际上两者都可以。我如何在 API 文档中看到是否还允许使用 col 对象（在最新的 API 中这一点非常清楚，但在之前的 API 中却不是这样）。

apache-spark

1 个回答

  1. Best Answer

    当您单击3.1.2 文档的源按钮时，您会发现以下源代码regexp_replace：

    def regexp_replace(str, pattern, replacement):
    r"""Replace all substrings of the specified string value that match regexp with rep.

    .. versionadded:: 1.5.0

    Examples
    --------
    >>> df = spark.createDataFrame([('100-200',)], ['str'])
    >>> df.select(regexp_replace('str', r'(\d+)', '--').alias('d')).collect()
    [Row(d='-----')]
    """
    sc = SparkContext._active_spark_context
    jc = sc._jvm.functions.regexp_replace(_to_java_column(str), pattern, replacement)
    return Column(jc)

    您会看到str参数不是直接使用的，而是包装在_to_java_column函数中。源代码_to_java_column清楚地表明它适用于列名（字符串）和列对象：

    def _to_java_column(col: "ColumnOrName") -> "JavaObject":
    if isinstance(col, Column):
        jcol = col._jc
    elif isinstance(col, str):
        jcol = _create_column_from_name(col)
    else:
        raise PySparkTypeError(
            errorClass="NOT_COLUMN_OR_STR",
            messageParameters={"arg_name": "col", "arg_type": type(col).__name__},
        )
    return jcol

    当浏览的源代码页面时functions，您会看到_to_java_column无处不在，这意味着对于大多数函数（甚至是所有函数，但我没有检查），列对象的两个列名都可以使用。

    • 2

相关问题