在使用以前的 Spark 版本时，我总是在指定列名时感到困惑：我应该使用String还是col object。
pyspark.sql.functions.regexp_replace（str，pattern，replacement）[来源]
我正在运行版本 3.1.2 的集群，并且两者都可以正常工作：
df1.withColumn("modality",F.regexp_replace(F.col("name"),"i","")).display()
df1.withColumn("modality",F.regexp_replace("name","i","")).display()
从文档中我本来以为只允许使用字符串，但实际上两者都可以。我如何在 API 文档中看到是否还允许使用 col 对象（在最新的 API 中这一点非常清楚，但在之前的 API 中却不是这样）。
我有一个包含 python 文件和 Databricks 笔记本的文件夹。目前，我使用 CI/CD 管道，该管道使用 REST 调用将这些文件克隆到 Databricks 工作区。我正考虑用 databricks 资产包替换它，以摆脱我的本机实现，如文档所述：
Bundles 可以将 Databricks 资源（例如作业、管道和笔记本）描述为源文件
假设我在 git 中有一个如下所示的文件夹：
resources
- *.py
databricks.yml
我只想要一个资产包，它将资源文件夹中的所有内容复制到我的 databricks 工作区中的一个文件夹中。
我尝试了以下设置databricks.yml
include:
- resources/*
targets:
dev:
workspace:
host: https://adb***.net
root_path: ~/DATABRICKS_BUNDLES
notebooks_path: /Workspace/test
但是我总是收到错误
错误：无法加载 /agent/_work/1/s/xxxx/notebook.py: :0:0: 预期地图，发现无效
当我从资源中删除时*.py，它会运行但不会复制任何内容。
作为当地人，我有以下清单：
person = [
{
name = "bob"
grants = [
{
principals = "[email protected]"
},
{
group = ["users"]
}
]
},
{
name = "alice"
grants = [
{
principals = "[email protected]"
}
]
}
]
我只想过滤（人）对象，这些对象在 grants 中至少有一个元素具有 attribute group。因此，在示例中，对象 bob 应该保留在其中，而 alice 应该消失。
我尝试过类似的方法但没有成功
{ for b in(flatten([for person in local.persons :
[{ "p_name" = person.name, "grants" = person.grants }] if contains(keys(person.grants), "group")])) : b.p_name =>
{ "p_name" = b.p_name, "grants"=b.grants } }
