全部问题(coding)

我使用 Airflow 的 dag 进行了 docker 化，它基本上会将一个 csv 文件复制到 GCP，然后将其加载到 BigQuery 并进行简单的转换。当我运行 docker-compose run 时，我的 dag 会被执行两次。我无法理解这是由哪部分代码引起的。当我从 UI 手动触发 dag 时，它只运行一次。

我的达格：

from scripts import extract_and_gcpload, load_to_BQ

default_args = {
    'owner': 'shweta',
    'start_date': datetime(2025, 4, 24),
    'retries': 0
}

with DAG(
    'spacex_etl_dag',
    default_args=default_args,
    schedule_interval=None,
    schedule=None,
    catchup=False              #prevents Airflow from running missed periods
) as dag:

    extract_and_upload = PythonOperator(
        task_id="extract_and_upload_to_gcs",
        python_callable=extract_and_gcpload.load_to_gcp_pipeline,
    )

    load_to_bq = PythonOperator(
        task_id="load_to_BQ",
        python_callable=load_to_BQ.load_csv_to_bigquery
    )

    run_dbt = BashOperator(
        task_id="run_dbt",
        bash_command="cd '/opt/airflow/dbt/my_dbt' && dbt run --profiles-dir /opt/airflow/dbt"
    )

    extract_and_upload >> load_to_bq >> run_dbt

我的入口点文件startscript.sh：

#!/bin/bash
set -euo pipefail

log() {
  echo "[$(date +'%Y-%m-%d %H:%M:%S')] $1"
}

# Optional: Run DB init & parse DAGs
log "Initializing Airflow DB..."
airflow db upgrade

log "Parsing DAGs..."
airflow scheduler --num-runs 1

DAG_ID="spacex_etl_dag"
log "Unpausing DAG: $DAG_ID"
airflow dags unpause "$DAG_ID" || true

log "Triggering DAG: $DAG_ID"
airflow dags trigger "$DAG_ID" || true

log "Creating admin user (if not exists)..."
airflow users create \
    --username admin \
    --firstname Admin \
    --lastname User \
    --role Admin \
    --email [email protected] \
    --password admin || true

if [[ "$1" == "webserver" || "$1" == "scheduler" ]]; then
  log "Starting Airflow: $1"
  exec airflow "$@"
else
  log "Executing: $@"
  exec "$@"
fi

我的 docker-compose.yaml 文件：

services:

  airflow-webserver:
    build:
      context: .
      dockerfile: Dockerfile
    container_name: airflow-webserver
    env_file: .env
    restart: always
    environment:
      AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'false'
      AIRFLOW__LOGGING__REMOTE_LOGGING: 'False'
      AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      GOOGLE_APPLICATION_CREDENTIALS: /opt/airflow/secrets/llms-395417-c18ea70a3f54.json
    volumes:
      - ./dags:/opt/airflow/dags
      - ./scripts:/opt/airflow/scripts
      - ./dbt:/opt/airflow/dbt
      - ./secrets:/opt/airflow/secrets
    ports:
      - 8080:8080
    command: webserver

  airflow-scheduler:
    build:
      context: .
      dockerfile: Dockerfile
    container_name: airflow-scheduler
    env_file: .env
    restart: always
    environment:
      AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'false'
      AIRFLOW__LOGGING__REMOTE_LOGGING: 'False'
      AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      GOOGLE_APPLICATION_CREDENTIALS: /opt/airflow/secrets/llms-395417-c18ea70a3f54.json
    volumes:
      - ./dags:/opt/airflow/dags
      - ./dbt:/opt/airflow/dbt
      - ./secrets:/opt/airflow/secrets
      - ./scripts:/opt/airflow/scripts
    depends_on:
      - postgres
    command: scheduler

  postgres:
    image: postgres:13
    environment:
      POSTGRES_USER: airflow
      POSTGRES_PASSWORD: airflow
      POSTGRES_DB: airflow
    volumes:
      - postgres-db-volume:/var/lib/postgresql/data

volumes:
  postgres-db-volume:

我正在尝试在 Kotlin Jetpack 中使用 Firebase 身份验证设置 Google 登录。不知何故，我无法获取 googleIdToken。

我尝试了很多方法，仍然无法解决。我尝试过其他方法，但它们都被弃用了。

Row(
    horizontalArrangement = Arrangement.Center
) {
    val context = LocalContext.current

    // Initialize Credential Manager
    val credentialManager = CredentialManager.create(context)

    // Configure Credential Request
    val request = GetCredentialRequest.Builder()
        .addCredentialOption(
            GetGoogleIdOption.Builder()
                .setServerClientId(context.getString(R.string.default_web_client_id))
                .build()
        )
        .build()

    // Google Sign-In Icon
    Icon(
        painter = painterResource(id = R.drawable.google_search_logo),
        contentDescription = "Google Icon",
        modifier = Modifier
            .size(LocalConfiguration.current.screenWidthDp.dp * 0.075f)
            .clickable {
                CoroutineScope(Dispatchers.IO).launch {
                    try {
                        val response = credentialManager.getCredential(context, request)
                        val googleIdToken = response.googleIdToken // Adjusted to retrieve the token
                        if (googleIdToken != null) {
                            val firebaseCredential = GoogleAuthProvider.getCredential(googleIdToken, null)
                            FirebaseAuth.getInstance().signInWithCredential(firebaseCredential)
                                .addOnCompleteListener { task ->
                                    if (task.isSuccessful) {
                                        Log.d("SignIn", "Sign-in successful!")
                                        // Perform navigation or update UI
                                    } else {
                                        Log.e("SignIn", "Sign-in failed: ${task.exception}")
                                    }
                                }
                        } else {
                            Log.e("SignIn", "Google ID token is null")
                        }
                    } catch (e: Exception) {
                        Log.e("SignIn", "Credential Manager failed", e)
                    }
                }
            },
        tint = Color.Unspecified
    )
}

与 Java 中的 LinkedList 相比，缓存局部性如何影响 ArrayList 的性能？

我经常听说 ArrayList 在缓存局部性方面有优势，但我不太明白为什么。既然 Java 将对象作为引用存储在内存中，那么访问这两个列表中的元素是否都需要跳转到内存中的随机位置？

我从一个简单的例子开始，但我不知道如何在 dplyr mutate 中使用

这有效，我得到了“bcd-234”：

library(tidyverse)
list = c("abc-123", 'bcd-234', 'cde-345', 'bcd-987')
s = 'bcd'
list[str_detect(list, s)][1]

但是当我尝试在 dplyr mutate 中使用它时出现错误：

df <- tibble(
  name = c('aaa', 'bbb', 'ccc', 'ddd', 'abc', 'bcd', 'cde')
)


df |> mutate(
  new_name = if_else(any(str_detect(list, name)), list[str_detect(list, name)][1], name)
  )

我收到一个错误：

! Can't recycle `string` (size 4) to match `pattern` (size 7).

谢谢

在日志中搜索的最简单的交互式脚本

#!/bin/bash
# Starting - sh /tmp/czr.sh
printf "1 - Option 1\n2 - Option 2\n";
read -r select
if [ $select = "1" ] ; then
    echo "Option 1 do nothing" ;
fi
if [ $select = "2" ] ; then
    echo -n "Type what to find: "
    read -r typed
    cat /var/log/httpd/maps_error_log | grep -i "$typed" --color
fi
exit
sh

我想启动一个预定义选项 2 的

echo "2" | sh /tmp/czr.sh

但是这样的命令没有提供输入我想要查找的内容的选项 - 它只是打开整个日志文件。

（好像 echo“2”不仅传递了“2 - 选项 2”的选择，还传递了“Enter”命令）。

是否可以使用预选选项 2 来启动上面的 bash，但仍允许输入我想要查找的内容（保存交互性）？

我尝试在 Blazor Web 应用和服务器中使用 QuickGrid。但代码总是显示“程序集缺失”。我按照文档中的所有步骤操作并应用了它，但仍然显示

命名空间dotnet 添加包 Microsoft.AspNetCore.Components.QuickGrid中缺少 QuickGrid

我已经安装了该 nuget 包：

nuget包

@using Microsoft.AspNetCore.Components.QuickGrid

错误图像

在搜索了这个问题之后，不确定是否真的可以这样做，感谢您的指点。

我的观点是这样创建的：

create or replace view OutputView as
select * from view1
natural full outer join view2;

使用：

update OutputView set colA = 'undefined' where colA is null;

给出：

ERROR:  cannot update view "OutputView"
DETAIL:  Views that do not select from a single table or view are not automatically updatable.
HINT:  To enable updating the view, provide an INSTEAD OF UPDATE trigger or an unconditional ON UPDATE DO INSTEAD rule.

到目前为止，该触发器和规则还没有成功。问题在于输出视图中的某些列具有空值，因为这些列在原始视图中不存在，例如：

view1
-----
colA colB
1    a
2    b

view2
-----
colB colC
100  x
200  y

OutputView
----------
colA  colB  colC
1     a     null
2     b     null
null  100   x
null  200   y

我有两种类型，，，CustomNotCompatibleWithRun和CustomCompatibleWithRun一个run()函数：

#include <iostream>
#include <type_traits>

template <typename T_>
struct CustomNotCompatibleWithRun { using T = T_; };

template <typename T_>
struct CustomCompatibleWithRun {
    using T = T_; 
    
    CustomCompatibleWithRun operator+(const CustomCompatibleWithRun& other)
    {
        CustomCompatibleWithRun res;
        res.a = a + other.a;
        res.b = b + other.b;
        return res;
    }
    
    void print() const
    {
        std::cout << "a, b = " << a << ", " << b << "\n";
    }
    
    T a;
    T b;
};

template <typename T>
T run(T a, T b) { return a+b; }

我想编写一个类型特征，IsTypeCompatibleWithRun用于检查给定类型Type（其唯一约定是具有类型别名Type::T）是否可以在函数中使用run()。即：

int main() {
    using T = float;
    CustomCompatibleWithRun<T> obj1{.a = 1.f, .b = 2.f};
    CustomCompatibleWithRun<T> obj2{.a = 2.f, .b = 3.f};
    obj1.print(); // a, b = 1, 2
    obj2.print(); // a, b = 2, 3
    const auto obj3 = obj1 + obj2;
    obj3.print(); // a, b = 3, 5
    const auto obj4 = run(obj1, obj2);
    obj4.print(); // a, b = 3, 5
    CustomNotCompatibleWithRun<T> obj5{};
    CustomNotCompatibleWithRun<T> obj6{};
    // const auto obj7 = obj5 + obj6; // does not compile
    
    std::cout << "IsTypeCompatibleWithRun<CustomCompatibleWithRun>::value: " << IsTypeCompatibleWithRun<CustomCompatibleWithRun<T>>::value << "\n"; // should print 1
    std::cout << "IsTypeCompatibleWithRun<CustomNotCompatibleWithRun>::value: " << IsTypeCompatibleWithRun<CustomNotCompatibleWithRun<T>>::value << "\n"; // should print 0
}

我尝试了以下三个选项：

template <typename Type, typename = void>
struct IsTypeCompatibleWithRun : std::false_type {};

// Option 1
template <typename Type>
struct IsTypeCompatibleWithRun<Type, decltype(void(run<typename Type::T>(std::declval<typename Type::T>(), std::declval<typename Type::T>())))> : std::true_type {};

// Option 2
template <typename Type>
struct IsTypeCompatibleWithRun<Type, decltype(void(std::declval<Type>() + std::declval<Type>()))> : std::true_type {};

// Option 3
template <typename Type>
struct IsTypeCompatibleWithRun<Type, std::void_t<decltype(run(std::declval<Type>(), std::declval<Type>()))>> : std::true_type {};

只有选项 2 有效——据我理解，这是因为我们强制将+运算符置于类型特征本身内部，而对于选项 1 和 3，只run()检查函数的签名？然而，我对选项 2 并不满意，因为它需要将实际的函数体重复run()到类型特征本身中。在这个简单的例子中，这样做没问题，但在我的应用程序中，函数体run()要复杂得多，不可能在类型特征内部重复它。

然后我尝试将签名更改run()为

template <typename T>
auto run(T a, T b)

但代码根本编译不出来。于是我尝试添加一个尾随返回类型

template <typename T>
auto run(T a, T b) -> decltype(a+b)

现在选项 3 可以工作，但选项 1 不行。这是为什么呢？

无论哪种方式，上述操作都涉及重复a+b尾随返回类型中的部分，因此这对我来说不是一个解决方案。

在 C++ 14 中，有没有一种方法可以在不改变run()而仅依赖run()（并且不重复其函数体）的情况下实现这种类型特征？

readinto()我正在尝试向从派生的自定义类中声明的方法添加参数类型RawIOBase，如下所示：

from io import RawIOBase

class Reader(RawIOBase):
    def readinto(self, buf: bytearray) -> int:
        pass  # actual implementation omitted

但 pyright 抱怨道：

io.py:6:9 - error: Method "readinto" overrides class "_RawIOBase" in an incompatible manner
    Parameter 2 type mismatch: base parameter is type "WriteableBuffer", override parameter is type "bytearray"
      "Buffer" is not assignable to "bytearray" (reportIncompatibleMethodOverride)
1 error, 0 warnings, 0 informations 

我该如何解决这个问题？注意：我知道我可以完全删除类型提示。我想改为为其分配正确的类型。

我正在使用 Python 3.13.3 和 pyright 1.1.400。

下面的 MWE 产生如下图所示的情节：

行标签 、X、Y，Z与条形图右侧重叠，看起来不太美观。我希望它们能向右移动一些，在图表和表格之间留出一点空白。matplotlib.pyplot.table的文档中没有提供任何loc选项来实现这一点。bbox参数或许允许，但似乎需要反复尝试不同的边界框才能实现。

有没有办法让它布置得更清楚？

import matplotlib.pyplot as plt
import seaborn as sns

plt.figure(figsize=(9, 5), dpi=300)
ax = sns.barplot(
    x = range(1, 3),
    y = [15,30],
    legend=False,
)
plt.table(cellText=['A','B','C'], rowLabels=['X','Y','Z'], colWidths=[0.15], loc='right')
plt.show()