主页 / user-4372237

Mikhail Genkin's questions

Martin Hope
Mikhail Genkin
Asked: 2024-08-21 01:27:36 +0800 CST
  • 6

我需要测量我的模型对二元分类（0 和 1 输出）的预测准确度。我正在用许多不同的阈值测试我的模型，我的测试数据集非常大（5000 万到 1 亿个示例），所以我需要一种快速的方法来计算模型的准确度。我正在优化我的代码，并注意到计算准确度的标准函数比直接计算慢约 50 倍。最小示例：

from sklearn.metrics import accuracy_score
import numpy as np
import timeit
a=np.random.randint(0,2,1000000)
b=np.random.randint(0,2,1000000)
%timeit accuracy_score(a,b)
# 46.7 ms ± 390 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

%timeit (a==b).sum()/a.size
# 713 µs ± 7.22 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)

我是不是漏掉了什么？看起来 accuracy_score 是衡量准确度的标准方法。为什么它这么慢？底层没有 C 优化？

python
Martin Hope
Mikhail Genkin
Asked: 2024-06-04 08:19:03 +0800 CST
  • 6

在我的 pyspark 作业中，我有一个巨大的数据框架，其中有超过 6,000 列，格式如下：

id_        a1   a2     a3   a4     a5   .... a6250
u1827s    True False  True False False .... False
...

其中大多数列a1,a2,a3,...,a6250 都是二进制类型。我需要按所有这些列对这些数据进行分组，并聚合每个组合的不同 id 的数量，例如

df = df.groupby(list_of_cols).agg(F.countDistinct("id_"))

在哪里list_of_cols = [a1,a2,...,a6250]。运行此 pyspark 作业时，出现java.lang.StackOverflowError错误。我知道我可以增加堆栈大小（按照https://rangereddy.github.io/SparkStackOverflow/），但是，我更喜欢一个更优雅的解决方案，也可以实现更方便的输出。

在分组之前我有两个想法：

  1. 将 a1,a2,...,a6250 列的组合编码为单个二进制列，例如具有 6250 位的二进制数，其中位置上的位k将为该列编码 True 或 False 值a_k，例如在上面的示例中的值将是10100...0（a1 为真，a2 为假，a3 为真，a4 为假，a5 为假，...a6250 为假）。

  2. 将这些值收集到一个二进制数组中，例如有 1 列，如数组（True，False，True，False，False，....，False）。

哪种方法更好 - 增加堆栈大小并处理 6000 多个列、使用单个二进制列还是二进制值数组？

pyspark