主页 / user-17580381

DarkKnight's questions

Martin Hope
Adon Bilivit
Asked: 2025-04-23 20:58:07 +0800 CST
  • 6

我有一个很大的 Excel 电子表格。我只对某些列感兴趣。此外，我只对特定列符合特定条件的行感兴趣。

以下作品：

import pandas as pd
import warnings

# this suppresses the openpyxl warning that we're seeing
warnings.filterwarnings("ignore", category=UserWarning, module="openpyxl")

# These are the columns we're interested in
COLUMNS = [
    "A",
    "B",
    "C"
]

# the source file
XL = "source.xlsx"
# sheet name in the source file
SHEET = "Sheet1"
# the output file
OUTPUT = "target.xlsx"
# the sheet name to be used in the output file
OUTSHEET = "Sheet1"

# This loads the entire spreadsheet into a pandas dataframe
df = pd.read_excel(XL, sheet_name=SHEET, usecols=COLUMNS).dropna()
# this replaces the original dataframe with rows where A contains "FOO"
df = df[df["A"].str.contains(r"\bFOO\b", regex=True)]
# now isolate those rows where the B contains "BAR"
df = df[df["B"].str.contains(r"\bBAR\b", regex=True)]
# output to the new spreadsheet
df.to_excel(OUTPUT, sheet_name=OUTSHEET, index=False)

这确实有效。然而，我不禁想到，也许有更好的方法来管理选择标准，尤其是在它们变得更加复杂的情况下。

还是“循序渐进”就好？

python
Martin Hope
SIGHUP
Asked: 2024-10-09 23:38:56 +0800 CST
  • 5

在superfastpython.com上看到的示例中，用于支持一维 numpy 数组的共享内存段的大小计算为元素数量乘以数据类型大小。

我们知道，传递给 SharedMemory 构造函数的 size 参数是最小值。因此，在许多情况下，实际大小可能大于指定的大小 - 这很正常。

但是如果指定的大小是底层内存页面大小的精确倍数怎么办？

考虑一下：

import numpy as np
from multiprocessing.shared_memory import SharedMemory

n = 2048
s = n * np.dtype(np.double).itemsize
shm = SharedMemory(create=True, size=s)
try:
    assert s == shm.size
    a = np.ndarray((n,), dtype=np.double, buffer=shm.buf)
    a.fill(0.0)
finally:
    shm.close()
    shm.unlink()

在这种情况下（macOS 15.0.1 上的 Python 13.3.0），s的值为 16,384，恰好是底层页面大小的精确倍数，因此 shm.size 等于s

也许我对 numpy 了解不够，但我会想象 ndarray 需要更多空间用于内部/管理结构。

有人可以解释一下为什么这样做有效，以及为什么显然不需要在共享内存段中留出额外的空间吗？

python