主页 / coding / 问题

问题[pandas](coding)

Martin Hope
Bera
Asked: 2024-11-22 02:26:59 +0800 CST
  • 6

我有 df:

import pandas as pd
data = {"id_1":["a","b","c"],
        "id_2":["q","w","e"],
        "val_1":[1,2,3],
        "val_2":[2,0,0]}
df = pd.DataFrame(data)

#   id_1 id_2  val_1  val_2
# 0    a    q      1      2
# 1    b    w      2      0
# 2    c    e      3      0

val_1我想比较和val_2列的值。如果val_1大于val_2（它们永远不会相同），我想用的值填充新列id_1，否则用的值填充新列id_2。要创建：

  id_1 id_2  val_1  val_2 max_id
0    a    q      1      2      q
1    b    w      2      0      b
2    c    e      3      0      c

max_id第一行是 q 因为val_2>val_1......

我可以通过以下方式获得最大值： df[["val_1", "val_2"]].max(axis=1)

并从中获取 ID 的列名：

index_map = {0:"id_1", 1:"id_2"}
df.apply(lambda x: [x.val_1, x.val_2].index(max([x.val_1, x.val_2])), axis=1).map(index_map)
# 0    id_2
# 1    id_1
# 2    id_1

但后来我的想法就消失了。

pandas
Martin Hope
Sun Jar
Asked: 2024-11-19 20:19:41 +0800 CST
  • 6

我有一些股票 5 分钟数据，例如：

                  Date   Open   High    Low  Close    Volume
0  2024-11-19 09:35:00  11.75  11.79  11.55  11.78  32673600
1  2024-11-19 09:40:00  11.78  11.81  11.73  11.79  14802700
2  2024-11-19 09:45:00  11.79  11.84  11.79  11.82  13837400
3  2024-11-19 09:50:00  11.81  11.83  11.76  11.82   8534200
4  2024-11-19 09:55:00  11.82  11.87  11.80  11.87   8540500
5  2024-11-19 10:00:00  11.87  11.96  11.87  11.90  20659800
6  2024-11-19 10:05:00  11.89  11.90  11.82  11.82  11691000
7  2024-11-19 10:10:00  11.82  11.82  11.73  11.74   8762900
8  2024-11-19 10:15:00  11.74  11.74  11.71  11.73   6870500
9  2024-11-19 10:20:00  11.73  11.73  11.68  11.70   6244800
10 2024-11-19 10:25:00  11.70  11.70  11.66  11.69   5083000
11 2024-11-19 10:30:00  11.70  11.73  11.69  11.71   5342400
12 2024-11-19 10:35:00  11.72  11.74  11.71  11.73   3311800
13 2024-11-19 10:40:00  11.73  11.74  11.71  11.72   2331900
14 2024-11-19 10:45:00  11.72  11.72  11.70  11.72   3024100
15 2024-11-19 10:50:00  11.71  11.74  11.70  11.71   2774200
16 2024-11-19 10:55:00  11.70  11.72  11.70  11.71   1313000
17 2024-11-19 11:00:00  11.72  11.75  11.71  11.74   1737400
18 2024-11-19 11:05:00  11.75  11.75  11.73  11.75   1690600
19 2024-11-19 11:10:00  11.74  11.76  11.73  11.76   1751800
20 2024-11-19 11:15:00  11.76  11.76  11.72  11.73   2248700
21 2024-11-19 11:20:00  11.73  11.73  11.70  11.71   2464200
22 2024-11-19 11:25:00  11.71  11.71  11.69  11.70   1033600
23 2024-11-19 11:30:00  11.69  11.70  11.67  11.69   2063600

我使用 df.resample 将它们转换为 30m 数据，代码是：

df = df.set_index('Date')
df = df.resample('30T').agg({'Open':'first', 'High':'max', 'Low':'min','Close':'last',
                                 'Volume':'sum'}, closed='right', label = 'right').dropna()

但我得到了这样的奇怪的结果：

                      Open   High    Low  Close    Volume
Date                                                     
2024-11-19 09:30:00  11.75  11.87  11.55  11.87  78388400
2024-11-19 10:00:00  11.87  11.96  11.66  11.69  59312000
2024-11-19 10:30:00  11.70  11.74  11.69  11.71  18097400
2024-11-19 11:00:00  11.72  11.76  11.69  11.70  10926300
2024-11-19 11:30:00  11.69  11.70  11.67  11.69   2063600

以下是从我的交易软件导出的正确的 30 分钟数据：

Time    Open    High    Low Close   Volume
 2024/11/19-10:00   11.75   11.96   11.55   11.9    99048200
 2024/11/19-10:30   11.89   11.9    11.66   11.71   43994600
 2024/11/19-11:00   11.72   11.75   11.7    11.74   14492400
 2024/11/19-11:30   11.75   11.76   11.67   11.69   11252500

9:30 的数据不相关，主要是因为后面的数据不正确。但我没有找到 df.sample 的更多参数。我该如何正确聚合数据？

pandas
Martin Hope
user1700890
Asked: 2024-11-13 05:46:13 +0800 CST
  • 6

我有一个数据框。我想按 col1 分组，按 col3 排序，并检测 col2 中行与行之间的变化。

以下是我的示例：

import pandas as pd
import datetime

my_df = pd.DataFrame({'col1': ['a', 'a', 'a', 'b', 'b', 'b'],
                      'col2': [2, 2, 3, 5, 5, 5],
                      'col3': [datetime.date(2023, 2, 1),
                               datetime.date(2023, 3, 1),
                               datetime.date(2023, 4, 1),
                               datetime.date(2023, 2, 1),
                               datetime.date(2023, 3, 1),
                               datetime.date(2023, 4, 1)]})

my_df.sort_values(by=['col3'], inplace=True)
my_df_temp = my_df.groupby('col1')['col2'].apply(
    lambda x: x != x.shift(1)
).reset_index(name='col2_change')

我的数据框如下所示：

  col1  col2        col3
0    a     2  2023-02-01
1    a     2  2023-03-01
2    a     3  2023-04-01
3    b     5  2023-02-01
4    b     5  2023-03-01
5    b     5  2023-04-01

结果如下：

  col1  level_1  col2_change
0    a        0         True
1    a        1        False
2    a        2         True
3    b        3         True
4    b        4        False
5    b        5        False

这显然是错误的。我做错了什么？

pandas
Martin Hope
Hakim
Asked: 2024-11-13 03:00:49 +0800 CST
  • 6

我有如下的时间序列：

    mode     timestamp               
0    A    2021-06-29 00:00:00-04:00
1    A    2021-06-29 01:00:00-04:00
2    A    2021-06-29 02:00:00-04:00
3    A    2021-06-29 03:00:00-04:00
4    B    2021-06-29 04:00:00-04:00
5    B    2021-06-29 05:00:00-04:00
6    B    2021-06-29 06:00:00-04:00
7    B    2021-06-29 07:00:00-04:00
8    B    2021-06-29 08:00:00-04:00
9    B    2021-06-29 09:00:00-04:00
10   B    2021-06-29 10:00:00-04:00
11   A    2021-06-29 11:00:00-04:00
12   A    2021-06-29 12:00:00-04:00
13   A    2021-06-29 13:00:00-04:00
14   A    2021-06-29 14:00:00-04:00
15   A    2021-06-29 15:00:00-04:00
16   A    2021-06-29 16:00:00-04:00
17   A    2021-06-29 17:00:00-04:00
18   A    2021-06-29 18:00:00-04:00
19   A    2021-06-29 19:00:00-04:00
20   C    2021-06-29 20:00:00-04:00
21   C    2021-06-29 21:00:00-04:00
22   C    2021-06-29 22:00:00-04:00
23   C    2021-06-29 23:00:00-04:00
24   C    2021-06-29 00:00:00-04:00
25   C    2021-06-29 01:00:00-04:00
26   C    2021-06-29 02:00:00-04:00
27   C    2021-06-29 03:00:00-04:00

我正在尝试生成一个带有模式间隔的字典列表，其中包含开始和结束时间。像这样

[
{"mode": "A", start_time: "2021-06-29 00:00:00-04:00", end_time:"2021-06-29 03:00:00-04:00" },
{"mode": "B", start_time: "2021-06-29 04:00:00-04:00", end_time:"2021-06-29 10:00:00-04:00" },
{"mode": "A", start_time: "2021-06-29 11:00:00-04:00", end_time:"2021-06-29 19:00:00-04:00" },
{"mode": "C", start_time: "2021-06-29 20:00:00-04:00", end_time:"2021-06-29 03:00:00-04:00" },
]

时间序列很长，循环它们似乎很慢。有什么建议可以实现这一点吗？

pandas
Martin Hope
bearwinterfirth
Asked: 2024-11-05 22:44:27 +0800 CST
  • 5

我有一个 pandas df，其中每列都有一些数值，后面跟着一些 NaN。列之间的值和 NaN 数量不同。我想在特定列的“第一个非 NaN 位置”附加一个值。

我的 pandas df 看起来像这样：

   A   B   C   D
0  5   7   2   3
1  2   1  NaN  4
2  4   6  NaN  5
3 NaN  4  NaN  6
4 NaN  3  NaN NaN
5 NaN NaN NaN NaN

我想在特定列的底部添加（“附加”）一​​个值，例如，我想将“A”列中的第一个“NaN”更改为值“3”。期望的结果应该是：

   A   B   C   D
0  5   7   2   3
1  2   1  NaN  4
2  4   6  NaN  5
3  3   4  NaN  6
4 NaN  3  NaN NaN
5 NaN NaN NaN NaN

我想使用“append”，但它已被弃用。我尝试过“concat”，但我不想要一整行新数据，只想在单个列的底部附加一个值。

pandas
Martin Hope
ViSa
Asked: 2024-11-04 15:43:34 +0800 CST
  • 6

我有一个 pandas 数据框，其中一些行数据以数字结尾，我需要拆分这些行中的结束数字并仅将这些数字移动到右边的列。

下面是一个示例 df：

check_df = pd.DataFrame({
             'Test': ["Absolute Neutrophil Count","Absolute Lymphocyte Count 2.9","Absolute Neutrophil Count"],
             'Result1': [6.56,2.8,5.5],
             'Result2': [5.14,2.6,4.8],
             'Result3': [4.69,"10~9/L",5.2],
             'Unit': ["10~9/L","1.0-3.0","10~9/L"],
             'Range': ["4.0-10.0",None,"4.0-10.0"]                      
             }) 

check_df


                Test             Result1    Result2 Result3 Unit      Range
0   Absolute Neutrophil Count       6.56    5.14    4.69    10~9/L    4.0-10.0
1   Absolute Lymphocyte Count 2.9   2.80    2.60    10~9/L  1.0-3.0   None
2   Absolute Neutrophil Count       5.50    4.80    5.2     10~9/L    4.0-10.0

我尝试使用以下正则表达式代码来找出以数字结尾的“测试”行：

check_df.iloc[:,0].str.contains(r'\d+$')

期望结果：

                Test             Result1    Result2 Result3 Unit      Range
0   Absolute Neutrophil Count       6.56    5.14    4.69    10~9/L    4.0-10.0
1   Absolute Lymphocyte Count        2.9    2.80    2.60    10~9/L    1.0-3.0
2   Absolute Neutrophil Count       5.50    4.80    5.2     10~9/L    4.0-10.0

疑问： 但我不确定如何仅根据索引或其他方法拆分那些行，以便所有行/列数据都可以采用正确对齐的数据表格式。

pandas
Martin Hope
Dijo Paul
Asked: 2024-11-03 08:06:25 +0800 CST
  • 4

我在预处理后使用训练测试分割来分割数据。

from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test= train_test_split(X,y,test_size=0.2,random_state=42)

然后分别对测试和训练中的数值列进行稳健缩放

from sklearn.preprocessing import RobustScaler
robust = RobustScaler()
X_train_ = robust.fit_transform(X_train[numeric_columns])
X_test_ = robust.transform(X_test[numeric_columns])
X_train_sc_num=pd.DataFrame(X_train_,columns=[numeric_columns])
X_test_sc_num=pd.DataFrame(X_test_,columns=[numeric_columns])

然后进行连接。

X_train_scaled=pd.concat([X_train_sc_num,X_train[categoric_columns]],axis=1)
X_test_scaled=pd.concat([X_test_sc_num,X_test[categoric_columns]],axis=1)

但形状被破坏了，输出数据的分类列中添加了许多“nan”值。sahpe 为 (466,17)+(466,11)，应该是 (466,28)，但变成了 (560,28)。

我该如何解决这个问题？

我想在 Train_Test_split 之后对我的数据进行 Robust 缩放，但不触及我的 OHE 列，

pandas
Martin Hope
Nitin
Asked: 2024-10-08 20:23:27 +0800 CST
  • 6

我正在尝试使用 pandas dataframe 绘图方法绘制堆叠条形图。x 值是浮点数，我尝试以整数间隔设置 xticks，但没有成功。这是我的代码

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

data = [[0.0, 4.9, 19.9, 8.1, 0.0], [0.12, 4.5, 27.0, 10.1, 0.0], 
        [0.24, 2.8, 9.3, 4.6, 0.0], [0.36, 2.2, 9.1, 2.7, 0.0], 
        [0.48, 2.2, 7.3, 3.1, 0.0], [1.0, 4.9, 26.4, 11.2, 0.0], 
        [1.12, 5.9, 25.3, 8.7, 0.0], [1.24, 3.7, 13.3, 7.1, 0.0], 
        [1.3599999999999999, 3.0, 9.5, 3.4, 0.0], [1.48, 3.2, 8.9, 4.7, 0.0], 
        [2.0, 8.4, 24.8, 20.2, 0.0], [2.12, 9.5, 19.3, 22.5, 0.0], 
        [2.24, 5.7, 11.8, 6.6, 0.0], [2.36, 4.1, 11.1, 5.1, 0.0], 
        [2.48, 5.4, 8.0, 4.6, 0.0]]
df = pd.DataFrame(columns = ['xval', 'y1', 'y2', 'y3', 'y4'], data = data)
fig, ax = plt.subplots()
df.plot(x = 'xval', kind = 'bar', ax = ax, stacked = True)
xticks = [x for x in df['xval'] if int(x) == x]
ticklabel = ['{:.1f}'.format(x) for x in xticks]
ax.set_xticks(xticks, labels = ticklabel)
ax.grid()
fig.savefig('mychart.png')

在此处输入图片描述

pandas
Martin Hope
lucky1928
Asked: 2024-10-07 23:08:37 +0800 CST
  • 6

我想将嵌套数据对转换为多列。

举个例子，列中的IN和是数据对，但它是嵌套的。OUTaction

import pandas as pd

data = [
 [1,'IN'],
 [2,'IN'],
 [3,'OUT'],
 [4,'OUT'],
 [5,'IN'],
 [6,'IN'],
 [7,'OUT'],
 [8,'OUT']
]
df = pd.DataFrame(data, columns=['ts','action'])
print(df)

预期输出为：

   ts_IN  ts_OUT
0   1      4
1   2      3
4   5      8
5   6      7

任何熊猫方法都可以处理这种情况吗？

pandas
Martin Hope
rakesh
Asked: 2024-10-06 15:31:54 +0800 CST
  • 5

我有以下 df。其中我想看到最后一个结果数字之后的第一个负数。＆在“最后一个负数”列中“这应该出现，或者更确切地说是任何突出显示该行的内容。“这应该出现在最后一个结果数字之后的第一个负数上（结果数字可以是正数或负数＆“这应该只出现在负数大米数字上，而不是正数大米数字上）。

import pandas as pd
import numpy as np
df1=pd.DataFrame({
        "rice": [49235.6,-49234.5,-49230.05,-49190.2,49193.1,-49140.95,-49125.3],
        "outcome": [-68.8499999999985,np.nan,np.nan,np.nan,-41.4000000000014,np.nan,np.nan,],
        "first negative from last ": [np.nan,np.nan,np.nan,np.nan,np.nan,"this",np.nan],
       })

我试图使用

df.shit()

但不确定如何提出条件。

为了更好地理解，以下 2 df 准确显示了“this”将出现在哪一行。

df2=pd.DataFrame({
        "rice": [49235.6,-49234.5,-49230.05,-49190.2,49193.1,49140.95,-49125.3],
        "outcome": [-68.8499999999985,np.nan,np.nan,np.nan,56,np.nan,np.nan,],
        "first negative from last ": [np.nan,np.nan,np.nan,np.nan,np.nan,np.nan,"this"],
       })




df3=pd.DataFrame({
        "rice": [49235.6,49234.5,-49230.05,-49190.2,-49193.1,-49140.95,-49125.3],
        "outcome": [6.8499999999985,np.nan,np.nan,np.nan,np.nan,np.nan,np.nan,],
        "first negative from last ": [np.nan,np.nan,"this",np.nan,np.nan,np.nan,np.nan],
       })
pandas