AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / user-457264

dante_t's questions

Martin Hope
dante_t
Asked: 2023-12-29 18:06:57 +0800 CST

根据文件名上的时间戳将文件移动到特定目录

  • 6

我有一个 bash 脚本,生成以下格式的 csv 文件:

056_log_202312290735.csv
056_log_202312290736.csv
067_dat_202312290737.csv
067_dat_202312290838.csv
056_log_202312290951.csv
067_dat_202312290952.csv
056_log_202312290953.csv
...
056_log_YYYYmmddHHMM.csv
067_dat_YYYYmmddHHMM.csv

其中YYYYmmddHHMM是 csv 文件本身包含的数据的时间戳,而不是 csv 文件的创建时间。

所以我想编写一个bash脚本来比较当前系统时间(格式与csv文件相同,即YYYYmmddHHMM)与文件名上的时间戳,

如果两者之间的差异大于或等于 120 分钟,则必须将文件移至old_data目录。

如果两者之间的差异小于 120 分钟,则必须将文件移动到current_data目录

使用当前系统时间 202312291048,必须按如下方式移动文件:

~/old_data/
056_log_202312290735.csv
056_log_202312290736.csv
067_dat_202312290737.csv
067_dat_202312290838.csv
~/current_data/
056_log_202312290951.csv
067_dat_202312290952.csv
056_log_202312290953.csv

到目前为止,我知道我可以使用我想要的格式获取当前时间:

CUR_TIME="`date +%Y%m%d%H%M`";

并使用以下命令从 csv 文件获取时间戳:

ls 056*.csv | cut -d'_' -f 3 | cut -c -12; #get timestamps from 056 files
ls 067*.csv | cut -d'_' -f 3 | cut -c -12; #get timestamps from 067 files

从那时起,我不知道如何继续前进..请帮助。

这就是我能想到的:

#!/bin/bash

CUR_TIME=$(date +%Y%m%d%H%M);

for csvfile in *.csv
do
    TIME_DIFF=0
    TIMESTAMP= $(echo $csvfile | cut -d'_' -f 3 | cut -c -12)
    TIME_DIFF= $CUR_TIME-$TIMESTAMP
    
    if $TIME_DIFF >= 120
    then
    mv -f $csvfile ~/old_data/
    else
    mv -f $csvfile ~/current_data/
    fi
    
done
shell-script
  • 1 个回答
  • 49 Views
Martin Hope
dante_t
Asked: 2023-12-15 18:04:42 +0800 CST

查找并替换多个 csv 文件中的特定字符串

  • 10

我有多个 csv 文件,内容格式如下:

"TIMESTAMP",col2,col3,col4
"yyyy-mm-dd HH:mm",20,19,17

我想替换-为,/以便最终我有:

TIMESTAMP,col2,col3,col4
yyyy/mm/dd HH:mm,20,19,17

我使用以下命令附加文件,但没有任何反应:

find -name '*.csv' -exec awk '{gsub(/-/, "/",$1)}' '{}' \;

我缺少什么?请帮忙

text-processing
  • 4 个回答
  • 262 Views
Martin Hope
dante_t
Asked: 2023-12-02 13:45:24 +0800 CST

根据最新时间戳数据创建新的 CSV 文件

  • 4

我有一个脚本可以访问多个 dat 文件并根据前一天的数据生成 csv 文件。这些 DAT 文件根据来自各种仪器的数据每分钟更新一次。

脚本片段:

gawk -F, '

{ gsub(/"/,"") }

FNR==2{ 
        delete timestamp;                                     #This code was added
        start=strftime("%Y %m %d 00 00 00", systime()-172800);#to fix the
        for(min=0; min<1440; min++)                           #timestamp formatting
        timestamp[strftime("%F %H:%M", mktime(start)+min*60)] #issue from the input files.
     
        fname=FILENAME; 
        gsub(/Real_|_Table2.*\.dat$/,"", fname);

        $2="col1";
        $3="col2";
        $4="col3";
        $5="col4";
        
        if ( fname=="file1")        ID1="01";   
        else if ( fname=="file2")   ID1="02";
        else if ( fname=="file3")   ID1="03";
        else ID1="00";      
    
        hdr=$1 FS $2 FS $3 FS $4 FS $5;
         
        yday=strftime("%Y%m%d", systime()-86400);
        dirName=yday;
        system("mkdir -p "dirName); next
     }

(substr($1,1,16) in  timestamp){

        fname=FILENAME; 
        gsub(/Real_|_Table2.*\.dat$/,"", fname);

               cp=$1; gsub(/[-: ]|00$/, "", cp);
         if ( fname=="file2"|| fname=="file3")

         printf("%s%s,%.3f,%.3f,%.3f,%.3f\n", hdr ORS, $1, $3, $2, $4, $6)>(dirName"/"ID1"_"fname"_"cp".csv");
        else 
        printf("%s%s,%.3f,%.3f,%.3f,%.3f\n", hdr ORS, $1, $3, $5, "999")>(dirName"/"ID1"_"fname"_"cp".csv");

       close(dirName"/"ID1"_"fname"_"cp".csv");
       delete  timestamp[substr($1,1,16)] }

ENDFILE{ for (x in  timestamp){
             cpx=x; gsub(/[-: ]/, "", cpx);
             print hdr ORS x "-999,-999,-999,-999," >(dirName"/"ID1"_"fname"_"cpx".csv");
             
             close(dirName"/"ID1"_"fname"_"cpx".csv")
     }
}' *_Table2.dat 


我希望编辑脚本,以便它可以扫描 dat 文件以获取新数据,并仅为新数据创建 csv 文件。在当前格式中,脚本为 *.dat 文件(新文件或历史文件)中的每个时间戳创建 csv 文件。

示例输入文件(Real_file1_table2.dat):

"Data for Site1"
Timestamp,col1,col2,col3,col4
"2023-11-30 11:00:00",289233,0.3495333,0.2412115,333.2676
"2023-11-30 11:01:00",289234,1.035533,1.019842,344.1969

请注意,标头位于第 2 行 然后创建以下输出文件:

01_file1_202311301100.csv

01_file1_202311301101.csv

ETC..

csv 文件中包含的数据基于时间戳。

例如:

01_file1_202311301100.csv包含以下数据:

TIMESTAMP,col1,col2,col3,col4
2023/11/30 11:00,289233,0.349,0.241,333.267

01_file1_202311301101.csv包含以下数据:

TIMESTAMP,col1,col2,col3,col4
2023/11/30 11:01,289234,1.035,1.019,344.196

ETC。

请注意,这些 csv 文件中的数据四舍五入为 3 个浮点

第二次执行脚本时,Real_file1_table2.dat中现在包含以下数据:

"Data for Site1"
Timestamp,col1,col2,col3,col4
"2023-11-30 11:00:00",289233,0.3495333,0.2412115,333.2676
"2023-11-30 11:01:00",289234,1.035533,1.019842,344.1969
"2023-11-30 11:02:00",289235,0.7758334,0.7252186,17.75404
"2023-11-30 11:03:00",289236,0.7693,0.7103683,359.0702

我希望脚本仅为最新数据创建 csv 文件,即:

01_file1_202311301102.csv

01_file1_202311301103.csv

我不想重新创建已存在的 csv 文件。

因此,每当执行脚本时,它必须只为最新数据创建 csv 文件。

对你的帮助表示感谢

shell-script
  • 1 个回答
  • 86 Views
Martin Hope
dante_t
Asked: 2022-11-23 02:49:29 +0800 CST

插入时间戳并替换 CSV 文件中的空字段

  • 6

我有包含以下元素的 CSV 文件:

timestamp,      data1,  data2,  data3,  data4,  data5
2015-03-16 00:00:00,    3,  3,  4,  2,  5
2015-03-16 00:10:00,    4,  7,  8,  9,  3
2015-03-16 00:20:00,    1,  23, ,   5,  4
2015-03-16 00:30:00,    3,  2,  46, 7,  6
2015-03-16 00:40:00,    4,  5,  6,  8,  4
2015-03-16 00:50:00,    2,  ,   4,  ,   2
2015-03-16 01:00:00,    22, 1,  3,  4,  3
2015-03-16 01:50:00,    3,  ,   7,  8,  89
2015-03-16 02:00:00,    44, 5,  6,  7,  
2015-03-16 02:10:00,    3,  2,  1,  2,  2
2015-03-16 02:20:00,    4,  ,   ,   3,  3
2015-03-16 03:30:00,    5,  6,  7,  4,  3

我想添加缺少的时间戳并NaN在数据不存在的地方填充数据字段,如下所示:

timestamp,      data1,  data2,  data3,  data4,  data5
2015-03-16 00:00:00,    3,  3,  4,  2,  5
2015-03-16 00:10:00,    4,  7,  8,  9,  3
2015-03-16 00:20:00,    1,  23, NaN,    5,  4
2015-03-16 00:30:00,    3,  2,  46, 7,  6
2015-03-16 00:40:00,    4,  5,  6,  8,  4
2015-03-16 00:50:00,    2,  NaN,    4,  NaN,    2
2015-03-16 01:00:00,    22, 1,  3,  4,  3
2015-03-16 01:10:00,    NaN,    NaN,    NaN,    NaN,    NaN
2015-03-16 01:20:00,    NaN,    NaN,    NaN,    NaN,    NaN
2015-03-16 01:30:00,    NaN,    NaN,    NaN,    NaN,    NaN
2015-03-16 01:40:00,    NaN,    NaN,    NaN,    NaN,    NaN
2015-03-16 01:50:00,    3,  NaN,    7,  8,  89
2015-03-16 02:00:00,    44, 5,  6,  7,  NaN
2015-03-16 02:10:00,    3,  2,  1,  2,  2
2015-03-16 02:20:00,    4,  NaN,    NaN,    3,  3
2015-03-16 02:30:00,    NaN,    NaN,    NaN,    NaN,    NaN
2015-03-16 02:40:00,    NaN,    NaN,    NaN,    NaN,    NaN
2015-03-16 02:50:00,    NaN,    NaN,    NaN,    NaN,    NaN
2015-03-16 03:00:00,    NaN,    NaN,    NaN,    NaN,    NaN
2015-03-16 03:10:00,    NaN,    NaN,    NaN,    NaN,    NaN
2015-03-16 03:20:00,    NaN,    NaN,    NaN,    NaN,    NaN
2015-03-16 03:30:00,    5,  6,  7,  4,  3

我怎样才能做到这一点?请注意,这会持续几天,而不是一天。为简单起见,我使用了一天的数据。我正在使用 Cygwin,谢谢。

csv
  • 1 个回答
  • 33 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve