AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

    • 主页
    • 系统&网络
    • Ubuntu
    • Unix
    • DBA
    • Computer
    • Coding
    • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / ubuntu / 问题

问题[monitoring](ubuntu)

Martin Hope
Assa Yeroslaviz
Asked: 2024-07-23 21:49:06 +0800 CST

在多个 cors/线程上运行脚本时如何监控系统使用情况?

  • 5

我在 Ubuntu 22.04 中编写了一个特定的脚本(经过测试,我可以说它也可以在 24.04 上运行),用于在特定命令运行时监视某些系统参数。有问题的命令正在运行另一个工具,该工具分布在多个核心/线程上。我想监视内存的使用情况、特定文件大小以及使用了哪些核心和线程。脚本附在下面。

我对目前的结果很满意,但我想知道是否可以做得更好。

我无法监控的一件事是执行命令top然后按 时可以看到的 %CPU 1。我可以看到每个核心的命令的 %CPU 使用率。我似乎找不到以编程方式执行此操作的方法。我不确定这是否可行,但我想知道我的哪个进程在哪个线程上运行,如果可以的话,可以量化它。

我将非常感激任何使它更加优雅的建议或意见。

谢谢

阿萨

#!/bin/bash

process_name="dotnet"
folder_path="Output/combined"
log_file="usage_log.csv"

#Rename log file if exists
if [ -e "$log_file" ]; then
    # Get the current timestamp
    timestamp=$(date +"%Y%m%d_%H%M%S")
# Construct the new file name with the timestamp
    new_log_file="${log_file%.*}_$timestamp.${log_file##*.}"
    
    # Rename the log file
    mv "$log_file" "$new_log_file"
    echo "Log file renamed to $new_log_file"
else
    echo "Log file does not exist."
fi

echo "Timestamp,PID,%MEM %CPU RSS_GB VSZ_GB,Threads,Folder_Size" > $log_file

while true; do
    timestamp=$(date +"%Y-%m-%d %H:%M:%S")
    
    # Get all PIDs for the process name
    pids=$(pgrep -f $process_name)
    
    if [ -z "$pids" ]; then
        echo "Process not found"
        break
    fi
    
    folder_size=$(du -sh $folder_path | cut -f1)
    
    for pid in $pids; do
    # Extract memory info and convert to GB
    mem_info=$(ps -o %mem,%cpu,rss,vsz -p $pid --no-headers | \
               awk '{printf "%s %s %.2f %.2f", $1, $2, $3/1048576, $4/1048576}')
    # Extract number of threads
    threads=$(ps -o nlwp -p $pid --no-headers)
    # Extract CPU cores
    cores=$(taskset -pc $pid | awk -F: '{print $2}' | tr -d ' ')

    # Extract CPU cores allowed
    allowed_cores=$(taskset -pc $pid | awk -F: '{print $2}' | tr -d ' ')
     
    #interval after $pid removed
    cores_used=$(pidstat -p $pid | awk -v pid="$pid" ' 
    BEGIN { cores = 0; }
    $4 == pid && $10 > 0 { cores++; }
    END { print cores; }
    ')
   
    echo "$timestamp, $pid ,$mem_info,$threads,$cores,$cores_used, $folder_size" >> $log_file
    done
    
    sleep 30
done

输出如下:

Timestamp,PID,%MEM %CPU RSS_GB VSZ_GB,Threads,Folder_Size
...
2024-07-23 13:42:40, 2798428 ,0.0 29.2 0.35 1018.40,   7,0-63,1, 2.7G
2024-07-23 13:42:40, 2798434 ,0.0 30.5 0.37 1018.40,   7,0-63,1, 2.7G
2024-07-23 13:42:40, 2798436 ,0.0 31.5 0.36 1018.40,   7,0-63,1, 2.7G
2024-07-23 13:42:40, 2798438 ,0.0 32.2 0.34 1018.40,   7,0-63,1, 2.7G
2024-07-23 13:42:40, 2798441 ,0.0 33.8 0.39 1018.40,   7,0-63,1, 2.7G
2024-07-23 13:42:40, 2798447 ,0.0 33.0 0.40 1018.40,   7,0-63,1, 2.7G
2024-07-23 13:42:40, 2798452 ,0.0 26.9 0.38 1018.40,   7,0-63,1, 2.7G
...
monitoring
  • 1 个回答
  • 35 Views
Martin Hope
Colin Bondi
Asked: 2020-10-21 13:43:40 +0800 CST

带日志记录的 Internet 连接监视器

  • 2

在一个九人社区的房子里,我们的互联网连接出现间歇性问题。它似乎中断了很短的时间间隔,所以我正在寻找一个应用程序来定期测试连接性并记录它。例如,每分钟左右 ping 一次 Internet 上的主机并记录结果。我想要的是记录连接何时关闭以及一段时间内的时间。这不是企业问题,因此我正在寻找免费的应用程序或脚本来完成此任务。谢谢

networking monitoring internet logging
  • 1 个回答
  • 1012 Views
Martin Hope
Nuno
Asked: 2020-10-12 01:47:35 +0800 CST

哪个进程正在使用我的网络数据?

  • 1

简短的问题:在 Ubuntu 中,我如何找出每个进程在某个时间间隔(例如,最后一小时、最后一天……)使用了多少网络数据?

长问题:我正在使用移动数据计划将我的 Ubuntu 机器连接到互联网。连接几个小时后,数据使用量超过 2 GB,有点超出预期。所以我想知道数据去哪儿了。在互联网上搜索,我找到了几个工具,例如 nethogs。但是 nethogs 只告诉我每个进程正在使用的瞬时带宽,我不在乎。是否有工具可以告诉我每个进程在某个时间间隔(例如,最后一小时、最后一天……)使用了多少网络数据?

任何仅显示瞬时带宽使用情况的工具都无济于事。数据吞噬过程可能仅在我不知道的短时间内处于活动状态,因此很难判断要监控哪个时刻。

任何仅显示机器或接口(例如,eth0、wwan0、...)的总数据使用情况的工具都无济于事。我已经从数据包提供商那里获得了这些信息。

感谢您的任何评论。

networking bandwidth monitoring
  • 1 个回答
  • 842 Views
Martin Hope
Fabman
Asked: 2020-09-14 09:30:09 +0800 CST

在 ntfs 驱动器上快速复制一些文件后,我如何分析为什么 rsync 复制速度非常慢?

  • 1

我正在使用 rsync 将大约 2Tb 的数据从 ntfs 磁盘备份到另一个 ntfs 磁盘(我也尝试过使用午夜指挥官),并且复制以“良好”的 25Mb/s 速度开始,但是在复制了几个千兆字节后速度下降有时甚至更低到大约 5Mb/s。

如果我停止复制并重新开始 rsync 以继续复制,速度会再次以 25Mb/s 左右开始,然后回到 5Mb/s。

这是 rsync 的开始,从这里开始慢慢复制。

>f+++++++++ _University Courses/Harvard/Harvard - Advanced Algorithms 2016/11-Advanced Algorithms (COMPSCI 224), Lecture 11.mp4
    502,527,183 100%   25.29MB/s    0:00:18 (xfr#2, ir-chk=1021/53136)
>f+++++++++ _University Courses/Harvard/Harvard - Advanced Algorithms 2016/12-Advanced Algorithms (COMPSCI 224), Lecture 12.mp4
    494,046,164 100%   25.45MB/s    0:00:18 (xfr#3, ir-chk=1020/53136)
>f+++++++++ _University Courses/Harvard/Harvard - Advanced Algorithms 2016/13-Advanced Algorithms (COMPSCI 224), Lecture 13.mp4
    389,502,911 100%   25.77MB/s    0:00:14 (xfr#4, ir-chk=1019/53136)
>f+++++++++ _University Courses/Harvard/Harvard - Advanced Algorithms 2016/14-Advanced Algorithms (COMPSCI 224), Lecture 15.mp4
    401,384,534 100%   14.92MB/s    0:00:25 (xfr#5, ir-chk=1018/53136)
>f+++++++++ _University Courses/Harvard/Harvard - Advanced Algorithms 2016/15-Advanced Algorithms (COMPSCI 224), Lecture 16.mp4
    498,564,894 100%    4.94MB/s    0:01:36 (xfr#6, ir-chk=1017/53136)
>f+++++++++ _University Courses/Harvard/Harvard - Advanced Algorithms 2016/16-Advanced Algorithms (COMPSCI 224), Lecture 17.mp4
    417,205,204 100%    2.30MB/s    0:02:52 (xfr#7, ir-chk=1016/53136)
>f+++++++++ _University Courses/Harvard/Harvard - Advanced Algorithms 2016/17-Advanced Algorithms (COMPSCI 224), Lecture 18.mp4
    495,885,960 100%    6.16MB/s    0:01:16 (xfr#8, ir-chk=1015/53136)
>f+++++++++ _University Courses/Harvard/Harvard - Advanced Algorithms 2016/18-Advanced Algorithms (COMPSCI 224), Lecture 19.mp4
    475,335,986 100%    2.75MB/s    0:02:45 (xfr#9, ir-chk=1014/53136)
>f+++++++++ _University Courses/Harvard/Harvard - Advanced Algorithms 2016/19-Advanced Algorithms (COMPSCI 224), Lecture 20.mp4
    485,359,371 100%    1.40MB/s    0:05:29 (xfr#10, ir-chk=1013/53136)
>f+++++++++ _University Courses/Harvard/Harvard - Advanced Algorithms 2016/20-Advanced Algorithms (COMPSCI 224), Lecture 21.mp4
    505,021,448 100%    6.46MB/s    0:01:14 (xfr#11, ir-chk=1012/53136)
>f+++++++++ _University Courses/Harvard/Harvard - Advanced Algorithms 2016/21-Advanced Algorithms (COMPSCI 224), Lecture 22.mp4

驱动器没有明显的碎片。

我尝试使用 big_writes 和 async 选项安装驱动器,但我没有看到任何区别。

我用带和不带缓存的 hdparm 测试了速度,速度比那些 25Mb/s 快。

我用 iostat 监控,%rwqm 非常高,但我不知道这是坏还是好的。

在此处输入图像描述

我试图找到瓶颈或问题,但我无法找到它,任何关于如何监控和分析问题的帮助将不胜感激。

更新:我尝试禁用磁盘写入缓存以检查驱动器填充缓存后是否发生速度下降:

sudo hdparm -W0 /dev/sde

但问题仍然存在,驱动器的行为相同。

更新:

$ free -h                                                                                                                          
total        used        free      shared  buff/cache   available                                                                  
Mem:          7.5Gi       1.1Gi       146Mi        13Mi       6.2Gi       6.1Gi                                                                  
Swap:            0B          0B          0B    
                                                                                              
$ sudo dmidecode -s bios-version                                                                                     
4.6.4                                                                                                                                            

$ sysctl vm.swappiness                                                                                               
  vm.swappiness = 60

$ top

top - 21:16:09 up 6 days, 23:40,  5 users,  load average: 3.45, 2.89, 2.58
Tasks: 179 total,   1 running, 178 sleeping,   0 stopped,   0 zombie
%Cpu(s): 12.5 us, 20.1 sy,  0.0 ni, 17.4 id, 48.4 wa,  0.0 hi,  1.6 si,  0.0 st
MiB Mem :   7689.6 total,    254.0 free,   1151.4 used,   6284.2 buff/cache
MiB Swap:      0.0 total,      0.0 free,      0.0 used.   6225.8 avail Mem 
                                                                    
PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND

7320 usuario   20   0  284924 172348   1288 S  13.5   2.2   1:53.63 rsync                                                                        
7305 usuario   20   0  174100  92956   2748 S  12.9   1.2   2:13.81 rsync                                                                       
17809 usuario   20   0 1754596 476276  18104 S  11.9   6.0   2080:14 kodi-x11                                                                    
27195 root      20   0   18972   9736   1840 S   7.9   0.1  58:03.15 mount.ntfs                                                                  
14377 root      20   0   19948  10536   1764 S   6.3   0.1 126:50.65 mount.ntfs                                                                  
13856 root      20   0       0      0      0 S   3.3   0.0  52:25.26 usb-storage                                                                   
132 root      20   0       0      0      0 S   3.0   0.0 221:29.02 kswapd0                                                                     
25821 usuario   20   0   23816  14980   2884 S   2.3   0.2   9:46.40 tmux: server                                                                 
4909 root      20   0       0      0      0 D

创建交换文件后更新:

free -h预减速:

$ free -h
              total        used        free      shared  buff/cache   available
Mem:          7.5Gi       427Mi       135Mi        11Mi       7.0Gi       6.8Gi
Swap:         4.0Gi       3.0Mi       4.0Gi

free -h减速期间:

$ free -h
              total        used        free      shared  buff/cache   available
Mem:          7.5Gi       421Mi       127Mi        11Mi       7.0Gi       6.8Gi
Swap:         4.0Gi       8.0Mi       4.0Gi

但是复制了几个文件后速度仍然很低:

sending incremental file list
.d..t...... _University Courses/MIT/MIT - Computers System Security 2014/
>f+++++++++ _University Courses/MIT/MIT - Computers System Security 2014/19-20. Mobile Phone Security.mp4
    866,880,572 100%   28.03MB/s    0:00:29 (xfr#1, ir-chk=1003/53245)
>f+++++++++ _University Courses/MIT/MIT - Computers System Security 2014/20-21. Data Tracking.mp4
    666,687,288 100%   27.70MB/s    0:00:22 (xfr#2, ir-chk=1002/53245)
>f+++++++++ _University Courses/MIT/MIT - Computers System Security 2014/21-22. Guest Lecture by MIT IS&T.mp4
    716,033,570 100%   25.97MB/s    0:00:26 (xfr#3, ir-chk=1001/53245)
>f+++++++++ _University Courses/MIT/MIT - Computers System Security 2014/22-23. Security Economics.mp4
    693,628,642 100%   25.63MB/s    0:00:25 (xfr#4, ir-chk=1000/53245)
>f+++++++++ _University Courses/MIT/MIT - Design and Analysis of Algorithms 2015/01-1. Course Overview, Interval Scheduling.mp4
  1,069,906,667 100%   24.40MB/s    0:00:41 (xfr#5, ir-chk=1122/53368)
>f+++++++++ _University Courses/MIT/MIT - Design and Analysis of Algorithms 2015/02-2. Divide & Conquer - Convex Hull, Median Finding.mp4
    919,036,317 100%    3.29MB/s    0:04:26 (xfr#6, ir-chk=1121/53368)
>f+++++++++ _University Courses/MIT/MIT - Design and Analysis of Algorithms 2015/03-R1. Matrix Multiplication and the Master Theorem.mp4
     67,469,312   6%    4.71MB/s    0:03:23
lubuntu monitoring rsync ntfs ntfs-3g
  • 1 个回答
  • 898 Views
Martin Hope
Prototype700
Asked: 2019-08-06 10:50:21 +0800 CST

CrystalDiskInfo 守护进程是否有 Linux 原生替代方案?

  • 2

在 Windows 上,我使用 CrystalDiskInfo 来告诉我硬盘何时坏了。它有一个指示器图标,每隔几分钟左右会自动更新 SMART 数据。

在 Linux 上,有一些程序可以检查 SMART 值,但它们必须手动执行。

是否有程序在后台运行并在出现 SMART 警告时立即发送通知?

software-recommendation services monitoring hard-drive smart
  • 1 个回答
  • 6534 Views
Martin Hope
FrakyDale
Asked: 2019-03-19 06:47:13 +0800 CST

统计所有传出的 http/s 请求

  • 0

我想知道我在一个月内用我的电脑发出了多少 http/s 请求(Ubuntu 18.10)

ubuntu 有什么命令可以看到吗?

monitoring https
  • 1 个回答
  • 1469 Views
Martin Hope
Vitor Oliveira
Asked: 2019-02-06 06:27:14 +0800 CST

实时 Sonic Visualizer,在计算机内部分析当前播放的音频

  • 0

我需要能够看到当时所有音频的实时频谱图,无论在计算机的哪个位置(youtube、facebook、媒体播放器、microfone)。

我不知道声波可视化器是否有这个功能......我不知道其他好的光谱图分析器。

有小费吗 ?

sound software-recommendation monitoring ubuntu-studio
  • 1 个回答
  • 423 Views
Martin Hope
Scott Stensland
Asked: 2019-01-08 16:32:05 +0800 CST

尽管 GNOME Shell 集成扩展正在运行,但未检测到本机主机连接器 [重复]

  • 44
这个问题在这里已经有了答案:
用于管理 GNOME 扩展的 URL extensions.gnome.org 在任何浏览器中都不起作用 5 个答案
3年前关闭。

在全新安装 18.10 时,我尝试安装 CPU 使用率小部件

https://extensions.gnome.org/extension/120/system-monitor/

在该链接上显示错误:

尽管 GNOME Shell 集成扩展正在运行,但未检测到本机主机连接器

system-monitor monitoring gnome-shell gnome-shell-extension
  • 1 个回答
  • 133556 Views
Martin Hope
newcat1000
Asked: 2019-01-06 05:15:38 +0800 CST

是否有 CPU 监视器小部件以 GHz 显示 CPU 频率?

  • 3

我在联想笔记本电脑上有 Kubuntu 18.10 和 KDE Plasma 5.14.4。

是否有 CPU 监视器小部件以 GHz 显示 CPU 频率?

我想要以 GHz 为单位从系统托盘中的小部件进行实时监控。

如果可能,如何使 Psensor 以 GHz 或类似的方式显示 CPU 频率?

我想从系统托盘监视 CPU 频率(以 GHz 为单位),并且不想像副本那样以百分比监视 CPU 使用率。

monitoring cpu cpufreq
  • 2 个回答
  • 4002 Views
Martin Hope
sudodus
Asked: 2019-01-04 16:27:39 +0800 CST

当一个 [缓慢的] 命令行进程需要我注意时叫醒我?

  • 2

有时我使用命令行程序,它需要在相当长的时间后输入,如果桌面上当前窗口顶部有警报、音频消息和/或信息窗口,它有助于完成他们的工作。我正在考虑图形桌面环境或窗口管理器。除非 GUI 工具通过终端窗口和通过ssh.

如果我制作了自己的程序或者它是一个小的 shellscript,我可以修改它以产生警报,但是许多程序没有提供源代码,或者很难弄乱它。因此,在 Ubuntu 系统中拥有一个工具会很好,它可以监视大多数已编译的程序和脚本,并在 [慢] 命令行进程需要我注意时唤醒我。

  • 写东西时,表明程序正在等待输入或已完成,结果可供我使用。

  • 那么如何找到或制作一个工具来监视终端窗口中的活动并在编写某些内容时产生警报?

bash monitoring
  • 1 个回答
  • 520 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何运行 .sh 脚本?

    • 16 个回答
  • Marko Smith

    如何安装 .tar.gz(或 .tar.bz2)文件?

    • 14 个回答
  • Marko Smith

    如何列出所有已安装的软件包

    • 24 个回答
  • Marko Smith

    无法锁定管理目录 (/var/lib/dpkg/) 是另一个进程在使用它吗?

    • 25 个回答
  • Martin Hope
    Flimm 如何在没有 sudo 的情况下使用 docker? 2014-06-07 00:17:43 +0800 CST
  • Martin Hope
    Ivan 如何列出所有已安装的软件包 2010-12-17 18:08:49 +0800 CST
  • Martin Hope
    La Ode Adam Saputra 无法锁定管理目录 (/var/lib/dpkg/) 是另一个进程在使用它吗? 2010-11-30 18:12:48 +0800 CST
  • Martin Hope
    David Barry 如何从命令行确定目录(文件夹)的总大小? 2010-08-06 10:20:23 +0800 CST
  • Martin Hope
    jfoucher “以下软件包已被保留:”为什么以及如何解决? 2010-08-01 13:59:22 +0800 CST
  • Martin Hope
    David Ashford 如何删除 PPA? 2010-07-30 01:09:42 +0800 CST

热门标签

10.10 10.04 gnome networking server command-line package-management software-recommendation sound xorg

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助
subwaysurfers
my femboy roommate

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve