digamos que eu queira canalizar a saída da data no início de algum texto
por exemplo
echo "this line is test line" | date
e o resultado esperado deve ser
Wed May 22 14:55:10 UTC 2024 this line is test line
como inserir a data e hora antes da linha?
temos o seguinte sistema de arquivos.
delsblk -f
sdb LVM2_member uMrU0b-6F3l-M9Ue-LPsf-kd6n-5l4m-WfxaRQ
└─DB_vg-DB_lv xfs a800d759-c8c7-4e7e-86d5-3d6a06123465
sdc LVM2_member CgGp4m-qGtE-S3Br-0gJs-IdCG-CJXM-pwu7ps
└─DB_vg-DB_lv xfs a800d759-c8c7-4e7e-86d5-3d6a06123465
sdd LVM2_member vGfMF3-PPem-JOjD-w2Qt-bP4O-Wppy-YnIB6A
└─DB_vg-DB_lv xfs a800d759-c8c7-4e7e-86d5-3d6a06123465
delsblk
sdb 8:16 0 4G 0 disk
└─DB_vg-DB_lv 253:4 0 12G 0 lvm
sdc 8:32 0 4G 0 disk
└─DB_vg-DB_lv 253:4 0 12G 0 lvm
sdd 8:48 0 4G 0 disk
└─DB_vg-DB_lv 253:4 0 12G 0 lvm
nos discos que não estão montados, fazemos o seguinte:
wipefs -a /dev/sdb /dev/sdc /dev/sdd
wipefs: error: /dev/sdb: probing initialization failed: Device or resource busy
por que obtemos Device or resource busy, quando os discos sdb sdc sddnão estão montados?
e qual é a abordagem correta para limpar fs nesses discos
qual é o significado das seguintes mensagens que recebemos das mensagens do kernel
# dmesg | grep "MDS CPU bug"
[ 0.432893] MDS CPU bug present and SMT on, data leak possible. See https://www.kernel.org/doc/html/latest/admin-guide/hw-vuln/mds.html for more details.
as mensagens acima são seguras? Ou é necessário realizar algumas ações de acordo
de fdisk -l /dev/sda, obtivemos o seguinte
Device Boot Start End Blocks Id System
/dev/sda1 * 2048 2099199 1048576 83 Linux
/dev/sda2 2099200 482344959 240122880 83 Linux
geralmente no sistema devemos obter Linux LVM, já que sda2 é LVM
vgdisplay | grep Format
Format lvm2
é algo que precisamos ignorar?
Nosso cluster Kafka inclui 12 máquinas VM RHEL 7.6.
detalhes das especificações da máquina:
CPU(s):14
O disco Kafka é um disco VMDK. (disco sdb)
RAM 48G
Quando o cluster Kafka está trabalhando duro (quando injeta dados em discos Kafka e leitura intensiva do disco), podemos ver no sarrelatório que a utilização dos discos VMDK é muito alta, quase 100% E o iowait da CPU também atingiu cerca de ~ 40%
quando não há gravação/leitura no disco Kafka ( sdb ), a utilização do disco fica em torno de 1-3% e tudo bem
aqui está um exemplo da primeira máquina Kafka, este exemplo é semelhante a outras máquinas no cluster
sar -p -d 5 15 | grep sdb
DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
11:45:44 AM sdb 667.60 50776.00 114753.80 247.95 145.06 210.63 1.50 100.00
11:45:49 AM sdb 484.60 40296.00 142994.40 378.23 145.80 343.71 2.06 100.00
11:45:54 AM sdb 355.40 12758.40 170463.40 515.54 285.86 724.10 2.81 100.00
11:45:59 AM sdb 477.40 26828.80 142663.20 355.03 219.43 419.59 2.10 100.02
11:46:04 AM sdb 526.40 30964.80 116515.60 280.17 219.52 495.00 1.90 99.98
11:46:09 AM sdb 387.20 26939.20 142214.60 436.86 192.80 405.45 2.58 100.00
11:46:14 AM sdb 403.00 18192.00 130434.80 368.80 286.71 681.59 2.48 100.00
11:46:19 AM sdb 608.00 50153.60 96733.40 241.59 163.63 336.13 1.65 100.04
11:46:24 AM sdb 188.40 8406.40 87474.80 508.92 196.47 657.40 5.31 99.98
11:46:29 AM sdb 749.40 54948.80 167797.40 297.23 207.97 388.29 1.33 100.02
11:46:34 AM sdb 419.20 57480.00 110545.60 400.82 143.63 305.59 2.39 100.00
11:46:39 AM sdb 549.60 34772.80 149058.60 334.48 144.77 286.05 1.82 99.98
11:46:44 AM sdb 468.26 40547.70 130706.99 365.72 146.39 318.22 2.13 99.90
11:46:49 AM sdb 412.40 21929.60 186562.40 505.56 144.34 363.23 2.42 99.98
11:46:54 AM sdb 574.60 36830.40 177053.60 372.23 149.73 245.82 1.74 100.00
Average: sdb 484.76 34122.49 137730.57 354.51 186.13 385.28 2.06 99.99
E da perspectiva do relatório da CPU
sar 5 15
12:12:45 PM CPU %user %nice %system %iowait %steal %idle
12:12:50 PM all 8.21 0.00 9.87 10.26 0.00 71.67
12:12:55 PM all 6.50 0.00 7.65 7.78 0.00 78.07
12:13:00 PM all 7.90 0.00 9.40 10.53 0.00 72.16
12:13:05 PM all 11.83 0.00 13.24 26.62 0.00 48.31
12:13:10 PM all 11.66 0.00 12.84 19.00 0.00 56.50
12:13:15 PM all 8.23 0.00 9.98 9.52 0.00 72.26
12:13:20 PM all 7.74 0.00 8.87 10.95 0.00 72.44
12:13:25 PM all 6.70 0.00 7.92 9.10 0.00 76.27
12:13:30 PM all 7.15 0.00 8.32 8.05 0.00 76.49
12:13:35 PM all 12.84 0.00 14.12 15.17 0.00 57.87
12:13:40 PM all 7.91 0.00 9.04 35.44 0.00 47.62
12:13:45 PM all 9.20 0.00 10.63 11.09 0.00 69.09
12:13:50 PM all 9.57 0.00 10.98 8.15 0.00 71.30
12:13:55 PM all 10.85 0.00 12.61 7.39 0.00 69.15
12:14:00 PM all 10.88 0.00 12.44 9.54 0.00 67.15
Average: all 9.14 0.00 10.52 13.23 0.00 67.11
do ponto de vista da memória RAM, não vejo problema, mas não tenho certeza de qual é o gargalo aqui e por que o utilitário de disco é muito alto
uma direção é aumentar a CPU de 14 núcleos para 48 núcleos, mas talvez o fato de obtermos valores altos de CPU %IOWAIT seja resultado de alta utilização do disco.
o tráfego proveniente dos produtores que está enviando para um cluster é persistido no disco. Portanto, a taxa de transferência subjacente do volume de armazenamento pode se tornar o gargalo do cluster.
Neste caso, faz sentido adicionar outras máquinas kafka ao cluster. ou talvez adicione alguns discos adicionais a cada máquina Kafka (como discos JBOD) para equilibrar a escrita/leitura intensiva.
agradeço receber qualquer sugestão que possa melhorar a utilização do disco Kafka
Detalhes do disco VMware (do cliente vSphere nas configurações de edição)
SATA controller 0 AHCI
VM storage policy VxRail RAID5 Default
Sharing No SHaring
Disk File VxRail-VSAN_Datastore
Disk mode Dependent
Virtual Device Node SCSI controller 0
os resultados do vmstat quando o cluster é carregado
vmstat 1 20
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
18 13 1024 379388 0 54566428 0 0 1888 5137 0 0 4 4 47 45 0
0 19 1024 328408 0 54606020 0 0 0 6853 11700 7288 2 2 12 85 0
0 15 1024 330204 0 54618088 0 0 12004 56708 16881 8254 3 3 16 78 0
0 13 1024 345284 0 54601404 0 0 3492 104672 5135 3067 0 1 43 56 0
0 17 1024 324864 0 54620400 0 0 248 66547 16615 8477 2 4 31 63 0
0 18 1024 367468 0 54577640 0 0 0 84404 13020 6995 2 3 6 90 0
0 21 1024 327480 0 54611036 0 0 8536 125999 29355 37872 4 7 18 71 0
0 19 1024 362180 0 54581692 0 0 7692 66464 4167 2717 0 0 33 66 0
0 19 1024 419264 0 54523248 0 0 0 46409 1799 1825 0 0 27 73 0
0 14 1024 356708 0 54586004 0 0 4 78656 17169 9841 3 4 23 70 0
0 14 1024 407352 0 54539976 0 0 0 136732 4554 4673 0 1 20 79 0
0 12 1024 389672 0 54557752 0 0 5832 59124 9619 5537 1 2 25 71 0
0 14 1024 431880 0 54513164 0 0 948 94160 14272 7229 2 3 30 65 0
0 15 1024 440300 0 54502784 0 0 9140 136328 10626 5296 1 1 38 60 0
0 13 1024 441708 0 54501948 0 0 7652 62132 4663 2756 0 1 33 66 0
0 14 1024 449396 0 54492664 0 0 416 64790 1955 1757 0 0 33 66 0
0 17 1024 424028 0 54520452 0 0 484 114372 16674 7946 2 3 25 70 0
0 18 1024 441912 0 54499924 0 0 0 82027 2752 2100 0 0 22 78 0
0 14 1024 473604 0 54468560 0 0 0 60188 2021 2212 0 0 22 78 0
1 14 1024 420224 0 54525684 0 0 8576 128225 21739 9684 9 4 27 60 0
temos a seguinte configuração de NIC. da ethtool, (o servidor é a versão RHEL 7.9)
ethtool p1p1
Settings for p1p1:
Supported ports: [ FIBRE ]
Supported link modes: 10000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: No
Supported FEC modes: Not reported
Advertised link modes: 10000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: No
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Port: FIBRE
PHYAD: 0
Transceiver: internal
Auto-negotiation: off
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
tentamos definir a negociação automática como sim adicionando a seguinte linha ao arquivo ifcfg-p1p1 e reiniciando o serviço de rede, mas sem sucesso.
ETHTOOL_OPTS="speed 10000 duplex full autoneg on"
a segunda tentativa foi com o seguinte.
ethtool -s p1p1 autoneg on speed 10000 duplex full
Cannot set new settings: Invalid argument
not setting speed
not setting duplex
not setting autoneg
mas sem sucesso
quais são as outras opções para definir a negociação automática: Sim?
ou talvez isso seja algo relacionado a switches Cisco e não possa ser configurado no lado do Linux?
clockdiffé um comando que mede a diferença de clock entre hosts
aqui está um exemplo da minha máquina Linux.
clockdiff -o 162.23.2.2
.
host=server11 rtt=750(187)ms/0ms delta=0ms/0ms Tue Oct 24 11:01:42 2023
o problema é quando queremos filtrar a saída ou salvar a saída em um arquivo como o seguinte
clockdiff -o 162.23.2.2 >/tmp/file
more /tmp/file
1698145574 0 0
como podemos ver acima, a saída do arquivo não é a saída quando executamos o comando no console
alguma idéia de como salvar a saída da seguinte forma:
.
host=server11 rtt=750(187)ms/0ms delta=0ms/0ms Tue Oct 24 11:01:42 2023
Como saber o intervalo para alocação de portas dinâmicas na máquina Red Hat Linux
Do Linux nós fizemos
sysctl -a | egrep "net.inet.ip.portrange.first|net.inet.ip.portrange.last"
mas esses parâmetros não estão na configuração do kernel
é que os parâmetros são equivalentes à configuração no arquivo - /proc/sys/net/ipv4/ip_local_port_range?
more /proc/sys/net/ipv4/ip_local_port_range
1024 65535
Temos uma máquina Linux rodando RHEL versão 7.9. Nesta máquina, instalamos o serviço Ticktok, que usa o número da porta 4590.
Às vezes, o serviço para e não usa o número da porta 4590.
O problema é que, quando o serviço não usa a porta, outros aplicativos podem usá-lo e, quando o serviço é iniciado, ele falha porque a porta 4590já está em uso.
Então, como podemos reservar o número da porta 4590para o serviço Ticktok?
Detalhes adicionais:
1024, devemos usar o número da porta 4590systemctlserviços
Como nosso aplicativo funciona com python2, precisamos mudar para o RHEL 8
Depois de instalarmos python2na máquina RHEL 8, vemos o seguinte:
rpm -qa | grep python2
python2-pip-9.0.3-19.module+el8.6.0+13001+ad200bd9.noarch
python2-setuptools-wheel-39.0.1-13.module+el8.4.0+9442+27d0e81c.noarch
python2-pip-wheel-9.0.3-19.module+el8.6.0+13001+ad200bd9.noarch
python2-2.7.18-11.module+el8.7.0+15681+7a92afba.x86_64
python2-libs-2.7.18-11.module+el8.7.0+15681+7a92afba.x86_64
python2-setuptools-39.0.1-13.module+el8.4.0+9442+27d0e81c.noarch
mas quando tentamos usar import yum, obtemos um erro sobre 'Nenhum módulo chamado yum' com a seguinte saída:
python
Python 2.7.18 (default, Jun 17 2022, 07:56:00)
[GCC 8.5.0 20210514 (Red Hat 8.5.0-13)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import yum
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ImportError: No module named yum
O rpm instalado para o yum é:
rpm -qa | grep yum
yum-4.4.2-11.el8.noarch
yum-utils-4.0.18-4.el8.noarch
e yum aparece como:
more /usr/bin/yum
#!/usr/bin/python
import sys
try:
import yum
except ImportError:
print >> sys.stderr, """\
There was a problem importing one of the Python modules
required to run yum. The error leading to this problem was:
%s
Please install a package which provides this module, or
verify that the module is installed correctly.
It's possible that the above module doesn't match the
current version of Python, which is:
%s
If you cannot solve this problem yourself, please go to
the yum faq at:
http://yum.baseurl.org/wiki/Faq
""" % (sys.exc_value, sys.version)
sys.exit(1)
sys.path.insert(0, '/usr/share/yum-cli')
try:
import yummain
yummain.user_main(sys.argv[1:], exit_code=True)
except KeyboardInterrupt, e:
print >> sys.stderr, "\n\nExiting on user cancel."
sys.exit(1)
e da pip2lista obtemos esta saída:
pip2 list
pip (9.0.3)
setuptools (39.0.1)
Então, por que estamos recebendo o erro sobre No module named yum?
https://www.getpagespeed.com/solutions/python-scripts-running-on-rocky-linux-8-can-not-import-yum
temos cluster de máquinas RHEL 7.9, estamos usando este servidor como produtores de clientes kafka.
cada máquina tem as seguintes especificações (máquinas físicas DELL)
48 CORES
128G memory
na maioria das máquinas, vimos %idle muito baixo (do comando sar) e os valores estão em torno de 2-6
algumas vezes também vemos que a máquina trava por alguns segundos sobre a média de carga da CPU, os valores estão entre 40-60, mas parece estar ok
portanto, o único ponto com o qual nos preocupamos é como saber se o idle de 2 - 6 ainda é normal ou é algo que não podemos permitir
podemos definir um valor limite que emite alertas quando a inatividade está baixa? mas a questão de como definir o valor limite?
por exemplo, podemos definir o valor limite de 10% ou 20%? ou algum outro valor?
vmstat 1 3
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
60 0 0 65249020 3364 1082656 0 0 2 1 115 43 86 3 11 0 0
46 0 0 65240956 3364 1082656 0 0 0 0 167113 10096 92 3 5 0 0
53 0 0 65248888 3364 1082656 0 0 0 0 208360 9795 92 4 4 0 0
sar 5 5
09:46:10 AM CPU %user %nice %system %iowait %steal %idle
09:46:15 AM all 91.93 0.00 4.03 0.00 0.00 4.04
09:46:20 AM all 91.90 0.00 3.48 0.00 0.00 4.62
09:46:25 AM all 91.76 0.00 3.21 0.00 0.00 5.04
09:46:30 AM all 91.69 0.00 2.84 0.00 0.00 5.47
09:46:35 AM all 92.17 0.00 4.50 0.00 0.00 3.34
Average: all 91.89 0.00 3.61 0.00 0.00 4.50
top -bn2 | grep '%Cpu' | tail -1 | grep -P '(....|...) id,'|awk '{print "CPU Usage: " 100-$8 "%"}'
CPU Usage: 96.2%
sar -P ALL 1 1
Average: CPU %user %nice %system %iowait %steal %idle
Average: all 91.94 0.00 4.75 0.00 0.00 3.31
Average: 0 12.24 0.00 51.02 0.00 0.00 36.73
Average: 1 17.35 0.00 41.84 0.00 0.00 40.82
Average: 2 100.00 0.00 0.00 0.00 0.00 0.00
Average: 3 98.02 0.00 1.98 0.00 0.00 0.00
Average: 4 99.00 0.00 1.00 0.00 0.00 0.00
Average: 5 98.00 0.00 2.00 0.00 0.00 0.00
Average: 6 98.02 0.00 1.98 0.00 0.00 0.00
Average: 7 98.00 0.00 2.00 0.00 0.00 0.00
Average: 8 98.00 0.00 2.00 0.00 0.00 0.00
Average: 9 99.00 0.00 1.00 0.00 0.00 0.00
Average: 10 99.00 0.00 1.00 0.00 0.00 0.00
Average: 11 98.02 0.00 1.98 0.00 0.00 0.00
Average: 12 98.00 0.00 2.00 0.00 0.00 0.00
Average: 13 98.00 0.00 2.00 0.00 0.00 0.00
Average: 14 98.99 0.00 1.01 0.00 0.00 0.00
Average: 15 99.00 0.00 1.00 0.00 0.00 0.00
Average: 16 98.99 0.00 1.01 0.00 0.00 0.00
Average: 17 99.00 0.00 1.00 0.00 0.00 0.00
Average: 18 98.00 0.00 2.00 0.00 0.00 0.00
Average: 19 99.00 0.00 1.00 0.00 0.00 0.00
Average: 20 99.00 0.00 1.00 0.00 0.00 0.00
Average: 21 97.06 0.00 2.94 0.00 0.00 0.00
Average: 22 98.00 0.00 2.00 0.00 0.00 0.00
Average: 23 98.02 0.00 1.98 0.00 0.00 0.00
Average: 24 20.20 0.00 41.41 0.00 0.00 38.38
Average: 25 31.31 0.00 23.23 0.00 0.00 45.45
Average: 26 99.01 0.00 0.99 0.00 0.00 0.00
Average: 27 98.02 0.00 1.98 0.00 0.00 0.00
Average: 28 98.02 0.00 1.98 0.00 0.00 0.00
Average: 29 98.02 0.00 1.98 0.00 0.00 0.00
Average: 30 98.99 0.00 1.01 0.00 0.00 0.00
Average: 31 98.02 0.00 1.98 0.00 0.00 0.00
Average: 32 98.99 0.00 1.01 0.00 0.00 0.00
Average: 33 98.02 0.00 1.98 0.00 0.00 0.00
Average: 34 98.02 0.00 1.98 0.00 0.00 0.00
Average: 35 99.00 0.00 1.00 0.00 0.00 0.00
Average: 36 97.06 0.00 2.94 0.00 0.00 0.00
Average: 37 98.00 0.00 2.00 0.00 0.00 0.00
Average: 38 97.06 0.00 2.94 0.00 0.00 0.00
Average: 39 98.99 0.00 1.01 0.00 0.00 0.00
Average: 40 98.00 0.00 2.00 0.00 0.00 0.00
Average: 41 98.00 0.00 2.00 0.00 0.00 0.00
Average: 42 98.99 0.00 1.01 0.00 0.00 0.00
Average: 43 98.00 0.00 2.00 0.00 0.00 0.00
Average: 44 98.00 0.00 2.00 0.00 0.00 0.00
Average: 45 98.99 0.00 1.01 0.00 0.00 0.00
Average: 46 98.00 0.00 2.00 0.00 0.00 0.00
Average: 47 98.00 0.00 2.00 0.00 0.00 0.00
uptime
09:53:23 up 2:07, 4 users, load average: 49.94, 49.17, 49.17
free -g
total used free shared buff/cache available
Mem: 125 61 62 0 1 62
Swap: 15 0 15
iostat
Linux 4.18.0-305.el8.x86_64 (dragon12) 06/29/2023 _x86_64_ (48 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
86.30 0.00 3.27 0.00 0.00 10.42
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 2.59 91.45 60.94 754657 502839
dm-0 1.95 83.37 54.04 687962 445952
dm-1 0.01 0.27 0.00 2220 0
dm-2 0.57 2.76 6.65 22810 54839
sar -B 2 5
Linux 4.18.0-305.el8.x86_64 (dragon12) 06/29/2023 _x86_64_ (48 CPU)
10:05:30 AM pgpgin/s pgpgout/s fault/s majflt/s pgfree/s pgscank/s pgscand/s pgsteal/s %vmeff
10:05:32 AM 0.00 1.50 23815.00 0.00 43641.00 0.00 0.00 0.00 0.00
10:05:34 AM 0.00 0.00 27231.50 0.00 45495.00 0.00 0.00 0.00 0.00
10:05:36 AM 0.00 0.00 28570.50 0.00 47603.50 0.00 0.00 0.00 0.00
10:05:38 AM 0.00 0.00 27766.50 0.00 48434.50 0.00 0.00 0.00 0.00
10:05:40 AM 0.00 14.00 28007.00 0.00 48733.50 0.00 0.00 0.00 0.00
Average: 0.00 3.10 27078.10 0.00 46781.50 0.00 0.00 0
Estamos usando servidores como DELL R630em nossos laboratórios, quando a versão do sistema operacional é RHEL 7.9.
Aqui está um exemplo do sistema de arquivos nesses servidores (do ponto de vista da inicialização):
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 500G 0 disk
├─sda1 8:1 0 1G 0 part /boot
└─sda2 8:2 0 229G 0 part
Recentemente, obtivemos novos servidores DELL como R750 e também instalamos o RHEL 7.9 do mesmo ISO nesses servidores.
Agora temos partição de inicialização adicional - /boot/efi.
lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 500G 0 disk
├─sda1 8:1 0 512M 0 part /boot/efi
├─sda2 8:2 0 1G 0 part /boot
└─sda3 8:3 0 560G 0 part
Pela fstabsua aparência:
UUID=746E-8398 /boot/efi vfat defaults,uid=0,gid=0,umask=0077,shortname=winnt 0 0
Como estamos usando o mesmo arquivo ISO para instalar o RHEL 7.9 do mesmo ISO, em todos os tipos de servidores, não entendemos como conseguimos a nova partição /boot/efi?
notamos sobre este problema recentemente
descobrimos que o serviço rsyslog está consumindo memória e algumas vezes chega a 10G
temos diferentes tipos de máquinas redhat como versão 7.6 e 7.9
é possível reiniciar o serviço rsyslog automaticamente (pela configuração do systemctl) quando, por exemplo, o serviço consome mais de 2 GIGA?
da documentação, vejo que ( caminho do serviço - /lib/systemd/system/rsyslog.service)
[Service]
MemoryLimit=2G
mas não tenho certeza se atingimos o limite de memória (2G), então o serviço será reiniciado automaticamente
aqui está um exemplo para o que queremos
caso o serviço rsyslog consuma mais de 2G, o serviço será reiniciado como
systemctl restart rsyslog.service
se este cenário acima não puder ser implementado, esperamos obter outras sugestões
temos máquina Linux com DELL HW, e máquina tem 256G de memória
antes de adicionar o novo cartão DIMM com 32G, verificamos que Configured Clock Speedé 2400MHz
então depois adicionamos 32G adicionais ( 2 cartões DIMM , o mesmo tipo de cartão DIMM que a máquina já possui ) a esta máquina e após a inicialização da máquina , verificamos o Configured Clock Speedby dmidecodee vemos que ele foi alterado
então Configured Clock Speedfoi alterado de 2400MHzpara1866 MHz
exemplo
antes de adicionar o novo DIMM
dmidecode | grep "Configured Clock Speed"
Configured Clock Speed: 2133 MHz
Configured Clock Speed: 2133 MHz
Configured Clock Speed: 2133 MHz
Configured Clock Speed: 2133 MHz
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: 2133 MHz
Configured Clock Speed: 2133 MHz
Configured Clock Speed: 2133 MHz
Configured Clock Speed: 2133 MHz
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
depois de adicionar o novo DIMM
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: 1866 MHz
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
Configured Clock Speed: Unknown
então qual poderia ser a razão para isso mudou? , por que adicionando uma memória dimm , depois Configured Clock Speedmudou assim?
Server is Dell PowerEdge R730 and memories are:
Memory Device
Array Handle: 0x1000
Error Information Handle: Not Provided
Total Width: 72 bits
Data Width: 64 bits
Size: 16384 MB
Form Factor: DIMM
Set: 3
Locator: A9
Bank Locator: Not Specified
Type: DDR4
Type Detail: Synchronous Registered (Buffered)
Speed: 2400 MHz
Manufacturer: 002C0632002C
Serial Number: 1B42681B
Asset Tag: 001808A0
Part Number: 18ASF2G72PDZ-2G3D1
Rank: 2
Configured Clock Speed: 1866 MHz
Minimum Voltage: 1.2 V
Maximum Voltage: 1.2 V
Configured Voltage: 1.2 V
temos máquina RHEL , e de df -i, podemos ver que algumas partições estão com 100% ( sobre inodes ), apesar de df -htermos espaço
Nota - os discos são discos VMDK
df -h
/dev/sdc 40G 17G 23G 43% /data/sdc
/dev/sdd 40G 23G 17G 58% /data/sdd
/dev/sde 40G 23G 17G 58% /data/sde
/dev/sdb 40G 26G 14G 65% /data/sdb
df -i
/dev/sdc 2621440 231948 2389492 9% /data/sdc
/dev/sdd 2621440 2616820 4620 100% /data/sdd
/dev/sde 2621440 2613218 8222 100% /data/sde
/dev/sdb 2621440 2621440 0 100% /data/sdb
então eu apenas coletei algumas opções para resolver os inodes que atingiram 100% de problema
em seguida, verifique novamente os discos no sistema operacional
echo 1 >/sys/block/${disk_name}/device/rescan
em seguida, redimensione o disco como
resize2fs /dev/$disk_name
mkfs.ext4 -j -m 0 /dev/$disk -F , para aumentar os inodes de mkfsacordo com o novo espaço em discoentão de acordo com o passo 1 e passo 2
é suficiente fazer apenas o passo 1 ou também o passo 2 além do passo 1?
queremos saber - Com que rapidez um único volume de armazenamento pode ler ou gravar, em Megabytes por segundo
por exemplo - taxa de transferência de 125 MBps.
então usamos o smartctlcomando para capturar a taxa de transferência de XXXMBps. valor
mas não encontramos esta informação do smartctl
alguma outra opção?
smartctl -a /dev/sdb
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.10.0-514.26.2.el7.x86_64] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF INFORMATION SECTION ===
Vendor: SEAGATE
Product: DL1800MM0159
Revision: ST51
User Capacity: 1,800,360,124,416 bytes [1.80 TB]
Logical block size: 512 bytes
Physical block size: 4096 bytes
Lowest aligned LBA: 0
Formatted with type 2 protection
Logical block provisioning type unreported, LBPME=0, LBPRZ=0
Rotation Rate: 10000 rpm
Form Factor: 2.5 inches
Logical Unit id: 0x5000c500bc73d273
Serial number: WBN12G02
Device type: disk
Transport protocol: SAS
Local Time is: Tue Jul 19 10:49:47 2022 UTC
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
Temperature Warning: Disabled or Not Supported
=== START OF READ SMART DATA SECTION ===
SMART Health Status: OK
Current Drive Temperature: 19 C
Drive Trip Temperature: 60 C
Manufactured in week 46 of year 2018
Specified cycle count over device lifetime: 10000
Accumulated start-stop cycles: 19
Specified load-unload count over device lifetime: 300000
Accumulated load-unload cycles: 1380
Elements in grown defect list: 0
Vendor (Seagate) cache information
Blocks sent to initiator = 421312352
Blocks received from initiator = 4275942608
Blocks read from cache and sent to initiator = 4194898282
Number of read and write commands whose size <= segment size = 316377477
Number of read and write commands whose size > segment size = 3066756
Vendor (Seagate/Hitachi) factory information
number of hours powered up = 29286.85
number of minutes until next internal SMART test = 9
Error counter log:
Errors Corrected by Total Correction Gigabytes Total
ECC rereads/ errors algorithm processed uncorrected
fast | delayed rewrites corrected invocations [10^9 bytes] errors
read: 2663961716 5 0 2663961721 5 29253.063 0
write: 0 0 22 22 22 118463.418 0
verify: 64194 0 0 64194 0 0.000 0
Non-medium error count: 3382
No self-tests have been logged
para excluir arquivos na pasta, podemos usar a seguinte abordagem com find
find /home -type f -delete
mas como excluir recursivamente apenas os arquivos que existem na pasta temporária?
digamos que temos o seguinte exemplo de caminho temporário
/home/bla/bla/temp
/home/test/temp
/home/subf/subf/subf/temp
.
.
.
/home/1/temp
como alterar a sintaxe de localização para excluir apenas os arquivos no tempdiretório
o alvo é usar o comando find para corresponder apenas às pastas temporárias e remover os arquivos no diretório temporário
temos o cluster Hadoop e estamos coletando dados de coleta de métricas para investigar o comportamento de lentidão em aplicativos spark
após longa investigação em nosso cluster Hadoop
notamos nas métricas do Prometheus que o node_disk_io_now está com valores altos mais do que o normal e é relevante para todos os discos HDFS em máquinas de nó de dados
a definição node_disk_io_now é:
node_disk_io_now (campo 9) O único campo que deve ir para zero. Incrementado à medida que as solicitações são fornecidas ao struct request_queue apropriado e decrementado à medida que terminam.
queremos saber , se o ajuste dos parâmetros do kernel pode dar aspectos positivos no desempenho dos discos
de acordo com a definição node_disk_io_now, parece que muitas tarefas estão esperando na fila,
e talvez alguns parâmetros do kernel possam ajudar a melhorar o comportamento acima para que as tarefas na fila não estejam lá por muito tempo
temos o script bash que configurou ochrony.conf
script verifique se o ping está ok ntp1e ntp2(servidores ntp)
e, em seguida, insira o script nos servidores ntp para /etc/chrony.conf(somente se o ping for bem-sucedido)
exemplo do script bash:
ping -c 1 ntp1
if [[ $? -eq 0 ]];then
echo "server ntp1 iburst" >> /etc/chrony.conf
else
echo "sorry so much but no ping to ntp1 server , /etc/chrony.conf will not configured "
exit 1
fi
ping -c 1 ntp2
if [[ $? -eq 0 ]];then
echo "server ntp2 iburst" >> /etc/chrony.conf
else
echo "sorry so much but no ping to ntp2 server , /etc/chrony.conf will not configured "
exit 1
fi
o problema é que às vezes o usuário decidiu desabilitar o pingouicmp
então, nesse caso , o cenário em que verificamos o ping não é relevante e não podemos adicionar as linhas a/etc/chrony.conf
então queremos saber como testar os servidores ntp1e ntp2para adicionar o ntp1 e ntp2a configuração do chrony
por exemplo, se ntp1e ntp2não parece ser como servidores ntp, não os adicionaremos à configuração do chrony
queremos entender quais são os aspectos quando o net.core.netdev_max_backlog valor do kernel é muito baixo e não é o recomendado
em nossas máquinas Linux RHEL, o valor para este parâmetro é1000
uma vez que nossas máquinas são máquinas HADOOP (BIGDATA cluster)
vimos que a melhor prática é aumentar o valor para65536
como descreve em:
https://datasayans.wordpress.com/2015/11/04/performance-kernel-tuning-for-hadoop-environment/
fundo:
O parâmetro do kernel “netdev_max_backlog” é o tamanho máximo da fila de recebimento. Os quadros recebidos serão armazenados nesta fila após serem retirados do buffer de anel na NIC. Use um valor alto para cartões de alta velocidade para evitar a perda de pacotes. Em aplicativos de tempo real como roteador SIP, a longa fila deve ser atribuída com CPU de alta velocidade, caso contrário, os dados na fila ficarão desatualizados (antigos).
então - quais poderiam ser os aspectos quando esse parâmetro do kernel está com valor não insuficiente?
outro - referência - https://gist.github.com/leosouzadias/e37cd189794bb78de502ac25cb605576
https://www.senia.org/2016/02/28/hadoop-and-redhat-system-tuning-etcsysctl-conf/
https://mapredit.blogspot.com/2014/11/hadoop-server-performance-tuning.html
https://gist.github.com/phaneesh/38b3d80b38cc76abb1d010f598fbc90a