主页 / server / 问题

问题[archive](server)

Martin Hope
Massimo
Asked: 2022-03-01 23:32:55 +0800 CST
  • 0

由于保留策略上的错误，用户邮箱的太多（最近的）邮件被移动到在线存档。我知道 MS 没有为在线存档提供退路。我调查了一些选项：

  1. 删除存档并将其导入回主邮箱：我不能这样做，因为存档时某些邮箱已满，现在没有合并空间
  2. 将存档导出到 PST；将其重新导入主邮箱，按日期过滤；删除并重新创建档案；将剩余的 PST 重新导入存档：可能有效，但需要付出巨大的努力
  3. 在一篇旧文章中，我发现有一个 PS 脚本，它利用 EWS，能够将选定的项目移动到存档。在想知道它是否可以执行反向路径时，我发现该脚本不再存在于 Powershell Gallery 中。

其他想法？

archive microsoft-office-365 exchangeonline
Martin Hope
user3450564
Asked: 2021-09-19 22:48:50 +0800 CST
  • 1

密送[email protected] 用户，我们不希望人们收到该密送列表，除了[email protected]“用户”。

目标

  1. 我们希望归档所有通过 postfix 发送和接收的邮件。该设置使用：
  • 后缀，
  • 使用 Pam（从 Ldap 提取）用户进行 dovecot 身份验证，
  • 并通过Dovecot 的 LMTP发送到邮箱。

  1. 我们希望在邮件存档中包含密件抄送收件人。

  2. 除了[email protected]“用户”之外，我们不希望人们收到该密件抄送列表。

审判

  1. 使用 always_bcc = [email protected] 有效。但是密件抄送收件人（根据权利在信封中作为 RCPT TO 而不是在标题中）会丢失。

  2. 使用：（根据有哪些选项可以存档 Postfix 电子邮件并在标题中保留任何密件抄送信息）

main.cf
smtpd_recipient_restrictions =
  check_recipient_access pcre:/etc/postfix/prepend.pcre

而 pcre 表达式是：

prepend.pcre
/(.+)/          PREPEND X-Envelope-To: $1

这就像一个魅力：我存储的消息有标题 To:; 抄送; X 信封至。如果我们需要深入研究它，即使在密件抄送中，我们也可以知道谁收到了该消息。（注意：X-Envelope-To 包括收件人和抄送人员，以及外部域收件人）。

  1. 消除 X-Envelope-To： 发送：
smtp_header_checks = pcre:/etc/postfix/smtp_header_checks.pcre

与内容：

smtp_header_checks.pcre
/^X-Envelope-To:/               IGNORE

一切都好，直到那里。

问题

消除未离开服务器的电子邮件的 X-Envelope-To。我做了：

lmtp_header_checks = pcre:/etc/postfix/lmtp_header_checks.pcre

lmtp_header_checks.pcre
/^X-Envelope-To:/               IGNORE

但这不是选择性的，甚至 [email protected] 也会丢失“保存”密件抄送列表的标题。

我找不到该标题检查选择性的方法，因为它只评估行本身并且不能使用收件人来制定条件（即使使用 pcre 的“if”）。 ( http://www.postfix.org/pcre_table.5.html )

有没有可以使用的变量？一个想法是：在附加的 X-Envelope-To 标头中包含“[email protected]”，在 lmtp_header_checks.pcre 中包含以下内容：[email protected] 不等于 $LMTP_DELIVERY_RECIPIENT Delivered-To 或 X-Delivered - 保留一个单独的标题，pcre 无法将其评估为变量。

否则有没有办法让 lmtp 触发一些 milter ？我可以使用一个简单的 lmtp_milter 过滤器吗？

在所有可能的文档中追逐了几天，在此先感谢

postfix archive
Martin Hope
ogbofjnr
Asked: 2020-10-30 02:02:20 +0800 CST
  • 0

我想用 tar 提取文件，以便覆盖整个目录。我添加了--overwrite-dir，但test目录中的旧文件仍然存在。对于测试，我有/home/ubuntu/f1/test/first.log并且/home/ubuntu/f2/test/second.log

然后我跑进去/home/ubuntu/f1

tar cvf - ./test | sudo tar -C /home/ubuntu/f2 --overwrite-dir -xvf -

并且ls /home/ubuntu/f2/test期望只看到 second.log 文件。但相反，我得到了两者。是否可以只使用 tar？

linux shell archive tar
Martin Hope
liori
Asked: 2020-10-04 12:55:06 +0800 CST
  • 1

已经确定journald日志是巨大的。在这个特定系统上，日志每周增长约 3GB。出于审计目的，我希望将系统日志保存的时间比我可以舒适地存储在该系统上的时间更长；这只是“以防万一”的存储，不必快速检索。以节省空间的方式归档这些日志的最佳方式是什么？

我正在考虑定期做一些事情journalctl | xz >>/var/log/old-logs.txt.xz，但这在 CPU 使用方面会非常浪费，一次又一次地重新归档数据的相同部分，如果它们被 journalctl 删除，可能会丢失日志，所以也许有更好的方法?

disk-space-utilization archive journald
Martin Hope
Benoit
Asked: 2020-09-22 05:49:29 +0800 CST
  • 2

我们正在建立一个系统，用于对一些天气数据进行归档和科学分析。

设置是多余的，有两个 HP DL580、Proxmox (ZoL) 和一些用于分析的 GPU。在每台服务器上，我们计划 5 个大约 50 TB 的池。我们出于密度和读取速度的原因使用 SSD。在过去两年中，我们一直在使用 HPE 读取密集型 SSD。我们正在考虑对下一个存档池进行以下更改：

  • 使用 HPE QLC“非常读取优化”的 SSD。它们带有减少的 DWPD，尤其是对于随机写入。
  • 从条带镜像移动到 raidZ2 (8 x 7.68 TB)

数据保存为文件 (25%) 和数据库 (InnoDB, 75%)，显然只写入一次。

raidZ2-QLC SSD 组合是否适合这种类型的存档？

关于 QLC SSD 耐用性，是否存在特定于 ZFS 的良好实践或陷阱？

编辑：条带镜像中当前 TLC SSD 的示例 smartctl 输出

Copyright (*C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org  
=== START OF INFORMATION SECTION ===  
Device Model:     VK007680GWSXN  
Serial Number:      
LU WWN Device Id: 5 00a075 1266adce4  
Firmware Version: HPG2  
User Capacity:    7,681,501,126,656 bytes [7.68 TB]  
Sector Sizes:     512 bytes logical, 4096 bytes physical  
Rotation Rate:    Solid State Device  
Form Factor:      2.5 inches  
Device is:        Not in smartctl database [for details use: -P showall]  
ATA Version is:   ACS-3 T13/2161-D revision 5  
SATA Version is:  SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)  
Local Time is:    Mon Sep 21 21:11:42 2020 CEST  
SMART support is: Available - device has SMART capability.  
SMART support is: Enabled  
=== START OF READ SMART DATA SECTION ===  
SMART overall-health self-assessment test result: PASSED  
General SMART Values:  
Offline data collection status:  (0x00) Offline data collection activity
                    was never started.  
                    Auto Offline Data Collection: Disabled.  
Self-test execution status:      (   0) The previous self-test routine completed
                    without error or no self-test has ever 
                    been run.  
Total time to complete Offline   
data collection:        (26790) seconds.  
Offline data collection
capabilities:            (0x7b) SMART execute Offline immediate.
                    Auto Offline data collection on/off support.
                    Suspend Offline collection upon new
                    command.
                    Offline surface scan supported.
                    Self-test supported.
                    Conveyance Self-test supported.
                    Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                    power-saving mode.
                    Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                    General Purpose Logging supported.
Short self-test routine 
recommended polling time:    (   2) minutes.
Extended self-test routine
recommended polling time:    (  45) minutes.
Conveyance self-test routine
recommended polling time:    (   3) minutes.
SCT capabilities:          (0x0035) SCT Status supported.
                    SCT Feature Control supported.
                    SCT Data Table supported.
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   100   100   050    Pre-fail  Always       -       0  
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0  
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       4514  
 11 Unknown_SSD_Attribute   0x0012   100   100   000    Old_age   Always       -       5  
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       6  
171 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0  
172 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0  
173 Unknown_Attribute       0x0033   100   100   010    Pre-fail  Always       -       26  
174 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       5  
175 Program_Fail_Count_Chip 0x0033   100   100   001    Pre-fail  Always       -       0  
180 Unused_Rsvd_Blk_Cnt_Tot 0x003b   100   100   001    Pre-fail  Always       -       0  
184 End-to-End_Error        0x0032   100   100   000    Old_age   Always       -       0  
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0  
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       7  
194 Temperature_Celsius     0x0022   067   057   000    Old_age   Always       -       33 (Min/Max 22/43)  
196 Reallocated_Event_Count 0x0033   100   100   001    Pre-fail  Always       -       0  
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0  
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0  
199 UDMA_CRC_Error_Count    0x003e   100   100   000    Old_age   Always       -       0  
SMART Error Log not supported  
SMART Self-test Log not supported  
SMART Selective self-test log data structure revision number 1  
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS  
    1        0        0  Not_testing  
    2        0        0  Not_testing  
    3        0        0  Not_testing  
    4        0        0  Not_testing  
    5        0        0  Not_testing  
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.*
ssd archive zfsonlinux raidz
Martin Hope
Agis Mikrakis
Asked: 2020-09-16 11:44:11 +0800 CST
  • -1

我创建了一个 shell 文件来从 .7z 中提取档案。shell 在终端中运行良好，但在 cronjob 中出现错误。

命令是：

7z x /path/to/file.7z -aoa

我收到的错误是：

/path/to/script.sh: line 2: 7z: command not found

我正在使用 .7z 文件的完整路径并检查了我的权限，所以我正在努力找出我做错了什么。

我将脚本更改为

#!/bin/bash
/usr/local/bin/7z x /path/to/file.7z -aoa

我现在得到

/bin/sh: /path/to/script.sh: Permission denied

我检查了脚本、文件和 7z 文件，所有权限都设置为读/写

好的..所以我通过在脚本上使用 chmod +x 修复了权限问题。

mac-osx cron archive
Martin Hope
Klemart3D
Asked: 2016-06-11 02:47:50 +0800 CST
  • 0

我从 Linux 上的生产服务器创建并压缩（使用 bzip2）SQL 转储。

我想创建一个 shell 脚本来自动将其导入我的开发环境的数据库中（在 Mac OS 上）。

文件dump.sql.bz2可以使用 Mac OS Archive Utility 手动解压缩。但是当我使用诸如bzip2 -dck dump.sql.bz2or之类的命令行时bunzip2 -k dump.sql.bz2，sql 文件被转换为二进制文件并且不能被 mysql ( ERROR at line 1: Unknown command '\%') 利用，如您在此屏幕截图中所见：

GUI 和 CLI bzip2 提取的比较

什么是存档实用程序的等效命令行来在 Mac 上提取 bz2 sql 文件而不损坏它？可能这不是做我想做的最好的方法吗？

mac-osx sql archive dump
Martin Hope
MultiformeIngegno
Asked: 2012-07-18 14:43:14 +0800 CST
  • -2

我想更改我实际用来将文件放入 tar 存档的命令以实现此目的：

1) 从存档中删除目录树（实际上 .tar.gz 文件保留了文件树。我希望文件成为“父文件”）。

2) 删除用于创建存档的文件，只留下新的 .tar.gz

BACKUP_DEST=/home/backup/db/`date +\%G-\%m-\%d`
tar -czvf ${BACKUP_DEST}/files.tar.gz ${BACKUP_DEST}
archive command tar
Martin Hope
wazoox
Asked: 2010-03-09 04:17:54 +0800 CST
  • 20

这是我的问题：我需要将很多（最多 60 TB）大文件（通常每个 30 到 40 GB）归档到 tar 文件中。我想在归档之前对这些文件进行校验和（md5、sha1 等）；但是，不读取每个文件两次（一次用于校验和，两次用于 tar'ing）或多或少是实现非常高的归档性能的必要条件（LTO-4 需要持续 120 MB/s，并且备份窗口是有限的）。

所以我需要一些方法来读取文件，在一侧提供校验和工具，并在另一侧构建一个 tar 到磁带，沿着：

tar cf - files | tee tarfile.tar | md5sum -

除了我不想要整个存档的校验和（这个示例 shell 代码就是这样做的），而是存档中每个单独文件的校验和。

我研究过 GNU tar、Pax、Star 选项。我查看了Archive::Tar的来源。我认为没有明显的方法可以实现这一目标。看来我必须用 C 或类似语言手动构建一些东西才能实现我需要的东西。Perl/Python/etc 根本不会降低性能，并且各种 tar 程序都缺少必要的“插件架构”。在我开始编写代码之前，有谁知道任何现有的解决方案？

linux archive checksum