主页 / user-33903

Paul's questions

Martin Hope
Paul
Asked: 2018-02-28 22:25:11 +0800 CST
  • 2

我正在尝试在启动脚本中在 Google Cloud Platform / Google Compute Engine 上设置“临时”本地 SSD，以便在创建 VM 时运行可抢占实例。运行此脚本时，VM 上没有有价值的数据。

从或 Web 控制台创建具有本地 SSD 的 VM 后，gcloud需要在 VM 上进行一些设置。

本地 SSD 文档说我应该：

  1. 识别 ssd 块设备lsblk
  2. 格式化它mkfs.ext4 -F /dev/[block-dev-from-part1]
  3. 将它安装在某个地方&&享受

但在第 2 步中，我得到一个/dev/sdb1未找到的错误。

fdisk显示/dev/sdb存在但没有分区表。

我可以手动使用 fdisk 并且可以，但是如何在启动脚本中对 SSD 进行分区和设置？

google-cloud-platform
Martin Hope
Paul
Asked: 2010-02-24 07:49:31 +0800 CST
  • 4

最近有人问我“是什么原因导致我们的 access.log 中出现这样的一行？”

59.56.109.181 - - [22/Feb/2010:16:03:35 -0800] “GET http://www.google.com/HTTP/1.1 ” 200 295 “-” “Mozilla/5.0（兼容；MSIE 5.01 ;Win2000)"

我的直接回答是有人在探索一些有点狡猾的东西。

但：

  • 如何？推测... 一个简短的 perl 或 python 脚本可以很容易地连接并请求一个带有无效主机的 URL。
  • 漏洞？当他们这样做时，有人在寻找什么，他们学到了什么，我们应该修补它吗？
  • 我需要一顶锡箔帽来防止他们读懂我的想法吗？
  • 对我来说真正的问题是：不应该是 404 响应，而不是 200！？

这是在标准 LAMP 服务器 (Ubuntu) 上。

linux http apache-2.2 httpd vulnerabilities
Martin Hope
user33903
Asked: 2010-02-13 07:45:45 +0800 CST
  • 1

在现场，我需要一些用户能够从也用作挂载 LiveCD 的 cdrom 可靠地制作 iso 文件，因此我在编写任何脚本之前编写了一个手动测试用例。测试用例失败。

ISO 重复测试程序

具体来说，手动测试程序是：

  1. 从基于 ubuntu-9.10 的特定定制 livecd 的 iso 文件开始
  2. 使用计算机 #1 的刻录机使用此 iso 文件刻录 cd
  3. 用计算机 #2 启动 cd -- 启动后确保 /tmp 有足够的容量来保存 iso 的副本
  4. 在 #2 计算机上使用 dd 在 /tmp 中创建另一个 iso 文件
  5. 检查文件大小和 /tmp 中生成的 iso 的 md5 与最初在步骤中使用的那个

测试用例失败

失败模式是复制未完成。

Burner 是在 Ubuntu-9.10 上运行 Brasero 的网关桌面

Booter 是一台华硕 N 笔记本电脑。

df 将 cdrom 标识为 /dev/sr0

/tmp 显示有足够的​​空间来保存图像

dd if=/dev/sr0 of=/tmp/cdtest.iso
dd: reading '/dev/sr0' Input/Output error
1022208+0 records in
1022208+0 records out
523370496 bytes (523 MB) copied ....

原始 iso 大小为 523497472 字节，因此缺少大约 127 k。 

dmesg (clipped)
[  694.212395] sr 1:0:0:0: [sr0] Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
[  694.212401] sr 1:0:0:0: [sr0] Sense Key : Illegal Request [current] 
[  694.212406] Info fld=0x3e67e, ILI
[  694.212407] sr 1:0:0:0: [sr0] Add. Sense: Illegal mode for this track
[  694.212413] end_request: I/O error, dev sr0, sector 1022208
[  694.212416] __ratelimit: 1 callbacks suppressed
[  694.212418] Buffer I/O error on device sr0, logical block 255552
[  694.212419] Buffer I/O error on device sr0, logical block 255553
[  694.212422] Buffer I/O error on device sr0, logical block 255554
[  694.212424] Buffer I/O error on device sr0, logical block 255555
[  694.212426] Buffer I/O error on device sr0, logical block 255556
[  694.212428] Buffer I/O error on device sr0, logical block 255557
[  694.212429] Buffer I/O error on device sr0, logical block 255558
[  694.212431] Buffer I/O error on device sr0, logical block 255559
[  694.212433] Buffer I/O error on device sr0, logical block 255560
[  694.212434] Buffer I/O error on device sr0, logical block 255561

想法？是否有一些不太明显的选项我应该以块大小的方式给出 dd 或告诉它在错误时重新读取？

**更新*在 VirtualBox 上成功

进行另一个复制练习——这次是从 SUN VirtualBox 而不是物理硬件。例如，这将部分测试是否应该归咎于 iso 文件本身，或者是否存在一些特殊的软件方面的问题。当 livecd 在虚拟硬件上运行时，只要物理尺寸匹配且 md5 匹配，dd 就可以很好地重新创建 iso。

更新 #2 启动后从计算机 #2 读取 cdrom 的 isolinux.bin 和 md5sum.txt FAIL md5。

在 CD 的 md5 sum 文件上运行 md5sum -c md5sum.txt。

没有文件访问抱怨无法读取设备。我原以为接近写入结尾的文件会出现问题。

isolinux.bin md5 和 md5sum.txt md5 不匹配。isolinux.bin 是系统启动时用来加载 linux 内核和 initrd 的启动代码——它工作正常。md5sum 文件就是用于检查 cd 内容的 md5sum 文件。在可能已损坏的文件中，这是一对奇怪的安全方面。但是 CD 上只有 12 个文件。如果 isolinux.bin 已损坏，它怎么还能正常启动？奇怪的。

检查 VirtualBox 测试系统，复制 iso 成功的地方，我发现 isolinux.bin 和 md5sum.txt 的 md5 与 md5sum 文件不匹配。实际的 md5 也与物理计算机上读取的完全匹配。这可能只是意味着 md5sum 文件是在完成 isolinux.bin 之前生成的，或者在生成 md5sum 之后复制了一个新的 isolinux.bin。

请注意，没有关于在通过文件系统时无法读取文件块的投诉。

维基百科与 dd

与 Richard T 的互动让我想到了基本的 cdrom 可靠性。iso9660 的维基百科条目讨论了一种 CDROM 模式 1，其中每 2048 个字节的用户数据包含 288 个字节的纠错码。为了 dd 产生一个忠实的副本，它是否必须在没有 ECC 的情况下使所有内容都正确？如果 ECC 是 iso9660 规范的一部分，我会猜“是”，因为 dd 正在复制 ECC 位和数据，而不考虑使用一个来影响另一个。如果 ECC 是 /dev/sr0 cdrom 驱动程序的一部分，我猜“不”。

如果获得错误更正副本的唯一方法是通过文件系统，那么我想我需要使用 genisoimage 并使用 dd 抓取前几个扇区以将引导扇区返回给 genisoimage。仍然希望从小组的头脑中得到一些东西。

基因图像

我很幸运有原始的 genisoimage 命令来掌握原始的 iso 文件。
因此，我在#2 计算机上运行 LiveCD 进行了尝试。这也不够，但也许我们越来越近了。

apt-get install genisoimage
cd /cdrom
genisoimage -r -V "OurLiveCDNameIsSomethingElse" -cache-inodes -J -l -b isolinux/isolinux -c isolinux/boot.cat -no-emul-boot -boot-load-size 4 -boot-info-table -o /tmp/cdcopy.iso .
Output:
...using utf-8 (detected in locale)
Size of boot image is 4 sectors-> No emulation
genisoimage: Read-only file system.  Error opening boot image file './isolinux/isolinux.bin' for update.

至少现在我们知道为什么 isolinux.bin 上的 md5 不匹配—— genisoimage 想要对它做点什么！

丑陋的黑客

好的，接下来要尝试的是创建一个名为uglyhack 的目录，并将所有文件从/cdrom 符号链接到那里，除了isolinux.bin，它得到一个真实的副本。genisoimage 接受这个，并写入 0MB 而没有错误消息。猜猜 genisoimage 忽略符号链接的文件。

好消息是这提出了一个答案，但不是一个非常漂亮的答案：
将所有文件从 /cdrom 复制到另一个可写文件系统，然后在其上运行 genisoimage。

所以现在怎么办？

必须有一些更好的方法来完成这项任务。

ubuntu optical-media disk-image live-cd ubuntu-9.10
Martin Hope
Paul
Asked: 2010-02-13 06:13:05 +0800 CST
  • 3

想象一些带有各种脚本（主要是 PERL，但也可以是任何写入 STDERR 的脚本）的 linux 系统，它们由具有略微不同需求的不同用户运行 100 次。

记录每次运行脚本的输出和警告/错误 (stderr)。这意味着正在积累 1000 条日志。

用户会犯错误。而且开发人员并不总是编写干净的代码等。

我们想从日志中了解正在发生的事情，无论是（以编程方式）在每种情况下，还是（以管理方式、分析方式）了解随时间变化的趋势。

这个问题也可以在 web 服务器/cgi 上下文中考虑，因为这通常会生成 100 次脚本运行，但我不是在寻找 apache 访问/错误日志特有的解决方案。

一般来说，存在哪些免费/开源软件工具来识别和分析来自这样一组日志的异常输出，其中每个日志代表一个过程的一次运行？

有用的功能可能包括：

  • 可以将此运行的标准输出/标准错误与历史输出​​进行比较，并确定标准输出或标准错误的哪些部分异常或值得注意
  • 通过消除将相同错误存储 100 次或更多次的需要，可以实现“压缩”而不是以纯文本形式存储所有日志
  • 可以分析整个商店的趋势（此消息显示的次数比过去少或多）以及计数（最常见的错误是这些）
  • 具有某种带有图形和数据导出功能的可浏览用户界面

例如，可以获取从 stderr 生成的所有日志，对它们进行分类，然后通过 sort 和 uniq -c 运行它们，然后再次排序以生成从最不频繁到最频繁的错误字符串列表。也可以开始将日志转​​储到某种 SQL 数据库中。

这可能成为工具的构建块，但也许已经有完整的包可以做到这一点，而且更多。所以我想我会问看看其他人使用什么。

您是否为这类事情开发了内部工具，或者有没有好的开源替代品？

logging log-files perl windows-event-log