主页 / computer / 问题 / 1740745
Accepted
HugoRune
Asked: 2022-09-06 02:49:01 +0800 CST

日志文件内容的增量副本

  • 772

我有几个日志文件，一次增长一行，就像日志文件一样。这些文件可通过 SMB 网络共享获得。

我想定期复制这些文件。由于网络相当缓慢和拥挤，我不想每次都传输整个文件，而只想传输在前一个副本之后添加的新行。

  • 我可以相信生成日志的程序只会附加到文件的末尾。（如果部分日志文件在写入后以某种方式被修改，那么整个日志无论如何都是不可信且无用的）。不需要比较源文件和目标文件的开头。

  • 源文件和目标文件夹只能通过 SMB 文件共享获得，不允许两个系统之间的其他通信通道。

  • 运行复制任务的电脑既可以访问源文件共享，也可以访问目标文件共享，但是这两个共享位于不同的网络中，这台电脑是它们之间的唯一桥梁。

是否有robocopy、xcopy 或其他 Windows 命令的巧妙组合来完成此操作？Robocopy 可以恢复部分下载，但在这种情况下我无法让它工作。

我已经读到 RSync 服务器在这里会有所帮助，但是通信必须跨越多个公司防火墙，阻止除 smb 文件共享之外的所有内容，并且不应修改生成日志的设备，所以我不认为这是一个选项。

windows ntfs

3 个回答

  1. Best Answer

    Windows 10 和 Windows Server 2019 附带：

    curl.exe file:////thedevice/sharename/input.log -o \\target\logs\output.log -C -

    该-C选项在指定的字节位置恢复传输。请注意，它不会跳过不需要的数据——它会寻找想要的起始位置，因此永远不会读取前面的数据。对于 HTTP，这意味着使用 Range 请求；对于直接文件系统访问，它的字面意思是 seek() 操作。

    实现直接文件操作的任何其他工具也可以工作，例如使用 PowerShell 的 PowerShell [System.IO.File]::Open()，或者如果您可以将 Python 安装在中间机器上（这仅用于演示目的）：

    source = r"\\thedevice\sharename\input.log"
target = r"\\target\logs\output.log"

with open(source, "rb") as srcf:
    with open(target, "ab") as dstf:
        last_pos = dstf.tell()
        print("Restarting at byte", last_pos)
        srcf.seek(last_pos)
        while buf := srcf.read(1*1024*1024):
            dstf.write(buf)
        print("Copied", srcf.tell() - last_pos, "bytes")
    • 1

  2. 可以比较新旧日志并仅复制新行，但这有点弄巧成拙。

    比较操作本身将需要读取网络文件，这完全等同于复制它。您不会获得任何性能。

    您也许可以将远程计算机参数化为频繁启动新的日志文件，或者仅在非拥塞时复制文件，甚至在传输之前将文件压缩到远程计算机上以减少它。这个问题没有太多的解决方案。

    • 0

  3. 目标日志文件包含从源日志复制的最新详细信息。从目标日志中获取行计数值，然后在从源日志读取时使用该数字以在读取时跳过该行数。将该行之后的内容附加到目标日志文件。

    下面的 PowerShell 示例使用基于复制日志当前行数的带有数字值的参数将get-content管道传输到select-object ，然后将其管道传输到add-content以根据需要附加新的日志文件数据。-skip

    电源外壳

    $targetFile = "\\tserver\tshare\tfolder\CopyLog.txt";
$sourceFile = "\\sserver\sshare\sfolder\xyz.txt";
$tFLC = (Get-Content $targetFile).Count;
(Get-Content $sourceFile | Select-Object -Skip $tFLC) | Add-Content $targetFile;

    支持资源

    • 获取内容

    • 选择对象

      -Skip

      跳过（不选择）指定数量的项目。默认情况下，Skip 参数从数组或对象列表的开头开始计数，但如果命令使用 Last 参数，则从列表或数组的末尾开始计数。

      与从 0 开始计数的 Index 参数不同，Skip 参数从 1 开始。

    • 添加内容

    • 0

相关问题