主页 / server / 问题

问题[parsing](server)

Martin Hope
Johannes Weiss
Asked: 2022-01-29 01:22:32 +0800 CST
  • 2

给定一个.pcap（或类似的）文件，我想选择一个 TCP 连接并将两个应用程序数据流（一个来自另一个对等方，一个两个来自另一个对等方）转储到磁盘上的两个单独文件中。

假设我有一个.pcap文件，除其他外，我知道它包含 HTTP/1.1 明文连接的完整 TCP 流（从 SYN 到最终 FIN+ACK/RST）。我想要两个包含内容的结果文件。IE。一个文件有

GET / HTTP/1.1\r\n
host: foobar.com\r\n
\r\n

另一个文件有

HTTP/1.1 200 ok\r\n
content-length: ...\r\n
... \r\n
\r\n
<html>...</html>

我希望这正是在用户空间中看到/发送的应用程序数据流量（来自read// recv`/...）write。send/我想要做的是转储一些流量并使用它来测试我的解析器是否有某个网络协议。解析器应该只能读取其中一个文件并尝试解析数据流。

这样的命令行工具怎么看？我不确定这是否超级有用，但我认为如果我还提供了一个可以执行此操作的虚构工具的使用示例，它可能会让我在寻找什么更清楚。让我们称之为虚构的工具（这就是我要找的）tcp-stream-extract。我想用类似的东西来称呼它

### imaginary usage example of the tool that I'd like to find :)

# dump from 12345 to 23456
tcp-stream-extract \
    -i my-captured-packets.pcap
    -s 127.0.0.1:12345        \ # source address 127.0.0.1:12345
    -d 127.0.0.1:23456        \ # destination address 127.0.0.1:23456
    -t '2021-01-28 09:12:00Z' \ # the TCP conn was alive at that time
    -w from-port-12345-to-port-23456

# dump from 23456 to 12345
tcp-stream-extract \
    -i my-captured-packets.pcap
    -s 127.0.0.1:23456        \ # source address 127.0.0.1:12345
    -d 127.0.0.1:12345        \ # destination address 127.0.0.1:23456
    -t '2021-01-28 09:12:00Z' \ # the TCP conn was at that time
    -w from-port-23456-to-port-12345
networking tcpdump pcap parsing network-traffic
Martin Hope
zire
Asked: 2020-05-13 00:21:59 +0800 CST
  • 0

我在服务器模式下使用 OpenVPN 2.3.10，日志设置为verb 4.

在日志中，每一行都以时间戳 ( Mon May 11 10:40:10 2020)开头us=，然后是 5 位或 6 位数字。这个us标识符是什么？是时间戳的微秒 (μs) 部分，还是其他？我在文档中找不到这一点，也无法辨别值中的任何模式或含义。

logging log-files openvpn parsing timestamp
Martin Hope
MuZo
Asked: 2012-07-12 00:25:09 +0800 CST
  • 1

我每天都会收到一个带有 ip:port 的文本文件，每行一个，例如：

11.22.33.44:80
22.33.44.55:8080
33.44.55.66:7777

我想解析两个不同变量中的第一个 ip 和端口，然后将它们写入另一个文件，等待使用这些变量的程序的执行，循环此循环以将所有传递ip:port给文件并执行程序。

我怎样才能做到这一点？

scripting bash shell parsing
Martin Hope
Jason Kleban
Asked: 2012-07-03 11:43:48 +0800 CST
  • 5

我继承了一个有 400 个表并且只注册了 150 个外键约束的数据库。了解我对应用程序所做的工作并查看表格列，很容易说应该有更多。

如果我开始添加缺失的 FK，我担心当前的应用程序软件会崩溃，因为开发人员可能已经开始依赖这种“自由”，但解决问题的第一步是提出缺失的 FK 列表，所以我们可以将他们作为一个团队进行评估。

更糟糕的是，引用列不共享命名约定。

这些关系被非正式地编码到数百个临时查询和存储过程中，因此我希望以编程方式解析这些文件以查找实际表（但不是表变量等）之间的 JOINS。

我预见到这种方法的挑战是：换行符、可选别名和表提示、别名解析。

  • 有更好的主意吗？（除了放弃）
  • 是否有任何预构建的工具可以解决这个问题？
  • 我不认为正则表达式可以处理这个。你不同意吗？
  • SQL 解析器？我尝试使用 Microsoft.SqlServer.Management.SqlParser.Parser 但所有公开的都是词法分析器 - 无法从中获取 AST - 所有这些都是内部的。
sql-server-2005 parsing foreign-key
Martin Hope
JCCyC
Asked: 2009-09-01 16:08:36 +0800 CST
  • 0

ip addr show考虑Linux上的典型输出：

# ip addr show
1: lo: <LOOPBACK,UP,10000> mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth1: <BROADCAST,MULTICAST,NOTRAILERS,UP,10000> mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether xx:xx:xx:xx:xx:xx brd ff:ff:ff:ff:ff:ff
    inet nnn.nnn.nnn.nnn/n brd nnn.nnn.nnn.nnn scope global eth1
    inet6 nnnn::nnnn:nnnn:nnnn:nnnn/nn scope link
       valid_lft forever preferred_lft forever

查看每个接口输出的第二行的第一个字段：它表示环回接口的“link/loopback”和物理 NIC 的“link/ether”。

我的问题是：在这个领域我可以期待什么其他价值？“链接/蓝牙”？“链接/ ppp”？这些链接类型字符串是否有权威列表？

linux networking parsing