问题[netflow](server)

我是 netflow 的新手，所以也许我的问题在于理解，但我还没有找到关于正在发生的事情的参考资料。

我有一个 Palo Alto PA500 防火墙，我正在尝试使用 nfdump 将 netflow 统计信息提取到 Ubuntu 框中。

我已经安装了 nfdump 并运行 nfcap 没有问题：

sudo apt-get install nfdump
nfcapd -E -T all  -p 9001 -l /tmp/nfcaptest

我已经按照文档中的描述配置了帕洛阿尔托：

Device / Server Profiles / Netflow
    Add
        Name: nfserver
        Refresh:
            Minutes: 30
            Packets: 20
            Active Timeout (min): 5

            Name: nfserver
            IP: x.x.x.x
            Port: 9001

我已将 netflow 服务器添加到所有接口并提交更改。

我正在使用 tcpdump 看到服务器中的流量。

12:51:33.848206 IP x.x.x.x.50705 > nfserver.9001: UDP, length 1369

nfcap 不断地给出这个输出：

Ident: 'none' Flows: 0, Packets: 0, Bytes: 0, Sequence Errors: 0, Bad Packets: 0
Total ignored packets: 0
File Block Header:
  NumBlocks     =           0
  Size          =           0
  id             =           2

我看到每 5 分钟有一个 nfcapd.xxx 文件，但是当我尝试阅读它们时，我看不到任何结果。

#  nfdump -r nfcapd.current.7757
Date first seen          Event  XEvent Proto      Src IP Addr:Port          Dst IP Addr:Port     X-Src IP Addr:Port        X-Dst IP Addr:Port   In Byte Out Byte
No matched flows

我错过了什么？问题出在 Fw（不发送数据）还是在服务器（不使用它）？

更新：看起来问题出在 nfcapd 上。我已经用 Whireshark 打开了 tcpdump 捕获，我可以看到所有的 netflow 数据都被正确接收。由于某种原因，nfcapd 忽略/不接收它。

我正在尝试使用 logstash 使用 netflow 插件从 VMware ESXi 收集流量信息。

我已经在安装了 openjdk 8 的 Ubuntu 16.04.1 上从 www.elastic.co 安装了最新版本的 logstash 和 elasticsearch。

我已经创建了这个配置文件：

input {
    udp {
      host => localhost
      port => 9995
      codec => netflow {
        versions => [10]
        target => ipfix
      }
      type => ipfix
    }
  }

  output {
    stdout { codec => rubydebug }
      elasticsearch {
        index => "logstash_netflow5-%{+YYYY.MM.dd}"
        host => "localhost"
      }
  }

但是当我执行时：

logstash -f logstash-staticfile-netflow.conf

我得到以下信息：

Pipeline aborted due to error {:exception=>"LogStash::ConfigurationError", :backtrace=>["/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.4.0-java/lib/logstash/config/mixin.rb:88:in config_init'", "org/jruby/RubyHash.java:1342:ineach'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.4.0-java/lib/logstash/config/mixin.rb:72:in config_init'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.4.0-java/lib/logstash/outputs/base.rb:79:ininitialize'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.4.0-java/lib/logstash/output_delegator.rb:74:in register'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.4.0-java/lib/logstash/pipeline.rb:181:instart_workers'", "org/jruby/RubyArray.java:1613:in each'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.4.0-java/lib/logstash/pipeline.rb:181:instart_workers'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.4.0-java/lib/logstash/pipeline.rb:136:in run'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.4.0-java/lib/logstash/agent.rb:491:instart_pipeline'"], :level=>:error}
No matching template for flow id 256 {:level=>:warn}
stopping pipeline {:id=>"main"}

你知道为什么我有这个错误吗？提前感谢您的帮助！

我对“NetFlow”意义的定义有点困惑。NetFlow 是否声明，无论网络端口如何，两个 IPv4 地址之间的总数据包交换或描述数据包的标头（源 IP、目标 IP、源端口、目标端口、协议、时间信息、TCP 标志、字节信息、数据包信息，ICMP 信息）？

是否可以通过任何方式查看 netflow（或 Sflow）数据中的源 MAC 和目标 MAC，例如nfdump -r <FILE_NAME>netflow 数据。任何最好的 Sflow 开源（或免费）收集器？

有谁知道 CA Network Flow Analysis 是否可以监控 SFlow 或接收 SFlow 数据包？

我计划部署一个 NetFlow 服务器（使用 NfSen/NfDump）来从 Cisco 设备收集数据；

是否有标准的计算方法或指南可用于计算我的服务器要求，特别是我需要规划存储。例如，给定 N 个流，有没有办法知道我每天将收集多少数据？

假设一台设备每天有 10k 流量，这通常是 XYZ MB，所以我可以扩大规模吗？

如果不是，你们每天记录多少流量，这会产生多少数据？希望我们可以从其他人的数字中得出一个估计值！

PS 如果它有所作为，我将从最多 <= 50 台设备（每台不超过 50Mbps）中收集数据。

我们目前在我们的数据中心有一个双 NIC Ubuntu 服务器，作为我们的公共网络和我们的 ISP 之间的网关路由器。我们在面向 ISP 的 NIC 上有一个 /30 交叉连接网络，三个网络中的每一个都有一个 IP 连接到我们面向内部的 NIC。

我想使用 Cisco 的 Netflow 协议在此服务器上配置网络流量统计生成和收集。这将使我能够确认我们的 ISP 的计费，以及我们网络中的数据流故障。

您会推荐哪些工具或软件包来被动捕获流量统计数据并记录它们以供以后处理？如果 Netflow 收集器具有 MySQL 数据存储连接器，则加分。

我正在为一个非常大的网络（大约 5000 个网络设备）实施网络监控解决方案。我们希望我们网络上的所有设备都将 SNMP 陷阱发送到单个盒子（从技术上讲，这可能是一对 HA 盒子），然后让该盒子将 SNMP 陷阱传递给真正的处理盒子。这将允许我们有多个后端盒处理陷阱，并在这些后端盒之间分配负载。

我们需要的一个关键特性是能够根据陷阱的源地址将陷阱转发到特定的盒子。对于处理这个问题的最佳方法有什么建议吗？

我们考虑过的事情包括：

• 使用 snmptrapd 接受陷阱，并将它们传递给自定义编写的 perl 处理程序脚本以重写陷阱并将其发送到正确的处理框
• 使用在 Linux 机器上运行的某种负载平衡软件来处理这个问题（很难找到许多可以处理 UDP 的负载平衡程序）
• 使用负载平衡设备（F5 等）
• 在 Linux 机器上使用 IPTables 通过 NAT 路由 SNMP 陷阱

我们目前已经实现并正在测试最后一个解决方案，使用一个配置了 IPTables 的 Linux 机器来接收陷阱，然后根据陷阱的源地址，用目标 nat (DNAT) 重写它，以便将数据包发送到合适的服务器。例如：

# Range: 10.0.0.0/19       Site: abc01    Destination: foo01
iptables -t nat -A PREROUTING -p udp --dport 162 -s 10.0.0.0/19 -j DNAT --to-destination 10.1.2.3
# Range: 10.0.33.0/21       Site: abc01    Destination: foo01
iptables -t nat -A PREROUTING -p udp --dport 162 -s 10.0.33.0/21 -j DNAT --to-destination 10.1.2.3
# Range: 10.1.0.0/16       Site: xyz01    Destination: bar01
iptables -t nat -A PREROUTING -p udp --dport 162 -s 10.1.0.0/16 -j DNAT --to-destination 10.3.2.1

这对于基本的陷阱路由应该具有出色的效率，但它使我们完全受限于我们可以使用 IPTables 进行处理和过滤的内容，因此我们担心未来的灵活性。

另一个我们非常喜欢但不是“必须具备”的功能是复制或镜像 UDP 数据包的能力。能够获取一个传入陷阱并将其路由到多个目的地将非常有用。

有没有人尝试过上述任何可能的 SNMP 陷阱（或 Netflow、通用 UDP 等）负载平衡解决方案？或者任何人都可以想到任何其他替代方案来解决这个问题？

是否有免费的netflow收集器可以放在 Windows 盒子上？