主页 / server / 问题

问题[traffic](server)

Martin Hope
Andy
Asked: 2020-11-14 16:50:44 +0800 CST
  • 0

我目前正在尝试分析网站的流量。

除了有关请求的资源和时间戳的详细信息外，跟踪系统仅提供请求的 HTTP 引荐来源网址。

在大多数情况下，引荐来源网址为空。鉴于相关网站具有 ssl 证书，我可以假设此流量主要是由于网络爬虫造成的吗？

如果推荐数据不够，我可以收集哪些额外（可访问）数据来识别网络爬虫？

谢谢

traffic web-crawler
Martin Hope
KernelPanic
Asked: 2020-07-21 08:04:41 +0800 CST
  • 0

我们服务的流量并非完全可预测。为了帮助保持服务略微过度配置，并提前警告因流量增加而导致的任何性能下降，我们维护了一种“连续缓冲负载生成器”。这会在用户流量之上对我们的生产 API 产生持续的负载。如果我们发现服务正在降级，它会自动关闭，理想情况下，我们有一点时间来找出问题并在自然用户流量与导致服务降级的增强流量相匹配之前扩大规模。一旦服务再次稳定，缓冲负载就会重新打开。

虽然我们一直将这种持续的流量生成称为“持续负载测试”，但这似乎是令人困惑的措辞，并且很难区分“实际”负载测试（我将称之为具有定义的开始和结束的实验，加载模式，以及最后的二进制通过/失败结果）。我几乎想将其称为“金丝雀流量”，因为我们会发送额外的流量以在用户遇到问题之前警告我们，但这与业内对金丝雀含义的一般理解不太相符.

这是在负载平衡、自动缩放等之上的附加策略。我们不会尝试在这里替换任何行业标准的流量管理步骤。

我怀疑这是不知道谷歌正确用词的情况，所以：

  • 如果这是其他地方使用的模式，它叫什么？
  • 或者，如果没有其他人这样做，为什么不呢？我完全愿意相信通过其他类型的测试或监控可以更好地获得这个结果。
traffic load-testing traffic-management
Martin Hope
oucil
Asked: 2020-05-21 11:46:18 +0800 CST
  • 0

我需要能够跟踪他们的 VM 和与 S3 兼容的对象存储桶（通过 https 访问）之间的客户端数据使用情况。我已经ntopng在虚拟机上安装了社区版，现在它正在将所有数据转储到 MySQL 数据库中。

我注意到的开销ntopng并非无关紧要，而且这些不是资源丰富的虚拟机，所以如果可以的话，我想减少它的内存/资源占用。我只对上述连接感兴趣，那么有没有办法应用过滤器来仅跟踪来自某个来源的连接而不是跟踪所有流量？

我实际上也只对 INBOUND 流量感兴趣，因为上传不计费，所以我已经将--capture-direction=1标志设置为仅跟踪RX流量（从 Bucket 到 VM）。

我假设 Web 服务器组件处于空闲或禁用状态，因为我没有为这些参数设置任何值。还是我需要以某种方式专门禁用它们？最后，我禁用了所有 DNS 功能。

这是我当前的配置/etc/ntopng/ntopng.conf...

# ntopng Configuration
--community
-G=/run/ntopng.pid
-e=
-i=eth0
-n=3
--capture-direction=1
-N=myhost.tld
-F=mysql;/run/mysqld/mysqld.sock;ntop;flows;user;pass

或者，是否有更好和/或更轻的方法来实现我的需要？我的目标只是在月底知道 Acme Co 的 VM 使用了 n GB 的数据。

centos mysql networking traffic ntop
Martin Hope
244boy
Asked: 2020-03-07 18:49:48 +0800 CST
  • 0

我们经常使用MRTG For Windows来监控接口流量。

现在有一个额外的要求：我可以使用 MRTG 来监控 IP 流量吗？如果10.10.10.0/24通过接口，我可以监控每个 IP 的流量吗？

编辑-01

我想监控通过我的路由器的 IP 地址。如果我的路由器有 5 个端口用于访问 IN/OUT 流量。

在此处输入图像描述

我有几个问题：

  1. 我可以使用 Switch_1 下的 159.1.1.4/24 的服务器通过访问我的路由器来监控所有 IP 地址吗？
  2. 我需要在路由器中安装任何工具吗？
traffic mrtg
Martin Hope
Suncatcher
Asked: 2017-02-07 05:12:48 +0800 CST
  • 2

我正在尝试完全按照本参考资料中的说明设置消息分析器查看器，但是在 ProcessName 和 ProcessID 列中，我得到了一些奇怪的数字，而不是稳定的进程名称。

在此处输入图像描述

我使用标准无线场景

在此处输入图像描述

并关注 ETW 提供商

在此处输入图像描述

抓拍得到的netsh trace start scenario=wlan capture=yes景色相同

在此处输入图像描述

如何在这里获取进程名称？

traffic packet-sniffer network-traffic message-queuing packet-capture
Martin Hope
Roel
Asked: 2016-04-23 04:41:50 +0800 CST
  • 1

我正在尝试一些系统和插件来监控带宽

我来穆宁监控我的PFSense 2.2.6的接口

安装 Munin 非常简单，在普通的 debian VM 上我可以看到所有统计信息，但在我的 PFSense 上我无法获得接口流量的图表。

我已经为端口 4949 添加了规则，并且可以查看所有其他统计信息。

PFSense 论坛上有关 Munin 的信息对于新的 PFSense 版本都已过时。

我按照本教程对新版本的 PFSense 进行了更改。

https://forum.pfsense.org/index.php?topic=31090.0

我真的不知道要开始

traffic munin traffic-management pfsense
Martin Hope
ercpe
Asked: 2015-05-13 05:49:59 +0800 CST
  • 4

我们的一个应用程序使用 Elasticsearch (1.4.4) 作为内存缓存。该应用程序是使用 Oracle 1.7 部署在 Tomcat 7 上的 Java webapp。elasticsearch 实例是部署在同一台服务器上的单节点设置。

从 elasticsearch 1.3.3 开始，我们在应用程序和具有空闲应用程序的 Elasticsearch 节点之间的环回接口上的进出速度约为 40 MBit/s。

这不算多，但会导致其他扁平化系统的显着负载。我手头没有带有此应用程序的生产系统，因此我无法真正说出它在产品中的发展方式。

通过 tcpdump 获取流量并在 Wireshark 中对其进行分析表明，应用程序中的 Elasticsearch-Client 不断地询问节点，cluster/node/info每次都会产生 10k 的答案。

也许完全不相关，但启用服务器和客户端日志记录给了我们：

Elasticsearch 服务器日志：

[2015-05-12 14:45:01,600][INFO ][node                     ] [Illyana Rasputin] initializing ...
[2015-05-12 14:45:01,608][INFO ][plugins                  ] [Illyana Rasputin] loaded [], sites []
[2015-05-12 14:45:06,666][INFO ][node                     ] [Illyana Rasputin] initialized
[2015-05-12 14:45:06,667][INFO ][node                     ] [Illyana Rasputin] starting ...
[2015-05-12 14:45:06,828][INFO ][transport                ] [Illyana Rasputin] bound_address {inet[/0:0:0:0:0:0:0:0:9300]}, publish_address {inet[/10.24.1.128:9300]}
[2015-05-12 14:45:06,851][INFO ][discovery                ] [Illyana Rasputin] bkbo_index/TITPDFdtR6SXX5EeOXaidg
[2015-05-12 14:45:09,892][INFO ][cluster.service          ] [Illyana Rasputin] new_master [Illyana Rasputin][TITPDFdtR6SXX5EeOXaidg][dev06][inet[/10.24.1.128:9300]], reason: zen-disco-join (elected_as_master)
[2015-05-12 14:45:09,943][INFO ][http                     ] [Illyana Rasputin] bound_address {inet[/0:0:0:0:0:0:0:0:9200]}, publish_address {inet[/10.24.1.128:9200]}
[2015-05-12 14:45:09,944][INFO ][node                     ] [Illyana Rasputin] started
[2015-05-12 14:45:11,283][INFO ][gateway                  ] [Illyana Rasputin] recovered [2] indices into cluster_state

弹性搜索客户端：

2015-05-12 14:46:40,683  INFO  [localhost-startStop-1] PluginsService:<init>:151 [Antiphon the Overseer] loaded [], sites []
2015-05-12 14:46:41,548  DEBUG [localhost-startStop-1] TransportClientNodesService:<init>:110 [Antiphon the Overseer] node_sampler_interval[5ms]
2015-05-12 14:46:41,594  DEBUG [localhost-startStop-1] TransportClientNodesService:addTransportAddresses:167 [Antiphon the Overseer] adding address [[#transport#-1][dev06][inet[localhost/127.0.0.1:9300]]]
2015-05-12 14:46:41,625  DEBUG [localhost-startStop-1] NettyTransport:connectToNode:751 [Antiphon the Overseer] connected to node [[#transport#-1][dev06][inet[localhost/127.0.0.1:9300]]]
2015-05-12 14:46:41,655  INFO  [localhost-startStop-1] TransportClientNodesService$SimpleNodeSampler:doSample:371 [Antiphon the Overseer] failed to get node info for [#transport#-1][dev06][inet[localhost/127.0.0.1:9300]], disconnecting...
org.elasticsearch.transport.ReceiveTimeoutTransportException: [][inet[localhost/127.0.0.1:9300]][cluster:monitor/nodes/info] request_id [0] timed out after [6ms]
    at org.elasticsearch.transport.TransportService$TimeoutHandler.run(TransportService.java:366)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
2015-05-12 14:46:41,658  DEBUG [localhost-startStop-1] NettyTransport:disconnectFromNode:882 [Antiphon the Overseer] disconnecting from [[#transport#-1][dev06][inet[localhost/127.0.0.1:9300]]] due to explicit disconnect call
2015-05-12 14:46:41,661  DEBUG [elasticsearch[Antiphon the Overseer][generic][T#1]] NettyTransport:connectToNode:751 [Antiphon the Overseer] connected to node [[#transport#-1][dev06][inet[localhost/127.0.0.1:9300]]]
2015-05-12 14:46:41,669  INFO  [elasticsearch[Antiphon the Overseer][generic][T#1]] TransportClientNodesService$SimpleNodeSampler:doSample:371 [Antiphon the Overseer] failed to get node info for [#transport#-1][dev06][inet[localhost/127.0.0.1:9300]], disconnecting...
org.elasticsearch.transport.ReceiveTimeoutTransportException: [][inet[localhost/127.0.0.1:9300]][cluster:monitor/nodes/info] request_id [1] timed out after [5ms]
    at org.elasticsearch.transport.TransportService$TimeoutHandler.run(TransportService.java:366)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
2015-05-12 14:46:41,670  DEBUG [elasticsearch[Antiphon the Overseer][generic][T#1]] NettyTransport:disconnectFromNode:882 [Antiphon the Overseer] disconnecting from [[#transport#-1][dev06][inet[localhost/127.0.0.1:9300]]] due to explicit disconnect call
2015-05-12 14:46:41,676  DEBUG [elasticsearch[Antiphon the Overseer][generic][T#1]] NettyTransport:connectToNode:751 [Antiphon the Overseer] connected to node [[#transport#-1][dev06][inet[localhost/127.0.0.1:9300]]]
2015-05-12 14:46:41,677  WARN  [elasticsearch[Antiphon the Overseer][transport_client_worker][T#2]{New I/O worker #2}] TransportService$Adapter:remove:280 [Antiphon the Overseer] Received response for a request that has timed out, sent [14ms] ago, timed out [9ms] ago, action [cluster:monitor/nodes/info], node [[#transport#-1][dev06][inet[localhost/127.0.0.1:9300]]], id [1]
2015-05-12 14:46:41,682  INFO  [localhost-startStop-1] PluginsService:<init>:151 [Ricochet] loaded [], sites []
2015-05-12 14:46:41,722  DEBUG [localhost-startStop-1] TransportClientNodesService:<init>:110 [Ricochet] node_sampler_interval[5ms]
2015-05-12 14:46:41,733  DEBUG [localhost-startStop-1] TransportClientNodesService:addTransportAddresses:167 [Ricochet] adding address [[#transport#-1][dev06][inet[localhost/127.0.0.1:9300]]]
2015-05-12 14:46:41,734  DEBUG [localhost-startStop-1] NettyTransport:connectToNode:751 [Ricochet] connected to node [[#transport#-1][dev06][inet[localhost/127.0.0.1:9300]]]
2015-05-12 14:46:41,759  DEBUG [elasticsearch[Antiphon the Overseer][generic][T#1]] NettyTransport:connectToNode:751 [Antiphon the Overseer] connected to node [[Illyana Rasputin][TITPDFdtR6SXX5EeOXaidg][dev06][inet[localhost/127.0.0.1:9300]]]
2015-05-12 14:46:41,760  DEBUG [localhost-startStop-1] NettyTransport:connectToNode:751 [Ricochet] connected to node [[Illyana Rasputin][TITPDFdtR6SXX5EeOXaidg][dev06][inet[localhost/127.0.0.1:9300]]]

是的，这个应用程序有两个客户端连接，应该没问题（根据开发人员的说法）。这些断开/重新连接循环大约每分钟发生一次。

有什么线索吗？我已经通过discovery.zen.ping.multicast.enabled: false.

traffic
Martin Hope
alexislg
Asked: 2014-11-03 01:44:42 +0800 CST
  • 0

嘿，我正在开发一个带有树莓派的 3G 连接设备。我的移动提供商允许我每月使用 50 MB。

该设备将安装在任何人都无法实际接触到的地方。我担心的是避免数据流量过度使用。我需要一个工具来测量通过（进出）ppp0 接口的所有累积流量，以便在达到 50MB 限制时断开接口直到下个月。

我尝试过，ifconfig但由于我有一些断开连接，因此每次重新连接时都会重置计数器。

我试过了ntop，iftop但据我了解，这些是测量实时流量的工具。

我真的在寻找某种累积流量使用，就像我们通常可以在智能手机上找到的那样。

任何想法？

traffic
Martin Hope
user192702
Asked: 2013-10-14 20:34:28 +0800 CST
  • 1

查看交通监视器时，您会看到数字列。然而，并非所有人都清楚它们的用途。不幸的是，我没有足够的声誉来发布图片，但我会尝试解释我在看什么。

有人可以让我知道以下内容。谢谢。
1) 第 7、12 和 13 列的数字是多少？
2) 第 6 列和第 8 列显示的内容有什么区别？

栏目说明
1 日期
2 时间
3 显示“允许”、“拒绝”等
4 源 IP
5 源 IP 尝试定位的目标 IP（即 Firebox 用于传入流量的外部 IP）
6 协议（端口名称，有时还显示端口号）
7 未知
8 协议（端口号，但不确定与上面第 5 列的区别）
9 源 IP 的来源网络
10 目标IP所在的网络
11 显示“允许”、“阻塞端口”等
12 未知
13 未知
14 策略名称
traffic