AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题

问题[scaling](server)

Martin Hope
Jonas Kölker
Asked: 2021-06-24 02:47:28 +0800 CST

如何从 terraform 中最小化 ecs 自动缩放反应时间?

  • 0

当您创建 ECS 弹性伸缩策略时,会同时标记两个警报:一个用于扩展(“out”),一个用于缩减(“in”)。

我看到创建的横向扩展似乎每分钟对 CPU 利用率(或感兴趣的指标)进行采样,并且仅在三个连续数据点超过阈值时触发自动扩展。

这意味着,如果我看到流量高峰,将在三分钟后发生横向扩展。(事实上​​,平均而言,阈值突破将发生在采样间隔的中间,因此延迟为三分半钟。)

我可以通过 AWS 控制台 Web 界面调整采样率和所需的数据点数量。

但是,我想通过 Terraform 管理我的基础设施。

我如何使用 Terraform 但没有手动点击来缩短(a)第一次违反阈值之间的时间;(b) 我开始向外扩展的时间点?(另外:这是一个愚蠢的尝试吗?我是否以 awk-basscards 的方式来处理它?)

据我所知,它看起来像滑冰上坡:创建自动缩放策略(我可以通过 Terraform 完成)会自动创建两个警报并将句柄返回给它们(请参阅https://docs.aws.amazon.com/autoscaling/ application/APIReference/API_PutScalingPolicy.html),但 Terraform 不会公开这些句柄(请参阅https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/appautoscaling_policy#attributes-reference)。在 Terraform 中还有可能吗?需要英勇的努力吗?

latency scaling amazon-web-services amazon-ecs autoscaling
  • 1 个回答
  • 223 Views
Martin Hope
Niels Kristian
Asked: 2017-02-11 08:12:05 +0800 CST

为什么我的 AWS 实例突然变得反应迟钝,报告高“被盗”的 CPU

  • 2

我有一堆 t2.small EC2 实例运行托管名为 thumbor 的图像处理库,用于简单的动态图像调整大小。原稿从 S3 加载。在实例前面我有一个 EC 负载均衡器。我在服务器中安装了 New Relic 服务器监控。

问题 随机的时候,我的服务器突然开始体验极高的 avg。响应时间。如果我查看 New Relic 中的统计数据,我唯一看到的是服务器 CPU 持续出现峰值,报告“被盗”的 CPU。

我的服务器似乎有足够高的容量,同时吞吐量并没有出现任何极端的峰值。

我注意到,如果我再次停止/启动服务器。然后被盗的 CPU 消失了,它们再次运行良好 - 直到下一次 - 可能是数小时或数天。

为什么会发生这种情况,我该怎么办?

新的 relic 服务器监控报告突然高被盗 CPU

EC 负载均衡器报告高响应时间,但吞吐量没有显着增加

amazon-ec2 scaling amazon-web-services cpu-usage
  • 2 个回答
  • 2187 Views
Martin Hope
user20939
Asked: 2014-01-30 08:27:24 +0800 CST

如何在 Windows 8.1 中使 Microsoft 管理控制台具有高 DPI 感知能力?

  • 21

由于 Windows 8.1 不允许系统范围内的“Windows XP 风格”高 DPI 支持,如何让 Microsoft 管理控制台应用程序 (mmc.exe) 支持高 DPI?它没有“疑难解答兼容性”上下文菜单项。

scaling
  • 2 个回答
  • 16030 Views
Martin Hope
scott_lotus
Asked: 2012-05-16 02:48:34 +0800 CST

TCP 窗口缩放。由于 Windows 2008 服务器上的动态 TCP 帧大小,不支持 TCP 比例因子

  • 0

问题

从我们托管在 Windows 2008 Server 上的 WCF 服务调用由 ISP 托管的 asp web 服务显示超时/web 服务无响应。

诊断

使用 Windows 网络监视器来捕获数据包并隔离发送到 Web 服务的数据包,我可以看到:


TLS 握手你好

TCP传输

TCP重传

TCP重传

TCP重传

TCP重传

TCP重传

TCP 协商比例因子

不支持 TCP 比例因子


这似乎没有显示对 TCP 负载的响应,这意味着 IP 块。

解决方案

联系网络服务提供商后,他们建议没有 IP 块,这个问题特定于 Microsoft Windows 2008 Server、动态 TCP 帧大小及其特定负载平衡器。

经过一些进一步的研究,我相信下面会解决。

要查看 autoTuningLevel 参数的当前配置,请执行以下步骤:


点击开始

单击所有程序,然后单击附件。

右键单击命令提示符,然后单击以管理员身份运行。

如果系统提示您输入管理员密码或进行确认,请键入密码,或单击继续。

在命令提示符下,键入以下命令,然后按 ENTER:netsh interface tcp show global

autoTuningLevel 参数的值列为接收窗口自动调整级别。

我们希望将其设置为正常

在命令提示符下,键入以下命令,然后按 ENTER:netsh interface tcp set global autotuninglevel=disabled


以下列表包括 autoTuningLevel 参数的所有可能值:

/disabled:将接收窗口设置为默认值。

/highlyrestricted:让接收窗口增长到超过默认值,但这样做非常保守。

/restricted:让接收窗口增长到超过默认值,但在某些情况下限制这种增长。

/normal:让接收窗口增长以适应大多数情况。

/experimental:让接收窗口增长以适应极端情况。


注意 实验值可能会降低常见场景中的性能。此值应仅用于研究目的。

问题

只需从独立来源寻找有关此问题的更多信息。

希望它会在某个时候被 MS 修补。

谢谢斯科特

参考: http: //support.microsoft.com/kb/935400

windows-server-2008 web-services tcp scaling wcf
  • 1 个回答
  • 5243 Views
Martin Hope
andrew
Asked: 2010-04-02 07:40:08 +0800 CST

扩展数据库架构的想法

  • 0

我们正在寻求扩展我们现有的数据库架构,并且需要一些关于走哪条路的建议。

我们目前在负载均衡器后面有 2 个 Web 服务器,它们都读取和写入单个主数据库,然后复制到从属数据库。

理想情况下,我希望每个网络服务器都指向他们自己的主数据库,并让这两个数据库之间的数据同步,但根据我的阅读,不鼓励使用任何类型的主-主或环复制。

我正在寻找一个通用的“其他人做什么”的答案 - 数据库供应商目前不是问题,但我们想继续使用 MySQL 或转换为 MSSQL。

任何想法将不胜感激。

非常感谢,

安德鲁

replication database high-availability scaling
  • 2 个回答
  • 345 Views
Martin Hope
rplevy
Asked: 2010-03-31 16:11:11 +0800 CST

RT 数据库扩展

  • 3

最近我听说有人建议 RT 请求跟踪器可能由于其非规范化数据库而存在可伸缩性问题(有人在 Perl 会议上我正面地提到它为超规范化,但我认为他可能误解了什么是规范化都是关于)。另一方面,我知道 Perl 的 CPAN 等大型企业使用 RT。这种规模的规模是否需要采取特殊措施来处理当数据库变得太大时会发生什么?你的经历是什么?

mysql perl scaling request-tracker
  • 2 个回答
  • 302 Views
Martin Hope
Remiz
Asked: 2010-03-20 11:45:37 +0800 CST

MySQL:具有高更新频率的非常大集合的表组织

  • 2

我在选择我的 MySQL 模式应用程序时面临两难境地。所以在我开始之前是一张我的数据库非常简化的图片:

这里的架构:http: //i43.tinypic.com/2wp5lxz.png

一句话:对于每个客户,应用程序收集文本数据并将标签附加到收集的每个数据中。

作为每个表的使用的近似值,这是我所期望的:

  • 客户:~5000,不应该快速增长
  • 数据:每位客户 500 万,大客户可能翻倍或三倍。
  • 标签:〜1000,相当固定的大小
  • data_tag :每个客户轻松上亿。每个数据都可以标记很多。

收集过程是永久性的,这意味着大约每 15 分钟就会有新数据出现并被标记,这需要非常持续的索引刷新。

我的很多查询都是特定日期之间的 DATA SELECT COUNT 并用特定 CUSTOMER 上的特定 TAG 标记(很少会涉及多个客户)。

情况就是这样,你可以想象在这种数据量的情况下,我在数据组织和索引方面面临挑战。同样,它是我的结构的一个非常简约和简化的版本。我的问题是,它更好吗:

  1. 坚持这个模型并管理疯狂的索引优化?(这涉及 data_tag 表中可能有数十亿行)
  2. 更改架构并为每个客户使用一张数据表和一张 data_tag 表?(这涉及在我的数据库中有 5000 个表)

我在复制的 MySQL 5.0 专用服务器(四核,8Go 内存)上运行所有这些。我只使用 InnoDB,我还有另一台运行 Sphinx 的服务器。所以知道这一切,我迫不及待地想听听你对此的看法。

谢谢。


编辑

感谢您的回答,我意识到这个数字有多疯狂。所以这里是更新的更现实的表格用法(基于只是一个基本机架空间盒的实际服务器)。

  • 客户:2000(固定)
  • 数据:每个客户 100 万(固定,归档旧数据。而且非常不公平:有些客户有几千,最大的 500 万)
  • 标签:1000(固定)
  • data_tag :每个客户约 3 或 5 百万(取决于数据,也很不公平)。

谢谢你。

performance mysql scaling indexing
  • 3 个回答
  • 1237 Views
Martin Hope
user35697
Asked: 2010-02-23 11:40:29 +0800 CST

扩展 IIS/SQL Server 应用程序的最佳方式

  • 2

我们有一个用 ASP 和 SQL Server 开发的应用程序。我们使用 Rackspace 来托管它。我们的每个“客户”都有自己的 IIS 站点和 SQL 数据库。每个客户可能有十几个或几百个用户访问该应用程序。

我们现在有几百个客户。到目前为止,我们所做的是在出于性能原因需要时添加另一对服务器(一个 IIS,一个 SQL)。我们现在最多有四对服务器。

我们将继续添加新客户,并且我们正在寻找其他方式来扩大规模,而无需简单地添加成对的服务器。

我们正在考虑的一种方法是为 IIS 端设置一个网络场,为数据库端设置一个 SQL Server 集群和 SAN。

这是一个好方法吗?我们现在大概有 400 个客户,每个客户都有自己的 IIS 站点和 SQL 数据库。如果我们增长到 1,000 人会怎样?5000?一个 SQL 集群可以处理数千个数据库吗?

每个数据库都有数百个表。我们一些大客户的主表可能有几十万条记录。

转向大型 IIS 网络场和大型 SQL 集群的一个吸引力在于,如果一台服务器出现故障,其他服务器可以承担负载。现在,如果我们的一台 SQL Server 出现故障,或者我们的一台 IIS 服务器出现故障,我们四分之一的客户将无法使用该系统。因此,我们希望提高我们的可靠性以及增加我们增加新客户的能力。

sql-server iis scaling
  • 3 个回答
  • 4900 Views
Martin Hope
Tim Harding
Asked: 2010-02-09 13:08:29 +0800 CST

为 Ruby on Rails 应用程序扩展服务器的第一步

  • 4

我在带有 8GB RAM 和 Ubuntu 的双核 AMD Athlon 4450e 服务器上运行 RoR Web 应用程序。

它运行良好,每分钟收到高达 320 个动态请求的峰值,它还处理所有资产,包括提供一些更大的视频文件。

我有 Apache w/Passenger 和 MySQL 在主机上运行。

性能仍然相当稳定,但我看到负载平均值在较高负载期间开始攀升至 1 以上,并且 CPU 负载上升到 40% 或 50% 大关。

我可以负担得起一台额外的计算机和一个带有 8GB RAM 的四核系统符合我的预算。

我应该把当前的盒子变成数据库服务器,然后把四核放在它前面作为 Web 服务器吗?

让四核同时作为数据库服务器和 Web 服务器运行,并将现有的双核作为另一台 Web 服务器在其旁边运行,是否会更好?

我应该考虑的任何其他服务器布局?

这是负载下的服务器的快照:

服务器负载 http://img.skitch.com/20100208-jhk11btcb43yg4mhd75ecinqqr.png

谢谢,

-蒂姆

linux small-business ruby-on-rails scaling
  • 3 个回答
  • 211 Views
Martin Hope
osij2is
Asked: 2010-02-03 14:29:16 +0800 CST

防火墙作为访客虚拟机?

  • 3

出于好奇,将防火墙作为 VM 来宾(无论 VM 主机 - ESX、Xen、Hyper-V 等如何)并通过防火墙重定向来自其他 VM 来宾的所有流量是否毫无意义/浪费/愚蠢虚拟机客人?

我不确定其他人/组织是否这样做。我知道资源可能会受到限制(CPU、RAM、磁盘/网络 I/O)等待任何可能通过的流量,但是是否有任何其他场景或情况将防火墙作为来宾 VM 并让其他来宾 VM 路由到它而不是是否比主机 VM 的外部盒子更好或可比?

在性能方面,我意识到作为访客 VM 资源使用会影响其他访客,但除此之外,我是否遗漏了什么?安全、最佳实践、常识?

欢迎任何想法、评论或批评。

virtualization firewall performance scaling
  • 1 个回答
  • 458 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve