Início / user-199123

Franz Kafka's questions

Martin Hope
Franz Kafka
Asked: 2024-03-30 04:56:28 +0800 CST
  • 5

Em muitas das minhas unidades, recebo WRITE|READ FPDMA QUEUEDerros, como este:

Error 23 occurred at disk power-on lifetime: 43915 hours (1829 days + 19 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 41 00 d5 67 35 40  Error: WP at LBA = 0x003567d5 = 3499989

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  61 80 10 70 2d dc 40 00  37d+00:38:20.201  WRITE FPDMA QUEUED
  60 60 08 70 67 35 40 00  37d+00:38:17.668  READ FPDMA QUEUED
  60 20 00 d0 67 35 40 00  37d+00:38:17.668  READ FPDMA QUEUED
  60 08 00 de a8 97 40 00  37d+00:38:17.652  READ FPDMA QUEUED
  60 02 00 c0 68 59 40 00  37d+00:38:17.651  READ FPDMA QUEUED

Em cada uma dessas unidades também noto Current_Pending_Sectore Reallocated_Sector_Ctoutros atributos serão> 0.

Estou curioso, no entanto. Esses erros são indicativos de uma falha na unidade? Se eu substituir a unidade, não estarei resolvendo o problema subjacente e simplesmente enfrentarei o mesmo problema no futuro?

Por exemplo, na postagem aqui parece que alguns desses erros não são causados ​​por uma falha na unidade.

hard-drive
Martin Hope
Franz Kafka
Asked: 2017-08-25 13:28:38 +0800 CST
  • 0

Eu tenho um único servidor executando algum código que cria milhões de pequenos arquivos em um único diretório. No início, o código é executado extremamente rápido. Depois de um dia ou mais, ele começa a desacelerar um pouco. Estou tentando descobrir se isso é um problema com o código ou se é um problema com o número de arquivos no diretório.

O próprio código cria um arquivo se não existir, então abre o arquivo e grava uma única linha nele. Se o arquivo existir, ele abrirá o arquivo e anexará uma única linha a ele.

Dito isso, tenho feito benchmarking do meu código e feito as alterações necessárias, mas gostaria de fazer benchmarking do XFS também para ver se esse é o gargalo. Minha pergunta é: como faço para comparar o desempenho de leitura/gravação do XFS?

linux
Martin Hope
Franz Kafka
Asked: 2016-10-29 05:32:03 +0800 CST
  • 0

Atualmente, estou operando com um custo de cerca de US$ 25.000 a US$ 40.000 por mês na AWS. Tenho cerca de 30 TB de dados indexados no Elasticsearch, executando um cluster de produção de 4 nós e outro cluster de preparação de 4 nós. Cada sistema no cluster é um m4.2xlarge, com um SSD IOPS provisionado de 10 TB. Tenho um trabalho constante de EMR que preciso executar e também faço uso extensivo do Elasticache.

Atualmente, tenho um monte de dados no S3 que ainda não foram indexados, o que levará meus 30 TB de dados para mais de 150 TB, e estou começando a me preocupar com meus custos operacionais. Eu só executei infraestrutura na nuvem, então não estou muito familiarizado com colocation. No entanto, parece que, de qualquer maneira, para o meu caso de uso, os custos com colocation serão muito mais baratos a longo prazo do que AWS.

Além disso, tenho engenheiros de infraestrutura na equipe que podem lidar com tarefas de data center etc. Portanto, já estou pagando pelo aspecto de mão de obra disso. Minha pergunta: quais fatores são levados em consideração em uma jogada como essa? Quais são os prós e os contras de cada um e faz sentido mudar de um provedor de nuvem como o AWS para o colo?

colocation amazon-web-services big-data
Martin Hope
Franz Kafka
Asked: 2015-02-12 09:21:11 +0800 CST
  • 1

Eu tenho 2 servidores virtuais no Softlayer, ambos rodando HAProxy. Estou tentando configurar o failover com keepalived. Cada servidor possui um IP privado e um IP público, e eles estão na mesma VLAN. Eu tentei muitas configurações diferentes para keepalived, mas parando o HAProxy no mestre, ele não faz o failover para o BACKUP.

Eu li que multicast não era suportado, então mudei minhas configurações para unicast. As configurações agora, no backup/master são basicamente essas:

vrrp_script chk_haproxy {
  script "pidof haproxy"
  interval 2
}

vrrp_instance VI_1 {
  debug 2
  interface eth1
  state MASTER
  virtual_router_id 51
  priority 101
  unicast_src_ip 1.2.3.4        # My IP
  unicast_peer {
    5.6.7.8                   # peer IP
  }
  track_script {
    chk_haproxy
  }
}

Onde MYIP é o endereço IP público do servidor no qual o arquivo conf está e PEERIP é o endereço IP público do par. Ainda não está funcionando. Parando o HAProxy no mestre, ele não faz failover para o backup.

Gostaria de saber se alguém configurou o HAProxy com failover no Softlayer e como eles fizeram isso?

haproxy