Início / server / Perguntas / 1164842
Accepted
Liquid
Asked: 2024-09-06 00:07:40 +0800 CST

ceph orchestrator indisponível após atualização do ceph

  • 772

Eu estava tentando emitir uma atualização do ceph de 17 para 18.2.4, conforme descrito aqui

ceph orch upgrade start --ceph-version 18.2.4
Initiating upgrade to quay.io/ceph/ceph:v18.2.4

Depois disso, porém, o orquestrador não responde mais

ceph orch upgrade status
Error ENOENT: Module not found

Definir o backend de volta para o orchestrator ou cephadm falha, porque o serviço aparece como 'desabilitado'. O gerente do Ceph jura que o serviço está ligado.

Pelo que pude perceber até agora, estou preso com um daemon mgr executando o reef, enquanto o resto do cluster executa o quincy.

ceph versions
{
    "mon": {
        "ceph version 17.2.7 (b12291d110049b2f35e32e0de30d70e9a4c060d2) quincy (stable)": 5
    },
    "mgr": {
        "ceph version 18.2.4 (e7ad5345525c7aa95470c26863873b581076945d) reef (stable)": 1
    },
    "osd": {
        "ceph version 17.2.7 (b12291d110049b2f35e32e0de30d70e9a4c060d2) quincy (stable)": 31
    },
    "mds": {
        "ceph version 17.2.7 (b12291d110049b2f35e32e0de30d70e9a4c060d2) quincy (stable)": 4
    },
    "overall": {
        "ceph version 17.2.7 (b12291d110049b2f35e32e0de30d70e9a4c060d2) quincy (stable)": 40,
        "ceph version 18.2.4 (e7ad5345525c7aa95470c26863873b581076945d) reef (stable)": 1
    }
}

Como faço para restabelecer o cluster em um estado saudável?

EDIT 1 Saúde Ceph:

  cluster:
    id:     16249ca6-4060-11ef-a8a1-7509512e051b
    health: HEALTH_WARN
            insufficient standby MDS daemons available
            mon gpu001 is low on available space
            1/5 mons down, quorum ***
            Degraded data redundancy: 92072087/608856489 objects degraded (15.122%), 97 pgs degraded, 97 pgs undersized
            7 pgs not deep-scrubbed in time

  services:
    mon: 5 daemons, quorum ***
    mgr: cpu01.fcxjpi(active, since 5m)
    mds: 4/4 daemons up
    osd: 34 osds: 31 up (since 45h), 31 in (since 46h); 31 remapped pgs
 
  data:
    volumes: 1/1 healthy
    pools:   4 pools, 193 pgs
    objects: 121.96M objects, 32 TiB
    usage:   36 TiB used, 73 TiB / 108 TiB avail
    pgs:     92072087/608856489 objects degraded (15.122%)
             29422795/608856489 objects misplaced (4.832%)
             97 active+undersized+degraded
             65 active+clean
             31 active+clean+remapped
  io:
    client:   253 KiB/s rd, 51 KiB/s wr, 3 op/s rd, 2 op/s wr

Nota : a pergunta foi feita originalmente no SO [https://stackoverflow.com/posts/78949269], fui aconselhado a movê-la para cá. Atualmente, estou no processo de pesquisa dos logs do MGR para investigar o status e, eventualmente, forçar um downgrade.

ubuntu

1 respostas

  1. Best Answer

    Créditos para @eblock que estava me apontando a direção certa. Isso está de fato relacionado ao bug. https://tracker.ceph.com/issues/67329

    Confirmei olhando os registros do gerente, que mostraram o seguinte:

        debug2024-09-06T10:53:37.389+0000 7fe918b9a700 -1 mgr load Traceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/module.py", line 535, in __init__
    self.to_remove_osds.load_from_store()
  File "/usr/share/ceph/mgr/cephadm/services/osd.py", line 917, in load_from_store
    osd_obj = OSD.from_json(osd, rm_util=self.rm_util)
  File "/usr/share/ceph/mgr/cephadm/services/osd.py", line 782, in from_json
    return cls(**inp)
TypeError: __init__() got an unexpected keyword argument 'original_weight'

    Não tinha certeza se tinha a ver com algo que eu fiz. Ao olhar os valores de configuração (ceph config), descobri o valor problemático:

    ceph config-key get mgr/cephadm/osd_remove_queue
[{"osd_id": 32, "started": true, "draining": false, "stopped": false, "replace": false, "force": false, "zap": false, "hostname": "cpu03", "original_weight": null, ...}]

    isso vem de um osd cuja remoção ainda estava pendente em uma máquina com defeito. Executando ceph config-key rm mgr/cephadm/osd_remove_queue, reiniciando o gerenciador obteve o cep

    • 0

relate perguntas