Digamos que haja um hostgroup definido em um servidor Nagios; e esse hostgroup tem uma notificação configurada para disparar quando um determinado serviço ou serviços atingem um estado crítico, então um e-mail de notificação será enviado a um contato informando que ele deve ser analisado. Esse tipo de funcionalidade existe no Nagios XI?
Não.
Hostgroups e Servicegroups são para agrupar objetos na interface da web e para simplificar a configuração (no núcleo, pelo menos) permitindo que serviços, escalações, dependências, etc., sejam atribuídos a grupos.
O que você está descrevendo soa mais como check_multi ou possivelmente
check_cluster(consulte a página de documentos sobre monitoramento de clusters para obter mais informações).