Nosso DBA criou um esquema para nossa equipe em HDFS/HIVE. Não tenho certeza se 'esquema' é a palavra certa, eles chamam de 'grupo'. De qualquer forma, só podemos escrever no data lake dentro desse esquema, sejam arquivos parquet ou tabelas hive. Existe uma maneira de verificar qual é o espaço máximo alocado para nosso grupo, sabendo apenas o nome do esquema? Eu não quero carregar acidentalmente muitos dados.
Obrigada.
Não é possível definir cotas de espaço no nível do Hive apenas porque o Hive é bastante separado do armazenamento HDFS. No Hive você pode criar tabelas não apenas no hive.metastore.warehouse.dir, mas também pode ter tabelas externas em outros diretórios do HDFS. Tabelas externas podem ser carregadas não apenas pelo hive, até mesmo tabelas gerenciadas pelo Hive podem ser carregadas por algumas outras ferramentas sem o Hive (por exemplo, você pode colocar arquivos manualmente no diretório da tabela, não importa o Managed ou External). Além disso, você pode usar o HDFS não apenas para o Hive. Portanto, não é possível definir cotas de espaço no Hive e, mesmo que fosse possível, não é prático, o Hive não sabe o que mais você está fazendo no HDFS.
Leia sobre cotas de espaço HDFS . É possível definir cotas de espaço para arquivos dentro do diretório . Também é possível definir permissões para usuários (grupos) permitindo que eles acessem alguns diretórios. Diretório HDFS ACL + cota de espaço de diretório podem ser combinados para restringir usuários ou grupos a usar somente diretórios permitidos (com cotas de espaço).
Você pode verificar a cota do diretório usando
hadoop fs -count -q /path/to/directoryPara verificar o diretório ACL, use este comando:
hdfs dfs -getfacl [-R] <path>Veja mais no guia de comandos do shell FS .
Leia também sobre as opções de autorização do Hive