Encontrando cabeçalhos YAML incorretos

Aqui está uma maneira de fazer isso. Suponho que você tenha bash (para percorrer recursivamente os arquivos), sed e awk. Em vez de usar o bash, você pode usar findcomo alternativa -execpara procurar os arquivos.

O fluxo geral é:

1. peça ao bash a lista de *.mdarquivos, recursivamente
2. passe cada arquivo sedpara extrair o cabeçalho YAML
3. passe esse cabeçalho YAML para awk para validação
4. se o cabeçalho falhar na validação, imprima o nome do arquivo

O roteiro:

#!/bin/bash
shopt -s globstar

for file in **/*.md
do
  # use sed for the header
  sed -n /^---$/,/^---$/p "$file" |
  awk '
        BEGIN {
                good_title=0
                good_lang=0
                good_extaut=0
        }
        /^title: .*/             { good_title=1  }
        /^language: [a-z][a-z]$/ { good_lang=1   }
        /^author: .*/            { good_extaut=1 }
        /^external: .*/          { good_extaut=1 }
        END {
                if (good_title && good_lang && good_extaut)
                        exit 0
                else
                        exit 1
        }
        '  \
  || printf "Incorrect header found in %s\n" "$file"
done

Você pode facilmente ajustar os padrões de correspondência regex no script awk para serem mais rígidos ou mais flexíveis, dependendo de seus requisitos exatos (talvez você queira caracteres alfanuméricos em vez de "qualquer", como o atual .em seu exemplo).

A sedinstrução extrai o cabeçalho YAML por:

• suprimindo a impressão padrão ( -n)
• solicitando uma linha de endereços que correspondam ao padrão: início de linha, ---, fim de linha; o segundo padrão deve ocorrer após o primeiro padrão.
• esse intervalo de endereços é então pgravado

O awkroteiro é um pouco exagerado, mas eu queria soletrá-lo para maior clareza. Cada vez que o awk é chamado, ele define três variáveis ​​de flag para zero ou false. Se virmos linhas que correspondem aos nossos critérios, definimos o sinalizador correspondente como um/verdadeiro. Depois que todas as linhas forem vistas, retornamos sucesso ou falha com base no status desses sinalizadores - todos eles devem ser verdadeiros para "passar" na validação.

Com esses arquivos de amostra com nomes apropriados espalhados no diretório atual e em um subdiretório:

$ tree .
.
├── bad1.md
├── good1.md
├── good2.md
└── subdir
    ├── bad1.md
    └── good1.md

1 directory, 5 files

... as saídas do script:

Incorrect header found in bad1.md
Incorrect header found in subdir/bad1.md

Para extrair o cabeçalho de um arquivo, podemos usar sedassim:

sed -e '1,/^---$/!d' -e '/^---$/d' filename

Isso remove tudo do arquivo, exceto as linhas entre a linha 1 e a próxima linha que é exatamente ---. A segunda expressão também exclui todas as ---linhas dos dados para que você fique apenas com o cabeçalho YAML.

yqUsarei o utilitário baseado em Python de Andrey Kislyuk . Como este é um wrapper útil em torno do versátil analisador JSON jq, podemos detectar facilmente se os valores correspondentes às chaves são null, non- nullou uma string específica etc.

Na jqsintaxe, podemos testar se uma chave, keyname, existe em um objeto com has("keyname"). Também podemos testar se o valor de uma chave corresponde a uma expressão regular específica, RE, usando .keyname | test("RE").

Os testes mencionados na pergunta podem ser traduzidos na seguinte jqexpressão:

has("title")            and
(.title | test("."))    and
has("language")         and
(.language | test("[a-z]{2}"))  and
(has("external") or has("author"))

ou, mais curto, mas menos expressivo,

(.title? != null) and
(.language? | test("[a-z]{2}")) and
(has("external") or has("author"))

Isso garante que cada chave exista e que os valores para as chaves que precisam ter nullvalores diferentes estejam corretos.

Executando isso nos três arquivos de exemplo, com nossos testes no arquivo de script validate:

$ sed -e '1,/^---$/!d' -e '/^---$/d' file1.md | yq -f validate
true
$ sed -e '1,/^---$/!d' -e '/^---$/d' file2.md | yq -f validate
true
$ sed -e '1,/^---$/!d' -e '/^---$/d' file3.md | yq -f validate
false

Podemos generalizar isso para testar todos os .mdarquivos no diretório atual ou abaixo usando findassim:

find . -name '*.md' -type f -exec sh -c '
    for pathname do
        if ! sed -e "1,/^---\$/!d" -e "/^---\$/d" "$pathname" |
             yq -e -f validate >/dev/null
        then
            printf "Invalid YAML header: %s\n" "$pathname"
        fi
    done' sh {} +

ou, com qualquer shell que suporte o **padrão globbing (habilitado com shopt -s globstarin bash):

for pathname in ./**/*.md
do
    if ! sed -e '1,/^---$/!d' -e '/^---$/d' "$pathname" |
         yq -e -f validate >/dev/null
    then
        printf 'Invalid YAML header: %s\n' "$pathname"
    fi
done

Aqui, também descartamos a saída yqe, em vez disso, usamos a ferramenta com sua -eopção. Isso faz com que o status de saída do utilitário reflita o valor da última expressão avaliada, ou seja, zero para true e diferente de zero para false neste caso. Isso facilita o uso do nosso pipeline sed+ yqdiretamente em uma ifdeclaração.

Executando isso com nossos três arquivos de teste, obtemos

Invalid YAML header: ./file3.md