Início / unix / Perguntas / 453753
Accepted
Zombo
Asked: 2018-07-06 15:52:11 +0800 CST

cURL url_effective com Hash

  • 772

Se você colocar este link em um navegador:

https://unix.stackexchange.com/q/453740#453743

ele retorna isso:

https://unix.stackexchange.com/questions/453740/installing-busybox-for-ubuntu#453743

No entanto, o cURL descarta o Hash:

$ curl -I https://unix.stackexchange.com/q/453740#453743
HTTP/2 302
cache-control: no-cache, no-store, must-revalidate
content-type: text/html; charset=utf-8
location: /questions/453740/installing-busybox-for-ubuntu

O cURL tem uma opção para manter o Hash com o URL resultante? Essencialmente, estou tentando escrever um script que resolva URLs como um navegador - é o que tenho até agora, mas é interrompido se o URL contiver um Hash:

$ set https://unix.stackexchange.com/q/453740#453743
$ curl -L -s -o /dev/null -w %{url_effective} "$1"
https://unix.stackexchange.com/questions/453740/installing-busybox-for-ubuntu
shell-script command-line

2 respostas

  1. De acordo com este tópico no curlsite intitulado: Re: Como enviar parte de fragmento de URL? a marca de hash destina-se ao navegador e não ao servidor, portanto, por que curlestá truncada.

    A parte do fragmento de um URI não deve ser enviada na solicitação HTTP - ela é usada para identificar uma seção específica no recurso que será buscada usando o URI específico. Se você quiser forçar #-letter na solicitação, acho que a codificação parece uma ideia perfeita.

    Olhando, não vi nenhum método para curlpersistir além de codificá-lo como %23, o que acho que não é o que você deseja.

    Solução

    Como é o cliente que está mantendo a string após o hashmark, eu "inclinaria para ele" e simplesmente o analisaria e depois o anexaria novamente ao URL retornado curlcomo um verdadeiro cliente de navegador faria:

    $ set 'https://unix.stackexchange.com/q/453740#453743'
$ echo "$(curl -I -L -s -o /dev/null -w %{url_effective} "$1")#$(echo "$1" | cut -d"#" -f2)"
https://unix.stackexchange.com/questions/453740/installing-busybox-for-ubuntu#453743

    Referências

    • 1
  2. Best Answer

    Curl baixar páginas inteiras .
    A #aponta para um fragmento .

    Ambos não são compatíveis.

    cerquilha

    O símbolo #é usado no final de um link de página da web para marcar uma posição dentro de uma página inteira.

    • URLs de fragmentos

      ...convenção chamada "URLs de fragmentos" para se referir a âncoras dentro de um documento HTML.

    • O que é quando um link tem um sinal de libra "#" nele

      É um "fragmento" ou "âncora nomeada". Você pode usar para vincular a parte de um documento.

    • Wikipedia: Localizador uniforme de recursos (URL)

      Um componente de fragmento opcional precedido por um hash (#). O fragmento contém um identificador de fragmento que fornece orientação para um recurso secundário, como um título de seção em um artigo identificado pelo restante do URI. Quando o recurso principal é um documento HTML, o fragmento geralmente é um atributo id de um elemento específico, e os navegadores da Web rolarão esse elemento para exibição.

    Seu principal uso é mover a "camada de apresentação" (o que é visualizado) para o início de um item.

    ondulação

    Não há "camada de apresentação" no curl, seu objetivo é baixar páginas inteiras, não partes ou fragmentos de páginas. Portanto, não há uso de um marcador de "fragmento" no curl. Ele é simplesmente ignorado pelo curl.

    Gambiarra

    Reanexar a tag ao link (redirecionado):

    originallink='https://unix.stackexchange.com/q/453740#453743'
wholepage=$(curl -Lso /dev/null -w %{url_effective} "$originallink")
if [ "$originallink" != "${originallink##*#}" ]; then
    newlink=$wholepage#${originallink##*#}
else
    echo "link contains no segment"
    newlink="$wholepage"
fi
    echo "$newlink"

    Irá imprimir:

    https://unix.stackexchange.com/questions/453740/installing-busybox-for-ubuntu#453743

    Uma solução bem mais rápida é não baixar a página. Ele está sendo redirecionado para de /dev/nullqualquer maneira. Removendo a -Lopção e perguntando qual seria o link se o (primeiro) redirecionamento fosse seguido. O primeiro redirecionamento funciona neste caso e na maioria dos outros.

    wholepage=$(curl -so /dev/null -w %{redirect_url} "$originallink")
    • 1

relate perguntas