Estou usando R.
Encontrei este site aqui que tem um gráfico sobre dados de desemprego: https://www.bls.gov/charts/employment-situation/civilian-unemployment-rate.htm
Estou tentando baixar os dados para este gráfico (por exemplo, criar um quadro de dados em R).
Tentei fazer Rvest
isso primeiro, mas parece que não temos permissão para extrair dados desta página.
Tentei então copiar os dados manualmente e depois usei o clipr
pacote r para acessar a área de transferência, mas a formatação está saindo bem errada.
Finalmente, baixei um arquivo SVG correspondente a este gráfico. Espero que em algum lugar no arquivo SVG, os dados subjacentes para este gráfico estejam contidos. Mas ao inspecionar manualmente o código-fonte, não consigo encontrar nada.
Alguém sabe se é possível acessar os dados subjacentes de um arquivo SVG?
Quando cliquei em "Mostrar tabela", pude selecionar os dados, colá-los no Planilhas Google (que geralmente é muito bom em analisar tabelas HTML) e depois colá-los no R usando o
datapasta
pacote para renderizar como um data.frame.A tabela HTML está lá e acessível, embora de acordo com a atividade do programa de recuperação automatizada (robô), eles parecem esperar detalhes de contato no cabeçalho do User Agent de solicitações óbvias que não sejam do navegador. Com
httr2
isso, é um pouco mais conveniente de executar.Observe que você provavelmente deve considerar a API pública deles - https://www.bls.gov/developers/ - e também há o pacote blsR .
Não se trata de encontrar as melhores ferramentas para raspar dados do site, mas sim de encontrar os dados certos no site . O US Bureau of Labor Statistics trabalha sob as Solicitações do Freedom of Information Act , então é seu trabalho fornecer dados para qualquer pessoa interessada.
Na seção de desemprego, você encontrará uma série de ferramentas e recursos para desenterrar dados sobre desemprego. Há um link para os dados brutos em arquivos separados por texto/espaço. É um pouco difícil trabalhar com isso, mas também há um link para "Data Finder". Como eu vejo, o Data Finder pode ser usado para escolher exatamente o que você precisa de diferentes pesquisas. Isso parece útil. Ele lhe dará um gráfico dos dados, mas também a opção de baixar os dados como uma planilha do Excel ou um arquivo CSV.