• Nas consultas feitas até agora não houve preocupação com as requisições no fundo.
• Conhecimento de HTTP vai permitir fazer web scraping de forma mais eficiente.
• Introduzir aspectos da comunicação cliente-servidor.
• Como utilizar o R como cliente.

HTTP Essencial

• Comunição na Web usa protocolos nos bastidores.
• TCP: transmission control protocol.
• IP: internet protocol.
• TCP/IP: cuidam da transferência de dados entre computadores pela rede.
• Existem protocolos TCP/IP específicos.
  • HTTP: hipertext transfer protocol.
  • FTP: file transfer protocol.
  • POP: post office protocol.
  • SMTP: simple mail transfer protocol .
  • IMAP: internet message access protocol.
• Eles definem padrões de comunicação cliente-servidor sobre tarefas específicas.

Comunicação HTTP

• HTTP parece simples mas na realidade é muito flexível.
• E capaz de transferir, reter ou enviar praticamente qualquer tipo de informação.
• A comunicação mais simples é o cliente fazer requisições e o servidor enviá-las.
• Antigamente era possível ver a página carregando aos poucos, imagem por imagem.

Figura 1: Comunicação cliente por HTTP.

1. O nagegador é o cliente HTTP.
2. Pergunta ao servidor de DNS (domain name service) quem é o IP que responde pela URL.
3. Ao saber o IP, o cliente envia requisões por HTTP para o servidor.
4. O servidor responde as requições HTTP.

Sintaxe da URL

• A localização de conteúdo na Web é feito por URL.
• URL: unified resource locators.

• A estrutura geral de uma URL é esquema://hostname:port/path?querystring#fragment

• esquema: corresponde ao protocolo.
• hostname: endereço ou IP do servidor.
• port: porta que será usada para a comunicação.
• path: caminho para arquivos dentro do sistema de arquivos do servidor.
• querystring: permite utilizar campos e valores para o preenchimento de formulários ou parâmetros de exibição, por exemplo.

• fragment: permite localizar conteúdo dentro de uma página, por exemplo.

Proxy

• Proxy são como servidores entre a comunicação entre cliente e servidor.
• Uso principal é sobre restrição de acesso e segunrança.
  • Dar acesso restringindo IP do cliente.
  • Evitar/permitir acesso a sites bloqueados em um pais.
  • Dar acesso apenas a clientes autenticados (email e senha).
  • Ex: proxy para acessar ao portal de periódicos Capes.

Outros protocolos

HTTPS

• HTTPS: HTTP Secure.
• Utilizado por bancos e lojas online.
• Evita que as informações transmitidas (número de cartão de crédito) sejam acessíveis para terceiros.
• HTTPS encripta o conteúdo da comunicação entre cliente-servidor.
• HTTPS = HTTP + protocolo SSL/TLS.

FTP

• FTP: file transfer protocol.
• Usado para upload/download de arquivos.
• Conexões FTP não são persistentes como as HTTP.
• Não permitem o uso de proxy.
• Podem ser rápidos em certas circustâncias pela simplicidade do protocolo.

Carregando páginas e arquivos

• No R: pacotes RCurl e httr.
• Muito do que é feito usa a libcurl, biblioteca externa em C.
• libcurl fornece interface simples para vários protocolos.
  • Permite conexões HTTP.
  • Interpreta URL.
  • Estabelece conexões SSL.
  • Usa proxy.
  • Permite autenticação OAuth.
• getURL(): retorna uma string com a página.
• getBinaryURL(): permite baixar arquivos binários.

library(RCurl)

# Funciona também para HTTPS.
getURL("http://leg.ufpr.br/~paulojus/")

# Funciona para imagens.
img <- getBinaryURL("http://leg.ufpr.br/~paulojus/images/tux.gif")
writeBin(img, "Tux.gif")

Preenchendo formulário

Método GET

• Formulário http://www.r-datacollection.com/materials/http/GETexample.html.
• Requisições pela URL.

url <- "http://www.r-datacollection.com/materials/http/GETexample.html"
u <- getURL(url)
cat(u)

Os dados do formulário são tratados pelo PHP.

# URL do PHP.
url <- "http://www.r-datacollection.com/materials/http/GETexample.php"

# URL com valores para os campos do formulário.
req <- sprintf(paste0(url, "?name=%s&age=%d"), "Angenor", 79)
req

# Resultado da requisição.
u <- getURL(req)
cat(u)

# Um jeito mais fácil.
cat(getForm(url, name = "Angenor", age = 79))

Método POST

• Permite requisições mais sofisticadas.
• Valores para a requisição são passados no corpo e não na URL.

# URL do PHP.
url <- "http://www.r-datacollection.com/materials/http/POSTexample.php"

cat(postForm(url, name = "Angenor", age = 79, style = "post"))

Formulários com métodos GET e POST

• http://www.convertworld.com/pt/.
• https://www.sinonimos.com.br/.

Conexão persistente

• Útil quando múltiplas páginas serão visitadas.
• getCurlHandle().
• TAREFA: Descobrir como usar!
• Evita que a cada página, tudo precise ser relido (e.g. banners).
• Pode usar cookies.

# Com uma conexão persistente (mas não deu certo).
han <- getCurlHandle(followlocation = TRUE,
                     cookiefile = "",
                     httpheader = "https://www.cifraclub.com.br/")
system.time(sapply(urls, FUN = getURL, handle =  han))

• O conhecimento de HTTP permite produzir soluções de web scraping mais ecifientes.
• Permite uso de proxy, preenchimento de formulário, conexões persistentes.

• Avaliação prática na quinta.