|
Web ScrapingCurso prático sobre capturar, extrair e processar dados da web |
Web Scraping
Informações
- Curso: Web Scraping: curso prático sobre capturar, extrair e processar dados da web.
- Instrutor: Walmes Marques Zeviani, (DEST/LEG).
- Carga horária: 12 horas.
- Local: À DEFINIR.
- Horários:
- Sábado, 08 de Junho de 2019, das 09h00 as 12h00 e 14h00 as 17h00.
- Sábado, 15 de Junho de 2019, das 09h00 as 12h00 e 14h00 as 17h00.
- Inscrições: https://www.sympla.com.br/curso-web-scraping-com-python__521461.
Ementa
- Introdução ao Web Scraping.
- Motivação e funcionamento.
- Desafios e ética.
- Conexão e protolocos.
- URL com query strings.
- Cabeçalhos: cookies, referências, sessões e proxy.
- Formulários.
- Requisições simultâneas.
- Conteúdo binário e download.
- Manuseio de conteúdo em XML, HTML e JSON.
- Parsing de XML/HTML: DOM e SAX.
- Extração com CSS selector
- Extração com XPath.
- Parsing de JSON.
- Estruturação e armazenamento.
- Introdução a Web Driver.
- Automação de web scraping.
Software
Este Curso pode ser feito em Python ou em R visto que ambas as linguagens possuem recursos para web scraping. Abaixo tem-se a lista de principais módulos/pacotes utilizados.
Biografia
Walmes Zeviani é professor na UFPR desde 2010 onde leciona principalmente para o Curso de Bacharel em Estatística. É professor e vicecoordenador do Programa de Especialização em Data Science & Big Data da UFPR onde leciona conteúdos relacionados à análise exploratória em R e Python, machine learning e mineração de texto. Tem experiência com web scraping, manipulação e visualização de dados e análise de experimentos, temas sob os quais já ministrou cursos em congressos, instituições de ensino/pesquisa e empresas.
Referências bibliográficas
AYDIN, O. R web scraping quick start guide: Techniques and tools to crawl and scrape data from websites. Packt Publishing, 2018.
BROUCKE, S. VANDEN. Practical web scraping for data science: Best practices and examples with Python. Apress, 2018.
HEYDT, M. Python web scraping cookbook: Over 90 proven recipes to get you scraping with python, microservices, docker, and aws. Packt Publishing, 2018.
JARMUL, K.; LAWSON, R. Python web scraping. Packt Publishing, 2017.
MAKHABEL, B.; MISHRA, P.; DANNEMAN, N.; HEIMANN, R. R: Mining spatial, text, web, and social media data. Packt Publishing, 2017.
MITCHELL, R. Web scraping with python: Collecting data from the modern web. 2nd ed. O’Reilly Media, 2019.
MUNZERT, S.; RUBBA, C.; MEIßNER, P.; NYHUIS, D. Automated data collection with R: A practical guide to web scraping and text mining. Wiley, 2015.
NAIR, V. Getting started with beautiful soup. Packt Publishing, 2014.
NOLAN, D.; LANG, D. XML and web technologies for data sciences with R. Springer New York, 2013.
RAVINDRAN, S.; GARG, V. Mastering social media mining with R. Packt Publishing, 2015.
Web Scraping
leg.ufpr.br/~walmes/ensino/web-scraping
Prof. Walmes M. Zeviani
Departamento de Estatística · UFPR
Informações
- Curso: Web Scraping: curso prático sobre capturar, extrair e processar dados da web.
- Instrutor: Walmes Marques Zeviani, (DEST/LEG).
- Carga horária: 12 horas.
- Local: À DEFINIR.
- Horários:
- Sábado, 08 de Junho de 2019, das 09h00 as 12h00 e 14h00 as 17h00.
- Sábado, 15 de Junho de 2019, das 09h00 as 12h00 e 14h00 as 17h00.
- Inscrições: https://www.sympla.com.br/curso-web-scraping-com-python__521461.
Ementa
- Introdução ao Web Scraping.
- Motivação e funcionamento.
- Desafios e ética.
- Conexão e protolocos.
- URL com query strings.
- Cabeçalhos: cookies, referências, sessões e proxy.
- Formulários.
- Requisições simultâneas.
- Conteúdo binário e download.
- Manuseio de conteúdo em XML, HTML e JSON.
- Parsing de XML/HTML: DOM e SAX.
- Extração com CSS selector
- Extração com XPath.
- Parsing de JSON.
- Estruturação e armazenamento.
- Introdução a Web Driver.
- Automação de web scraping.
Software
Este Curso pode ser feito em Python ou em R visto que ambas as linguagens possuem recursos para web scraping. Abaixo tem-se a lista de principais módulos/pacotes utilizados.
Biografia
Walmes Zeviani é professor na UFPR desde 2010 onde leciona principalmente para o Curso de Bacharel em Estatística. É professor e vicecoordenador do Programa de Especialização em Data Science & Big Data da UFPR onde leciona conteúdos relacionados à análise exploratória em R e Python, machine learning e mineração de texto. Tem experiência com web scraping, manipulação e visualização de dados e análise de experimentos, temas sob os quais já ministrou cursos em congressos, instituições de ensino/pesquisa e empresas.
Referências bibliográficas
AYDIN, O. R web scraping quick start guide: Techniques and tools to crawl and scrape data from websites. Packt Publishing, 2018.
BROUCKE, S. VANDEN. Practical web scraping for data science: Best practices and examples with Python. Apress, 2018.
HEYDT, M. Python web scraping cookbook: Over 90 proven recipes to get you scraping with python, microservices, docker, and aws. Packt Publishing, 2018.
JARMUL, K.; LAWSON, R. Python web scraping. Packt Publishing, 2017.
MAKHABEL, B.; MISHRA, P.; DANNEMAN, N.; HEIMANN, R. R: Mining spatial, text, web, and social media data. Packt Publishing, 2017.
MITCHELL, R. Web scraping with python: Collecting data from the modern web. 2nd ed. O’Reilly Media, 2019.
MUNZERT, S.; RUBBA, C.; MEIßNER, P.; NYHUIS, D. Automated data collection with R: A practical guide to web scraping and text mining. Wiley, 2015.
NAIR, V. Getting started with beautiful soup. Packt Publishing, 2014.
NOLAN, D.; LANG, D. XML and web technologies for data sciences with R. Springer New York, 2013.
RAVINDRAN, S.; GARG, V. Mastering social media mining with R. Packt Publishing, 2015.
|
Web Scraping leg.ufpr.br/~walmes/ensino/web-scraping |
Prof. Walmes M. Zeviani Departamento de Estatística · UFPR |