• Mineração de texto: é teoria e conjunto de métodos com texto como input.
• Campo interdiciplinar: estatística, linguistica e ciência da computação.
• Aplicações tem aumentado em número, variedade e complexidade.
• Prioridades:
  • Estudar métodos de mineração de texto.
  • Dar subsídios para aplicações em dados reais.
• Fornecer uma descrição dos pacotes que serão usados.
• Descrever o trabalho final da disciplina.

Pacotes

• tm: Text Mining, framework para aplicações de mineração de texto com o R.
• RWeka: linkagem com o Weka, métodos de machine learning feito em Java: tokenização, stemming.
• openNLP: linkagem para o Apache OpenNLP feito em Java, recursos de Natural Language Processing, POS tagging, reconhecimento de entidades, etc.
• kernlab: métodos de machine learning baseados em kernel.
• lsa: análise semantica latente.
• woldcloud e wordcloud2: núvem de palavras.
• languageR: datasets e funções para análise de texto.
• tidytext: processamento de texto e análise de sentimentos.
• koRpus: variação léxica, legibilidade de texto, detecção de idioma, etc.
• RKEA: linkagem com o KEA, extração de keyphrases.
• maxent: implementação com baixo consumo de RAM (C++) de modelos de máxima entropia.
• wordnet: interface para acesso a base de dados léxica do inglês.
• tokenizers: recursos para tokenização de texto.
• topicmodels: interface para a alocação latente de Dirchlet e modelos de tópicos correlacionados.
• lda: implementa a alocação latente de Dirchlet.

Mais informações: https://cran.r-project.org/web/views/NaturalLanguageProcessing.html.

Definições

• Documento: frase, tweet, parágrafo, poema, notícia, diálogo, capítulo, documento, livro, etc.
• Corpus: é uma coleção de documentos de texto.
• Metadados: informações sobre os documentos como estampa de tempo, autor, local, categoria, etc.
• Transformações: remover espaços, caixa baixa, encoding, remover pontuação, remover stopwords.
• Filtro: baseado em predicado.

Principais diretrizes

1. A análise deve fazer uso do texto.
   • Análise de sentimentos.
   • Agrupamento de documentos.
   • Classificação e similaridade de documentos.
   • Extração de entididades.
   • Extração de conceito.
   • Modelagem de tópicos.
   • Modelagem preditiva.
   • E mais.
2. Deve ser dado acesso aos dados ou meios para aquisição.
   • Acesso aos dados colhidos da web ou
   • Acesso aos recursos para colher novos dados.
3. Deve contribuir:
   • Resolvendo um problema prático.
   • Avaliando metodologias.
4. Princípio da reprodutibilidade:
   • Soluções baseadas em software livre para (R, Phyton, MySQL, etc).
   • Código bem organizado e com comentários.

Agenda

• Apresentação da proposta de trabalho.
  • Até 30 de Maio.
  • Combinar o dia com o professor.
  • Seminário (~10 min) com problematização, objetivo, metodologia e resultados esperados.
• Apresentação dos resultados.
  • Semanas finais do semestre.
  • Seminário (~30 min) com problema, objetivos, métodos e resultados.
  • ZIP com slides, dados e scripts.

• Aulas de quinta: teóricas.
• Aulas de terça: aplicadas.
• Banco de dados: no final da matéria.