• No passado, as profissões/negócios correram para incorporar o uso dos computadores. Hoje o mesmo acontece com os dados.
• Ciência de dados:
  • Data driven intensive projects.
  • Utilizam ML e STAT para análise de dados.

• O que aconteceu/está acontecendo?
• Compreender e descrever os dados crus.
• Utiliza estatísticas/métricas simples.
• Visualização de dados.
• Feita em 80% do tempo.
• Recursos para comunicação: data storytelling.
• Auxilia no pré-processamento e curadoria.
• Auxilia na construção/inspeção dos modelos.

• Por que aconteceu/está acontecendo?
• Análise confirmatória, estatística inferencial, análise subscritiva.
• Examinar causas de um fenômeno.
• Controlar condições para isolar efeitos.
• Determinar as variáveis relevantes.
• Teste de hipótese, ANOVA, controle de qualidade, análise de sobreviência, análise dados categóricos, análise multivariada, etc.

• Maior parte do Curso de Estatística.
• Está ligado com probabilidade, amostragem e planejamento de experimentos.

• O que irá acontecer?
• Foco na previsão para coordenar ações.
• Dos dados históricos e correntes para os futuros.
• Menor interesse na interpretação.
• Previsão de demanda, prevenção de evasão (churning), manutenção preventiva de equipamentos.
• Tempo real: detecção de fraude, sistemas de recomendação.

• O que deve ser feito?
• Determinar o melhor curso de ação, como reagir.
• Baseado em o que, porque, e o que pode acontecer.
• Recomendações baseadas em previsão ou diagnóstico.
• Otimizar processos de negócios.
• Pode envolver simulação com otimização.
• Marketing direcionado, precificar planos de saúde, taxar consumo de energia.

Estatística

1. Área dentro da matemática.
2. Tem uma história de séculos.
3. Atitude mais conservadora: soluções justificáveis.
4. Contribuições veiculadas em periódicos científicos.
5. Sem conhecimento sobre competições nessa área.
6. Da matemática: cálculo, álgebra, otimização, probabilidade, etc.

Machine learning

1. Área dentro de IA na Ciência da Computação.
2. Tem uma história de algumas décadas (>= 1950).
3. Atitude mais liberal: soluções que funcionem.
4. Contribuições veiculadas em conferências.
5. Existem competições com alta premiação de ML (i.e. kaggle).
6. Da matemática: cálculo, álgebra, otimização, geometria, etc.

Estatística

1. Prioriza inferência.
2. Formulação meticulosa.
3. Modelos baseados em métricas, geralmente interpretáveis.
4. Especifica um modelo que converte os dados em um número reduzido de estatísticas.
5. Foca na interpretação do fenômeno por meio do modelo.
6. Lógica dedutiva: muito pré-conhecimento e poucos dados.

Machine learning

1. Prioriza predição.
2. No espírito fail fast, move quickly.
3. Modelos baseados em algorítmos.
4. Cria uma abstração dos dados com objetivo funcional de predição.
5. Facilmente pode ter mais parâmetros que dados.
6. Lógica indutiva: pouco pré-conhecimento e muitos dados.

Estatística

1. Determinar relação entre variáveis.
2. Sem problemas e típico em assumir um conjunto de suposições.
3. Os modelos podem ser de rígidos a flexíveis.
4. No geral, quanto mais flexível, menos interpretável.

Machine learning

1. Fazer previsão para novos casos.
2. Não possui muitas suposições, mas possui.
3. Os modelos são bem flexíveis, ótimos aproximadores.
4. Em geral, pouco interpretáveis.

Estatística

1. Baseada em suposições sobre o processo gerador dos dados.
2. Construção e modelagem estocástica.
3. Endereça questões para o processo.
4. Os dados são apenas uma realização ruidosa do processo.
5. Ou seja, modela o processo.
6. O modelo vem primeiro.

Machine learning

1. Pouco orientada a suposições sobre o processo, mas algumas suposições existem.
2. Construção e modelagem algorítmica.
3. Endereça questões para os dados.
4. O processo gerador é secundário.
5. Ou seja, modela os dados.
6. Os dados vem primeiro.

Estatística

1. Dados inspiram a formalização do processo e estimam o modelo.
2. Preocupação com a validade das suposições: inúmeras formas de verificação.
3. As suposições funcionam como aumentação de dados.
4. Resultados = 0.5 (propriedades do modelo + suposições) + 0.5 dados.

Machine learning

1. Dados usados para escolher e treinar o algorítmo.
2. Preocupação com under/over fitting: desempenho no conjunto de teste.
3. Vem de um contexto com abundância de dados. Small data, no ML.
4. Resultados = 0.25 propriedades do algorítmo + 0.75 dados.

ML biggest advatage is self improvement based on exposure to data.

– Daniel Miessler

Será?

Baseado no cenário colocado por Pedro Domingos em The Master Algorthm.

Estatísticos quanto a inferência e níveis de suposição:

• Frequentistas.
• Verossimilhancistas.
• Bayesianos.

Machine learners quanto ao aprendizado segundo Pedro Domingos:

• Simbolistas.
• Analogistas.
• Bayesianos.
• Conexionistas.
• Evolucionistas.

Estatística

1. Geralmente em baixa/intermediária dimensão (\(n\)).
2. Orientado a poucas variáveis (\(p\)).
3. Complicações quando \(p >> n\).
4. Mais dificilmente escalável, principalmente quando registros são dependentes/agrupados.

Machine learning

1. Preferencialmente em alta dimensão (\(n\)).
2. Acomoda muitas variáveis (\(p\)).
3. Sem problemas quando \(p >> n\).
4. Foco em performance computacional, assume observações IID.

Estatística

1. Mais esforço humano.
2. Especificação justificável de cada componente do modelo.
3. Conhecimento prévio das relações entre variáveis, propriedades e limitações do modelo
4. Verificação dos pressupostos e medidas de diagnóstico.
5. É uma profissão com gradução de 4,5 anos.
6. Esforço: especificar, pré-processar, ajustar e interpretar.

Machine learning

1. Menos esforço humano.
2. A máquina avalia os padrões, livre de suposições, com aproximador flexível.
3. Conhecimento das propriedades e limitações dos algorítmos.
4. Avaliação e acompanhamento das métricas de desempenho.
5. Uma ou duas disciplina em cursos de Ciência da Computação.
6. Esforço: escolhas, pré-processar, tunar e monitorar.