Não foi possível enviar o arquivo. Será algum problema com as permissões?
Diferenças
Aqui você vê as diferenças entre duas revisões dessa página.
Ambos lados da revisão anterior Revisão anterior Próxima revisão | Revisão anterior Próxima revisão Ambos lados da revisão seguinte | ||
disciplinas:ce071-2014-01 [2014/03/19 09:57] walmes |
disciplinas:ce071-2014-01 [2014/04/30 11:27] walmes |
||
---|---|---|---|
Linha 3: | Linha 3: | ||
{{ http://www.visualreporting.dk/en/images/r-project-consultant.png?480|}} | {{ http://www.visualreporting.dk/en/images/r-project-consultant.png?480|}} | ||
- | ===== Detalhes da oferta da disciplina ===== | + | ==== Detalhes da oferta da disciplina ==== |
* Professor: [[http://www.leg.ufpr.br/~walmes|Walmes Marques Zeviani]], ([[http://www.leg.ufpr.br|LEG: Laboratório de Estatística e Geoinformação]]) | * Professor: [[http://www.leg.ufpr.br/~walmes|Walmes Marques Zeviani]], ([[http://www.leg.ufpr.br|LEG: Laboratório de Estatística e Geoinformação]]) | ||
Linha 12: | Linha 12: | ||
* Atendimento: Segunda, 19:00-20:30h. | * Atendimento: Segunda, 19:00-20:30h. | ||
- | ===== Scripts, notas e documentos ====== | + | ==== Scripts, notas e documentos ==== |
<note tip> | <note tip> | ||
Linha 20: | Linha 20: | ||
{{url>http://www.leg.ufpr.br/~walmes/ensino/ce071-2014-01/ 800px, 600px center}} | {{url>http://www.leg.ufpr.br/~walmes/ensino/ce071-2014-01/ 800px, 600px center}} | ||
- | ===== Histórico das Aulas do Curso ====== | + | ==== Histórico das Aulas do Curso ==== |
Abaixo o histórico de atividades realizadas em classe e atividades extra classe aplicadas. | Abaixo o histórico de atividades realizadas em classe e atividades extra classe aplicadas. | ||
Linha 53: | Linha 53: | ||
* Intervalos de confiança para \beta_j e funções lineares de \beta; | * Intervalos de confiança para \beta_j e funções lineares de \beta; | ||
* Intervalos de confiança para o valor predito e para observação futura. | * Intervalos de confiança para o valor predito e para observação futura. | ||
- | - 19/03 | + | - 19/03: |
- | - 24/03 | + | * Prática de regressão linear múltipla com o R; |
- | - 26/03 | + | * Estudo sobre o preço de imóveis em função da área. |
- | - 31/03 | + | - 24/03: |
- | - 02/04 | + | * Fórmulas e matrizes correspondentes ao declarar modelos; |
- | - 07/04 | + | * Tipos de parametrizações em modelos lineares para variáveis categóricas; |
- | - 09/04 | + | * Prática de regressão linear múltipla com o R. |
- | - 14/04 | + | - 26/03: |
- | - 16/04 | + | * Prática de regressão linear múltipla com o R; |
- | - 21/04 | + | * Estudo sobre o preço de veículos em função da quilometragem e tipo de câmbio; |
- | - 23/04 | + | * Especificação e testes de hipóteses entre modelos aninhados. |
- | - 28/04 | + | - 31/03: |
+ | * Ajuste do modelo e previsão de valores; | ||
+ | * Intervalos de confiança e intervalos de predição. | ||
+ | - 02/04: | ||
+ | * Análise dos pressupostos do modelo; | ||
+ | * Medidas de influência; | ||
+ | * Tipos de resíduos (crus, padronizados, studentizados); | ||
+ | * DFfits, DFbetas e distância de Cook; | ||
+ | - 07/04: | ||
+ | * Análise dos resíduos e medidas de influência; | ||
+ | * Prática de regressão linear múltipla com o R; | ||
+ | * Estudo sobre o preço de relógios antigos; | ||
+ | * Estudo sobre o salário de trabalhadores sociais. | ||
+ | - 09/04: | ||
+ | * Medidas de colinearidade; | ||
+ | * Fator de inflação da variância. | ||
+ | - 14/04: | ||
+ | * Polinômios ortogonais; | ||
+ | * Centralização das variáveis; | ||
+ | * Prática de regressão linear múltipla com o R; | ||
+ | * Estudo sobre nível de ddt em peixes; | ||
+ | * Estudo sobre o gasto em consumo de alimentos por família. | ||
+ | - 16/04: | ||
+ | * Seleção de variáveis; | ||
+ | * Seleção forward, backwad e stepwise baseados em critérios de informação (AIC e BIC); | ||
+ | - 23/04: | ||
+ | * Prática de regressão linear múltipla com o R; | ||
+ | * Estudo sobre a qualidade de vinhos; | ||
+ | * Estudo sobre o salario de executivos. | ||
+ | - 28/04: | ||
+ | * Variáveis categóricas no modelo de regressão; | ||
+ | * Estudo das interações. | ||
- 30/04 | - 30/04 | ||
- 05/05 | - 05/05 | ||
Linha 83: | Linha 114: | ||
- 25/06 | - 25/06 | ||
- | ===== Avaliações ====== | + | ==== Links úteis ==== |
+ | |||
+ | === Cursos, dados e scripts sobre Regressão Linear === | ||
+ | * {{http://www.ats.ucla.edu/stat/sas/examples/chp/|Regression Analysis by Example, by Chatterjee, Hadi and Price}}: scripts; | ||
+ | * {{http://www.ats.ucla.edu/stat/sas/examples/chp/chpsas_dl.htm|Regression Analysis by Example, by Chatterjee, Hadi and Price}}: dados em txt; | ||
+ | * {{http://www.ats.ucla.edu/stat/stata/examples/ara/default.htm|Applied Regression Analysis, by Fox}} | ||
+ | * {{http://www.ats.ucla.edu/stat/stata/examples/alsm/default.htm|Applied Lin Stat Models, by Neter, Kutner, Nachtsheim, and Wasserman}} | ||
+ | * {{http://www.stat.ufl.edu/~winner/Regression_Examples.html|Regression Examples}}: dados e scripts de análises em R e $A$; | ||
+ | |||
+ | === Cartões de referência === | ||
+ | * {{http://www2.kenyon.edu/Depts/Math/hartlaub/Math305%20Fall2011/R.htm|Resumo de comandos R e pacotes para regressão}}; | ||
+ | * {{http://cran.r-project.org/doc/contrib/Ricci-refcard-regression.pdf|Cartão de referência para regressão}}; | ||
+ | |||
+ | === Medidas de diagnóstico === | ||
+ | * {{http://www.stats.ox.ac.uk/~burke/Linear%20Models/Linear%20Models%20Notes.pdf|Slides de curso completo de Regressão Linear}}; | ||
+ | * {{http://statweb.stanford.edu/~jtaylo/courses/stats203/notes/diagnostics.pdf|Slides de medidas de diagnóstico}}; | ||
+ | * {{http://www.stat.purdue.edu/~jennings/stat514/stat512notes/topic5.pdf|Resumo de medidas de diagnóstico}}; | ||
+ | * {{http://courses.washington.edu/b515/l7.pdf|Exemplos de diagnóstico}}; | ||
+ | * {{http://statweb.stanford.edu/~jtaylo/courses/stats203/notes/diagnostics.pdf|Resumo de medidas de diagnóstico (com exemplos)}} | ||
+ | |||
+ | === Regressão com variáveis categóricas === | ||
+ | * {{http://www.sagepub.com/upm-data/21120_Chapter_7.pdf|Dummy-Variable Regression}}; | ||
+ | * {{http://gauss.stat.su.se/gu/e/slides/F6-Dummy-Variable.pdf|Dummy variable regression models}}; | ||
+ | * {{http://socserv.socsci.mcmaster.ca/jfox/Courses/SPIDA/dummy-regression-notes.pdf|Dummy-Variable Regression}}; | ||
+ | * {{https://www.princeton.edu/~slynch/soc504/expanding_ols.pdf|Expanding the Model Capabilities: Dummy Variables, Interactions, and Nonlinear Transformations}}. | ||
+ | |||
+ | ==== Avaliações ==== | ||
=== Trabalho 1 === | === Trabalho 1 === | ||
Linha 92: | Linha 149: | ||
* Função para quadro de anova particionado. | * Função para quadro de anova particionado. | ||
* Função para calcular o valor predito com IC. | * Função para calcular o valor predito com IC. | ||
+ | * Entregar o código impresso das funções programadas no dia 24/03/14. | ||
<code R> | <code R> | ||
Linha 119: | Linha 177: | ||
} | } | ||
</code> | </code> | ||
+ | |||
+ | === Trabalho 2 === | ||
+ | |||
+ | * Fazer estudo de simulação para estudar a distribuição amostral dos estimadores e das estatísticas do testes. | ||
+ | * Verificar que <latex>E(\hat\beta) = \beta</latex>, <latex>var(\hat\beta) = \sigma^2(X'X)^{-1}</latex>, e que <latex>\hat\betas</latex> têm distribuição Normal. | ||
+ | * Verificar que <latex>E(\hat\sigma^2) = \sigma^2</latex> e que <latex>(n-p)*\hat\sigma/\sigma<\latex> têm distribuição qui-quadrado. | ||
+ | * Verificar que <latex>F = (A\hat\beta-m)'[A(X'X)^{-1}A']^{-1}(A\hat\beta-m)/(r QMRes)</latex> têm distribuição F sob H0 que <latex>A\betas = m</latex>. | ||
+ | * Estudar a distribuição da estatística F = QMReg/QMres e comparar com o F anterior. | ||
+ | * Entregar código impresso com gráficos e tabelas que sobre os resultados solicitados no dia 24/03/14. | ||
+ | |||
+ | <code R> | ||
+ | ## Função que retorna estimativas de parâmetros e estatísticas sob uma | ||
+ | ## amostra aleatória simulada ao ser executada. | ||
+ | mysimula <- function(X, beta, sigma, A, m=beta){ | ||
+ | ... | ||
+ | } | ||
+ | |||
+ | results <- replicate(10000, mysimula) | ||
+ | </code> | ||
+ | |||
+ | === Trabalho 3 === | ||
+ | |||
+ | * Programar funções para obter: | ||
+ | * Resíduos ordinários, padronizados e studentizados; | ||
+ | * Valores de alavancagem; | ||
+ | * Distância de Cook; | ||
+ | * DFfits, DFbetas; | ||
+ | * As funções devem receber como argumentos as matrizes X e y e retornas as respectivas medidas; | ||
+ | |||
+ | * Alavancagem | ||
+ | <latex> | ||
+ | h_i = H_{ii}\\ | ||
+ | h = \text{diag}(H) = \text{diag}(X(X^\top X)^{-1}X^\top)\\ | ||
+ | </latex> | ||
+ | |||
+ | * Resíduos crus | ||
+ | <latex> | ||
+ | e_i = y_i - \hat{y}_i\\ | ||
+ | e = y - \hat{y}\\ | ||
+ | e = y - X\hat{\beta} | ||
+ | </latex> | ||
+ | |||
+ | * Resíduos padronizados (ou internamente studentizados) | ||
+ | <latex> | ||
+ | r_i = \dfrac{e_i}{s(e_i)} = \dfrac{e_i}{\hat{\sigma}\sqrt{1-h_{i}}} | ||
+ | </latex> | ||
+ | |||
+ | * Resíduos studentizados (ou externamente studentizados) | ||
+ | <latex> | ||
+ | t_i = \dfrac{e_i}{s(e_i)} = \dfrac{e_i}{\hat{\sigma}_{-i}\sqrt{1-h_{i}}}\\ | ||
+ | \hat{\sigma}_{-i}^2 = \dfrac{(n-p)\hat{\sigma}^2-\frac{e_i^2}{1-h_{i}}}{(n-1)-p} | ||
+ | </latex> | ||
+ | |||
+ | * Distância de Cook | ||
+ | <latex> | ||
+ | D_i = \dfrac{(\hat{y}-\hat{y}_{i(-i)})^\top (\hat{y}-\hat{y}_{i(-i)})}{p\hat{\sigma}^2} = | ||
+ | \dfrac{1}{p}\cdot\dfrac{h_i}{(1-h_i)}\cdot\dfrac{e_i^2}{\hat{\sigma}^2(1-h_i)} | ||
+ | </latex> | ||
+ | |||
+ | * DFfits | ||
+ | <latex> | ||
+ | dffits_i = \dfrac{\hat{y}_i-\hat{y}_{i(-i))}}{\hat{\sigma}_{-i}\sqrt{h_i}} = t_i\left( \dfrac{h_i}{1-h_i} \right )^{1/2} | ||
+ | </latex> | ||
+ | |||
+ | * DFbetas | ||
+ | <latex> | ||
+ | dbetas_i = \dfrac{\hat{\beta}-\hat{\beta}_{-i}}{\hat{\sigma}_{-i}\sqrt{\text{diag}((X^\top X)^{-1})}}\\ | ||
+ | \hat{\beta}_{-i} = \hat{\beta}-\dfrac{e_i}{1-h_i}\cdot (X^\top X)^{-1} x_i | ||
+ | </latex> | ||
+ | |||
+ | <code R> | ||
+ | ##----------------------------------------------------------------------------- | ||
+ | ## Definições da sessão. | ||
+ | |||
+ | require(lattice) | ||
+ | require(latticeExtra) | ||
+ | |||
+ | ##----------------------------------------------------------------------------- | ||
+ | ## Lendo dados sobre os joagadores da liga européia de futebol. | ||
+ | |||
+ | da <- | ||
+ | read.table("http://www.leg.ufpr.br/~walmes/data/euro_football_players.txt", | ||
+ | header=TRUE, sep="\t", quote="", encoding="utf-8") | ||
+ | str(da) | ||
+ | |||
+ | da <- subset(da, select=c("pos","kg","cm")) | ||
+ | |||
+ | da$gk <- ifelse(da$pos=="GK", 1, -1) | ||
+ | da$gk[grep("^M\\(?.?\\)?$", da$pos)] <- 0 | ||
+ | |||
+ | da <- subset(da, gk>=0) | ||
+ | str(da) | ||
+ | |||
+ | names(da)[2:3] <- c("peso","altura") | ||
+ | table(da$gk) | ||
+ | |||
+ | xyplot(peso~altura|gk, data=da) | ||
+ | |||
+ | ##----------------------------------------------------------------------------- | ||
+ | ## Preço dos carros em função da categoria (simples, sedan ou cross). | ||
+ | |||
+ | db <- | ||
+ | read.table("http://www.leg.ufpr.br/~walmes/data/hb20_venda_webmotors_280314.txt", | ||
+ | header=TRUE, sep="\t") | ||
+ | str(db) | ||
+ | |||
+ | db <- subset(db, select=c("carro","km","preco")) | ||
+ | db <- transform(db, km=km/1000, preco=preco/1000) | ||
+ | |||
+ | xyplot(preco~km|carro, data=db) | ||
+ | |||
+ | ##----------------------------------------------------------------------------- | ||
+ | </code> | ||
+ | |||
+ | |||
+ | ==== Links de arquivos e dados disponibilizados pelos alunos ==== | ||
+ | |||
+ | {{threads>pessoais:walmes:ce071-2014-01:discussion}} | ||
+ | |||
+ | ~~DISCUSSION~~ | ||
+ | |||
+ | /* | ||
+ | === Passos para disponibilizar arquivos no DATAFILEHOST === | ||
+ | |||
+ | - Subir os arquivos (preferencialmente *.txt para dados) site {{http://www.datafilehost.com/|datafilehost}}; | ||
+ | - Seguir as etapas caixas numeradas da figura abaixo: 1 - escolher o arquivo, 2 - fazer upload, 3 - copiar o link para colar na mensagem e 4 - em caso de erro use o link para deletar o arquivo; | ||
+ | - Junto ao link para o arquivo coloque informações sobre o mesmo livro do qual foi retirado, página, número da tabela, nomenclatura das variáveis, contexto, objetivos da análise, unidade de medida das variáveis. As caixas numeradas indicam: 1 - identificação do remetente, 2 - mensagem contendo informações básicas e link para download, 3 - preenchimento de código de segurança e 4 - para concluir com o envio da mensagem. | ||
+ | |||
+ | {{http://www.leg.ufpr.br/~walmes/ensino/passos_datafilehost.png?800|}} | ||
+ | |||
+ | {{http://www.leg.ufpr.br/~walmes/ensino/passos_discussao.png?800|}} | ||
+ | |||
+ | */ |