Chapter 2 Estatística descritiva e exploratória
No Capítulo 6 foi apresentado como lidar com dados desde a sua importação, até arrumação, manipulação e exportação usando os princípios do tidy data. No entanto, apenas ter os dados organizados não significa ter informações sobre o problema de interesse. Para realmente tirar o melhor dos nossos dados precisamos analisá-los usando métodos estatísticos apropriados.
A etapa elementar de qualquer análise estatística de dados é a chamada análise descritiva e exploratória. O objetivo desta etapa é sintetizar e apresentar um conjunto de dados de forma fácil de entender. Neste Capítulo serão apresentados os aspectos básicos da análise exploratória de dados e como executá-los em R. É importante enfatizar que este livro não é sobre estatística descritiva, mas sim sobre como realizar análises descritivas usando o software R. No entanto sempre que possível será discutida a pertinência e o melhor uso das diversas técnicas.
A melhor forma de aprender a fazer uma análise descritiva é fazendo uma análise descritiva. Neste Capítulo vamos explorar um conjunto de dados de uma área muito interessante chamada de people analytics (análise de pessoas). Os dados são uma adaptação do conjunto de dados Human Resources Data Set disponível na plataforma kaggle. As adaptações foram foitas para tornar o conjunto de dados mais simples por meio da retirada de algumas variáveis e também da tradução e adaptação dos dados para o contexto brasileiro. Os dados estão disponíveis no endereço www.leg.ufpr.br/~wagner/data/people_analytics.csv. O caracterer delimitador é ; e podemos facilmente ler essa base de dados usando a função read.table().
dados <- read.table("data/people_analytics.csv", header = TRUE, sep = ";")
str(dados)## 'data.frame': 311 obs. of 14 variables:
## $ cod_colaborador : int 1 2 3 4 5 6 7 8 9 10 ...
## $ salario : int 62506 104437 64955 64991 50825 57568 95660 59365 47837 50178 ...
## $ posicao : chr "Técnico de produção I" "DBA senior" "Técnico de produção II" "Técnico de produção I" ...
## $ genero : chr "masculino" "masculino" "feminino" "feminino" ...
## $ estado_civil : chr "solteiro" "casado" "casado" "casado" ...
## $ departamento : chr "producao" "TI" "producao" "producao" ...
## $ forma_recrutamento: chr "LinkedIn" "Indeed" "LinkedIn" "Indeed" ...
## $ performance_score : chr "excede" "atende totalmente" "atende totalmente" "atende totalmente" ...
## $ engajamento : num 4.6 4.96 3.02 4.84 5 5 3.04 5 4.46 5 ...
## $ faltas : int 1 17 3 15 2 15 19 19 4 16 ...
## $ admissao : chr "7/5/2011" "3/30/2015" "7/5/2011" "1/7/2008" ...
## $ demissao : chr "" "6/16/2016" "9/24/2012" "" ...
## $ razao_demissao : chr "ainda empregado" "mudou de carreira" "horário" "ainda empregado" ...
## $ status : chr "ativo" "pediu demissão" "pediu demissão" "ativo" ...
O conjunto de dados corresponde a \(311\) observações de \(14\) variáveis. Ao começar a análise é importante saber qual o conteúdo de cada variável. Fazer um dicionário é altamente recomendável neste etapa. Lembre-se: pode ser que outra pessoa vá repetir sua análise no futuro e ter claro o que cada variável significa é imprescindível. Um dicionário nada mais é do que uma lista com o nome de cada variável e o que ela representa/significa. Por exemplo, para o conjunto de dados people analytics o dicionário é o seguinte.
cod_colaborador: código do colaborador. É apenas um número único para cada trabalhador. Não existe interesse analítico para esta variável.salario: salário anual do colaborador em reais.posicao: nome do cargo que o colaborador ocupa.genero: gênero do colaborador.estado_civil: estado civil do colaborador.departamento: departamento no qual o colaborador atua.forma_recrutamento: forma pela qual o colaborador foi recrutado.performance_score: escore dado pelo recrutador que indica o grau de compatibilidade entre o candidato e a vaga.engajamento: escore entre 1 e 5 para o engajamento do colaborador.faltas: número de faltas do colaborador no período que está na empresa.admissao: data de admissão do colaborador.demissao: data de demissão do colaborador. No caso do colaborador ainda estar empregado a data está em branco.razao_demissao: razão pela qual o colaborador foi demitido. No caso de não ter sido demitido é colocado comoainda empregado.status: situação do colaborar dentro da empresa.
2.1 Tipos de variáveis
Um bom primeiro passo para uma análise descritiva é identificar o tipo de cada uma das variáveis sendo analisadas. A Figura 2.1 resume os tipos de variáveis que lidamos em estatística descritiva.
Figura 2.1: Principais tipos de variáveis.
Podemos classificar variáveis como qualitativas e quantitativas. Como o nome já sugere, variáveis qualitativas representam qualidades. Se a qualidade apresentar uma ordem natural entre seus níveis, dizemos que temos uma variável qualitativa ordinal. Caso contrário, não existe uma ordem e temos uma variável qualitativa nominal. Variáveis qualitativas são, em geral, nomes que damos a níveis de uma variável, ou seja, tratam-se de rótulos. Por exemplo: gênero, estado civil, grau de satisfação com o trabalho.
Por outro lado, variáveis quantitativas representam medidas numéricas. Se essas medidas puderem assumir apenas um número finito ou contável de valores, dizemos que se trata de uma variável quantitativa discreta. Se as medidas puderem assumir um número infinito de valores então temos uma variável quantitativa contínua. Uma dica para diferenciar entre variáveis discretas e contínuas é: se puder contar é discreta, se medir é contínua.
Olhando para o conjunto de dados people analytics podemos facilmente classificar cada uma de suas variáveis usando as diretrizes apresentadas na Figura 2.1.
Quantitativas:
salario,engajamentoefaltas.Quantitativas contínuas:
salarioeengajamento.Quantitativa discreta:
faltas.
Qualitativas:
posicao,genero,estado_civil,departamento,forma_recrutamento,performance_score,razao_demissaoestatus.Qualitativas nominais:
posicao,genero,estado_civil,departamento,forma_recrutamento,razao_demissaoestatus.Qualitativa ordinal:
performance_score.
As variáveis referentes a datas (datas de admissão e demissão) não se encaixam perfeitamente na classificação proposta mas também trazem informações relevantes para a análise. Por enquanto vamos deixar as datas de lado e lidar apenas com as variáveis qualitativas e quantitativas. Considerando a classificação das variáveis podemos proceder com as análises específicas para cada tipo de variável.
2.2 Análise univariada
Chamamos de análise univariada a descrição de cada uma das variáveis de forma independente. Em termos de técnicas descritivas, basicamente usamos tabelas de frequência para variáveis qualitativas e resumos numéricos como média, mediana, moda e desvio-padrão para variáveis quantitativas. Em termos de análises gráficas o gráfico de barras e suas variações são os mais indicados para representar variáveis qualitativas. Já para variáveis quantitativas, o histograma e suas variações são boas escolhas para representar as variáveis.
2.2.1 Variável qualitativa nominal
Conforme mencionado, para variáveis qualitativas nominais a melhor forma de resumir os dados é por meio de uma tabela de frequência absoluta. Uma tabela de frequência se resume a nada mais do que contar o número de ocorrências de cada opção (nível) da variável qualitativa e organizar essas contagens em uma tabela que associa o nível da variável à quantas vezes o nível aparece. Em R a função table() faz este trabalho. Como exemplo considere as variáveis gênero e estado civil, conforme ilustrado no Código 2.1.
# Tabela genero
table(dados$genero)##
## feminino masculino
## 176 135
# Tabela estado civil
table(dados$estado_civil)##
## casado divorciado separado solteiro viúvo
## 124 30 12 137 8
Podemos também apresentar as distribuições de frequência em termos relativos, ou seja, dividimos cada frequência absoluta pelo total conforme ilustrado no Código 2.2. É comum multiplicar a frequência relativa por cem para obter um percentual. O objetivo é apenas facilitar a interpretação.
## Tabela frequencia relativa
prop.table(table(dados$departamento))*100##
## administracao engenharia de software executivo
## 2.894 3.537 0.322
## producao TI vendas
## 67.203 16.077 9.968
##
prop.table(table(dados$forma_recrutamento))*100##
## aplicação online careerbuilder google Indeed
## 0.322 7.395 15.756 27.974
## indicação LinkedIn outros vagas inclusivas
## 9.968 24.437 0.643 9.325
## website
## 4.180
Interpretando os resultados das tabelas, notamos que, em termos de departamento, a maioria dos colaboradores trabalham no departamento de produção. A forma de recrutamento mais popular é o site Indeed seguido pelo LinkedIn e Google.
Para representação gráfica, o mais indicado para variáveis qualitativas nominais é o gráfico de barras e de setores. O gráfico de setores apesar de seu aspecto histórico não é recomendado por ser de difícil interpretação. Em geral nossos olhos têm dificuldade em diferenciar o tamanho das fatias. Vamos ilustrar o seu uso, porém sugerimos o uso cauteloso desta opção.
Em R existem funções nativas como as funções barplot() e pie() para obter os gráficos de barras e setores. Contudo vamos ilustrar como obter gráficos utilizando outro pacote do tidyverse: o ggplot2. Trata-se de um pacote baseado na gramática dos gráficos, ou seja, tem um modelo mental mais claro para elaboração de gráficos. O pacote permite plotagem multi-painel e mapeamento em variáveis visuais retinais.
library(ggplot2)
help(ggplot2)
ggplot(data = dados,
mapping = aes(x = estado_civil)) +
geom_bar() +
xlab("Estado civil") +
ylab("Frequência absoluta")
ggplot(data = dados,
mapping = aes(x = factor(1),
fill = factor(estado_civil))) +
labs(fill = "Estado civil") +
geom_bar(width = 0.75,
col = 1) +
coord_polar(theta = "y") +
xlab(NULL) +
ylab(NULL)
No caso de uma variável qualitativa com vários níveis, como o estado civil, é interessante ordenar o gráfico do maior para o menor. Isso ajuda a identificar pontos extremos e estabelecer comparações de forma mais rápida. Para isso, precisamos trocar a classe da variável estado_civil para fator e dizer qual a ordem de seus níveis. O Código 2.3 ilustra este processo.
tab_est_civil <- table(dados$estado_civil)
ordem <- order(tab_est_civil, decreasing = TRUE)
dados$estado_civil <- as.factor(dados$estado_civil)
dados$estado_civil <- factor(dados$estado_civil,
levels = levels(dados$estado_civil)[ordem])Veja a ordem lógica das operações:
- Construímos a tabela de frequência para saber qual será a ordem de apresentação.
- Obtemos a ordem descrescente dos níveis da variável.
- Transformamos a classe da variável
estado_civilparafactor. - Reordenamos os níveis (
levels) da variávelestado_civilseguindo a ordem obtida no passo 2.
Agora podemos plotar o gráfico de barras.
ggplot(data = dados,
mapping = aes(x = estado_civil)) +
geom_bar() +
xlab("Estado civil") +
ylab("Frequência absoluta")
Da mesma forma que as tabelas de frequência, o gráfico de barras pode ser feito usando a frequência absoluta ou relativa.
ggplot(data = dados,
mapping = aes(x = estado_civil)) +
geom_bar(aes(y = (..count..)/sum(..count..))) +
xlab("Estado civil") +
ylab("Frequência absoluta")
2.2.2 Variável qualitativa ordinal
Existem casos em que variáveis qualitativas apresentam uma ordem natural, como é o caso da variável performance_score. É recomendável apresentar a tabela de frequência, seja absoluta ou relativa, respeitando a ordem natural da variável. Por exemplo,
table(dados$performance_score)##
## atende totalmente excede insuficiente
## 243 37 13
## precisa melhorar
## 18
Se optarmos por apresentar a variável performance_score de forma ascendente, a ordem natural seria: insuficiente, precisa melhorar, atende totalmente e excede. Para dizermos ao R que essa variável é qualitativa e ordinal precisamos transformá-la para a classe factor e indicar a ordem que queremos que seja apresentada. Veja o Código 2.4.
dados$performance_score <- factor(dados$performance_score,
levels = c("insuficiente",
"precisa melhorar",
"atende totalmente",
"excede"))
prop.table(table(dados$performance_score))*100##
## insuficiente precisa melhorar atende totalmente
## 4.18 5.79 78.14
## excede
## 11.90
Neste caso também faz sentido incluir a chamada frequência acumulada que nada mais é do que somar os percentuais até determinado nível da variável qualitativa. Por exemplo, se temos interesse no percentual de colaborares que tem escore precisa melhorar ou menor precisamos somar insuficiente e precisa melhorar. Para obter as frequências acumuladas usamos a função cumsum(), conforme ilustrado no Código 2.5.
cumsum(prop.table(table(dados$performance_score))*100)## insuficiente precisa melhorar atende totalmente
## 4.18 9.97 88.10
## excede
## 100.00
Novamente o gráfico de barras e setores são os mais indicados para análise gráfica.
ggplot(data = dados,
mapping = aes(x = performance_score)) +
geom_bar() +
xlab("Escore") +
ylab("Frequência absoluta")
Neste caso, precisa ser avaliado se vale a pena mudar a ordem para que as classes mais frequentes apareçam a esquerda do gráfico. Em geral é preferível manter a ordem natural da variável, mas sempre existem exceções.
Outro aspecto a considerar é quando a variável tem muitos níveis. Por exemplo, a variável posicao tem \(26\) níveis. Ao fazer uma tabela com tantos níveis pode ser difícil de visualizar os resultados.
table(dados$posicao)##
## Administrador BD Analista de dados
## 5 8
## Arquiteto de dados Arquiteto de empreendimentos
## 2 1
## Assistente administrativo CEO
## 3 1
## CIO Contador
## 1 3
## Contador senior DBA senior
## 2 2
## Desenvolvedor BI Desenvolvedor BI senior
## 4 3
## Diretor BI Diretor de operações
## 1 1
## Diretor de TI Diretos de vendas
## 1 1
## Engenheiro de rede senior Engenheiro de redes
## 5 5
## Engenheiro de software Gerente de produção
## 10 14
## Gerente de serviços Gerente de TI
## 1 12
## Gerente de vendas Gerente engenheiro de software
## 30 1
## Técnico de produção I Técnico de produção II
## 137 57
Uma dica útil é tentar agrupar os níveis que tenham baixa ocorrência ou que façam sentido serem agrupados. Por exemplo, poderíamos juntar os níveis Técnico de produção I e Técnico de produção II, desde que faça sentido prático. Essa é uma decisão que deve ser tomada junto com o time que vai usar suas análises. Outra opção seria agrupar Contador e Contador Senior. O importante é que a forma de agrupar deve estar de acordo com os objetivos da análise e alinhada com toda a equipe que vai se beneficiar dela.
2.2.3 Variável quantitativa discreta
A análise exploratória de variáveis quantitativas discretas com poucos valores é de certa forma similar a análise de variáveis qualitativas ordinais. Assim, tabelas de frequência absoluta, relativa e acumulada são ferramentas populares. Os gráficos de barras também são indicados. Em nosso exemplo a única variável quantitativa discreta é o número de faltas. Podemos fazer uma tabela de frequência absoluta, relativa e acumulada, conforme ilustra o Código 2.6.
# Frequencia absoluta
abs <- table(dados$faltas)
# Frequencia relativa
percentual <- prop.table(table(dados$faltas))*100
## Frequencia acumulada
acumulada <- cumsum(prop.table(table(dados$faltas)))
resultado <- data.frame("Absoluta" = abs,
"Percentual" = percentual,
"Acumulada" = acumulada)Apesar de ser possível, a tabela gerada ficou grande e de difícil interpretação, pois existem \(20\) valores distintos para a variável faltas. Nestes casos o mais indicado é tratar as variáveis quantitativas discretas como quantitativas contínuas, conforme veremos na próxima subseção.
2.2.4 Variável quantitativa contínua
No caso de variáveis quantativas contínuas, fazer uma tabela de frequência é impraticável pelo grande número de possíveis valores que a variável pode assumir. Assim, a estratégia é criar faixas de valores e então construir as tabelas de frequência de forma similar ao realizado para variáveis qualitativas ordinais.
Em R a função cut() é bastante útil para agrupar as observações em faixas. Criar as faixas é um assunto que requer bastante cuidado. Se você estiver em alguma situação em que as classes podem ser criadas de acordo com alguma regra de negócio ou mesmo conforme interesse da equipe, é perfeitamente aceitável usar essa informação para criar as classes. Caso contrário existem algumas técnicas estatísticas para ajudar com esta tarefa. O importante é ter em mente que essa deve ser uma decisão pensada de acordo com o negócio que você está lidando.
Vamos supor que um interesse da equipe é comparar as faixas de renda dentro da empresa com as da população de forma geral. Você consultou o site do IBGE e constatou que para pesquisas populacionais o IBGE usa as seguintes faixas de renda para obter a classe social de uma pessoa.
| Classe | Renda |
|---|---|
| A | R$ 20.900,01 ou mais |
| B | R$ 10.450,01 até R$ 20.900,00 |
| C | R$ 4.180,01 até R$ 10.450,01 |
| D | R$ 2.090,01 até R$ 4.180,00 |
| E | até R$ 2.090,01 |
Podemos então usar a função cut() para criar as faixas de renda.
faixas <- c(0, 2090.01, 4180.01, 10450.01, 20900.01, Inf)Note que não precisamos explicitamente seguir a tabela do IBGE, uma vez que podemos usar intervalos abertos a direita. Isso significa que entre \(0\) e \(2.090,01\) o valor exato \(2.090,01\) não será contado na primeira faixa e assim por diante. Outro aspecto para estar atento é que a classificação do IBGE é baseada na renda mensal. Por outro lado, nossa base de dados reporta a renda anual. Assim, vamos primeiro dividir a variável por \(12\) para ter a renda mensal média. Para definir um intervalo aberto a direita usamos as opção right = FALSE.
dados$renda_mensal <- dados$salario/12
table(cut(dados$renda_mensal, breaks = faixas))##
## (0,2.09e+03] (2.09e+03,4.18e+03] (4.18e+03,1.05e+04]
## 0 31 270
## (1.05e+04,2.09e+04] (2.09e+04,Inf]
## 10 0
Novamente, a tabela pode conter a frequência absoluta, relativa e acumulada. Em termos de gráficos o mais indicado para variáveis quantitativas contínuas é o histograma. Um histograma nada mais é do que uma representação gráfica da tabela de frequências. Para construção do histograma podemos usar tanto frequências absolutas quanto relativas. A Figura 2.2 mostra como gerar um histograma usando as frequências absolutas.
ggplot(data = dados,
mapping = aes(x = salario)) +
geom_histogram() +
xlab("Salário anual") +
ylab("Frequência absoluta")
Figura 2.2: Histograma para a variável salário anual.
Neste caso, as observações são agrupadas em faixas usando uma metodologia estatística chamada de regra de Sturges, veja ?hist para detalhes.
Apesar do gráfico da Figura 2.2 ser popularmente chamado de histograma, técnicamente ele é uma adaptação do histograma original. Note que, no eixo y, temos a representação das frequências absolutas de cada faixa de valores. Contudo, na concepção original do histograma, o eixo y é usado para representar o que chamamos de densidade, conforme ilustrado na Figura 2.3.
ggplot(data = dados,
mapping = aes(x = salario,
y = ..density..)) +
geom_histogram() +
xlab("Salário anual") +
ylab("Densidade")
Figura 2.3: Histograma para a variável salário anual com a densidade representada na eixo y.
A ideia da densidade consiste em pensar qual o valor deve ser colocado no eixo y para que quando a área de cada retângulo for calculada seja obtida a frequência relativa. Assim, a densidade é calculada da seguinte forma
\[\text{densidade} = \frac{\text{limite superior} - \text{limite inferior}}{\text{frequência relativa}}.\]
Lembre-se que a área de um retângulo é calculada como o tamanho da base vezes a altura, ou seja,
\[\text{área} = (\text{limite superior} - \text{limite inferior}) * \text{altura}.\]
Como queremos que a área seja igual a frequência relativa, basta isolar a altura. Chamamos esta altura de densidade. Para ilustrar, vamos usar como exemplo o cálculo da densidade para a variável engajamento utilizando a função hist().
histograma <- hist(dados$engajamento,
plot = FALSE)
histograma## $breaks
## [1] 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0
##
## $counts
## [1] 2 6 11 8 37 46 98 103
##
## $density
## [1] 0.0129 0.0386 0.0707 0.0514 0.2379 0.2958 0.6302 0.6624
##
## $mids
## [1] 1.25 1.75 2.25 2.75 3.25 3.75 4.25 4.75
##
## $xname
## [1] "dados$engajamento"
##
## $equidist
## [1] TRUE
##
## attr(,"class")
## [1] "histogram"
Ao analisar o conteúdo do objeto histograma vemos que temos as classes (breaks), a frequência absoluta (counts) e as densidades (density). A classe modal (maior frequência) é a que vai de \(4.5\) até \(5\). Para calcular a densidade desta classe:
- Calculamos a amplitude da classe, ou seja, o limite superior (\(5\)) menos o limite inferior (\(4.5\)). Logo, a amplitude é \(5 - 4.5 = 0.5\).
- Calculamos a frequência relativa da classe. Neste caso \(103/311 = 0.331\).
- Calculamos a densidade \(0.331/0.5 = 0.662\).
Note que ao calcular a área do último retângulo temos:
- A base é \(5 - 4.5 = 0.5\).
- A altura (densidade) é \(0.662\).
- E a área é a base multipicada pela altura, \(0.5 * 0.662 = 0.331\) que é a frequência relativa da classe considerada.
Os cálculos são idênticos para as demais classes. Mas você deve estar se perguntando: por que complicar o que estava fácil?
A ideia do histograma é fornecer a distribuição de probabilidade empírica de uma variável aleatória. Isso se deve ao fato de que a área da soma de todos os retângulos que compõem o histograma deve ser igual a \(1\). Se você não está familiarizado com conceitos básicos de variáveis aleatórias e probabilidade recomendamos que avalie o nosso curso de Probabilidade e Estatística para Ciência de Dados.
No contexto de variáveis quantitativas contínuas a distribuição de frequências por meio do histograma fornece um resumo da distribuição das observações. Apesar de muito útil e visual pode ser difícil comparar diversos histogramas em uma mesma análise. Por exemplo, suponha que desejamos comparar o grau de engajamento dos colaboradores de acordo com o gênero. Esta é uma tarefa simples, basta fazer um histograma para os colaboradores do gênero feminino e outro para o gênero masculino, conforme ilustra a Figura 2.4.
ggplot(data = dados,
mapping = aes(x = engajamento)) +
geom_histogram() +
facet_wrap(facets = ~genero) +
xlab("Engajamento") +
ylab("Freq. Absoluta")
Figura 2.4: Histograma para os gêneros feminino e masculino.
Para variáveis com muitos níveis pode ficar difícil avaliar tantos histogramas. Além disso, os histogramas podem ter comportamentos parecidos, o que torna difícil encontrar diferenças apenas visualmente. A estatística nos proporciona um conjunto de medidas numéricas para resumir a distribuição de frequências. Em geral olhamos para dois aspectos básicos da distribuição de frequência: a sua tendência central e sua dispersão ou espalhamento.
As medidas de tendência central ou também chamadas de medidas de posição central mais populares são a média aritmética, a mediana e a moda. A obtenção destas estatísticas é muito simples:
Média aritmética: para uma variável quantitativa basta somar todos os seus valores e dividir pelo número de observações. A interpretação física é que a média é o centro de gravidade da distribuição empírica. Pense que cada um dos retângulos é uma massa com peso igual a sua densidade. Imagine que o eixo
xé uma régua. O ponto médio é onde você deve colocar uma agulha para perfeitamente equilibrar as massas sobre a régua.Mediana: ordene as observações de acordo com os valores de uma variável quantitativa do menor para o maior. A mediana é o valor que estiver na posição i) \((N+1)/2\) se \(N\) é ímpar e a média dos valores das posições \((N/2)\) e \((N/2) + 1\) se \(N\) par. A ideia é saber exatamente que \(50\%\) das observações tem valores menores do que a mediana. Óbviamente, \(50\%\) das observações tem valores maiores do que a mediana.
Moda: valor mais frequente. No caso de uma variável onde praticamente só existem valores únicos, essa medida tem pouca aplicação prática. Você pode reportar a classe modal se for de interesse. Em geral, a média e a mediana costumam ser suficientes para ter um boa noção da centralidade da distribuição empírica.
Neste livro não vamos dar ênfase as formulas de como obter tais estatísticas. Nosso objetivo é mostrar como obtê-las usando o R. Para a variável renda_mensal podemos facilmente calcular a média e a mediana, conforme ilustra o Código 2.7.
# Média
mean(dados$renda_mensal)## [1] 5752
# Mediana
median(dados$renda_mensal)## [1] 5234
A mediana divide o conjunto de observações em dois grupos com o mesmo número de observações. Porém, podemos pensar em dividir o conjunto de dados em mais partes. Essa ideia dá origem aos chamados quartis. Os quartis são os valores da variável que dividem as observações em quatro grupos de mesmo tamanho. Chamamos de primeiro quartil o valor que separa \(1/4\) dos valores à sua esquerda e \(3/4\) à direita; o segundo quartil é a própria mediana e o terceiro quartil é o valor que tem \(3/4\) dos valores da distribuição à sua esquerda e \(1/4\) à direita. Em R a função quantile() calcula os quartis, conforme ilustra o Código 2.8.
quantile(dados$renda_mensal)## 0% 25% 50% 75% 100%
## 3754 4625 5234 6003 20833
Além dos quartis, a função quantile() apresenta os valores mínimos e máximos. Juntos, esses valores são o chamado resumo de cinco números. É muito comum apresentar o resumo dos cinco números em um diagrama de caixas ou boxplot, conforme ilustrado na Figura 2.5.
ggplot(data = dados,
mapping = aes(x = 1, y = renda_mensal)) +
geom_boxplot()
Figura 2.5: Boxplot para a variável renda mensal.
Analisando o gráfico da Figura 2.5 de baixo para cima, temos:
- A primeira linha horizontal representa o valor mínimo, sem considerar os valores que ultrapassam o desvio interquartílico.
- A segunda linha horizontal representa o primeiro quartil.
- A linha mais grossa no meio da caixa representa a mediana.
- A terceira linha horizontal representa o terceiro quartil.
- A última linha horizontal representa o valor máximo, sem considerar os valores que ultrapassam o desvio interquartílico.
O desvio interquartílico é definido como \(1.5\) vezes o terceiro quartil menos o primeiro quartil. É um valor de referência e cria a chamada barreira de valores atípicos. Muitos analistas chamam os valores além do desvio interquartilico de outliers. Porém, isso não é verdade e a definição exata do que é um outliers depende de outros aspectos como do modelo que será ajustado. Neste livro não vamos entrar neste tipo de detalhe. Tenha em mente de que estamos apenas na parte inicial da análise e a detecção de outliers é uma das etapas finais da modelagem estatística e portanto além dos objetivos deste livro.
O desvio interquartílico é uma medida de dispersão ou espalhamento da distribuição de frequências. Existem diversas outras medidas de dispersão, por exemplo:
- Amplitude total: diferença entre o maior e menor valor.
- Variância: soma dos quadrados dos desvios (diferença entre a observação e a média) dividido pelo tamanho da amostra menos \(1\). Em notação matemática, sendo \(y_i\) os valores da variável e \(\bar{y}\) a sua média aritmética a variância é dada por \[s^2 = \frac{\sum_{i=1}^n (y_i - \bar{y})}{n-1}.\]
- Desvio-padrão: raiz quadrada positiva da variância. A grande vantagem do desvio-padrão é que está na mesma escala da variável, sendo de mais fácil interpretação.
- Coeficiente de variação: É a relação entre o desvio-padrão e a média. É geralmente expresso em percentagem, o que facilita a comparação de variabilidade entre variáveis com valores em unidades diferentes.
Em R é fácil obter todas essas medidas, conforme ilustra o Código 2.9.
amplitude <- max(dados$renda_mensal) - min(dados$renda_mensal)
amplitude## [1] 17080
# Variância
var(dados$renda_mensal)## [1] 4394836
# Desvio-padrão
sd(dados$renda_mensal)## [1] 2096
## Coeficiente de variação
(sd(dados$renda_mensal)/mean(dados$renda_mensal))*100## [1] 36.4
Existem diversas outras medidas resumo tanto de tendência central quanto de dispersão. Para mais detalhes considere o curso Probabilidade e Estatística para Ciência de dados e a bibliografia complementar ao final deste livro.
A vantagem de usar essas medidas resumo é mais facilmente poder comparar diferentes grupos com relação a tendência central e/ou variabilidade. Por exemplo, podemos estar interessados em comparar o salário médio dos colaboradores de acordo com o departamento em que trabalham. Já vimos que a função summarise() do pacote dplyr é especialmente útil para este tipo de resumo.
library(dplyr)
dados %>%
group_by(departamento) %>%
summarise(media = mean(renda_mensal))## # A tibble: 6 × 2
## departamento media
## <chr> <dbl>
## 1 administracao 5983.
## 2 engenharia de software 7916.
## 3 executivo 20833.
## 4 producao 4996.
## 5 TI 8089.
## 6 vendas 5755.
Note que agora estamos usando uma variável para condicionar o comportamento de outra. Isso é o que chamamos de análise descritiva bivariada e será o assunto da próxima subseção.
2.3 Análise bivariada
O principal objetivo da análise univariada é resumir o comportamento de uma variável de tal modo que o comportamento desta variável se torne mais simples de se entender. Porém, o grande valor da maioria das análises de dados está em entender e identificar relações entre diferentes variáveis. Assim, o objetivo da análise bivariada é descrever e mensurar relações entre variáveis. O tipo de resumo vai depender do tipo das variáveis sendo consideradas. Neste contexto temos as seguintes possibilidades:
- Qualitativa \(\times\) qualitativa;
- Qualitativa \(\times\) quantitativa;
- Quantitativa \(\times\) quantitativa.
Novamente, temos gráficos e medidas numéricas para resumir a relação entre as variáveis. Nesta seção vamos ver apenas as medidas e gráficos mais populares. Para mais detalhes considere o curso Manipulação e visualização com o R e as referências no final deste livro.
2.3.1 Qualitativa \(\times\) qualitativa
A forma mais simples de representar a relação entre duas variáveis qualitativas é por meio de uma tabela de dupla entrada. Considere as variáveis genero e forma_recrutamento. Nosso interesse pode ser saber se uma determinada forma de recrutamento difere da outra em relação ao gênero dos colaboradores. O Código 2.10 ilustra a criação de uma tabela de dupla entrada em R.
table(dados$forma_recrutamento, dados$genero)##
## feminino masculino
## aplicação online 0 1
## careerbuilder 16 7
## google 33 16
## Indeed 50 37
## indicação 11 20
## LinkedIn 44 32
## outros 1 1
## vagas inclusivas 15 14
## website 6 7
Para economizar um pouco na digitação dos comandos podemos usar a função with().
with(dados, table(forma_recrutamento, genero))## genero
## forma_recrutamento feminino masculino
## aplicação online 0 1
## careerbuilder 16 7
## google 33 16
## Indeed 50 37
## indicação 11 20
## LinkedIn 44 32
## outros 1 1
## vagas inclusivas 15 14
## website 6 7
Novamente podemos calcular as frequências relativas, no entanto precisamos tomar cuidado porque nas tabelas de dupla entrada temos várias opções, podemos obter frequências relativas em relação:
- Ao total geral, ou seja, número total de observações.
- Aos totais das linhas
(margin = 1). - Aos totais das colunas
(margin = 2).
A função prop.table() continua sendo a nossa escolha, conforme ilustra o
Código 2.11.
# Relação ao total geral
with(dados, prop.table(table(forma_recrutamento, genero)))## genero
## forma_recrutamento feminino masculino
## aplicação online 0.00000 0.00322
## careerbuilder 0.05145 0.02251
## google 0.10611 0.05145
## Indeed 0.16077 0.11897
## indicação 0.03537 0.06431
## LinkedIn 0.14148 0.10289
## outros 0.00322 0.00322
## vagas inclusivas 0.04823 0.04502
## website 0.01929 0.02251
# Relação aos totais das linhas
with(dados, prop.table(table(forma_recrutamento, genero), margin = 1))## genero
## forma_recrutamento feminino masculino
## aplicação online 0.000 1.000
## careerbuilder 0.696 0.304
## google 0.673 0.327
## Indeed 0.575 0.425
## indicação 0.355 0.645
## LinkedIn 0.579 0.421
## outros 0.500 0.500
## vagas inclusivas 0.517 0.483
## website 0.462 0.538
# Relação aos totais das colunas
with(dados, prop.table(table(forma_recrutamento, genero), margin = 2))## genero
## forma_recrutamento feminino masculino
## aplicação online 0.00000 0.00741
## careerbuilder 0.09091 0.05185
## google 0.18750 0.11852
## Indeed 0.28409 0.27407
## indicação 0.06250 0.14815
## LinkedIn 0.25000 0.23704
## outros 0.00568 0.00741
## vagas inclusivas 0.08523 0.10370
## website 0.03409 0.05185
As vezes pode ser de interesse adicionar o total das linhas e colunas para facilitar a interpretação. A função addmargins() cumpre esse papel, conforme ilustra o Código 2.12.
tab <- with(dados, prop.table(table(forma_recrutamento, genero)))
addmargins(tab)## genero
## forma_recrutamento feminino masculino Sum
## aplicação online 0.00000 0.00322 0.00322
## careerbuilder 0.05145 0.02251 0.07395
## google 0.10611 0.05145 0.15756
## Indeed 0.16077 0.11897 0.27974
## indicação 0.03537 0.06431 0.09968
## LinkedIn 0.14148 0.10289 0.24437
## outros 0.00322 0.00322 0.00643
## vagas inclusivas 0.04823 0.04502 0.09325
## website 0.01929 0.02251 0.04180
## Sum 0.56592 0.43408 1.00000
Em termos de análise gráfica, o gráfico de barras continua sendo a melhor escolha. No entanto, agora precisamos representar duas barras e portanto existem diversas formas de representação.
Se o objetivo é enfatizar a composição de cada grupo podemos usar barras empilhadas. Em geral, mantemos fixa a variável que temos mais interesse e colorimos as barras de acordo com os valores da outra variável. Veja os exemplos da Figuras 2.6 e 2.7.
idx <- order(table(dados$forma_recrutamento), decreasing = TRUE)
dados$forma_recrutamento <- as.factor(dados$forma_recrutamento)
dados$forma_recrutamento <- factor(dados$forma_recrutamento,
levels = levels(dados$forma_recrutamento)[idx])ggplot(data = dados,
mapping = aes(x = forma_recrutamento,
fill = genero)) +
geom_bar(position = "stack")
Figura 2.6: Exemplos de gráficos com barras empilhadas.
ggplot(data = dados,
mapping = aes(x = forma_recrutamento,
fill = genero)) +
geom_bar(position = "dodge")
Figura 2.7: Exemplos de gráficos com barras lado a lado.
Na Figura 2.6 enfatizamos a variável que representa a forma de recrutamento e por isso é ela quem aparece formando as barras. A variável gênero tem um papel apenas complementar. Note que a comparação em termos de composição por gênero deve ser feita dentro de cada coluna, uma vez que a comparação entre colunas é difícil por não terem a mesma altura.
Por outro lado, na Figura 2.7, enfatizamos a composição de cada nível da variável gênero de acordo com a variável status. Como as barras apresentam a frequência relativa, podemos comparar as frequências não só dentro de cada barra mas também entre as barras.
Quando o objetivo for comparar os níveis de uma variável de acordo com os níveis de uma outra variável podemos usar as barras lado a lado, conforme ilustra a Figura 2.8.
tab <- with(dados, prop.table(table(performance_score, status), margin = 2))
barplot(tab, beside = TRUE, legend = TRUE)
Figura 2.8: Exemplos de gráficos com barras lado a lado.
Por fim, em casos em que o número de níveis da variável é grande podemos apresentar as barras na horizontal. A Figura 2.9 ilustra esta opção.
tab <- with(dados, table(forma_recrutamento))
par(mai=c(1,2,1,1))
barplot(tab, main ="", horiz=TRUE, las = 1)
Figura 2.9: Exemplo de gráfico com barras horizontais.
É importante também apresentar os nomes dos níveis da variável na horizontal. Esse é o papel do argumento las = 1. No entanto ao fazer isso é provável que o texto fique fora das margens do gráfico. Para corrigir esse problema usamos os parâmetros par(mai=c(1,2,1,1)).
2.3.2 Qualitativa \(\times\) quantitativa
Quando temos uma variável qualitativa e outra contínua a ideia geral da análise é usar o que vimos na subseção 7.2.4, porém para cada nível da variável qualitativa. Por exemplo, podemos comparar o salário médio dos colaboradores de acordo com o departamento em que eles trabalham. Nós já vimos que para este tipo de tarefa a função aggregate() atende ao propósito. O Código 2.13 ilustra como calcular não apenas a média mas também a mediana e o desvio-padrão da renda mensal por nível da variável departamento.
aggregate(x = dados$renda_mensal,
by = list(dados$departamento),
FUN = function(x) {
c("media" = mean(x),
"mediana" = median(x),
"sd" = sd(x))
})## Group.1 x.media x.mediana x.sd
## 1 administracao 5983 5250 1809
## 2 engenharia de software 7916 7972 797
## 3 executivo 20833 20833 NA
## 4 producao 4996 4956 952
## 5 TI 8089 7694 2767
## 6 vendas 5755 5442 1773
Tente entender o porquê o desvio-padrão da renda mensal na classe executivo
retornou como NA.
Recomendamos usar o boxplot da variável quantitativa por nível da variável qualitativa para análise gráfica, conforme ilustrado na Figura 2.10.
with(dados, boxplot(renda_mensal ~ forma_recrutamento,
ylab = "Renda mensal", xlab = "Forma de recrutamento"))
Figura 2.10: Boxplot da variável renda mensal por níveis da variável forma de recrutamento.
Para melhorar a visualização você pode ordenar as caixas de acordo com a renda mediana conforme Figura 2.11.
mediana <- aggregate(x = dados$renda_mensal,
by = list(dados$forma_recrutamento),
FUN = median)
idx <- order(mediana$x, decreasing = TRUE)
dados$forma_recrutamento <- as.factor(dados$forma_recrutamento)
dados$forma_recrutamento <- factor(dados$forma_recrutamento,
levels = levels(dados$forma_recrutamento)[idx])
with(dados, boxplot(renda_mensal ~ forma_recrutamento,
ylab = "Renda mensal", xlab = "Forma de recrutamento"))
Figura 2.11: Boxplot com caixas ordenadas.
Uma outra opção é criar faixas para a variável quantitativa e usar gráficos de barras como na subseção 7.3.1.
2.3.3 Quantitativa \(\times\) quantitativa
O gráfico mais popular para visualizar a relação entre duas variáveis quantitativas é o diagrama de dispersão, conforme mostra a Figura 2.12 para as variáveis renda mensal e engajamento.
with(dados, plot(renda_mensal ~ engajamento,
ylab = "Renda mensal", xlab = "Engajamento"))
Figura 2.12: Diagrama de dispersão: renda mensal e engajamento.
Em geral o que buscamos ao analisar um diagrama de dispersão como o apresentado na Figura 2.12 é identificar algum tipo de padrão de relacionamento. Para interpretar um diagrama de dispersão, tenha a Figura 2.13 como referência.
Figura 2.13: Exemplos de forma de relação entre variáveis quantitativas.
Olhando para o diagrama de dispersão da Figura 2.12 tente imaginar uma linha descrevendo a relação entre as variáveis renda mensal e engajamento. Se a linha que você imaginar for conforme a da Figura 2.13(A) significa que visualmente as duas variáveis não estão associadas ou tem uma relação fraca. Por outro lado, se a linha estiver como na Figura 2.13(B) indica que as duas variáveis estão positivamente associadas, ou seja, ao aumentar o valor de uma a outra também aumenta. Contudo, se a linha for como na Figura 2.13(C) indica que a relação é negativa, ou seja, ao aumentar uma das variáveis a outra diminui.
Para o nosso exemplo vemos uma leve tendência de relação positiva entre engajamento e renda mensal. Porém a variabilidade (dispersão dos pontos) é bem alta e parece depender dos valores da variável renda mensal.
Como você pode notar, interpretar um gráfico como o diagrama de dispersão é uma atividade bastante subjetiva. Existem algumas medidas numéricas que buscam resumir a relação linear entre duas variáveis quantitativas, são os chamados coeficientes de correlação. Em geral usamos três coeficientes de correlação: Pearson, Spearman e Kendal. Os três variam entre -1 e 1, sendo que \(-1\) indica correlação perfeita negativa, todos os pontos caem exatamente em cima de uma reta como da Figura 2.13(C). Uma correlação igual a \(1\) indica correlação positiva perfeita e neste caso todos os pontos estariam em cima de uma reta como a apresentada na Figura 2.13(B). Se o valor da correlação for zero não temos relação entre as variáveis e todos os pontos estariam em cima de uma reta como a apresentada na Figura 2.13(A).
Na prática, esses valores são apenas referências e o que é considerada uma correlação forte ou fraca vai depender do contexto. Além disso, um erro comum é dizer que se duas variáveis tem correlação igual a zero elas são independentes. Essa afirmação em geral é falsa. O conceito de independência estatística requer a suposição de uma distribuição conjunta de probabilidades e não é facilmente definido para qualquer distribuição a parte da distribuição normal bivariada. Conceitos de Teoria das Probabilidades estão além do escopo deste livro. Para referência consulte a bibliografia no final deste livro.
Por fim, sempre que temos mais do que uma opção, a pergunta natural é “qual é o melhor coeficiente de correlação?” Apesar de uma pergunta razoável, a resposta depende da situação e, em geral, o melhor é calcular dois ou três deles e comparar os resultados. O coeficiente de correlação de Pearson é o estimador de máxima verossimilhança do parâmetro de correlação de uma distribuição normal bivariada. Neste contexto, se a distribuição conjunta for uma normal bivariada ele seria o indicado. Porém, na prática não sabemos qual é a verdadeira distribuição conjunta das variáveis envolvidas na análise. Uma boa indicação é que a distribuição de frequência empírica de cada variável é aproximadamente simétrica. Novamente é um critério subjetivo e difícil de se verificar em termos práticos. Porém, nesta etapa de análise exploratória onde não temos nenhuma suposição distribucional o coeficiente de correlação de Pearson é uma boa indicação da correlação linear entre as variáveis.
O coeficiente de correlação de Spearman é parecido com o de Pearson porém, ao invés de usar os valores das variáveis, usa apenas o seu ranking. Isso torna esse coeficiente mais robusto a valores extremos. Já o coeficiente de Kendall é uma medida da dependência entre as duas observações e, como o de Spearman, é baseado no ranking das variáveis. Os coeficientes de Spearman e Kendall são chamados de não paramétricos justamente porque não são derivados de nenhuma distribuição de probabilidade. Em termos práticos eles capturam a força da relação monotônica entre duas variáveis. Uma recomendação geral é que se o tamanho da amostra é pequena o coeficiente de Kendall é indicado por ser mais eficiente (menor incerteza). Para amostras grandes e distribuições razoavelmente simétricas use o de Pearson. Caso contrário use Spearman. É importante ressaltar que essas são recomendações práticas para o caso em que o interesse seja obter apenas um. Na prática você pode facilmente calcular os três, conforme ilustrado no Código 2.14.
# Pearson
with(dados, cor(renda_mensal, engajamento, method = "pearson"))## [1] 0.065
# Spearman
with(dados, cor(renda_mensal, engajamento, method = "spearman"))## [1] 0.0311
# Kendall
with(dados, cor(renda_mensal, engajamento, method = "kendall"))## [1] 0.0214
Conforme a Figura 2.12 já havia indicado, a correlação entre as variáveis renda mensal e engajamento é fraca (valor próximo de zero). Também vemos que o coeficiente de Pearson é um pouco maior que o de Spearman que por sua vez é um pouco maior que o de Kendall. Em geral essa ordem vai se manter para a maioria das análises de correlação que você fizer. Isso se deve pela forma como cada coeficiente é construído. Não vamos entrar em detalhes nas equações, porém mantenha isso em mente e não se preocupe com o valor exato. O importante é a avaliação de existência ou não de relação entre variáveis e qual a força desta associação.
Neste capítulo apresentamos uma visão geral das técnicas de estatística descritiva e exploratória. Começando pela classificação das variáveis, descrevemos como apresentar e resumir cada uma delas, bem como, verificar as suas relações por meio das medidas resumo e opções gráficas mais simples e conhecidas. Ressaltamos que o tópico de análise descritiva e exploratória é um campo sem fim e que este capítulo apenas fornece o ferramental básico para uma análise mínima. No próximo Capítulo vamos juntar tudo que aprendemos nos Capítulos anteriores em uma análise de dados real.