Exemplo 1: Teste diagnóstico de uma doença rara

Considere o problema do teste diagnóstico de uma doença que afeta 2% da população. Um “teste de varredura” é feito, isto é indivíduos fazem o teste sem que haja indicação ou suspeita de se ter a doença. Um determinado teste diagnóstico para a doença tem sensibilidade de 90% e especificidade de 80%. Em outras palavras, se uma pessoa tem a doença, o teste resulta positivo com probabilidade 0,90, e se a pessoa não tem a doença, o teste resulta negativo com probabilidade 0,80.

Considere agora um outro teste com sensibilidade de 80% e especificidade de 90%.

Solução Parcial

Definindo notação:

  • \(D\): evento “a pessoa tem a doença”
  • \(T\): evento “o teste deu positivo”
  • \(P(D) = 0.02\): prevalência da doença na população
  • \(P(T|D) = 0.90\): sensibilidade do teste
  • \(P(T|D^c) = 0.20\): taxa de falso positivo (1 - especificidade)

Redefinindo notação:

  • parâmetro \(\theta \in \{0, 1\}\) \[ \theta = \begin{cases} 0 & \text{se não tem a doença}\\ 1 & \text{se tem a doença} \end{cases} \]
  • variável observada \(Y\) com \(y \in \{0, 1\}\) \[ Y = \begin{cases} 0 & \text{se o teste é negativo}\\ 1 & \text{se o teste é positivo} \end{cases} \]

Valores fornecidos:

Priori

  • \(P(\theta = 0) = 0.98\) e \(P(\theta = 1) = 0.02\)

Verossimilhança

  • \(P(Y = 0 | \theta = 0) = 0.8\) e \(P(Y = 0 | \theta = 1) = 0.1\)
  • \(P(Y = 1 | \theta = 0) = 0.2\) e \(P(Y = 1 | \theta = 1) = 0.9\)

Valores que podem ser calculados

Posteriori

  • \(P(\theta = 0 | Y = 0) = 0.9975\) e \(P(\theta = 1 | Y = 0) = 0.0025\)
  • \(P(\theta = 0 | Y = 1) = 0.9159\) e \(P(\theta = 1 | Y = 1) = 0.0841\)

Marginal (preditiva a priori)

  • \(P(Y = 0) = 0.786\) e \(P(Y = 1) = 0.214\)

Caso 1:

Priori: \(P(\theta)\)
Para teste POSITIVO:
Verossimilhança: \(P(Y = 1 | \theta)\)

ex01.1 <- tibble::tibble(
  theta = c(0,1),
  priori = c(0.98, 0.02),
  vero = c(0.20, 0.90),
  produto = priori * vero,
  posteriori = produto/sum(produto)
)
kable2(ex01.1, digits = 4)
theta priori vero produto posteriori
0 0.98 0.2 0.196 0.9159
1 0.02 0.9 0.018 0.0841

Para teste NEGATIVO:
Verossimilhança: \(P(Y = 0 | \theta)\)

ex01.2 <- tibble::tibble(
  theta = c(0,1),
  priori = c(0.98, 0.02),
  vero = c(0.80, 0.10),
  produto = priori * vero,
  posteriori = produto / sum(produto)
)
kable2(ex01.2, digits = 4)
theta priori vero produto posteriori
0 0.98 0.8 0.784 0.9975
1 0.02 0.1 0.002 0.0025

A tabela a seguir combina todos os possíveis resultados (possíveis valores de \(Y\)). A partir dela pode-se obter as probabilidades do teste de um paciente selecionado ao acaso dar positivo ou negativo. Esta é a distribuição marginal.

ex01.12 <- tibble::tibble(
  theta = c(0,1),
  priori = c(0.98, 0.02),
  Y0 = tibble::tibble(
                   vero = c(0.80, 0.10),
                   produto = priori * vero,
                   posteriori = produto / sum(produto)
               ),
  Y1 = tibble::tibble(
                   vero = c(0.20, 0.90),
                   produto = priori * vero,
                   posteriori = produto/sum(produto)
               )
  )

kable2(tidyr::unpack(ex01.12, cols = c(Y0, Y1), names_sep = "."), digits = 4)
theta priori Y0.vero Y0.produto Y0.posteriori Y1.vero Y1.produto Y1.posteriori
0 0.98 0.8 0.784 0.9975 0.2 0.196 0.9159
1 0.02 0.1 0.002 0.0025 0.9 0.018 0.0841 
marginal <- tibble::tibble(
  y        = c(0, 1),
  P_Y      = sapply(ex01.12[c("Y0", "Y1")], \(x) sum(x$produto))
)
kable2(marginal, digits = 4, col.names = c("$y$", "$P(Y=y)$"))
\(y\) \(P(Y=y)\)
0 0.786
1 0.214

Caso 2:

  • Priori: \(P(\theta)\)
  • Verossimilhança: \(P(Y_1 = 1, Y_2 = 1 | \theta)\)
  • Assumindo que os testes são (condicionalmente) independentes, temos \[P(Y_1 = 1, Y_2 = 1 | \theta) = P(Y_1 = 1 | \theta) \cdot P(Y_2 = 1 | \theta)\]
ex01.3 <- tibble::tibble(
  theta = c(0,1),
  priori = c(0.98, 0.02),
  vero1 = c(0.20, 0.90),
  vero2 = c(0.20, 0.90),
  produto = priori * vero1 * vero2,
  posteriori = produto / sum(produto)
)
kable2(ex01.3, digits = 4)
theta priori vero1 vero2 produto posteriori
0 0.98 0.2 0.2 0.0392 0.7076
1 0.02 0.9 0.9 0.0162 0.2924

Caso 3:

  • Priori: \(P(\theta)\)
  • Verossimilhança: \(P(Y_1 = 1, Y_2 = 0, Y_3 = 1 | \theta)\)
  • Assumindo independência, temos \[P(Y_1 = 1, Y_2 = 0, Y_3 = 1 | \theta) = P(Y_1 = 1 | \theta) \cdot P(Y_2 = 0 | \theta) \cdot P(Y_3 = 1 | \theta)\]
ex01.4 <- tibble::tibble(
  theta = c(0,1),
  priori = c(0.98, 0.02),
  vero1 = c(0.20, 0.90),
  vero2 = c(0.80, 0.10),
  vero3 = c(0.20, 0.90),
  produto = priori * vero1 * vero2 * vero3,
  posteriori = produto / sum(produto)
)
kable2(ex01.4, digits = 4)
theta priori vero1 vero2 vero3 produto posteriori
0 0.98 0.2 0.8 0.2 0.0314 0.9509
1 0.02 0.9 0.1 0.9 0.0016 0.0491

Exemplo 2: Teste de avaliação de conhecimento

Estima-se que um estudante tem uma chance de 40% de dominar um determinado assunto. O estudante faz uma questão de múltipla escolha (com cinco alternativas) para avaliar seu conhecimento. O estudante tem 85% de chance de acertar a questão se domina o assunto.

  1. Avalie a probabilidade do estudante dominar o assunto, dado que ele acertou a questão.
  2. Avalie a probabilidade do estudante dominar o assunto, dado que ele errou a questão.
  3. Suponha que o estudante faz uma segunda questão também com cinco alternativas com probabilidade de acerto de 70% se domina o assunto. Se o estudante acerta ambas, quais as probabilidades de ele dominar ou não o assunto?

Exemplo 3: Monty Hall

Considere o Problema das portas de Monty Hall:
O apresentador explica que existe um prêmio por trás de uma de três portas. Um “jogador” é convidado a escolher uma porta para tentar ganhar um prêmio. O jogador escolhe a porta, mas, antes de ser revelado se ganhou é revelada uma porta sem o prêmio e é dada ao jogador a opção de trocar a escolha de porta.

Qual a melhor estratégia em termos de probabilidade de ganhar o prêmio: trocar a porta, não trocar ou a troca é indiferente?

Exemplo 4: Urna com bola branca e pretas adicionadas

Seja uma urna contendo uma bola branca. Bola(s) pretas são adicionadas à urna em quantidade definida pelo resultado do lançamento de um dado com resultado não revelado. Retira-se uma bola da urna e observa-se que ela é preta.

  1. Antes de retirar a bola a probabilidade de ter saído cada uma das faces dos dados é a mesma. Qual a distribuição das probabilidades das faces do dado após retirar a bola preta?
  2. Repita anterior para outra opção de probabilidades iniciais (antes de retirar a bola da urna) das faces de 1 a 6 proporcionais a 3,3,2,2,1,1, respectivamente.
  3. Suponha que uma segunda bola é retirada e também é preta. Qual a distribuição de probabilidades das faces do dado após este resultado? (sem reposição da primeira bola, com probabilidades iniciais uniformes como em a))
  4. Idem anterior com probabilidades iniciais não uniformes como em b).

Solução Parcial

Notação:

  • \(\theta \in \{1, 2, 3, 4, 5, 6\}\) : face do dado
  • \(y \in \{0, 1\}\) : variável \(Y\) é a cor da bola retirada (0=branca, 1=preta)

a)

ex04.1 <- tibble::tibble(
  theta = 1:6,                      
  priori = rep(1/6, 6),             ## P(θ)
  vero = (1:6)/(2:7),               ## P(Y=1|θ)
  produto = priori * vero,
  posteriori = produto /sum(produto)## P(θ|Y=preta)
  )
kable2frac(ex04.1, digits = 4)
theta priori vero produto posteriori
1 1/6 1/2 1/12 70/617
2 1/6 2/3 1/9 131/866
3 1/6 3/4 1/8 105/617
4 1/6 4/5 2/15 112/617
5 1/6 5/6 5/36 149/788
6 1/6 6/7 1/7 120/617 
plot.exemplo(ex04.1)

b)

ex04.2 <- tibble::tibble(
  theta = 1:6,                      
  priori = c(3,3,2,2,1,1)/12,       ## P(θ)
  vero = (1:6)/(2:7),               ## P(Y=1|θ)
  produto = priori * vero,
  posteriori = produto /sum(produto)## P(θ|Y=preta)
)
kable2frac(ex04.2, digits = 4)
theta priori vero produto posteriori
1 1/4 1/2 1/8 241/1332
2 1/4 2/3 1/6 179/742
3 1/6 3/4 1/8 241/1332
4 1/6 4/5 2/15 325/1684
5 1/12 5/6 5/72 136/1353
6 1/12 6/7 1/14 61/590 
plot.exemplo(ex04.2)

c)

ex04.3 <- tibble::tibble(
  theta = 1:6,                      
  priori = rep(1/6, 6),             ## P(θ)
  vero1 = (1:6)/(2:7),              ## P(Y1=1|θ)
  vero2 = (0:5)/(1:6),              ## P(Y2=1|θ,Y1=1)
  produto = priori * vero1 * vero2,
  posteriori = produto /sum(produto)## P(θ|Y1=1,Y2=1)
)
kable2frac(ex04.3, digits = 4)
theta priori vero1 vero2 produto posteriori
1 1/6 1/2 0 0 0
2 1/6 2/3 1/2 1/18 70/591
3 1/6 3/4 2/3 1/12 35/197
4 1/6 4/5 3/4 1/10 42/197
5 1/6 5/6 4/5 1/9 140/591
6 1/6 6/7 5/6 5/42 50/197 
plot.exemplo(ex04.3)

d)

ex04.4 <- tibble::tibble(
  theta = 1:6,                      
  priori = c(3,3,2,2,1,1)/12,       ## P(θ)
  vero1 = (1:6)/(2:7),              ## P(Y1=1|θ)
  vero2 = (0:5)/(1:6),              ## P(Y2=1|θ,Y1=1)
  produto = priori * vero1 * vero2,
  posteriori = produto /sum(produto)## P(θ|Y1=1,Y2=1)
)
kable2frac(ex04.4, digits = 4)
theta priori vero1 vero2 produto posteriori
1 1/4 1/2 0 0 0
2 1/4 2/3 1/2 1/12 105/481
3 1/6 3/4 2/3 1/12 105/481
4 1/6 4/5 3/4 1/10 126/481
5 1/12 5/6 4/5 1/18 70/481
6 1/12 6/7 5/6 5/84 75/481 
plot.exemplo(ex04.4)

Colocando os quatro casos numa mesma figura para comparação visual.

par(mfrow=c(2,2), mar=c(3.2,2,1,1), mgp = c(1.8,1,0))
plot.exemplo(ex04.1, YLIM=c(0,0.30))
plot.exemplo(ex04.2, YLIM=c(0,0.30))
plot.exemplo(ex04.3, YLIM=c(0,0.30))
plot.exemplo(ex04.4, YLIM=c(0,0.30))

par(mfrow=c(1,1))

Em todos os casos a bola preta favorece os valores maiores de \(\theta\) (mais faces pretas no dado). Note-se o efeito das prioris: para priori uniforme (item a)), a moda da posteriori é \(\theta=6\). Com a priori não uniforme, que favorece dados com poucas faces, o valor mais provável passa a ser \(\theta=2\).

Ao observar uma segunda bola preta, a evidência a favor de valores maiores de \(\theta\) se acumula: com priori uniforme a probabilidade de \(\theta=1\) á nula pois é impossível tirar duas bolas pretas sem reposição se só há uma bola preta na urna e a moda fica em \(\theta=6\) (item c0)) enquanto que com a priori não uniforme, mesmo favorecendo valores baixos, a moda passa a \(\theta=4\).

Exemplo 5a: Proporção de canhotos

Suponha que a proporção de canhotos na população é desconhecida e queremos estimá-la considerando apenas três possíveis valores: 0,05, 0,10 e 0,15. Atribui-se a estes valores as probabilidades \(0{,}60\), \(0{,}30\) e \(0{,}10\), respectivamente.

  1. Observa-se que em um grupo de 27 pessoas, 5 são canhotos. Qual a distribuição das probabilidades da proporção de canhotos na população após esta observação?
  2. Verifica-se depois um segundo grupo de 40 pessoas das quais 6 são canhotos. Qual a nova distribuição de probabilidades da proporção de canhotos na população?
  3. Verifique que considerando um só grupo de 27+40=67 pessoas com 5+6 = 11 canhotos, a distribuição de probabilidades da proporção de canhotos é a mesma.

Exemplo 5b: Proporção de canhotos (cont)

Considere agora, no contexto da questão anterior, valores de \(\theta\) entre 1 e 30% (valores percentuais inteiros) e probabilidades iniciais proporcionais a 5, 3 e 1 para \(\theta \in \{1, 2, \ldots 10\}\), \(\theta \in \{11, 12, \ldots 20\}\) e \(\theta \in \{21, 22, \ldots 30\}\), respectivamente. Obtenha os resultados pedidos na questão anterior para este caso.

Exemplo 6: Dados com distribuição Poisson

Suponha que o número de ocorrências de um determinado evento em um intervalo de tempo segue uma distribuição de Poisson com parâmetro \(\theta\). Considera-se dez possíveis valores para \(\theta\): \(1, 2, 3, \ldots 10.\)

  1. Supondo probabilidades inicialmente iguais para os possíveis valores do parâmetro \(\theta\):
    1. Qual a distribuição de probabilidades de \(\theta\) após serem observadas 8 ocorrências em um intervalo de tempo?
    2. Se em um segundo intervalo de tempo foram observadas 6 ocorrências, qual a nova distribuição de probabilidades de \(\theta\)?
    3. Verifique que considerando 8+6=14 ocorrências no intervalo de tempo total obtém-se a mesma distribuição de probabilidades para \(\theta\) do item anterior.
  2. Repita itens anteriores considerando agora probabilidades para \(\theta\) proporcionais a \(\exp\{-0.25 \theta\}\).
  3. Proponha uma outra distribuição de probabilidades inicial para \(\theta\) e repita os itens 1a), 1b) e 1c).
  4. Na realidade \(\theta\) pode assumir qualquer valor positivo mas considera-se, como uma aproximação, apenas valores em uma sequência \(\{0.5, 1.0, 1.5, 2.0, \ldots 20\}\). Inicialmente os valores das probabilidades iniciais são proporcionais à densidade de uma distribuição gama com parâmetros \(a=3\) e \(b=1\). Repita os itens 1a), 1b) e 1c) neste contexto.
  5. Considere agora o seguinte conjunto de dados observados: (8,6,7,9,5,7). Obtenha valores e gráficos como dos itens anteriores para $\(\{0.5, 1.0, 1.5, 2.0, \ldots 20\}\) e depois para $\(\{0.1, 0., 1.5, 2.0, \ldots 20\}\)

Exemplo 7: Distribuição preditiva a priori (marginal)

Em todos os exemplos anteriores, a probabilidade a posteriori foi calculada como

\[ P(\theta \mid Y = y) = \frac{P(Y=y\mid\theta)\,P(\theta)}{P(Y=y)}, \qquad \text{onde} \qquad P(Y=y) = \sum_\theta P(Y=y\mid\theta)\,P(\theta). \]

O denominador \(P(Y=y)\), corresponde exatamente a soma sum(produto) calculada em cada um dos exemplos anteriores. Esta soma para cada possível valor de \(Y\) é a distribuição preditiva a priori (ou marginal) da variável observável \(Y\). Até aqui, essa quantidade apareceu apenas como normalizador no cálculo da posteriori. Ela pode ser calculada para todos os possíveis valores de \(Y\), não só para o valor observado. Isto foi visto no Exemplo 1 quando a distribuição marginal (distribuição de \(Y\)) foi calculada. O resultado é uma distribuição de probabilidades sobre \(Y\) que representa o que o modelo espera observar antes de qualquer dado ser coletado e que depende inteiramente da priori escolhida para \(\theta\).

Essa distribuição é útil, entre outras coisas, para:

Mais adiante no curso, essa mesma ideia reaparecerá como distribuição preditiva a posteriori, substituindo a priori \(P(\theta)\) pela posteriori \(P(\theta\mid Y=y)\) útil, por exemplo, para prever uma nova observação ou para checagem do modelo.