I. Estimação não paramétrica

Sejam \(X_1,X_2,\cdots,X_n\) variáveis aleatórias independentes identicamente distribuídas com distribuição comum \(\mathcal{L}(X)\) e seja \(\mathcal{P}\) a classe de todas as possíveis distribuições de \(X\) que consiste de todas as distribuições absolutamente contínuas ou discretas.

Claro que todos os exemplos já encontrados de estatísticas completas ou famílias completas de distribuições para o caso paramétrico podem ser aplicados nesta situação.

Claramente, a U-estatística definida é simétrica nos \(X\) e \begin{equation} \mbox{E}_F\big(U(X)\big)=g(F), \end{equation} para todo \(F\).

De maneira similar, para estimarmos \(\mu_2(F)\), o kernel simétrico é \(T_s(X_{i_1},X_{i_2})=X_{i_1}X_{i_2}\) e a correspondente U-estatística é \begin{equation} U(X) \, = \, \frac{1}{{n \choose 2}}\sum_{i< j}X_iX_j \, = \, \frac{1}{n(n-1)}\sum_{i\neq j} X_iX_j\cdot \end{equation} Para estimarmos \(\mu^3(F)\) um kernel simétrico seria \(T_s(X_{i_1},X_{i_2},X_{i_3})=X_{i_1}X_{i_2}X_{i_3}\), sendo que a U-estatística é \begin{equation} U(X) \, = \, \frac{1}{{n \choose 3}}\sum_{i< j< k}X_iX_jX_k \, = \, \frac{1}{n(n-1)(n-2)}\sum_{i\neq j\neq k} X_iX_jX_k\cdot \end{equation}

O seguinte resultado mostra a importância da U-estatística.

De acordo com os teoremas acima precisamos apenas considerar estimadores que sejam simétricos nas observações e tudo o que devemos fazer é torná-las não viciados. Este procedimento leva a um estimador não viciado com a menor variância na classe de todos os estimadores não viciados do parâmetro. Por exemplo, como consequência destes teoremas, \(\overline{X}\) e \(S^2\) são os únicos estimadores não viciados uniformemente de variância mínima de \(\mu(F)\) e \(\mu_2(F)\), respectivamente.

Seja \(\mathcal{P}\) a classe de todas as distribuições absolutamente contínuas na reta real. Sejam \(F,G\in\mathcal{P}\) e definamos a função distância \(\Delta(F,G)\) como segue: \begin{equation} \Delta(F,G) \, = \, \int_{-\infty}^\infty \big( F(x)-G(x)\big)^2 \dfrac{F'(x)+G'(x)}{2}\mbox{d}x \cdot \end{equation} Esta função satisfaz as seguintes propriedades:

• \(\Delta(F,G) = 0\) se, e somente se, \(F=G\).
• \(\Delta(F,G) = \Delta(G,F)\).
• \(\Delta(F,G) > 0\).
  Por outro lado, vamos supor que \(F(x)\neq G(x)\) para algum \(x_1\), onde \(F(x_1)-G(x_1)=d>0\). Dado que \(F\) e \(G\) são distribuições absolutamente contínuas, existe um \( x_0 < x_1 \), tal que \begin{equation} F(x_0)-G(x_0) \, = \, \frac{d}{2} \qquad \mbox{e} \qquad F(x)-G(x)\geq \frac{d}{2}, \end{equation} para \(x_0\leq x \leq x_1\). Dado que tanto \(F\) quanto \(G\) são ambas não decrescentes, pelo menos um dos \(F\) e \(G\) deve aumentar pelo menos \(d/2\) quando \(x\) varia de \(x_0\) a \(x_1\). Então \begin{equation} \Delta(F,G) \, \geq \, \int_{x_0}^{x_1} \big( F(x)-G(x)\big)^2 \dfrac{F'(x)+G'(x)}{2}\mbox{d}x \, \geq \, \Big( \frac{d}{2}\Big)^2 \frac{d/2}{2} \, > \, 0\cdot \end{equation}

I.1 Estimação de densidades

De certa forma, problemas de estimação não-paramétrica são extensões de problemas de estimação paramétrica, mas a natureza do primeiro é bem diferente do último. Considere, por exemplo, a situação de observações independentes identicamente distribuídas, digamos \(X_1,X_2,\cdots,X_n\). Em um problema paramétrico, assumimos que a distribuição de \(X_i\) é \(F(\cdot;\theta)\), a qual é totalmente especificada até o vetor de parâmetros \(\theta\); então o problema é essencialmente a estimaçã de \(\theta\). Em um problema não-paramétrico, a distribuição é totalmente desconhecida com, talvez, algumas restriçõs em propriedades gerais e, portanto, é denotada por \(F\).

Aqui consideramos estimadores de \(F\) em termos de função de densidade \(f\). A função de densidade tem a vantagem de fornecer uma representação visualmente mais informativa da distribuição subjacente. Por exemplo, o histograma geralmente dá uma ideia aproximada da forma da distribuição. Este último ficou como o único estimador de densidade não paramétrico até 1950. Por essa razão, nossa discussão começará com os histogramas.

Embora o histograma seja usado extensivamente, não é tão frequente que seja necessária uma definição matemática. Uma maneira de defini-lo é através da função de densidade empírica.

O parâmetro \(h\) é chamado de largura de banda. Podemos escrever \(\widehat{f}\), definido acima como, \begin{equation} \widehat{f}(x)=\frac{1}{2nh}\sum_{i=1}^n \pmb{1}_{(x-h;x+h)}(X_i)\cdot \end{equation} Podemos excrever a função de densidade como \(f(x)=\lim_{h\to 0} \frac{1}{h}\Big( F(x+h)-F(x-h) \Big) \), mas não se pode definir daqui o histograma porque, então, esse limite é zero ou infinito e assim em algum momento é preciso parar, em outras palavras, não se pode chegar muito perto de zero.

Deste teorema segue que \(\widehat{f}(x)\) é um estimador consistente pontual de \(f(x)\) quando \(h\to 0\) e \(nh\to \infty\). A seguir, o processo de limite é entendido como \(h=h_n\), de maneira que \(h_n\to 0\) e \(nh_n\to \infty\). Estas condições podem ser interpretadas como se fosse necessário \(h_n\) ir a zero, mas não muito rápido. Isso é exatamente o que temos especulado, exceto que agora temos a taxa exata de convergência, que pode ser escrita como \(h_n=o(n)\).

Exemplo. Utilaremos dados simulados da distribuíão \(N(0,1)\), com isso mostramos o histograma destes 50 dados utilizando duas formas diferentes de encontrarmos uma expressão para \(h_n\), a chamada largura de banda.

> set.seed(1340) > x = rnorm(50) > par(mar=c(4,2,1,1)) > hist(x, main = NULL, freq = FALSE, breaks = "Sturges") > box() > par(mar=c(4,2,1,1)) > hist(x, main = NULL, freq = FALSE, breaks = "Scott") > box()

Neste exemplo utilizamos duas formas de escolher a largura de banda \(h_n\) dentre três diferentes possibilidades programadas na função hist. Por padrão escolhe-se breaks = "Sturges", porposto por Sturges (1929), o qual sugere que \begin{equation} h_n=\frac{\max(X_1,\cdots,X_n)-\min(X_1,\cdots,X_n)}{1+3.322\ln(n)}\cdot \end{equation} A segunda situação indica que o qual significa que se os dados provêm da distribuição Normal temos que \(h_n=3.49 s n^{-1/3}\) sendo \(s\) o desvio padrão estimado. Esta proposta deve-se à Scott (1979).

Embora o histograma é um estimador consistente quando \(h_n\to 0\) e \(nh_n\to \infty\), verifica-se que se pode fazer melhor. A melhoria também é motivada por uma preocupação prática: o histograma não é uma função suave, uma propriedade que se pode esperar que qualquer função de densidade real tenha.

É tipicamente assumido que \(K\) seja não-negativa, simétrica em torno de zero e satisfaz \(\int K(u)\mbox{d}u = 1\). Claro que o histograma é um caso especial do estimador do kernel se \(K\) for escolhido como a função de densidade da distribuição \( Uniforme(-1,1)\). O último não é uma função suave e é por isso que o histograma não é suave; mas escolhendo \(K\) como uma função suave, tem-se um estimador de \(f\) que seja suave.

Por exemplo, escolhendo a função de densidade \(N(0,1)\), temos por resultado o conhecido como kernel Gaussiano e assim também utilizando a densidade de densidade \(Beta\) simétrica, dada por \begin{equation} K(u)=\frac{\Gamma(\nu+3/2)}{\Gamma(1/2)\Gamma(\nu+1)}(1-u^2)^\nu, \qquad -1< u < 1, \end{equation} e \(K(u)=0\) caso contrário. Os casos especiais \(\nu=0,1,2,3\) correspondem às funções kernel uniforme, Epanechnikov, biweight e triweight, respectivamente.

Um problema prático importante na estimação de densidades via kernel é como escolher a largura de banda \(h_n\). Note que dadas condições como \(h_n\to 0\) e \(nh_n\to\infty\), ainda existem muitas opções para \(h_n\). Então, de certo modo, a ordem de convergência ou divergência não resolve o problema. Uma solução para esse problema é conhecida como compensação de viés-variância. Antes de entrarmos nos detalhes, vamos primeiro apressentar um resultado em relação ao viés assintótico do estimador kernel. Aqui, o viés é definido como \begin{equation} \mbox{viés}\big(\widehat{f}(x)\big)=\mbox{E}\big(\widehat{f}(x)\big)-f(x), \end{equation} para um dado \(x\).

Uma medida de precisão do estimador é o erro quadrático médio (EQM), dado por \begin{equation} EQM\big(\widehat{f}(x)\big) = \mbox{E}\big(\widehat{f}(x)-f(x)\big)^2\cdot \end{equation} É fácil mostrar que o \(EQM\) combina o viés e a variância de tal maneira que \begin{equation} EQM\big(\widehat{f}(x)\big) = \mbox{viés}\big(\widehat{f}(x)\big)^2 + \mbox{Var}\big(\widehat{f}(x)\big)\cdot \end{equation} Vemos que, sob as condiçotilde;es \(h_n\to 0\) e \(nh_n\to \infty\) e se ignorarmos os termos de baixa ordem, temos \begin{equation} EQM\big(\widehat{f}(x)\big) \approx \frac{h_n^4}{4}\big(f''(x)\big)^2\tau^4 + \frac{f(x)}{nh_n}\gamma^2, \end{equation} onde \(\tau^2=\int u^2K(u)\mbox{d}u\) e \(\gamma^2=\int K^2(u)\mbox{d}u\). O termo à direita da expressão acima é minimizada quando \begin{equation} h_n = \left( \frac{\gamma^2f(x)}{\tau^4\big(f''(x)\big)^2} \right)^{\frac{1}{5}}n^{-\frac{1}{5}}\cdot \end{equation} Note ainda que a expressão acima não é a solução ideal, isso porque \(f\) é desconhecida na prática. No entanto, dá-nos pelo menos alguma ideia sobre a taxa ideal de convergência a zero, sendo esta \(h_n=O(n^{-\frac{1}{5}})\).

Quando \(f\) é desconhecida, uma abordagem natural seria substituí-lo por um estimador e, assim, obter uma largura de banda ideal estimada. Uma complicação é que a largura de banda ideal depende de \(x\) mas, idealmente, gostaríamos de usar uma largura de banda que funcionasse para diferentes \(x\) dentro de um certo intervalo, se não todos os \(x\). Para obter uma largura de banda ideal que não depende de \(x\), integramos os dois lados da expressão de \(EQM\) em relação a \(x\). Isto nos leva a \begin{equation} \int EQM\big(\widehat{f}(x)\big)\mbox{d}x \approx \frac{\tau^4h_n^4}{4}\int \big(f''(x)\big)^2 \mbox{d}x + \frac{\gamma^2}{nh_n}\int f(x)\mbox{d}x \, = \, \frac{\tau^4\theta^2h_n^4}{4} + \frac{\gamma^2}{nh_n}, \end{equation} com \(\theta^2=\int \big(f''(x)\big)^2 \mbox{d}x \). Pelo mesmo argumento, o lado direito acima é minimizado quando \begin{equation} h_n = \left( \frac{\gamma^2}{\tau^4\theta^2} \right)^{\frac{1}{5}}n^{-\frac{1}{5}}\cdot \end{equation} Desta vez, o \(h_n\) ideal não depende de \(x\). Além disso, a integral do \(EQM\) ou o \(IEQM\) mínimo é dado por \begin{equation} IEQM \, = \, \int EQM\big(\widehat{f}(x)\big)\mbox{d}x \, = \, \frac{5}{4}\big( \tau\gamma^2 \big)^\frac{4}{5}\theta^{\frac{2}{5}} n^{-\frac{4}{5}}\cdot \end{equation}

Uma implicação é a seguinte. Note que o \(IEQM\) depende do kernel \(K\) através de \(c_K=\big( \tau\gamma^2 \big)^\frac{4}{5}\). Mostrou-se que para os kernels comumente usados, tais como aqueles listados, o desempenho dos estimadores de kernel correspondentes é quase o mesmo em termos dos valores de \(c_K\). Voltando ao problema sobre a estimação da largura de banda ideal, vemos que tudo o que precisamos é encontrar um estimador consistente de \(\theta^2\). Se \(f\) é a função de densidade da distribuição normal com desvio padrão \(\sigma\), então pode ser mostrado que \(\theta^2=3/8\sqrt{\pi}\sigma^5\). Naturalmente, se alguém souber que \(f\) é normal, então a estimação da densidade não-paramétrica não seria necessária, porque um método paramétrico provavelmente seria melhor. Em geral, pode-se expandir \(f\) em torno da densidade gaussiana usando a expansão de Edgeworth.

Utilizando a abordagem acima, Hjort and Jones (1996) obteveram o seguinte estimador ótimo para a largura de banda \begin{equation} \widehat{h}_n = \widehat{h}_0\left(1+\frac{35}{48}\widehat{\gamma}_4+\frac{35}{32}\widehat{\gamma}_3^2+ \frac{385}{1024}\widehat{\gamma}_4^2\right)^{-\frac{1}{5}}, \end{equation} onde \(\widehat{h}_0\) é a estimativa ideal da largura de banda assumindo que \(f\) é normal, isto é, com \(\theta^2\) substituído por \(3/8\sqrt{\pi}\sigma^5\) ou mais explicitamente \begin{equation} \widehat{h}_0=1.06\left(\frac{\widehat{\sigma}}{n^{\frac{1}{5}}}\right), \end{equation} chamamos \(\widehat{h}_0\) a largura de banda da linha de base e \(\widehat{\sigma}^2\) é a variância amostral dada por \begin{equation} \widehat{\sigma}^2=\frac{1}{n-1}\sum_{i=1}^n (X_i-\overline{X})^2\cdot \end{equation} Além disso, \(\widehat{\gamma}_3\) e \(\widehat{\gamma}_4\) são os estimadores dos coefcientes de assimetria de amostra e curtose, dado por \begin{equation} \widehat{\gamma}_3=\frac{1}{(n-1)\widehat{\sigma}^3}\sum_{i=1}^n (X_i-\overline{X})^3 \end{equation} e \begin{equation} \widehat{\gamma}_4=\frac{1}{(n-1)\widehat{\sigma}^4}\sum_{i=1}^n (X_i-\overline{X})^4-3, \end{equation} respectivamente. Houve outras abordagens para a seleção da largura de banda ótima, incluindo o método de validação cruzada. Ambos procedimentos foram programados na função density.

Exemplo. Utilaremos os dados simulados da distribuíão \(N(0,1)\) no exemplo anterior para com isso mostrarmos o histograma e o estimador Kernel da função de densidade.

> set.seed(1340) > x = rnorm(50) > par(mar=c(4,2,1,1)) > hist(x, main = NULL, freq = FALSE, breaks = "Sturges") > box() > lines(density(x, bw = "nrd0"), col = "red") > par(mar=c(4,2,1,1)) > hist(x, main = NULL, freq = FALSE, breaks = "Scott") > box() > lines(density(x, bw = "bcv"), col = "red")

I.2 Exercícios

1. Seja \(T(X_1,\cdots,X_n)\) uma estatística simétrica nas observaçóes. Mostre que \(T\) pode ser escrita como função das estatísticas de ordem. Por outro lado, se \(T(X_1,\cdots,X_n)\) pode ser escrita como função das estatísticas de ordem, \(T\) é simétrica nas observações.


2. Sejam \(X_1,X_2,\cdots,X_m\) e \(Y_1,Y_2,\cdots,Y_n\) amostras independentes de duas distribuições absolutamente contínuas. Encontre o estimador não viciado de mínima variância de:
   (a) \(\mbox{E}(XY)\)
   (b) \(\mbox{Var}(X+Y)\)


3. Seja \((X_1,Y_1), (X_2,Y_2), \cdots, (X_n,Y_n)\) uma amostra aleatória com distribuição absolutamente contínua bivariada. Encontre o estimador não viciado de mínima variância de:
   (a) \(\mbox{E}(XY)\)
   (b) \(\mbox{Var}(X+Y)\)


4. Cosidere \((\mathcal{R},\mathcal{B},P_\theta)\) um espaço de probabilidade e \(\mathcal{P}=\{P_\theta \, : \theta\in\Theta\}\). Seja \(A\) um elemento da \(\sigma\)-álgebra de Borel e considere \(d(\theta)=P_\theta(A)\).
   (a) A função \(d\) é estimável? Se sim, qual é o grau?
   (b) Encontre o estimador não viciado de mínima variância de \(d\), baseado em uma amostra de tamanho \(n\) e assumindo que \(\mathcal{P}\) seja a classe de todas as distribuições contínuas.