Neste artigo vamos estudar uma classe de processos aleatórios ou estocásticos que possuem uma determinada caracteríıstica que pode, grosseiramente, ser descrita como perda de memória. Estes processos aparecem em inúmeras aplicações, incluindo sistemas de filas, redes de comunicação de computadores, sistemas biológicos e uma grande variedade de outras aplicações. Aplicaçõoes de Cadeias de Markov em medicina são bastante comuns e se tornaram uma ferramenta importante de tomada de decisão médica. Como resultado da sua ocorrência frequente, estes processos têm sido estudados extensivamente obtendo-se uma teoria rica a qual permite resolver os problemas relacionados com estes processos.
Um processo estocástico é um modelo matemático que evolui ao longo do tempo de forma probabilística e aqui vamos estudar um tipo especial de processo estocástico, chamado de Cadeia de Markov, onde o resultado de um experimento depende apenas do resultado do experimento anterior. Em outras palavras, o estado seguinte do sistema depende apenas do estado atual e não dos estados anteriores.
As Cadeias de Markov foram assim nomeados após os estudos do matemático russo Andrei A. Markov, que começou a teoria de processos estocásticos. Andrei Andreyevich Markov (1856-1922) foi um matemático russo que realizou numerosos estudos na teoria da probabilidade. Provou o Teorema Central do Limite. Markov é lembrado pelo seu estudo de Cadeias de Markov. Referências clássicas como Ross (1996), Hoel, Port & Stone (1972) e Kemeny & Snell (1976) foram consultadas para redigirmos este texto.
Sequências de variáveis aleatórias que evoluem de alguma maneira no tempo servem como descriçãao informal do conceito de processo estocástico. Apresentamos a seguir a definição formal.
Um processo aleatório é uma família \(\{C_t\}_{t\in T}\) de variáveis aleatórias independentes ou não, definidas no mesmo espaço de probabilidade, indexadas pelo conjunto \(T\).
Os processos estocástico podem ser classificados de diversas maneiras. Aqui estamos interessados em duas dessas classificações: a primeira é segundo as variáveis que o compõem, sejam discretas ou contínuas, identificando os processos estocásticos como discretos ou contínuos, respectivamente. Uma outra classificação é segundo o conjunto de índices. Caso o conjunto \(T\) seja um subconjunto dos números inteiros ou naturais, chamamos o processo estocástico de processo a tempo discreto, em outras situações chama-se de processo a tempo contínuo, por exemplo, estamos no caso de processos a tempo conínuo quando \(T = \mathbb{R}\) ou \(T = [0,+\infty)\). Em qualquer caso, pensamos em um processo estocástico como uma família de variáveis aleatórias que evoluem com o tempo. Estas variáveis podem mesmo ser independentes, o qual seria um caso muito especial e de pouco interesse. Pelo contrário, estamos preocupados com uma situação geral, e esperamos realista, de modelos para a evolução aleatória. Um destes modelos satisfaz a seguinte propriedade: condicionado em seus valores no \(n\)-ésimo instante, seus valores futuros não dependem de seus valores anteriores. Esta propriedade provou ser muito útil na sua análise e é a teoria geral dos processos com essa propriedade à qual voltamos nossa atenção agora.
Considere um processo estocástico discreto \(\{C_n\}\) com espaço amostral \(S\), finito ou infinito enumerável. Pensemos \(C_0,C_1,\cdots,C_{n−1}\) como o passado, \(C_n\) como o presente e \(C_{n+1},C_{n+2},\cdots\) como o futuro do processo em relação ao tempo \(n\). A lei de evolução de um processo estocástico é frequentemente pensada em termos da distribuição condicional do futuro, dado o presente e os estados anteriores do processo.
Uma vez que estamos interessados em sistemas não-determinísticos, pensamos \(\{C_n\}\) como variáveis aleatórias definidas em um espaço de probabilidade comum. Pouco pode ser dito sobre essas variáveis aleatórias, a menos que alguma estrutura adicional seja imposta a eles. Uma propriedade útil dos processos estocásticos, que nos permite obter facilmente as probabilidades conjuntas é a propriedade de Markov. Basicamente, um processo estocástico é dito ser Markoviano se o futuro do processo, dado o presente, é independente do passado.
Seja \(\{C_n\}\) um processo estocástico discreto com espaço amostral \(S\), finito ou infinito enumerável. Dizemos que \(\{C_n\}\) satisfaz a propriedade de Markov se dado o estado atual, os estados passados não têm influência sobre o futuro. A propriedade de Markov é definida precisamente pela exigência de que \begin{equation} P(C_{n+1}=c_{n+1} \, | \, C_0=c_0,\cdots,C_n=c_n) \, = \, P(C_{n+1}=c_{n+1} \, | \, C_n=c_n), \end{equation} para qualquer seja a escolha do número natural \(n\) e os números \(c_0,c_1,\cdots,c_{n+1}\in S\). O espaço amostral \(S\), de um processo estocástico discreto a tempo discreto, é chamado de espaço de estados.
Andrei Markov obteve os primeiros resultados para processos estocásticos discretos finitos em 1906. Uma generalização para espaços de estados infinitos enumeráveis foi dada por Kolmogorov em 1936. Andrei Nikolaevich Kolmogorov (1903-1987) foi um matemático soviético. Kolmogorov participou das principais descobertas científicas do século XX nas áreas de probabilidade e estatística e na teoria da informação. A definição desta propriedade, também chamada de memória Markoviana, é que os estados anteriores são irrelevantes para a predição dos estados seguintes, desde que o estado atual seja conhecido.
Um processo estocástico \(\{C_n\}\) discreto satisfaz a propriedade de Markov se, para cada \(n\) e \(m\), a distribuição condicional de \(C_{n+1},\cdots,C_{n+m}\) dado \(C_0,C_1,\cdots,C_n\) é a mesma que a sua distribuição condicional dado \(C_n\).
Isto quer dizer que, um processo estocástico satisfazendo a propriedade de Markov satisfaz que \begin{equation} P(C_{n+1},\cdots,C_{n+m} \, | \, C_0,C_1,\cdots,C_n) \, = \, P(C_{n+1},\cdots,C_{n+m} \, | \, C_n)\cdot \end{equation}
Um processo estocástico \(\{C_n\}\) que satisfaz a propriedade de Markov é chamado de processo de Markov. Se, além disso, o processo estocástico for a tempo discreto e formado por variáveis aleatórias discretas o processo de Markov é chamado Cadeia de Markov.
Observemos que ao definirmos Cadeia de Markov nada é dito acerca do espaço de estados. Agora, como as variáveis aleatórias \(C_0,C_1,\cdots,C_n,\cdots\) que formam a Cadeia de Markov são discretas, então o espaço de estados \(S\) é finito ou infinito enumerável.
O estudo das Cadeias de Markov é válido a partir de dois pontos de vista. Em primeiro lugar, existe uma ampla teoria desenvolvida e, em segundo lugar, há um grande número de sistemas que surgem na prática que podem ser modelados desta forma, de modo existirem muitas aplicações.
Como suporte computacional utilizamos a linguagem de programação e ambiente de desenvolvimento integrado para cálculos estatísticos e gráficos R, última versão 3.5.2, Eggshell Igloo de 20 de dezembro de 2018.