Neste livro vamos estudar uma classe de processos aleatórios ou estocásticos que possuem uma determinada caracteríıstica que pode, grosseiramente, ser descrita como perda de memória. Estes processos aparecem em inúmeras aplicações, incluindo sistemas de filas, redes de comunicação de computadores, sistemas biológicos e uma grande variedade de outras aplicações.
Um processo estocástico é um modelo matemático que evolui ao longo do tempo de forma probabilística e aqui vamos estudar um tipo especial de processo estocástico, chamado de Cadeia de Markov, onde o resultado de um experimento depende apenas do resultado do experimento anterior. Em outras palavras, o estado seguinte do sistema depende apenas do estado atual e não dos estados anteriores. Cadeias de Markov são um particular processo estocástico que, não somente não depende do resultado do experimento anterior como também é contituído por variáveis aleatórias discretas.
Aplicações de Cadeias de Markov em medicina são bastante comuns e se tornaram uma ferramenta importante de tomada de decisão médica. Como resultado da sua ocorrência frequente, estes processos têm sido estudados extensivamente obtendo-se uma teoria rica a qual permite resolver os problemas relacionados com estes processos.
As Cadeias de Markov foram assim nomeados após os estudos do matemático russo Andrei Andreyevich Markov, que começou a teoria de processos estocásticos. Andrei Markov (1856-1922) foi um matemático russo que realizou numerosos estudos na teoria da probabilidade, dentre eles, ele provou o Teorema do Limite Central. Markov é também muito lembrado pelo seu estudo de Cadeias de Markov. Referências clássicas como Ross (1996), Hoel, Port, and Stone (1972) e Kemeny and Snell (1976) foram consultadas para redigirmos este texto.