Utilizamos estimativas de uma amostra como nosso ``melhor chute'' para os verdadeiros valores populacionais. Exemplos são a média amostral, o desvio padrão amostral, a mediana amostral, os quais estimam a verdadeira média, desvio padrão e mediana da população (que são desconhecidos). Os verdadeiros (desconhecidos) valores populacionais são chamados parâmetros.
Note que estatísticas são usualmente representadas por letras Romanas, (por exemplo, para a média amostral, para o desvio padrão amostral), enquanto que parâmetros são usualmente representados por letras Gregas (por exemplo, para a média populacional, para o desvio padrão populacional).
É claro que à medida que a amostra aumenta, mais informação nós teremos acerca da população de interesse, e portanto mais precisa serão as estimativas dos parâmetros de interesse.