
################################################################################
### Random Forest e CART
### Aplicação - Classificação de e-mails (spam vs. não spam)
################################################################################

################################################################################
### Pacotes
################################################################################

library(kernlab)
library(randomForest)
library(rpart)
library(pROC)
library(caret)

options(device = "x11")

################################################################################
### Leitura e exploração dos dados
################################################################################

data("spam")

help("spam")

dim(spam)
head(spam, 10)
summary(spam)

## Distribuição da resposta
table(spam$type)
prop.table(table(spam$type))

################################################################################
### Separação das amostras
################################################################################

## Amostras de treinamento e validação
set.seed(2023)

indices_ajuste <- sample(seq_len(nrow(spam)), 4000)

spam_ajuste <- spam[indices_ajuste, ]
spam_valida <- spam[-indices_ajuste, ]

################################################################################
### Ajuste da floresta aleatória
################################################################################

## Ajuste do Random Forest
rf_spam <- randomForest(type ~ ., data = spam_ajuste, importance = TRUE)

## Resumo do ajuste
rf_spam

## Importância das variáveis
varImpPlot(rf_spam, sort = TRUE)

################################################################################
### Ajuste da árvore de classificação
################################################################################

## Ajuste inicial do CART
arvore1 <- rpart(type ~ ., data = spam_ajuste, method = "class")

## Tabela e curva de custo-complexidade
printcp(arvore1)
plotcp(arvore1)

## Poda da árvore
tabela_cp <- arvore1$cptable
cp <- tabela_cp[tabela_cp[, "nsplit"] == 7, "CP"]
## Valor de cp para a árvore com sete partições (oito nós finais)

arvore2 <- prune(arvore1, cp = cp)

## Visualização da árvore podada
rpart.plot::rpart.plot(arvore2)

################################################################################
### Predições na amostra de validação
################################################################################

## Probabilidades estimadas para a classe spam
prob_rf <- predict(rf_spam, newdata = spam_valida, type = "prob")[, "spam"]
prob_cart <- predict(arvore2, newdata = spam_valida, type = "prob")[, "spam"]

## Classes preditas
classe_rf <- predict(rf_spam, newdata = spam_valida, type = "response")
classe_cart <- predict(arvore2, newdata = spam_valida, type = "class")

################################################################################
### Curvas ROC
################################################################################

## Curvas ROC dos dois modelos
roc_rf <- roc(spam_valida$type, prob_rf,
              levels = c("nonspam", "spam"), direction = "<", quiet = TRUE)

roc_cart <- roc(spam_valida$type, prob_cart,
                levels = c("nonspam", "spam"), direction = "<", quiet = TRUE)

## Visualização das curvas
plot(roc_rf, col = "red", lwd = 2, legacy.axes = TRUE,
     xlab = "1 - Especificidade", ylab = "Sensibilidade")

plot(roc_cart, col = "blue", lwd = 2, add = TRUE)

abline(0, 1, lty = 2, col = "grey50")

legend("bottomright", legend = c("Random Forest", "CART"),
       col = c("red", "blue"), lwd = 2, bty = "n")

## Áreas sob as curvas ROC
auc(roc_rf)
auc(roc_cart)

################################################################################
### Matrizes de confusão
################################################################################

## Random Forest
confusionMatrix(classe_rf, spam_valida$type, positive = "spam")

## CART
confusionMatrix(classe_cart, spam_valida$type, positive = "spam")

################################################################################
### Comparação dos modelos
################################################################################

## AUC na amostra de validação
data.frame(
    Modelo = c("Random Forest", "CART"),
    AUC = c(as.numeric(auc(roc_rf)), as.numeric(auc(roc_cart)))
)

## Teste de comparação das curvas ROC (DeLong)
roc.test(roc_rf, roc_cart, method = "delong")
