Classificacao-Risco-Credito-Modelos-Ensemble-Parametros-default-FM.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Avaliação de risco de crédito usando modelos de classificação (I)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Experimento feito por Fran Mateus"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **<font color='darkblue'>A - INFORMAÇÕES INICIAIS</font>**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Objetivo do projeto:**\n",
    "Avaliar qual modelo de machine learning, dentre os seis abaixo, apresenta a melhor acurária na classificação de risco para concessão de novos créditos a partir de uma determinada base de clientes, usando a métrica de Acurácia como referência. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Modelos utilizados**\n",
    "- Árvore de decisão\n",
    "- Random Forest\n",
    "- Bagging\n",
    "- AdaBoost\n",
    "- Extremely Randomized Forest\n",
    "- Gradient Boosting"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Base de dados**\n",
    "O dataset utilizado chama-se **Default od Credit Cards** e foi disponibilizado pela UCI. Ele possui 1 coluna de identificação, 23 variáveis explicativas, 1 variável dependente binária e 30.000 observações (sem valores ausentes).\n",
    "\n",
    "*Link para o dataset:* https://archive.ics.uci.edu/ml/datasets/default+of+credit+card+clients"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Variáveis**\n",
    "\n",
    "Target: \n",
    "- Default payment / Atraso no pagamento (Sim = 1, Não = 0)\n",
    "\n",
    "Explicativas:\n",
    "- Amount of given credit / Valor do crédito concedido (em dólar)\n",
    "- Gender / Gênero (1 = masculino; 2 = feminino)\n",
    "- Education / Educação (1 = graduado; 2 = estudante universitário; 3 = ensino médio; 4 = outros)\n",
    "- Marital status / Status marital (1 = casado; 2 = solteiro; 3 = outros)\n",
    "- Age / Idade (anos)\n",
    "- History of past payment / Histórico de pagamentos (Abril-Setembro/2005)\n",
    "- Amount of bill statement / Valor faturado (Abril-Setembro/2005; em dólar)\n",
    "- Amount of previous payment / Valor pago (Abril-Setembro/2005, em dólar)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **<font color='darkblue'>B - IMPORTAÇÕES, ANÁLISES E DEFINIÇÃO DE VARIÁVEIS E BASES DE TREINO E TESTE</font>**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Bibliotecas e funções**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import sklearn as sk\n",
    "import matplotlib as mpl\n",
    "from matplotlib import pyplot as plt\n",
    "from sklearn.model_selection import train_test_split\n",
    "\n",
    "from sklearn.tree import DecisionTreeClassifier\n",
    "from sklearn.ensemble import RandomForestClassifier\n",
    "from sklearn.ensemble import BaggingClassifier\n",
    "from sklearn.ensemble import AdaBoostClassifier\n",
    "from sklearn.ensemble import ExtraTreesClassifier\n",
    "from sklearn.ensemble import GradientBoostingClassifier\n",
    "\n",
    "from sklearn.model_selection import cross_val_score\n",
    "from sklearn.metrics import confusion_matrix\n",
    "from sklearn.metrics import accuracy_score\n",
    "\n",
    "import warnings\n",
    "warnings.filterwarnings(\"ignore\")\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Dataset**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "credit_data = pd.read_excel('credit.xls', skiprows = 1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Análise exploratória**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(30000, 25)"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "credit_data.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "   ID  LIMIT_BAL  SEX  EDUCATION  MARRIAGE  AGE  PAY_0  PAY_2  PAY_3  PAY_4  \\\n",
      "0   1      20000    2          2         1   24      2      2     -1     -1   \n",
      "1   2     120000    2          2         2   26     -1      2      0      0   \n",
      "2   3      90000    2          2         2   34      0      0      0      0   \n",
      "3   4      50000    2          2         1   37      0      0      0      0   \n",
      "4   5      50000    1          2         1   57     -1      0     -1      0   \n",
      "\n",
      "   ...  BILL_AMT4  BILL_AMT5  BILL_AMT6  PAY_AMT1  PAY_AMT2  PAY_AMT3  \\\n",
      "0  ...          0          0          0         0       689         0   \n",
      "1  ...       3272       3455       3261         0      1000      1000   \n",
      "2  ...      14331      14948      15549      1518      1500      1000   \n",
      "3  ...      28314      28959      29547      2000      2019      1200   \n",
      "4  ...      20940      19146      19131      2000     36681     10000   \n",
      "\n",
      "   PAY_AMT4  PAY_AMT5  PAY_AMT6  default payment next month  \n",
      "0         0         0         0                           1  \n",
      "1      1000         0      2000                           1  \n",
      "2      1000      1000      5000                           0  \n",
      "3      1100      1069      1000                           0  \n",
      "4      9000       689       679                           0  \n",
      "\n",
      "[5 rows x 25 columns]\n"
     ]
    }
   ],
   "source": [
    "# Visualização das variáveis e das primeiras linhas\n",
    "print(credit_data.head())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Definição das variáveis e separação das bases de treinos e testes**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Variável target\n",
    "target = 'default payment next month'\n",
    "y = np.asarray(credit_data[target])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Variáveis explicativas\n",
    "features = credit_data.columns.drop(['ID', target])\n",
    "X = np.asarray(credit_data[features])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Bases para treino (70%) e teste (30%)\n",
    "X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.30, random_state = 10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **<font color='darkblue'>C - MODELOS DE CLASSIFICAÇÃO (VERSÃO 1)</font>**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A primeira versão de cada modelo será criada usando os hiperparâmetros pré-definidos pelos algortimos no scikit-learn."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Árvore de Decisão**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[5649 1333]\n",
      " [1194  824]]\n",
      "Acurácia =  0.7192222222222222\n"
     ]
    }
   ],
   "source": [
    "# Criação do modelo\n",
    "arvore = DecisionTreeClassifier()\n",
    "\n",
    "# Treinamento\n",
    "arvore.fit(X_train, y_train)\n",
    "\n",
    "# Predição\n",
    "arvore_pred = arvore.predict(X_test)\n",
    "\n",
    "# Matriz de confusão\n",
    "print(confusion_matrix(y_test, arvore_pred))\n",
    "\n",
    "# Acurácia\n",
    "print(\"Acurácia = \", accuracy_score(y_test, arvore_pred))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Random Forest**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[6610  372]\n",
      " [1280  738]]\n",
      "Acurácia =  0.8164444444444444\n"
     ]
    }
   ],
   "source": [
    "# Criação do modelo\n",
    "random = RandomForestClassifier()\n",
    "\n",
    "# Treinamento\n",
    "random.fit(X_train, y_train)\n",
    "\n",
    "# Predição\n",
    "random_pred = random.predict(X_test)\n",
    "\n",
    "# Matriz de confusão\n",
    "print(confusion_matrix(y_test, random_pred))\n",
    "\n",
    "# Acurácia\n",
    "print(\"Acurácia = \", accuracy_score(y_test, random_pred))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Bagging**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[6553  429]\n",
      " [1343  675]]\n",
      "Acurácia =  0.8031111111111111\n"
     ]
    }
   ],
   "source": [
    "# Criação do modelo\n",
    "bagging = BaggingClassifier()\n",
    "\n",
    "# Treinamento\n",
    "bagging.fit(X_train, y_train)\n",
    "\n",
    "# Predição\n",
    "bagging_pred = bagging.predict(X_test)\n",
    "\n",
    "# Matriz de confusão\n",
    "print(confusion_matrix(y_test, bagging_pred))\n",
    "\n",
    "# Acurácia\n",
    "print(\"Acurácia = \", accuracy_score(y_test, bagging_pred))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **AdaBoost**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[6715  267]\n",
      " [1364  654]]\n",
      "Acurácia =  0.8187777777777778\n"
     ]
    }
   ],
   "source": [
    "# Criação do modelo\n",
    "ada = AdaBoostClassifier()\n",
    "\n",
    "# Treinamento\n",
    "ada.fit(X_train, y_train)\n",
    "\n",
    "# Predição\n",
    "ada_pred = ada.predict(X_test)\n",
    "\n",
    "# Matriz de confusão\n",
    "print(confusion_matrix(y_test, ada_pred))\n",
    "\n",
    "# Acurácia\n",
    "print(\"Acurácia = \", accuracy_score(y_test, ada_pred))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Extremely Randomized Forest (Extra Trees)**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[6581  401]\n",
      " [1286  732]]\n",
      "Acurácia =  0.8125555555555556\n"
     ]
    }
   ],
   "source": [
    "# Criação do modelo\n",
    "extratrees = ExtraTreesClassifier()\n",
    "\n",
    "#Treinamento\n",
    "extratrees.fit(X_train, y_train)\n",
    "\n",
    "# Predição\n",
    "extra_pred = extratrees.predict(X_test)\n",
    "\n",
    "# Matriz de confusão\n",
    "print(confusion_matrix(y_test, extra_pred))\n",
    "\n",
    "# Acurácia\n",
    "print(\"Acurácia = \", accuracy_score(y_test, extra_pred))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **Gradient Boosting**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[6658  324]\n",
      " [1293  725]]\n",
      "Acurácia =  0.8203333333333334\n"
     ]
    }
   ],
   "source": [
    "# Criação do modelo\n",
    "gboost = GradientBoostingClassifier()\n",
    "\n",
    "#Treinamento\n",
    "gboost.fit(X_train, y_train)\n",
    "\n",
    "# Predição\n",
    "gboost_pred = gboost.predict(X_test)\n",
    "\n",
    "# Matriz de confusão\n",
    "print(confusion_matrix(y_test, gboost_pred))\n",
    "\n",
    "# Acurácia\n",
    "print(\"Acurácia = \", accuracy_score(y_test, gboost_pred))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### **<font color='darkblue'>D - RANKING DA 1ª VERSÃO DOS MODELOS PARA CLASSIFICAÇÃO DE RISCO DE CRÉDITO</font>**\n",
    "\n",
    "Usando os parâmetros e hiperparâmetros definidos, por padrão, pelos algoritmos selecionados, do scikit-learn, ou seja, sem fazer nenhum tipo de ajuste (como remoção de variáveis ou tunning dos hiperparâmetros, por exemplo. Nesse cenário, o melhor resultado para essa base de dados foi apresentado pelo **Gradient Boosting**, com **82,03%** de precisão. O ranking ficou assim:\n",
    "- 1º) Gradient Boosting = 82,03% de acurácia\n",
    "- 2º) AdaBoost          = 81,88% de acurácia\n",
    "- 3º) Random Forest     = 81,64% de acurácia\n",
    "- 4º) Extra Trees       = 81,25% de acurácia\n",
    "- 5º) Bagging           = 80,31% de acurácia\n",
    "- 6º) Árvore de decisão = 71,92% de acurácia"
   ]
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}