Exploración y preparación de datos de préstamo

Explorando los datos de crédito

# Libreria pandas import pandas as pd # Importación de los datos crediticios desde un archivo csv cr_loan = pd.read_csv("DatosCrediticios.csv") # Tabla interactiva de los datos de crédito en deepnote cr_loan

person_ageint64

20 - 144

person_incomeint64

4000 - 6000000

59000

9600

65500

54400

9900

77100

78956

83000

10000

# Libreria pyplot de matplotlib import matplotlib.pyplot as plt # Distribución de los montos de préstamo patches = plt.hist(x=cr_loan['loan_amnt'], bins='auto', color='blue',alpha=0.7, rwidth=0.85) plt.xlabel("Montos de préstamo") plt.show()

# Diagrama de dispersión de ingresos vs edad plt.scatter(cr_loan['person_income'], cr_loan['person_age'],c='blue', alpha=0.5) plt.xlabel('Ingreso personal') plt.ylabel('Edad') plt.show()

Tabulaciones cruzadas y tablas dinámicas

# Tabla cruzada de la intención del préstamo y el estado del préstamo print(pd.crosstab(cr_loan['loan_intent'], cr_loan['loan_status'], margins = True))

loan_status            0     1    All
loan_intent                          
DEBTCONSOLIDATION   3722  1490   5212
EDUCATION           5342  1111   6453
HOMEIMPROVEMENT     2664   941   3605
MEDICAL             4450  1621   6071
PERSONAL            4423  1098   5521
VENTURE             4872   847   5719
All                25473  7108  32581

# Tabla cruzada de la propiedad de la vivienda, el estado del préstamo y el grado print(pd.crosstab(cr_loan['person_home_ownership'],[cr_loan['loan_status'],cr_loan['loan_grade']]))

loan_status               0                                 1             \
loan_grade                A     B     C    D    E   F  G    A     B    C   
person_home_ownership                                                      
MORTGAGE               5219  3729  1934  658  178  36  0  239   324  321   
OTHER                    23    29    11    9    2   0  0    3     5    6   
OWN                     860   770   464  264   26   7  0   66    34   31   
RENT                   3602  4222  2710  554  137  28  1  765  1338  981   

loan_status                               
loan_grade                D    E   F   G  
person_home_ownership                     
MORTGAGE                553  161  61  31  
OTHER                    11    6   2   0  
OWN                      18   31   8   5  
RENT                   1559  423  99  27

# Tabla cruzada de la propiedad de la vivienda, el estado del préstamo y el porcentaje de ingreso promedio print(pd.crosstab(cr_loan['person_home_ownership'], cr_loan['loan_status'], values=cr_loan['loan_percent_income'], aggfunc='mean'))

loan_status                   0         1
person_home_ownership                    
MORTGAGE               0.146504  0.184882
OTHER                  0.143784  0.300000
OWN                    0.180013  0.297358
RENT                   0.144611  0.264859

# Create a box plot of percentage income by loan status cr_loan.boxplot(column = ['loan_percent_income'], by = 'loan_status') plt.title('Porcentaje del ingreso promedio por estado del préstamo') plt.suptitle('') plt.show()

Encontrar valores atípicos con tablas cruzadas

# Tabla cruzada para el estado del préstamo, la propiedad de la vivienda y la duración máxima del empleo print(pd.crosstab(cr_loan['loan_status'],cr_loan['person_home_ownership'], values=cr_loan['person_emp_length'], aggfunc='max')) # Matriz de índices donde la duración del empleo sea superior a 60 indices = cr_loan[cr_loan['person_emp_length'] > 60].index # Nuevo marco de datos sin registros atípicos cr_loan_new = cr_loan.drop(indices) # Tabla cruzada del nuevo marco de datos incluyendo la duración mínima del empleo print(pd.crosstab(cr_loan_new['loan_status'],cr_loan_new['person_home_ownership'],values=cr_loan_new['person_emp_length'],aggfunc=('min','max')))

person_home_ownership  MORTGAGE  OTHER   OWN   RENT
loan_status                                        
0                         123.0   24.0  31.0   41.0
1                          34.0   11.0  17.0  123.0
                           max                        min                
person_home_ownership MORTGAGE OTHER   OWN  RENT MORTGAGE OTHER  OWN RENT
loan_status                                                              
0                         38.0  24.0  31.0  41.0      0.0   0.0  0.0  0.0
1                         34.0  11.0  17.0  27.0      0.0   0.0  0.0  0.0

Visualización de valores atípicos de crédito

# Diagrama de dispersión para la edad y la cantidad plt.scatter(cr_loan['person_age'], cr_loan['loan_amnt'], c='blue', alpha=0.5) plt.xlabel("Person Age") plt.ylabel("Loan Amount") plt.show()

import matplotlib # Marco de datos con personas de menos de 100 años de edad cr_loan_new = cr_loan.drop(cr_loan[cr_loan['person_age'] > 100].index) # Diagrama de dispersión de la edad y la tasa de interés colors = ["blue","red"] plt.scatter(cr_loan_new['person_age'], cr_loan_new['loan_int_rate'], c = cr_loan_new['loan_status'], cmap = matplotlib.colors.ListedColormap(colors), alpha=0.5) plt.xlabel("Person Age") plt.ylabel("Loan Interest Rate") plt.show()

Reemplazo de datos de crédito faltantes

# Matriz de columnas con valores nulos print(cr_loan.columns[cr_loan.isnull().any()]) # Cinco filas superiores con valores nulos para la duración del empleo print(cr_loan[cr_loan['person_emp_length'].isnull()].head()) # Reemplazo de los valores nulos con la media para la variable duraciones de empleo cr_loan['person_emp_length'].fillna((cr_loan['person_emp_length'].median()), inplace=True) # Histograma de la duración del empleo n, bins, patches = plt.hist(cr_loan['person_emp_length'], bins='auto', color='blue') plt.xlabel("Duración del empleo") plt.show()

Index(['person_emp_length', 'loan_int_rate'], dtype='object')
     person_age  person_income person_home_ownership  person_emp_length  \
105          22          12600              MORTGAGE                NaN   
222          24         185000              MORTGAGE                NaN   
379          24          16800              MORTGAGE                NaN   
407          25          52000                  RENT                NaN   
408          22          17352              MORTGAGE                NaN   

           loan_intent loan_grade  loan_amnt  loan_int_rate  loan_status  \
105           PERSONAL          A       2000           5.42            1   
222          EDUCATION          B      35000          12.42            0   
379  DEBTCONSOLIDATION          A       3900            NaN            1   
407           PERSONAL          B      24000          10.74            1   
408          EDUCATION          C       2250          15.27            0   

     loan_percent_income cb_person_default_on_file  cb_person_cred_hist_length  
105                 0.16                         N                           4  
222                 0.19                         N                           2  
379                 0.23                         N                           3  
407                 0.46                         N                           2  
408                 0.13                         Y                           3

Eliminación de los datos faltantes

# Número de vacios print(cr_loan['loan_int_rate'].isnull().sum()) # Índices nulos indices = cr_loan[cr_loan['loan_int_rate'].isnull()].index # Nueva base de datos sin valores nulos cr_loan_clean = cr_loan.drop(indices)

Regresión logística para probabilidad de incumplimiento o default

Modelo de regresión logística

from sklearn.linear_model import LogisticRegression import numpy as np # Importación de los datos crediticios sin vacios desde un archivo csv cr_loan_clean = pd.read_csv("DatosCrediticios_SinVaciosNiOutliers.csv") # Variables independiente y dependiente X = cr_loan_clean[['loan_int_rate']] y = cr_loan_clean[['loan_status']] # Modelo de regresión logística y su ajuste clf_logistic_single = LogisticRegression() clf_logistic_single.fit(X, np.ravel(y)) # Parametros del modelo print(clf_logistic_single.get_params())

{'C': 1.0, 'class_weight': None, 'dual': False, 'fit_intercept': True, 'intercept_scaling': 1, 'l1_ratio': None, 'max_iter': 100, 'multi_class': 'auto', 'n_jobs': None, 'penalty': 'l2', 'random_state': None, 'solver': 'lbfgs', 'tol': 0.0001, 'verbose': 0, 'warm_start': False}

# Interceptos del modelo print(clf_logistic_single.intercept_)

[-4.45785901]

Regresión logística multivariada

# Variables independientes X_multi = cr_loan_clean[['loan_int_rate','person_emp_length']] # Estatus del préstamo como variable a predecir y = cr_loan_clean[['loan_status']] # Modelo de regresión logística multivariada clf_logistic_multi = LogisticRegression(solver='lbfgs').fit(X_multi, np.ravel(y)) # Print the intercept of the model print(clf_logistic_multi.intercept_)

[-4.21645549]

Creación de conjuntos de entrenamiento y prueba

from sklearn.model_selection import train_test_split # Variables independientes y dependiente # X = cr_loan_clean[['loan_int_rate','person_emp_length','person_income']] X = cr_loan_clean.loc[:,['loan_int_rate','person_emp_length','person_income']] y = cr_loan_clean[['loan_status']] # Conjuntos de entrenamiento y prueba X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.4, random_state=123) # Ajuste del modelo de regresión logística clf_logistic = LogisticRegression(solver='lbfgs').fit(X_train, np.ravel(y_train)) # Coeficientes del modelo print(clf_logistic.coef_)

[[ 1.28517496e-09 -2.27622202e-09 -2.17211991e-05]]

Codificación dummie

# Conjutos de datos numéricos y no numéricos cred_num = cr_loan_clean.select_dtypes(exclude=['object']) cred_str = cr_loan_clean.select_dtypes(include=['object']) # Codificación dummie al conjunto de variables categóricas cred_str_onehot = pd.get_dummies(cred_str) # Unión de las variables numéricas con las codificadas cr_loan_prep = pd.concat([cred_num, cred_str_onehot], axis=1) # Lista de columnas del nuevo cnjunto de datos print(cr_loan_prep.columns)

Index(['person_age', 'person_income', 'person_emp_length', 'loan_amnt',
       'loan_int_rate', 'loan_status', 'loan_percent_income',
       'cb_person_cred_hist_length', 'person_home_ownership_MORTGAGE',
       'person_home_ownership_OTHER', 'person_home_ownership_OWN',
       'person_home_ownership_RENT', 'loan_intent_DEBTCONSOLIDATION',
       'loan_intent_EDUCATION', 'loan_intent_HOMEIMPROVEMENT',
       'loan_intent_MEDICAL', 'loan_intent_PERSONAL', 'loan_intent_VENTURE',
       'loan_grade_A', 'loan_grade_B', 'loan_grade_C', 'loan_grade_D',
       'loan_grade_E', 'loan_grade_F', 'loan_grade_G',
       'cb_person_default_on_file_N', 'cb_person_default_on_file_Y'],
      dtype='object')

Predicción de probabilidades de incumplimiento

# Variables independientes y dependiente X = cr_loan_prep.loc[:,cr_loan_prep.columns != 'loan_status'] y = cr_loan_prep[['loan_status']] # Conjuntos de entrenamiento y prueba X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.4, random_state=123) # Entrenamiento del modelo de regresión logística clf_logistic = LogisticRegression(solver='lbfgs').fit(X_train, np.ravel(y_train)) # Predicciones de probabilidad para el estado del préstamo usando datos de prueba preds = clf_logistic.predict_proba(X_test) # Marcos de datos de las primeras cinco predicciones y las primeras cinco etiquetas verdaderas preds_df = pd.DataFrame(preds[:,1][0:20], columns = ['prob_default']) true_df = y_test.head(20) # Comparación de los dos marcos de datos print(pd.concat([true_df.reset_index(drop = True), preds_df], axis = 1))

    loan_status  prob_default
0             1      0.445779
1             1      0.223447
2             0      0.288558
3             0      0.169358
4             1      0.114182
5             1      0.490257
6             0      0.162057
7             0      0.396211
8             1      0.217428
9             1      0.481440
10            1      0.243327
11            1      0.404546
12            0      0.063662
13            0      0.254207
14            1      0.416166
15            0      0.367900
16            0      0.246369
17            1      0.027882
18            0      0.106589
19            0      0.347888

Informe de clasificación de default

# Dataframe de las probabilidades de incumplimiento preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default']) # Estado del préstamo según la probabilidad asignada preds_df['loan_status'] = preds_df['prob_default'].apply(lambda X: 1 if X > .5 else 0) # Recuento de filas para cada estado de préstamo print(preds_df['loan_status'].value_counts())

0    11175
1      609
Name: loan_status, dtype: int64

from sklearn.metrics import classification_report # Reporte de clasificación target_names = ['Non-Default', 'Default'] print(classification_report(y_test, preds_df['loan_status'], target_names=target_names))

              precision    recall  f1-score   support

 Non-Default       0.81      0.98      0.89      9198
     Default       0.71      0.17      0.27      2586

    accuracy                           0.80     11784
   macro avg       0.76      0.57      0.58     11784
weighted avg       0.79      0.80      0.75     11784

Selección de métricas del informe

from sklearn.metrics import precision_recall_fscore_support # Valores no promedio del informe print(precision_recall_fscore_support(y_test,preds_df['loan_status']))

(array([0.80742729, 0.71264368]), array([0.98097412, 0.16782676]), array([0.8857802 , 0.27167449]), array([9198, 2586]))

# Dos primeros números del informe print(precision_recall_fscore_support(y_test,preds_df['loan_status'])[0:2])

(array([0.80742729, 0.71264368]), array([0.98097412, 0.16782676]))

Gráfico del modelo de puntaje crediticio

# Predicciones para la probabilidad de incumplimiento preds = clf_logistic.predict_proba(X_test) # Puntuación de precisión del modelo print(clf_logistic.score(X_test, y_test))

0.8025288526816021

from sklearn import metrics # Gáfico de la curva ROC de las probabilidades de incumplimiento prob_default = preds[:, 1] fallout, sensitivity, thresholds = metrics.roc_curve(y_test, prob_default) plt.plot(fallout, sensitivity, color = 'darkorange') plt.plot([0, 1], [0, 1], linestyle='--') plt.show()

from sklearn.metrics import roc_auc_score # Área debajo de la curva auc = roc_auc_score(y_test, prob_default) auc

Umbrales y matrices de confusión

# Estado del préstamo según el umbral 0.4 preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.4 else 0) from sklearn.metrics import confusion_matrix # Matriz de confusión tn, fp, fn, tp = confusion_matrix(y_test,preds_df['loan_status']).ravel() default_recall = tp / (tp + fn) default_recall

# Estado del prestamo según el umbral 0.5 preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0) # Matriz de confusión tn, fp, fn, tp = confusion_matrix(y_test,preds_df['loan_status']).ravel() default_recall = tp / (tp + fn) default_recall

Performance según el umbral elegido

avg_loan_amnt = cr_loan_clean['loan_amnt'].mean() # Valores del estado del préstamo en función del nuevo umbral preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.4 else 0) # Número de impagos de préstamos a partir de los datos de predicción num_defaults = preds_df['loan_status'].value_counts()[1] # Default recall del reporte de clasificación default_recall = precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1] # Impacto estimado de la nueva tasa de recuperación predeterminada print(avg_loan_amnt * num_defaults * (1 - default_recall))

9872265.223119883

Selección del umbral

# Conjuntos de umbrales y respectivas métricas i = 0.2 # Umbrales thresh = [] # recall de incumplimiento def_recalls = [] # recall de no incumplimiento nondef_recalls = [] # accuracy accs = [] while i < 0.65 : thresh.append(i) preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > i else 0) def_recalls.append(precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]) nondef_recalls.append(precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][0]) accs.append(precision_recall_fscore_support(y_test,preds_df['loan_status'])[0][1]) i = i + 0.025

plt.plot(thresh,def_recalls) plt.plot(thresh,nondef_recalls) plt.plot(thresh,accs) plt.xlabel("Probability Threshold") plt.legend(["Default Recall","Non-default Recall","Model Accuracy"]) plt.show()

Gradient Boosted Trees usando XGBoost

Árboles para el incumplimiento de pago de la deuda

# Importación de los datos crediticios con variables dummies listo para modelar csv cr_loan_prep = pd.read_csv("DatosCrediticios_ListoParaModelar.csv") # Variables independientes y dependiente X = cr_loan_prep.loc[:,cr_loan_prep.columns != 'loan_status'] y = cr_loan_prep[['loan_status']] # Conjuntos de entrenamiento y prueba X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.4, random_state=123)

# Ajuste del modelo import xgboost as xgb clf_gbt = xgb.XGBClassifier().fit(X_train, np.ravel(y_train)) # Predicciones de la probabilidad de default con el modelo gbt_preds = clf_gbt.predict_proba(X_test) # Dataframes con probabilidades de dafault predicha y datos reales preds_df = pd.DataFrame(gbt_preds[:,1][0:20], columns = ['prob_default']) true_df = y_test.head(20) # Comparación de los dos marcos de datos print(pd.concat([true_df.reset_index(drop = True), preds_df], axis = 1))

/root/venv/lib/python3.7/site-packages/xgboost/sklearn.py:1224: UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. To remove this warning, do the following: 1) Pass option use_label_encoder=False when constructing XGBClassifier object; and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].
  warnings.warn(label_encoder_deprecation_msg, UserWarning)
[22:49:05] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
    loan_status  prob_default
0             1      0.990942
1             1      0.983987
2             0      0.000807
3             0      0.001239
4             1      0.084892
5             1      0.021722
6             0      0.010304
7             0      0.000375
8             1      0.976663
9             1      0.992004
10            1      0.173216
11            1      0.997188
12            0      0.002653
13            0      0.001659
14            1      0.992790
15            0      0.004816
16            0      0.051240
17            1      0.998005
18            0      0.413108
19            0      0.147902

Desempeño de la cartera impulsado por el gradiente

# Marco de datos llamado cartera para combinar las probabilidades de incumplimiento para # ambos modelos (XGBoost y regresión logistica), la pérdida en caso de incumplimiento (20% # por ahora) y el préstamo que se asumirá como la exposición en caso de incumplimiento. portfolio = pd.DataFrame({'gbt_prob_default': gbt_preds[:,1], 'lr_prob_default': preds[:,1], 'lgd': [0.2] * 11784, 'loan_amnt': X_test['loan_amnt']}) portfolio

gbt_prob_defaultfloat32

1.4347091337185702e-06 - 0.9999959468841553

lr_prob_defaultfloat64

5.261110404656129e-36 - 0.786480701298825

28606

0.9909417033

0.4457786018

22585

0.9839872122

0.223446533

13888

0.0008073628414

0.288558257

3145

0.001239418169

0.1693575271

14882

0.08489220589

0.1141819733

16677

0.02172206342

0.4902568814

21661

0.01030396204

0.1620574551

19872

0.0003745816357

0.3962111956

12534

0.9766631722

0.2174275844

8873

0.9920044541

0.4814399584

# Creación de dos columnas usando la fórmula de la perdida esperada para cada modelo portfolio['gbt_expected_loss'] = portfolio['gbt_prob_default'] * portfolio['lgd'] * portfolio['loan_amnt'] portfolio['lr_expected_loss'] = portfolio['lr_prob_default'] * portfolio['lgd'] * portfolio['loan_amnt'] # Suma de la perdida esperada para el modelo de regresión lineal print('LR perdida esperada: ', np.sum(portfolio['lr_expected_loss'])) # Suma de la perdida esperada para el modelo de XGBoost print('GBT perdida esperada: ', np.sum(portfolio['gbt_expected_loss']))

LR perdida esperada:  5596776.979852879
GBT perdida esperada:  5383982.809227714

Evaluación de árboles potenciados por gradiente

# Predicción del estado de préstamo gbt_preds = clf_gbt.predict(X_test) # Cadena de valores de los resulta print(gbt_preds) # Reporte de clasificación del modelo target_names = ['Non-Default', 'Default'] print(classification_report(y_test, gbt_preds, target_names=target_names))

[1 1 0 ... 0 0 0]
              precision    recall  f1-score   support

 Non-Default       0.93      0.99      0.96      9198
     Default       0.94      0.74      0.83      2586

    accuracy                           0.93     11784
   macro avg       0.94      0.86      0.89     11784
weighted avg       0.93      0.93      0.93     11784

Importancia de seleccionar variables en la predicción de incumplimiento

# Selección de algunas variables independientes de ejemplo X = cr_loan_prep[['person_income','loan_int_rate','loan_percent_income','loan_amnt','person_home_ownership_MORTGAGE','loan_grade_F']] y = cr_loan_prep[['loan_status']] # Conjuntos de entrenamiento y prueba X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.4, random_state=123) # Entrenamiento del modelo clf_gbt = xgb.XGBClassifier().fit(X_train,np.ravel(y_train)) # Importancias de las variables en el modelo print(clf_gbt.get_booster().get_score(importance_type = 'weight'))

[22:49:08] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
/root/venv/lib/python3.7/site-packages/xgboost/sklearn.py:1224: UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. To remove this warning, do the following: 1) Pass option use_label_encoder=False when constructing XGBClassifier object; and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].
  warnings.warn(label_encoder_deprecation_msg, UserWarning)
{'person_income': 1299.0, 'loan_int_rate': 1001.0, 'loan_percent_income': 515.0, 'loan_amnt': 519.0, 'person_home_ownership_MORTGAGE': 116.0, 'loan_grade_F': 9.0}

Visualización de la importancia de la variable

# Selección de algunas variables independientes de ejemplo X2 = cr_loan_prep[['loan_int_rate','person_emp_length']] y = cr_loan_prep[['loan_status']] # Conjuntos de entrenamiento y prueba X2_train, X2_test, y_train, y_test = train_test_split(X2, y, test_size=.4, random_state=123) # Entrenamiento de un modelo con las 2 variables seleccionadas clf_gbt2 = xgb.XGBClassifier().fit(X2_train,np.ravel(y_train)) # Importancia de las variables para este modelo xgb.plot_importance(clf_gbt2, importance_type = 'weight') plt.show()

[22:49:10] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.

X3 = cr_loan_prep[['person_income','loan_int_rate','loan_percent_income']] y = cr_loan_prep[['loan_status']] # Conjuntos de entrenamiento y prueba X3_train, X3_test, y_train, y_test = train_test_split(X3, y, test_size=.4, random_state=123) # Entrenamiento de un modelo con las 3 variables seleccionadas clf_gbt3 = xgb.XGBClassifier().fit(X3_train,np.ravel(y_train)) # Importancia de las variables para este modelo xgb.plot_importance(clf_gbt3, importance_type = 'weight') plt.show()

[22:49:11] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.

Selección de variables y rendimiento del modelo

# Selección de algunas variables independientes de ejemplo X = cr_loan_prep[['person_income','loan_int_rate','loan_percent_income','loan_amnt','person_home_ownership_MORTGAGE']] y = cr_loan_prep[['loan_status']] # Conjuntos de entrenamiento y prueba X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.4, random_state=123) # Modelo XGBoost 1 gbt = xgb.XGBClassifier().fit(X_train,np.ravel(y_train)) # Predicción del estado del prestamo usando el modelo 1 gbt_preds = gbt.predict(X_test) # Reporte de clasificación del primer modelo target_names = ['Non-Default', 'Default'] print(classification_report(y_test, gbt_preds, target_names=target_names))

[22:49:12] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
              precision    recall  f1-score   support

 Non-Default       0.91      0.95      0.93      9198
     Default       0.79      0.66      0.72      2586

    accuracy                           0.89     11784
   macro avg       0.85      0.81      0.83     11784
weighted avg       0.88      0.89      0.88     11784

# Selección de algunas variables independientes de ejemplo X2 = cr_loan_prep[['person_income','loan_int_rate','loan_percent_income','person_emp_length', 'person_home_ownership_RENT']] y = cr_loan_prep[['loan_status']] # Conjuntos de entrenamiento y prueba X2_train, X2_test, y_train, y_test = train_test_split(X2, y, test_size=.4, random_state=123) # Modelo XGBoost 2 gbt2 = xgb.XGBClassifier().fit(X2_train,np.ravel(y_train)) # Predicción del estado del prestamo usando el modelo 2 gbt2_preds = gbt2.predict(X2_test) # Reporte de clasificación del segundo modelo print(classification_report(y_test, gbt2_preds, target_names=target_names))

[22:49:14] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
/root/venv/lib/python3.7/site-packages/xgboost/sklearn.py:1224: UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. To remove this warning, do the following: 1) Pass option use_label_encoder=False when constructing XGBClassifier object; and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].
  warnings.warn(label_encoder_deprecation_msg, UserWarning)
              precision    recall  f1-score   support

 Non-Default       0.91      0.97      0.94      9198
     Default       0.88      0.66      0.75      2586

    accuracy                           0.90     11784
   macro avg       0.89      0.82      0.85     11784
weighted avg       0.90      0.90      0.90     11784

Validación cruzada

# Variables independientes y dependiente X = cr_loan_prep.loc[:,cr_loan_prep.columns != 'loan_status'] y = cr_loan_prep[['loan_status']] # Conjuntos de entrenamiento y prueba X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.4, random_state=123) # Ajuste del modelo gbt = xgb.XGBClassifier().fit(X_train, np.ravel(y_train)) # Parametros params = {'eval_metric': 'auc', 'objective': 'binary:logistic', 'seed': 123} # Número de pliegues y interacciones n_folds = 5 early_stopping = 10 # Matriz de entrenamiento para XGBoost DTrain = xgb.DMatrix(X_train, label = y_train) # Dataframe de la validación cruzada cv_df = xgb.cv(params, DTrain, num_boost_round = 5, nfold=n_folds, early_stopping_rounds=early_stopping) cv_df

[22:49:16] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
/root/venv/lib/python3.7/site-packages/xgboost/sklearn.py:1224: UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. To remove this warning, do the following: 1) Pass option use_label_encoder=False when constructing XGBClassifier object; and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].
  warnings.warn(label_encoder_deprecation_msg, UserWarning)

train-auc-meanfloat64

train-auc-stdfloat64

0.898182

0.001318178288

0.9092564

0.002052300037

0.9136208

0.002204611295

0.9185998

0.001092324201

0.9222516

0.001818467553

Límites de las pruebas de validación cruzada

# Validación cruzada con más pliegues e interacciones cv_results_big = xgb.cv(params, DTrain, num_boost_round = 600, nfold=10, shuffle = True) cv_results_big

train-auc-meanfloat64

0.8975683 - 1.0000081

train-auc-stdfloat64

9.213712606762914e-05 - 0.002611366883453962

0.8975683

0.0009093306384

0.906985

0.002611366883

0.9136785

0.001403479052

0.9191233

0.0009208806709

0.9228642

0.001096840171

0.926411

0.001299419255

0.9304613

0.001149175709

0.933292

0.001214780474

0.9363102

0.001096736231

0.9392984

0.001157245799

# Media de los puntajes AUC del test print(np.mean(cv_results_big['test-auc-mean']).round(2))

0.94

# Gráfico de las puntuaciones AUC del test para cada iteración plt.plot(cv_results_big['test-auc-mean']) plt.title('Puntaje Test AUC sobre 600 iteraciones') plt.xlabel('Iteration Number') plt.ylabel('Test AUC Score') plt.show()

Puntuación de validación cruzada

# Modelo de árbol potenciado por gradiente usando dos hiperparámetros gbt = xgb.XGBClassifier(learning_rate = 0.1, max_depth = 7) from sklearn.model_selection import cross_val_score # Puntajes de validación cruzada para 4 pliegues cv_scores = cross_val_score(gbt, X_train, np.ravel(y_train), cv = 4) # Puntuaciones de validación cruzada print(cv_scores)

/root/venv/lib/python3.7/site-packages/xgboost/sklearn.py:1224: UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. To remove this warning, do the following: 1) Pass option use_label_encoder=False when constructing XGBClassifier object; and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].
  warnings.warn(label_encoder_deprecation_msg, UserWarning)
[22:52:49] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
/root/venv/lib/python3.7/site-packages/xgboost/sklearn.py:1224: UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. To remove this warning, do the following: 1) Pass option use_label_encoder=False when constructing XGBClassifier object; and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].
  warnings.warn(label_encoder_deprecation_msg, UserWarning)
[22:52:52] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
/root/venv/lib/python3.7/site-packages/xgboost/sklearn.py:1224: UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. To remove this warning, do the following: 1) Pass option use_label_encoder=False when constructing XGBClassifier object; and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].
  warnings.warn(label_encoder_deprecation_msg, UserWarning)
[22:52:55] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
/root/venv/lib/python3.7/site-packages/xgboost/sklearn.py:1224: UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. To remove this warning, do the following: 1) Pass option use_label_encoder=False when constructing XGBClassifier object; and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].
  warnings.warn(label_encoder_deprecation_msg, UserWarning)
[22:52:58] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
[0.94048427 0.93256393 0.93324282 0.92462653]

# Precisión promedio y la desviación estándar de las puntuaciones print("Precisión promedio: %0.2f (+/- %0.2f)" % (cv_scores.mean(), cv_scores.std() * 2))

Precisión promedio: 0.93 (+/- 0.01)

Submuestreo de datos de entrenamiento

# Concatenación de las muestras de entrenamiento X_y_train = pd.concat([X_train.reset_index(drop = True), y_train.reset_index(drop = True)], axis = 1) # Cuenta de incumplidos y no incumplidos count_nondefault, count_default = X_y_train['loan_status'].value_counts() # Conjunto de datos para defaults and non-defaults nondefaults = X_y_train[X_y_train['loan_status'] == 0] defaults = X_y_train[X_y_train['loan_status'] == 1] # Submuestreo de non-defaults nondefaults_under = nondefaults.sample(count_default) # Concatenación de submuestreo de nondefaults with defaults X_y_train_under = pd.concat([nondefaults_under.reset_index(drop = True), defaults.reset_index(drop = True)], axis = 0) # Conteo del estado del préstamo print(X_y_train_under['loan_status'].value_counts())

0    3877
1    3877
Name: loan_status, dtype: int64

Rendimiento del árbol submuestreado

[22:53:01] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.
/root/venv/lib/python3.7/site-packages/xgboost/sklearn.py:1224: UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. To remove this warning, do the following: 1) Pass option use_label_encoder=False when constructing XGBClassifier object; and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].
  warnings.warn(label_encoder_deprecation_msg, UserWarning)

# Variables independientes y dependiente X_train_under = X_y_train_under.loc[:,X_y_train_under.columns != 'loan_status'] y_train_under = X_y_train_under[['loan_status']] # Ajuste del modelo clf_gbt2 = xgb.XGBClassifier().fit(X_train_under, np.ravel(y_train_under)) # Predicciones de la probabilidad de default con el modelo gbt2_preds = clf_gbt2.predict(X_test)

[22:53:04] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.

# Reportes de clasificación target_names = ['Non-Default', 'Default'] print(classification_report(y_test, gbt_preds, target_names=target_names)) print(classification_report(y_test, gbt2_preds, target_names=target_names))

              precision    recall  f1-score   support

 Non-Default       0.93      0.99      0.96      9198
     Default       0.94      0.74      0.83      2586

    accuracy                           0.93     11784
   macro avg       0.94      0.86      0.89     11784
weighted avg       0.93      0.93      0.93     11784

              precision    recall  f1-score   support

 Non-Default       0.95      0.91      0.93      9198
     Default       0.73      0.82      0.77      2586

    accuracy                           0.89     11784
   macro avg       0.84      0.87      0.85     11784
weighted avg       0.90      0.89      0.90     11784

# Matriz de confusión de ambos modelos print(confusion_matrix(y_test,gbt_preds)) print(confusion_matrix(y_test,gbt2_preds))

[[9085  113]
 [ 677 1909]]
[[8416  782]
 [ 469 2117]]

# Comparación de los puntajes AUC de los modelos print(roc_auc_score(y_test, gbt_preds)) print(roc_auc_score(y_test, gbt2_preds))

0.8629602218579747
0.8668101710802659

Evaluación e Implementación del Modelo

Comparación de reportes de modelos

# Variables independientes y dependiente X = cr_loan_prep.loc[:,cr_loan_prep.columns != 'loan_status'] y = cr_loan_prep[['loan_status']] # Conjuntos de entrenamiento y prueba X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.4, random_state=123) # Ajuste del modelo de regresión logística clf_logistic = LogisticRegression(solver='lbfgs').fit(X_train, np.ravel(y_train)) # Predicciones de probabilidad para el estado del préstamo usando datos de prueba preds_df_lr = clf_logistic.predict_proba(X_test) preds_df_lr # Dataframe de las probabilidades de incumplimiento preds_df_lr = pd.DataFrame(preds_df_lr[:,1], columns = ['prob_default']) # Estado del préstamo según la probabilidad asignada preds_df_lr['loan_status'] = preds_df_lr['prob_default'].apply(lambda X: 1 if X > .4 else 0) preds_df_lr

prob_defaultfloat64

5.261110404656129e-36 - 0.786480701298825

loan_statusint64

0 - 1

0.4457786018

0.223446533

0.288558257

0.1693575271

0.1141819733

0.4902568814

0.1620574551

0.3962111956

0.2174275844

0.4814399584

# Ajuste del modelo XGBoost clf_gbt = xgb.XGBClassifier(base_score=0.5, colsample_bylevel=1, colsample_bytree=1, gamma=0, learning_rate=0.1, max_delta_step=0, max_depth=7, min_child_weight=1, min_split_loss=1.0, n_estimators=100, n_jobs=1, random_state=0, reg_alpha=0, reg_lambda=1.2, scale_pos_weight=1, seed=123, subsample=1).fit(X_train, np.ravel(y_train)) # Predicciones de la probabilidad de default con el modelo preds_df_gbt = clf_gbt.predict_proba(X_test) # Dataframe de las probabilidades de incumplimiento preds_df_gbt = pd.DataFrame(preds_df_gbt[:,1], columns = ['prob_default']) # Estado del préstamo según la probabilidad asignada preds_df_gbt['loan_status'] = preds_df_gbt['prob_default'].apply(lambda X: 1 if X > .4 else 0) preds_df_gbt

/root/venv/lib/python3.7/site-packages/xgboost/sklearn.py:1224: UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. To remove this warning, do the following: 1) Pass option use_label_encoder=False when constructing XGBClassifier object; and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].
  warnings.warn(label_encoder_deprecation_msg, UserWarning)
[22:53:06] WARNING: ../src/learner.cc:1115: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.

prob_defaultfloat32

0.00035378275788389146 - 0.9995570778846741

loan_statusint64

0 - 1

0.9823871851

0.9751634002

0.003473574528

0.005457147025

0.119876273

0.1467240006

0.01178901456

0.002285469789

0.940839529

0.9881092906

# Reporte de de clasificación de regresión logística target_names = ['Non-Default', 'Default'] print(classification_report(y_test, preds_df_lr['loan_status'], target_names=target_names))

              precision    recall  f1-score   support

 Non-Default       0.86      0.92      0.89      9198
     Default       0.62      0.46      0.53      2586

    accuracy                           0.82     11784
   macro avg       0.74      0.69      0.71     11784
weighted avg       0.81      0.82      0.81     11784

# Reporte de clasificación de árboles potenciados por gradiente print(classification_report(y_test, preds_df_gbt['loan_status'], target_names=target_names))

              precision    recall  f1-score   support

 Non-Default       0.93      0.99      0.96      9198
     Default       0.94      0.73      0.82      2586

    accuracy                           0.93     11784
   macro avg       0.93      0.86      0.89     11784
weighted avg       0.93      0.93      0.93     11784

# Puntuaciones F-1 de incumplimiento para la regresión logística print(precision_recall_fscore_support(y_test,preds_df_lr['loan_status'], average = 'macro')[2])

0.7108943782814463

# Puntuaciones F-1 de incumplimiento para el modelo de arboles poteciados por gradiente print(precision_recall_fscore_support(y_test,preds_df_gbt['loan_status'], average = 'macro')[2])

0.8909014142736051

Comparación de ROCs

# Predicciones de probabilidad para el estado del préstamo usando datos de prueba clf_logistic_preds = np.array(preds_df_lr['prob_default']) clf_gbt_preds = np.array(preds_df_gbt['prob_default']) # Componentes del gráfico ROC fallout_lr, sensitivity_lr, thresholds_lr = metrics.roc_curve(y_test, clf_logistic_preds) fallout_gbt, sensitivity_gbt, thresholds_gbt = metrics.roc_curve(y_test, clf_gbt_preds) # Gráfico ROC con ambos componentes plt.plot(fallout_lr, sensitivity_lr, color = 'blue', label='%s' % 'Logistic Regression') plt.plot(fallout_gbt, sensitivity_gbt, color = 'green', label='%s' % 'Gradient Boosted Tree') plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction') plt.title("Gráfico ROC para LR y GBT sobre la probabilidad de incumplimiento") plt.xlabel('Fall-out') plt.ylabel('Sensitivity') plt.legend() plt.show()

# Puntaje AUC de la regresión logística print("Logistic Regression AUC Score: %0.2f" % roc_auc_score(y_test, clf_logistic_preds)) # Puntaje AUC de los arboles potenciados por gradiente print("Gradient Boosted Tree AUC Score: %0.2f" % roc_auc_score(y_test, clf_gbt_preds))

Logistic Regression AUC Score: 0.76
Gradient Boosted Tree AUC Score: 0.94

Curvas de calibración

from sklearn.calibration import calibration_curve # Fracción de positivos frac_of_pos_lr = calibration_curve(y_test, clf_logistic_preds, n_bins = 20)[0] frac_of_pos_lr

# Probabilidad media mean_pred_val_lr = calibration_curve(y_test, clf_logistic_preds, n_bins = 20)[1] mean_pred_val_lr

# Fracción de positivos frac_of_pos_gbt = calibration_curve(y_test, clf_gbt_preds, n_bins = 20)[0] frac_of_pos_gbt

# Probabilidad media mean_pred_val_gbt = calibration_curve(y_test, clf_gbt_preds, n_bins = 20)[1] mean_pred_val_gbt

# Curva de calibración plt.plot([0, 1], [0, 1], 'k:', label='Perfectly calibrated') plt.plot(mean_pred_val_lr, frac_of_pos_lr, 's-', label='%s' % 'Logistic Regression') plt.plot(mean_pred_val_gbt, frac_of_pos_gbt, 's-', label='%s' % 'Gradient Boosted tree') plt.ylabel('Fraction of positives') plt.xlabel('Average Predicted Probability') plt.legend() plt.title('Calibration Curve') plt.show()

Tasas de aceptación

# Estadísticas de las probabilidades de incumplimiento true_list = pd.DataFrame(y_test, columns = ['loan_status']).rename(columns={'loan_status':'true_loan_status'}, inplace=False) test_pred_df = pd.concat([true_list.reset_index(drop = True), preds_df_gbt['prob_default']], axis = 1) print(test_pred_df['prob_default'].describe())

count    11784.000000
mean         0.216866
std          0.333038
min          0.000354
25%          0.022246
50%          0.065633
75%          0.177804
max          0.999557
Name: prob_default, dtype: float64

# Umbral para una tasa de aceptación del 85 % threshold_85 = np.quantile(test_pred_df['prob_default'], 0.85) # Umbral de tasa de aceptación test_pred_df['pred_loan_status'] = test_pred_df['prob_default'].apply(lambda x: 1 if x > threshold_85 else 0) # Recuentos del estado del préstamo después del umbral print(test_pred_df['pred_loan_status'].value_counts())

0    10016
1     1768
Name: pred_loan_status, dtype: int64

Visualización de cuantiles de aceptación

# Histograma de las probabilidades previstas de incumplimiento plt.hist(clf_gbt_preds, color = 'blue', bins = 40) # Línea de referencia al gráfico para el umbral plt.axvline(x = threshold_85, color = 'red') plt.show()

Bajas calificaciones

test_pred_df

true_loan_statusint64

0 - 1

prob_defaultfloat32

0.00035378275788389146 - 0.9995570778846741

0.9823871851

0.9751634002

0.003473574528

0.005457147025

0.119876273

0.1467240006

0.01178901456

0.002285469789

0.940839529

0.9881092906

# Subconjunto de solo préstamos aceptados accepted_loans = test_pred_df[test_pred_df['pred_loan_status'] == 0] # Cálculo de la baja tasa print(np.sum(accepted_loans['true_loan_status']) / accepted_loans['true_loan_status'].count())

0.08256789137380191

Impacto en la tasa de aceptación

test_pred_df = test_pred_df.rename(columns={'pred_loan_status':'pred_loan_status_15'}, inplace=False) test_pred_df['loan_amnt'] = X_test['loan_amnt'].reset_index(drop = True) test_pred_df

true_loan_statusint64

0 - 1

prob_defaultfloat32

0.00035378275788389146 - 0.9995570778846741

0.9823871851

0.9751634002

0.003473574528

0.005457147025

0.119876273

0.1467240006

0.01178901456

0.002285469789

0.940839529

0.9881092906

# Estadísticas de la variable monto del préstamo print(test_pred_df['loan_amnt'].describe())

count    11784.000000
mean      9556.283944
std       6238.005674
min        500.000000
25%       5000.000000
50%       8000.000000
75%      12000.000000
max      35000.000000
Name: loan_amnt, dtype: float64

# Almacenar el monto promedio del préstamo avg_loan = np.mean(test_pred_df['loan_amnt']) # Formato de moneda y tabulación cruzada pd.options.display.float_format = '${:,.2f}'.format print(pd.crosstab(test_pred_df['true_loan_status'], test_pred_df['pred_loan_status_15']).apply(lambda x: x * avg_loan, axis = 0))

pred_loan_status_15              0              1
true_loan_status                                 
0                   $87,812,693.16     $86,006.56
1                    $7,903,046.82 $16,809,503.46

Tabla de la estrategia comercial

# Matriz de tazas de aceptación accept_rates = [1.0, 0.95, 0.9, 0.85, 0.8, 0.75, 0.7, 0.65, 0.6, 0.55, 0.5, 0.45, 0.4, 0.35, 0.3, 0.25, 0.2, 0.15, 0.1, 0.05]

# Matriz de umbrales thresholds = []

# Matriz de bajas tazas de aceptación bad_rates = []

test_pred_df = test_pred_df.rename(columns={'pred_loan_status_15':'pred_loan_status'}, inplace=False) test_pred_df

true_loan_statusint64

0 - 1

prob_defaultfloat32

0.00035378275788389146 - 0.9995570778846741

0.9823871851

0.9751634002

0.003473574528

0.005457147025

0.119876273

0.1467240006

0.01178901456

0.002285469789

0.940839529

0.9881092906

# Prestamos aceptados accepted_loans = accepted_loans[0:0]

# Número de prestamos aceptados num_accepted_loans = []

# Matrices de la tabla de estrategia con un bucle for for rate in accept_rates: # Umbral para la tasa de aceptación thresh = np.quantile(preds_df_gbt['prob_default'], rate).round(3) # Agregación del valor del umbral a la lista de umbrales thresholds.append(np.quantile(preds_df_gbt['prob_default'], rate).round(3)) # Reasignación del valor del estado del préstamo usando el umbral test_pred_df['pred_loan_status'] = \ test_pred_df['prob_default'].apply(lambda x: 1 if x > thresh else 0) # Conjunto de préstamos aceptados usando esta tasa de aceptación accepted_loans = test_pred_df[test_pred_df['pred_loan_status'] == 0] # Calculo y asignación de la tasa baja usando la tasa de aceptación bad_rates.append(np.sum((accepted_loans['true_loan_status']) / accepted_loans['true_loan_status'].count()).round(3)) # Numero de prestamos aceptados num_accepted_loans.append(len(test_pred_df[test_pred_df['prob_default']<np.quantile(test_pred_df['pro

.css-ytumd6{-webkit-text-decoration:none;text-decoration:none;}Exploración y preparación de datos de préstamo

Explorando los datos de crédito

Tabulaciones cruzadas y tablas dinámicas

Encontrar valores atípicos con tablas cruzadas

Visualización de valores atípicos de crédito

Reemplazo de datos de crédito faltantes

Eliminación de los datos faltantes

Regresión logística para probabilidad de incumplimiento o default

Modelo de regresión logística

Regresión logística multivariada

Creación de conjuntos de entrenamiento y prueba

Codificación dummie

Predicción de probabilidades de incumplimiento

Informe de clasificación de default

Selección de métricas del informe

Gráfico del modelo de puntaje crediticio

Umbrales y matrices de confusión

Performance según el umbral elegido

Selección del umbral

Gradient Boosted Trees usando XGBoost

Árboles para el incumplimiento de pago de la deuda

Desempeño de la cartera impulsado por el gradiente

Evaluación de árboles potenciados por gradiente

Importancia de seleccionar variables en la predicción de incumplimiento

Visualización de la importancia de la variable

Selección de variables y rendimiento del modelo

Validación cruzada

Límites de las pruebas de validación cruzada

Puntuación de validación cruzada

Submuestreo de datos de entrenamiento

Rendimiento del árbol submuestreado

Evaluación e Implementación del Modelo

Comparación de reportes de modelos

Comparación de ROCs

Curvas de calibración

Tasas de aceptación

Visualización de cuantiles de aceptación

Bajas calificaciones

Impacto en la tasa de aceptación

Tabla de la estrategia comercial

Exploración y preparación de datos de préstamo