Regresión Logística

Modelo de regresión que está más enfocado en la clasificación de datos cualitativos, entregándonos como resultado un 0 o 1 (sí o no)

Desarrollamos un modelo de clasificación mediante un algoritmo de aprendizaje automático llamado Regresión Logística. Este modelo permite, a partir de datos de pacientes previamente clasificados, clasificar a nuevos pacientes que presenten determinadas características o features similares a las de los pacientes que fueron revisados para preparar el dataset.

Cómo la clasificación se realiza en base a labels o etiquetas incluídas en el dataset, decimos que se trata de un algoritmo de aprendizaje automático supervisado.

import pandas as pd from sklearn import metrics from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline

diabetes = pd.read_csv('/work/diabetes.csv') diabetes.head(5)

diabetes.shape

X = diabetes.iloc[:, :-1].values y = diabetes.Outcome print(X) print(y)

Dividimos los datos

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.25, random_state = 0)

Llamamos a nuestro algoritmo

logreg = LogisticRegression() logreg.fit(X_train, y_train) y_pred = logreg.predict(X_test)

y_pred

y_pred.shape

1 tiene diabetes vs 0 no tiene diabetes

Finalmente evalúo la precisión de mi modelo

logreg.score(X_test, y_test)

La interpretación del resultado anterior sería que la clasificación de nuevos pacientes con este modelo se realizaría con una precisión del 79%. El resultado se obtiene de calcular [(Verdaderos Positivos + Verdaderos Negativos )/ Total de Datos de y_pred ]

Para entender mejor lo anterior revisamos el concepto de Matriz de Confusión.

La Matriz de Confusión es una representación gráfica que nos permite ver el grado de acierto de nuestro modelo. El gráfico tiene cuatro divisiones: Verdaderos Positivos (VP), Falsos Positivos (FP), Falsos Negativos (FN) y Verdaderos Negativos (VN). Siendo los datos verdaderos los que nos interesa maximizar (valores de la diagonal).

cnf_matrix = metrics.confusion_matrix(y_test,y_pred) cnf_matrix

Nuestra primer matriz de confusión no es muy sencilla de leer, por lo que generaremos otra un poco más amigable a los ojos y el entendimiento.

Seaborn nos permite crear un mapa de calor a partir de los valores entregados (la matriz de confusión en este caso), los parámetros que entregamos son: annot → permite colocar los valores sobre el gráfico, cmap → estilo del gráfico, fmt → formato de los valores - ax.xaxis,set_label_position() → nos permite definir donde colocar la etiqueta del eje x - plt.tight_layout() → crea un padding en torno al gráfico (lo enmarca)

import numpy as np class_names = [0,1] fig,ax = plt.subplots() #obtenemos las variables figura y ejes del gráfico (nos permite cambiar los atributos propios de cada seccion) tick_marks = np.arange(len(class_names)) #definimos los valores que van a tener las líneas de guía plt.xticks(tick_marks, class_names) plt.yticks(tick_marks, class_names) #definimos los tick marks en el gráfico # Vamos a mostrar la matriz de confusión utilizando la libreria seaborn sns.heatmap(pd.DataFrame(cnf_matrix), annot = True, cmap='Blues_r', fmt='g') ax.xaxis.set_label_position('top') plt.tight_layout() plt.title('Matriz de confusion', y=1.1) plt.ylabel('Etiqueta Actual') plt.xlabel('Etiqueta de Prediccion')

La lectura de la matriz de confusión comienza por interpretar los valores de la diagonal. Los valores de la diagonal representan aquellos datos que han sido correctamente clasificados por el modelo.

El cuadrante de arriba a la izquierda muestra los Verdaderos Positivos, es decir aquellos pacientes que fueron clasificados correctamente con diabetes por el modelo y efectivamente tenian diabetes. En total fueron 115 personas clasificadas de esta forma.

El cuadrante de abajo a la derecha muestra los Verdaderos Negativos, aquellos pacientes que fueron clasificados sin diabetes por el modelo y que efectivamente no tenian diabetes. en total fueron 37 personas clasificadas de esta forma.

Esto da un total de 152 personas cuyo clasificación fue precisa.

Por otra parte los valores fuera de la diagonal de la matriz contiene los datos mal clasificados por el modelo.

En el cuadrante abajo a la izquierda se encuentran los Falsos Positivos, aquellos pacientes que el modelo clasificó como enfermos con diabetes cuando en realidad NO tenian dicha enfermedad. Fueron 25 casos en total, en los cuales el modelo genero falsos positivos.

En el cuadrante de arriba a la derecha encontramos los Falsos Negativos en los cuales el modelo clasifico pacientes como si NO tubieran diabetes, cuando en realidad dichos pacientes SI se encontraban enfermos con diabetes. Fueron 15 datos con Falsos Negativos.

En total fueron 40 casos que el modelo clasifico erroneamente.

Otra forma de evaluar nuestro modelo es a través del método accuracy_score del módulo metrics:

print("Exactitud ", metrics.accuracy_score(y_test,y_pred))

Es otra manera similar a calcular lo mismo por logreg.score(X_test, y_test), cómo vimos más arriba.

Es decir que tenemos un 79,16% de probabilidad de que nuestro modelo, considerando nuevos datos, pueda saber si esa persona, según sus características, tenga diabétes o no.