Breast Cancer Wisconsin (Diagnostic)
Regresión Logística Binaria
El presente notebook tiene como objetivo analizar el data set del diagnóstico de cáncer de mama en Wisconsin. Tal data set cuenta con 30 features (características) que son de vital importancia para determinar si el cáncer tiene un diagnóstico de benigno o maligno, por ello, es un problema de clasificación binomial porque cuenta con solo dos clases objetivo: ¿es benigno o es maligno?
Sin embargo, existen diversos modelos en Machine Learning (ML) que pueden ser usados para aplicar una regresión logística binaria, en este trabajo me enfocaré el el modelo de LogisticRegression, el modelo Descenso de la Gradiente Estocástica (SGDClassifier) y el modelo DecisionTreeClassifier.
Antes de realizar tal análisis, procederé con la limpieza de la información y análisis exploratorio de datos para que el data set se encuentre en condiciones óptimas para introducirlo en los modelos y no generen resultados sesgados.
Certificado como Data Analyst y Data Scientist en Platzi.
Fuente de datos: Kaggle - Breast Cancer Wisconsin (Diagnostic) Data Set
Librerías a importar
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
Procesamiento de la información
Cargar los datos
data = pd.read_csv("data.csv")
data.head()
data.shape
print(data.columns)
print(f'La variable objetivo (target) es {data.columns[1]}.')
print(f'El target {data.columns[1]} posee dos clases: M (maligno) y B (benigno).')
Limpieza de los datos
El data set original cuenta con 32 columnas, pero al momento de indexar la información en Deepnote se añadió automáticamente una columna con el nombre "Unnamed: 32" con valores vacíos, por ello, debe eliminarse. Adicionalmente, eliminaré la columna "id" por no ser relevante para el análisis posterior.
data.drop("Unnamed: 32", axis = 1, inplace = True)
data.head()
data.shape
data.drop("id", axis = 1, inplace = True)
data.head()
data.shape
data.info()
Luego de revisar la información con respecto al tipo de dato que almacenan los features llegué a la conclusión que no hay ningún problema, dado que, toda la información de los features en numérica; no obstante, el target o variable objetivo es del tipo objeto por lo que deberá ser transformada, posteriormente, en una variable numérica que el modelo de regresión logística pueda analizar y ejecutar.
data.describe()
Manejo de los datos nulos
data.isnull().sum()
Tras evaluar los datos nulos en el data set, concluyo que no habrá ningún problema con respecto a tal tópico.
Conversión del tipo de información de la variable objetivo (target)
data["diagnosis"].replace(to_replace = "M", value = 1, inplace = True)
data["diagnosis"].replace(to_replace = "B", value = 0, inplace = True)
data.head()
Análisis de valores duplicados
data[data.duplicated()]
Luego de determinar que no existen valores duplicados en el data set, procederé con la ejecución de los siguientes pasos del procesamiento de datos.
Análisis del desbalanceo de los datos del target
data_imb = pd.DataFrame(data["diagnosis"].value_counts())
data_imb.reset_index(inplace = True)
data_imb
percentage = []
for i in data_imb["diagnosis"].values:
a = i/data_imb["diagnosis"].sum()
percentage.append(a)
percentage = pd.DataFrame(percentage).reset_index()
percentage = percentage.rename(columns = {0:"Percentage"})
data_imb = pd.merge(data_imb, percentage, on = "index")
data_imb = pd.DataFrame(data_imb)
data_imb
fig, axs = plt.subplots(1,2,figsize=(10,4))
x = [str(data_imb["index"][0]), str(data_imb["index"][1])]
y = data_imb["diagnosis"]
y_prop = round(data_imb["Percentage"],4)*100
axs[0].bar(x, y, color = ["orange", "green"], alpha = 0.9)
axs[0].set_title("Conteo en función del target\n 0:'benigno' y 1:'maligno'")
axs[1].bar(x, y_prop, color = ["orange", "green"], alpha = 0.9)
axs[1].set_title("Proporción en función del target\n 0:'benigno' y 1:'maligno'")
for i in list(range(0,2)):
for j in ['bottom', 'left']:
axs[i].spines[j].set_color('black')
axs[i].spines[j].set_linewidth(1.5)
right_side = axs[i].spines["right"]
right_side.set_visible(False)
top_side = axs[i].spines["top"]
top_side.set_visible(False)
axs[i].set_axisbelow(True)
axs[i].grid(color='gray', linewidth=1, axis='y', alpha=0.4)
plt.show()
Tanto gráfica como estadísticamente, he demostrado que existe un desbalance en los casos que señalan un cáncer benigno frente a los que señalan un caso maligno. Por lo tanto, debo balancear los casos para evitar un entrenamiento sesgado.
processed_data = data.copy()
processed_data.head()
Balanceo de los datos
from imblearn.under_sampling import RandomUnderSampler
undersample = RandomUnderSampler(random_state = 7)
X = processed_data.drop("diagnosis", axis = 1)
y = processed_data["diagnosis"]
from imblearn import under_sampling
X_over, y_over = undersample.fit_resample(X, y)
print(X_over.shape)
print(y_over.shape)
y_over = pd.DataFrame(y_over.value_counts())
y_over = y_over.reset_index()
y_over
fig, ax = plt.subplots(figsize=(10,4))
x = [str(y_over["index"][0]), str(y_over["index"][1])]
y = y_over["diagnosis"]
ax.bar(x, y, color = ["orange", "green"], alpha = 0.9)
plt.title("Conteo en función del target balanceado\n 0:'benigno' y 1:'maligno'")
for i in ['bottom', 'left']:
ax.spines[i].set_color('black')
ax.spines[i].set_linewidth(1.5)
right_side = ax.spines["right"]
right_side.set_visible(False)
top_side = ax.spines["top"]
top_side.set_visible(False)
ax.set_axisbelow(True)
ax.grid(color='gray', linewidth=1, axis='y', alpha=0.4)
plt.show()
Análisis Exploratorio de Datos
fig, axs = plt.subplots(3, 5, figsize = (18,15))
plt.suptitle("Análisis de valores atípicos - Parte I", size = 18)
sns.boxplot(y=data["radius_mean"], orient = "v", ax = axs[0,0], color = "blueviolet")
sns.boxplot(y=data["texture_mean"], orient = "v", ax = axs[0,1], color = "green")
sns.boxplot(y=data["perimeter_mean"], orient = "v", ax = axs[0,2], color = "red")
sns.boxplot(y=data["area_mean"], orient = "v", ax = axs[0,3], color = "brown")
sns.boxplot(y=data["smoothness_mean"], orient = "v", ax = axs[0,4], color = "black")
sns.boxplot(y=data["compactness_mean"], orient = "v", ax = axs[1,0], color = "purple")
sns.boxplot(y=data["concavity_mean"], orient = "v", ax = axs[1,1], color = "pink")
sns.boxplot(y=data["concave points_mean"], orient = "v", ax = axs[1,2], color = "yellow")
sns.boxplot(y=data["symmetry_mean"], orient = "v", ax = axs[1,3], color = "gray")
sns.boxplot(y=data["fractal_dimension_mean"], orient = "v", ax = axs[1,4], color = "lightcoral")
fig.subplots_adjust(wspace=0.5)
plt.show()
fig, axs = plt.subplots(3, 5, figsize = (18,15))
plt.suptitle("Análisis de valores atípicos - Parte II", size = 18)
sns.boxplot(y=data["compactness_se"], orient = "v", ax = axs[0,0], color = "blueviolet")
sns.boxplot(y=data["concavity_se"], orient = "v", ax = axs[0,1], color = "green")
sns.boxplot(y=data["concave points_se"], orient = "v", ax = axs[0,2], color = "red")
sns.boxplot(y=data["symmetry_se"], orient = "v", ax = axs[0,3], color = "brown")
sns.boxplot(y=data["fractal_dimension_se"], orient = "v", ax = axs[0,4], color = "black")
sns.boxplot(y=data["radius_worst"], orient = "v", ax = axs[1,0], color = "purple")
sns.boxplot(y=data["texture_worst"], orient = "v", ax = axs[1,1], color = "pink")
sns.boxplot(y=data["perimeter_worst"], orient = "v", ax = axs[1,2], color = "yellow")
sns.boxplot(y=data["area_worst"], orient = "v", ax = axs[1,3], color = "gray")
sns.boxplot(y=data["smoothness_worst"], orient = "v", ax = axs[1,4], color = "lightcoral")
sns.boxplot(y=data["compactness_worst"], orient = "v", ax = axs[2,0], color = "skyblue")
sns.boxplot(y=data["concavity_worst"], orient = "v", ax = axs[2,1], color = "lightgreen")
sns.boxplot(y=data["concave points_worst"], orient = "v", ax = axs[2,2], color = "tomato")
sns.boxplot(y=data["symmetry_worst"], orient = "v", ax = axs[2,3], color = "blue")
sns.boxplot(y=data["fractal_dimension_worst"], orient = "v", ax = axs[2,4], color = "plum")
fig.subplots_adjust(wspace=0.5)
plt.show()
Mediante la evaluación de posibles presencias de outliers, concluyo que aproximadamente el 95% de los features presentan valores atípicos (outliers) en su información. Entonces, aplicando como supuesto que no es un error de introducción de información en la base de datos, opté por no eliminar tales datos, ya que, sería un error, dado que, estaría eliminado información valiosa y como dicen "la riqueza de la información depende de su variabilidad".
Análisis de correlación
fig, ax = plt.subplots(figsize=(10,5))
processed_data.corr()["diagnosis"].sort_values(ascending = True).plot(kind = "bar",
cmap = "rainbow", alpha = 0.7)
plt.title("Análisis de correlación")
for i in ['bottom', 'left']:
ax.spines[i].set_color('black')
ax.spines[i].set_linewidth(1.5)
right_side = ax.spines["right"]
right_side.set_visible(False)
top_side = ax.spines["top"]
top_side.set_visible(False)
ax.set_axisbelow(True)
ax.grid(color='gray', linewidth=1, axis='y', alpha=0.4)
plt.show()
En este caso, eliminaré 3 columnas porque presentan un coeficiente de correlación alrededor de 0, lo que significa que tales features no se encuentran relacionadas con el target. Las tres columnas son: fractal_dimension_mean, texture_se y symmetry_se.
remove_columns = ["fractal_dimension_mean", "texture_se", "symmetry_se"]
data.drop(remove_columns, axis = 1, inplace = True)
data.shape
print("Estimación de la densidad del núcleo conjunto entre las variables más correlacionadas con el target.")
sns.jointplot(
data= data,
x="concave points_worst",
y="perimeter_worst",
hue="diagnosis",
kind="kde"
)
plt.show()
Escalamiento de los datos
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
processed_scaled_data = scaler.fit_transform(processed_data)
processed_scaled_data = pd.DataFrame(processed_scaled_data)
processed_scaled_data.columns = processed_data.columns
processed_scaled_data.head()
Entrenamiento del modelo de regresión binomial
Modelo LogisticRegression()
X = processed_scaled_data.drop("diagnosis", axis = 1)
y = processed_scaled_data["diagnosis"].values
# Optaré por partir la información en 80% destinado a entrenamiento y 20% para test.
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.20, random_state = 7,
shuffle = True)
print(X_train.shape)
print(X_test.shape)
from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
result = model.fit(X_train, y_train)
from sklearn.metrics import accuracy_score
from sklearn.metrics import recall_score
from sklearn.metrics import precision_score
prediction_test = model.predict(X_test)
print(f'Recall Score : {recall_score(y_test, prediction_test)}')
print(f'Accuracy Socre : {accuracy_score(y_test, prediction_test)}')
print(f'Precision Score : {precision_score(y_test, prediction_test)}')
from sklearn.metrics import classification_report
print(classification_report(y_test, prediction_test, target_names = ["benign", "malignant"]))
# ¿Cuáles son las variables más importantes para este modelo?
fig, ax = plt.subplots()
weights_lg = pd.Series(model.coef_[0],
index=X.columns.values)
weights_lg.sort_values(ascending=False)[:10].plot(kind="barh", color = "orange", alpha = 0.8)
plt.title("Las variables que tienen mayor relevancia para el modelo\nLogisticRegression")
plt.xlabel("Coeficientes")
plt.ylabel("Variables")
for i in ['bottom', 'left']:
ax.spines[i].set_color('black')
ax.spines[i].set_linewidth(1.5)
right_side = ax.spines["right"]
right_side.set_visible(False)
top_side = ax.spines["top"]
top_side.set_visible(False)
ax.set_axisbelow(True)
ax.grid(color='gray', linewidth=1, axis='y', alpha=0.4)
plt.show()
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
fig = plt.figure(figsize=(6,4))
cm = confusion_matrix(y_test, prediction_test, labels=model.classes_)
disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=model.classes_)
disp.plot(cmap="viridis")
plt.title("Matriz de Confusión del modelo\nLogisticRegression")
fig.show()
Modelo Descenso de la Gradiente Estocástica (SGDClassifier)
from sklearn.linear_model import SGDClassifier
clf = SGDClassifier(loss = "log_loss", penalty = "l2", max_iter = 40, early_stopping = True)
clf.fit(X_train, y_train)
from sklearn.metrics import accuracy_score
from sklearn.metrics import recall_score
from sklearn.metrics import precision_score
prediction_test_sgdc = clf.predict(X_test)
print(f'Recall Score : {recall_score(y_test, prediction_test_sgdc)}')
print(f'Accuracy Socre : {accuracy_score(y_test, prediction_test_sgdc)}')
print(f'Precision Score : {precision_score(y_test, prediction_test_sgdc)}')
from sklearn.metrics import classification_report
print(classification_report(y_test, prediction_test_sgdc, target_names = ["benign", "malignant"]))
# ¿Cuáles son las variables más importantes para este modelo?
fig, ax = plt.subplots()
weights_clf = pd.Series(clf.coef_[0],
index=X.columns.values)
weights_clf.sort_values(ascending=False)[:10].plot(kind="barh", color = "green", alpha = 0.8)
plt.title("Las variables que tienen mayor relevancia para el modelo\nSGDClassifier")
plt.xlabel("Coeficientes")
plt.ylabel("Variables")
for i in ['bottom', 'left']:
ax.spines[i].set_color('black')
ax.spines[i].set_linewidth(1.5)
right_side = ax.spines["right"]
right_side.set_visible(False)
top_side = ax.spines["top"]
top_side.set_visible(False)
ax.set_axisbelow(True)
ax.grid(color='gray', linewidth=1, axis='y', alpha=0.4)
plt.show()
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
fig = plt.figure(figsize=(6,4))
cm = confusion_matrix(y_test, prediction_test_sgdc, labels=clf.classes_)
disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=clf.classes_)
disp.plot(cmap="plasma")
plt.title("Matriz de Confusión del modelo\nSGDClassifier")
fig.show()
Modelo DecisionTreeClassifier()
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
train_scores, test_scores = list(), list()
max_depths = [i for i in range(1,40)]
for i in max_depths:
dtc = DecisionTreeClassifier(max_depth=i)
dtc = dtc.fit(X_train, y_train)
train_yhat = dtc.predict(X_train)
train_acc = accuracy_score(y_train, train_yhat)
train_scores.append(train_acc)
test_yhat = dtc.predict(X_test)
test_acc = accuracy_score(y_test, test_yhat)
test_scores.append(test_acc)
print('Max. depth: %.3f, train: %.3f, test: %.3f' % (i, train_acc, test_acc))
plt.plot(max_depths, train_scores, '-o', label='Train')
plt.plot(max_depths, test_scores, '-o', label='Test')
plt.legend()
plt.show()
dtc = DecisionTreeClassifier(max_depth = 40)
dtc.fit(X_train, y_train)
from sklearn.metrics import accuracy_score
from sklearn.metrics import recall_score
from sklearn.metrics import precision_score
prediction_test_dtc = dtc.predict(X_test)
print(f'Recall Score : {recall_score(y_test, prediction_test_dtc)}')
print(f'Accuracy Socre : {accuracy_score(y_test, prediction_test_dtc)}')
print(f'Precision Score : {precision_score(y_test, prediction_test_dtc)}')
from sklearn.metrics import classification_report
print(classification_report(y_test, prediction_test_dtc, target_names = ["benign", "malignant"]))
from sklearn import tree
import graphviz
dot_data = tree.export_graphviz(dtc, out_file=None,
feature_names=X.columns,
class_names=str([0,1]),
filled=True, rounded=True,
special_characters=True)
graph = graphviz.Source(dot_data)
graph