Karol Becerra - Valentina Muñoz - Valentina Vásquez

import pandas as pd import numpy as np from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from sklearn.impute import SimpleImputer, KNNImputer from sklearn.preprocessing import OneHotEncoder, OrdinalEncoder, MinMaxScaler, MaxAbsScaler, LabelEncoder, StandardScaler, scale from sklearn.metrics import classification_report, plot_confusion_matrix from sklearn.pipeline import Pipeline from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.svm import SVC from sklearn.model_selection import train_test_split from sklearn.cluster import KMeans from sklearn.metrics import classification_report from sklearn.model_selection import GridSearchCV from sklearn import metrics from sklearn.metrics import confusion_matrix from sklearn import datasets

datos = pd.DataFrame(datasets.fetch_california_housing(as_frame=True)['data']) #solo hay variables independientes. datos.head(5)

MedIncfloat64

HouseAgefloat64

8.3252

41.0

8.3014

21.0

7.2574

52.0

5.6431

52.0

3.8462

52.0

datos.shape[1]

#dividimos el conjunto en grupos k= range(1,8) # da como resultado inercia= [] for i in k: model= KMeans(n_clusters= i).fit(datos) inercia.append(model.inertia_) pd.Series(inercia).plot()

#Se importa la base de datos source = 'https://raw.githubusercontent.com/nparis87/MachineLearning/main/Complete.csv' data = pd.read_csv(source, sep=';') data.head()

IDint64

Genderobject

462809

Male

462643

Female

466315

Female

461735

Male

462669

Female

Tratamiento de datos

Se reemplazan los datos nan por 0 y se eliminan las columnas ID y Set dado que no se consideran significativas para el modelo.

Se obtienen las dummies de las columnas correspondiente.

No se realiza la estandarización de los datos dado que las variables son continuas.

data=data.fillna(0) data = data.drop(['ID','Set'], axis=1) data

Genderobject

Male54.6%

Female45.4%

Ever_Marriedobject

Yes57.6%

No40.6%

01.8%

Male

Female

Yes

Female

Yes

Male

Yes

Female

Yes

Male

Yes

Male

Female

Yes

Female

Yes

X = data.drop('Spending_Score', axis=1) y = data.loc[:, 'Spending_Score'] x_train, x_test, y_train, y_test = train_test_split(X,y, random_state = 2, test_size = 0.2) X= pd.get_dummies(X, columns=['Gender','Ever_Married','Graduated','Profession','Work_Experience'])

Creación de función para GridSearch

#Construcción de la función para evaluar GridSearch en los modelos def fun_GridSearch(model, param_grid, x_train, y_train): x_train, x_test, y_train, y_test = train_test_split(X,y, random_state = 2, test_size = 0.2) # Se define el GridSearch de manera que se puedan enlazar el modelo y los parámetros respectivos grid_search = GridSearchCV(estimator=model, param_grid=param_grid, scoring=['recall', 'f1_macro'], cv=2, refit='f1_macro',verbose=4) #Se ajusta el modelo grid_search.fit(x_train, y_train) #Se hallan las predicciones ypred = grid_search.predict(x_test) #Se realiza el cálculo de las métricas accuracy = metrics.accuracy_score(y_test, ypred) print("Precisión:", accuracy) f1_score = metrics.f1_score(y_test, ypred, average='macro') print("Puntaje F1:", f1_score) cm = confusion_matrix(y_test, ypred) print(cm) # Se imprimen los mejores resultados print("Mejor estimador:") print(grid_search.best_estimator_) print("Mejores parámetros:") print(grid_search.best_params_) print("Mejor puntuación:") print(grid_search.best_score_) #Creación de DataFrame con los resultados df = pd.DataFrame(grid_search.cv_results_) df = df.sort_values('rank_test_f1_macro') #Crear un archivo csv para descarga df.to_csv('resultadosGridSearch.csv')

X = data.drop('Spending_Score', axis=1) y = data.loc[:, 'Spending_Score'] X= pd.get_dummies(X, columns=['Gender','Ever_Married','Graduated','Profession','Work_Experience'])

A continuación se definen los respectivos modelos y sus parámetros

Random Forest

from sklearn.metrics import recall_score, f1_score, make_scorer

forest = RandomForestClassifier() hiperparametros = {"n_estimators":[50, 100, 200], 'criterion':['gini', 'entropy', 'log_loss'], 'max_depth':[3, 5, 7]}

import warnings warnings.filterwarnings("ignore") fun_GridSearch(forest, hiperparametros,x_train, y_train)

Fitting 2 folds for each of 27 candidates, totalling 54 fits
[CV 1/2] END criterion=gini, max_depth=3, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 2/2] END criterion=gini, max_depth=3, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 1/2] END criterion=gini, max_depth=3, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 2/2] END criterion=gini, max_depth=3, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 1/2] END criterion=gini, max_depth=3, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.5s
[CV 2/2] END criterion=gini, max_depth=3, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.5s
[CV 1/2] END criterion=gini, max_depth=5, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 2/2] END criterion=gini, max_depth=5, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 1/2] END criterion=gini, max_depth=5, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 2/2] END criterion=gini, max_depth=5, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 1/2] END criterion=gini, max_depth=5, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.6s
[CV 2/2] END criterion=gini, max_depth=5, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.6s
[CV 1/2] END criterion=gini, max_depth=7, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 2/2] END criterion=gini, max_depth=7, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 1/2] END criterion=gini, max_depth=7, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 2/2] END criterion=gini, max_depth=7, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 1/2] END criterion=gini, max_depth=7, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.6s
[CV 2/2] END criterion=gini, max_depth=7, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.6s
[CV 1/2] END criterion=entropy, max_depth=3, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.1s
[CV 2/2] END criterion=entropy, max_depth=3, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 1/2] END criterion=entropy, max_depth=3, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 2/2] END criterion=entropy, max_depth=3, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 1/2] END criterion=entropy, max_depth=3, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.5s
[CV 2/2] END criterion=entropy, max_depth=3, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.5s
[CV 1/2] END criterion=entropy, max_depth=5, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 2/2] END criterion=entropy, max_depth=5, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 1/2] END criterion=entropy, max_depth=5, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 2/2] END criterion=entropy, max_depth=5, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 1/2] END criterion=entropy, max_depth=5, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.6s
[CV 2/2] END criterion=entropy, max_depth=5, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.6s
[CV 1/2] END criterion=entropy, max_depth=7, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 2/2] END criterion=entropy, max_depth=7, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 1/2] END criterion=entropy, max_depth=7, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.4s
[CV 2/2] END criterion=entropy, max_depth=7, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.4s
[CV 1/2] END criterion=entropy, max_depth=7, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.7s
[CV 2/2] END criterion=entropy, max_depth=7, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.6s
[CV 1/2] END criterion=log_loss, max_depth=3, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.1s
[CV 2/2] END criterion=log_loss, max_depth=3, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.1s
[CV 1/2] END criterion=log_loss, max_depth=3, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.4s
[CV 2/2] END criterion=log_loss, max_depth=3, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.4s
[CV 1/2] END criterion=log_loss, max_depth=3, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.6s
[CV 2/2] END criterion=log_loss, max_depth=3, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.5s
[CV 1/2] END criterion=log_loss, max_depth=5, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 2/2] END criterion=log_loss, max_depth=5, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 1/2] END criterion=log_loss, max_depth=5, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 2/2] END criterion=log_loss, max_depth=5, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 1/2] END criterion=log_loss, max_depth=5, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.6s
[CV 2/2] END criterion=log_loss, max_depth=5, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.6s
[CV 1/2] END criterion=log_loss, max_depth=7, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 2/2] END criterion=log_loss, max_depth=7, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.2s
[CV 1/2] END criterion=log_loss, max_depth=7, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 2/2] END criterion=log_loss, max_depth=7, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.3s
[CV 1/2] END criterion=log_loss, max_depth=7, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.7s
[CV 2/2] END criterion=log_loss, max_depth=7, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   0.7s
Precisión: 0.780271154745208
Puntaje F1: 0.6739935090327006
[[ 413   12  102]
 [  64   90  135]
 [ 147   10 1166]]
Mejor estimador:
RandomForestClassifier(max_depth=3, n_estimators=50)
Mejores parámetros:
{'criterion': 'gini', 'max_depth': 3, 'n_estimators': 50}
Mejor puntuación:
nan

ADABoost

#ADA_BOOST from sklearn.ensemble import AdaBoostClassifier ada_boost = AdaBoostClassifier() ada_boost_params = {'n_estimators': [50, 100, 200], 'learning_rate': [0.1, 0.25, 0.5, 1]} fun_GridSearch(ada_boost, ada_boost_params,x_train, y_train)

Fitting 2 folds for each of 12 candidates, totalling 24 fits
[CV 1/2] END learning_rate=0.1, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.4s
[CV 2/2] END learning_rate=0.1, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.5s
[CV 1/2] END learning_rate=0.1, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.9s
[CV 2/2] END learning_rate=0.1, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.9s
[CV 1/2] END learning_rate=0.1, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   1.8s
[CV 2/2] END learning_rate=0.1, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   1.9s
[CV 1/2] END learning_rate=0.25, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.4s
[CV 2/2] END learning_rate=0.25, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.5s
[CV 1/2] END learning_rate=0.25, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.9s
[CV 2/2] END learning_rate=0.25, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.9s
[CV 1/2] END learning_rate=0.25, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   1.8s
[CV 2/2] END learning_rate=0.25, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   1.8s
[CV 1/2] END learning_rate=0.5, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.4s
[CV 2/2] END learning_rate=0.5, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.4s
[CV 1/2] END learning_rate=0.5, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.9s
[CV 2/2] END learning_rate=0.5, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.9s
[CV 1/2] END learning_rate=0.5, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   1.7s
[CV 2/2] END learning_rate=0.5, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   1.7s
[CV 1/2] END learning_rate=1, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.4s
[CV 2/2] END learning_rate=1, n_estimators=50; f1_macro: (test=nan) recall: (test=nan) total time=   0.5s
[CV 1/2] END learning_rate=1, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   0.9s
[CV 2/2] END learning_rate=1, n_estimators=100; f1_macro: (test=nan) recall: (test=nan) total time=   1.1s
[CV 1/2] END learning_rate=1, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   1.8s
[CV 2/2] END learning_rate=1, n_estimators=200; f1_macro: (test=nan) recall: (test=nan) total time=   2.0s
Precisión: 0.8279569892473119
Puntaje F1: 0.7868936521467815
[[ 496   21   10]
 [  89  190   10]
 [ 206   32 1085]]
Mejor estimador:
AdaBoostClassifier(learning_rate=0.1)
Mejores parámetros:
{'learning_rate': 0.1, 'n_estimators': 50}
Mejor puntuación:
nan

Support Vector Classifier (SVC)

from sklearn.svm import SVC SVC = SVC() hiper_SVC = {'kernel':["linear","poly","rbf"], 'C':[0.025,0.003,0.0035]} fun_GridSearch(SVC, hiper_SVC,x_train, y_train)

Fitting 2 folds for each of 9 candidates, totalling 18 fits
[CV 1/2] END C=0.025, kernel=linear; f1_macro: (test=nan) recall: (test=nan) total time=   1.1s
[CV 2/2] END C=0.025, kernel=linear; f1_macro: (test=nan) recall: (test=nan) total time=   1.2s
[CV 1/2] END C=0.025, kernel=poly; f1_macro: (test=nan) recall: (test=nan) total time=   1.6s
[CV 2/2] END C=0.025, kernel=poly; f1_macro: (test=nan) recall: (test=nan) total time=   1.5s
[CV 1/2] END C=0.025, kernel=rbf; f1_macro: (test=nan) recall: (test=nan) total time=   2.3s
[CV 2/2] END C=0.025, kernel=rbf; f1_macro: (test=nan) recall: (test=nan) total time=   2.3s
[CV 1/2] END C=0.003, kernel=linear; f1_macro: (test=nan) recall: (test=nan) total time=   1.2s
[CV 2/2] END C=0.003, kernel=linear; f1_macro: (test=nan) recall: (test=nan) total time=   1.2s
[CV 1/2] END C=0.003, kernel=poly; f1_macro: (test=nan) recall: (test=nan) total time=   1.5s
[CV 2/2] END C=0.003, kernel=poly; f1_macro: (test=nan) recall: (test=nan) total time=   1.4s
[CV 1/2] END C=0.003, kernel=rbf; f1_macro: (test=nan) recall: (test=nan) total time=   2.3s
[CV 2/2] END C=0.003, kernel=rbf; f1_macro: (test=nan) recall: (test=nan) total time=   2.3s
[CV 1/2] END C=0.0035, kernel=linear; f1_macro: (test=nan) recall: (test=nan) total time=   1.2s
[CV 2/2] END C=0.0035, kernel=linear; f1_macro: (test=nan) recall: (test=nan) total time=   1.3s
[CV 1/2] END C=0.0035, kernel=poly; f1_macro: (test=nan) recall: (test=nan) total time=   1.4s
[CV 2/2] END C=0.0035, kernel=poly; f1_macro: (test=nan) recall: (test=nan) total time=   1.4s
[CV 1/2] END C=0.0035, kernel=rbf; f1_macro: (test=nan) recall: (test=nan) total time=   2.3s
[CV 2/2] END C=0.0035, kernel=rbf; f1_macro: (test=nan) recall: (test=nan) total time=   2.4s
Precisión: 0.771856007480131
Puntaje F1: 0.7282854565197003
[[ 434   20   73]
 [  70  183   36]
 [ 220   69 1034]]
Mejor estimador:
SVC(C=0.025, kernel='linear')
Mejores parámetros:
{'C': 0.025, 'kernel': 'linear'}
Mejor puntuación:
nan

Análisis de la implementación de Grid Search para cada uno de los modelos

Modelo Random Forest: De acuerdo con el Grid Search, los mejores hiperparámetros para el modelo son: 50 estimadores, profundidad de 3 y criterio de 'gini'. A continuación, se realiza el análisis de las respectivas métricas:

Precisión: la precisión promedio del modelo GridSearch utilizando los mejores parámetros encontrados durante la búsqueda de hiperparámetros en cada iteración es de 0.7447405329593267.

Puntaje F1: el análisis del F1-score es importante para determinar qué tan bien un modelo puede identificar correctamente las clases positivas y negativas. Por lo anterior, este modelo al tener un resultado de 62.54% es un indicador de que el modelo está bien clasificado.

Matriz de confusión:

308 predicciones fueron correctamente clasificadas como Low Spending Score. Es el True positive de la variable Low. 83 predicciones fueron correctamente clasificadas como Average Spending Score. Es el True positive de la variable Average. 1202 predicciones fueron correctamente clasificadas como High Spending Score. Es el True positive de la variable High. 46 predicción se clasificó erróneamente como Low, cuando en realidad era Average. 112 predicciones se clasificaron erróneamente como Low, cuando en realidad eran High. 9 predicciones se clasificaron erróneamente como Average, cuando en realidad eran Low. 9 predicciones se clasificaron erróneamente como Average, cuando en realidad eran High. 210 predicciones se clasificaron erróneamente como High, cuando en realidad eran Low. 160 predicciones se clasificaron erróneamente como High, cuando en realidad eran Average.

Modelo AdaBoost: De acuerdo con el Grid Search, una tasa de aprendizaje de 0.5 y un número de 50 estimadores son los mejores hiperparámetros para el modelo. A continuación, se realiza el análisis de las respectivas métricas

Precisión: la precisión promedio del modelo GridSearch utilizando los mejores parámetros encontrados durante la búsqueda de hiperparámetros en cada iteración es de 0.8279569892473119

Puntaje F1: el análisis del F1-score es importante para determinar qué tan bien un modelo puede identificar correctamente las clases positivas y negativas. Por lo anterior, este modelo al tener un resultado de 78.68% es un indicador de que el modelo está bien clasificado, incluso mejor que el modelo RandomForest.

Matriz de confusión:

496 predicciones fueron correctamente clasificadas como Low Spending Score. Es el True positive de la variable Low. 190 predicciones fueron correctamente clasificadas como Average Spending Score. Es el True positive de la variable Average. 1085 predicciones fueron correctamente clasificadas como High Spending Score. Es el True positive de la variable High. 89 predicciones se clasificaron erróneamente como Low, cuando en realidad era Average. 206 predicciones se clasificaron erróneamente como Low, cuando en realidad eran High. 21 predicciones se clasificaron erróneamente como Average, cuando en realidad eran Low. 32 predicciones se clasificaron erróneamente como Average, cuando en realidad eran High. 10 predicciones se clasificaron erróneamente como High, cuando en realidad eran Low. 10 predicciones se clasificaron erróneamente como High, cuando en realidad eran Average.

Modelo SVC: De acuerdo con el Grid Search, un kernel lineal y un parámetro c de 0.025, son los mejores hiperparámetros para el modelo. A continuación, se realiza el análisis de las respectivas métricas

Precisión: la precisión promedio del modelo GridSearch utilizando los mejores parámetros encontrados durante la búsqueda de hiperparámetros en cada iteración es de 0.771856007480131

Puntaje F1: el análisis del F1-score es importante para determinar qué tan bien un modelo puede identificar correctamente las clases positivas y negativas. Por lo anterior, este modelo al tener un resultado de 72.82% es un indicador de que el modelo está bien clasificado.

Matriz de confusión:

434 predicciones fueron correctamente clasificadas como Low Spending Score. Es el True positive de la variable Low. 183 predicciones fueron correctamente clasificadas como Average Spending Score. Es el True positive de la variable Average. 1034 predicciones fueron correctamente clasificadas como High Spending Score. Es el True positive de la variable High. 70 predicción se clasificó erróneamente como Low, cuando en realidad era Average. 220 predicciones se clasificaron erróneamente como Low, cuando en realidad eran High. 20 predicciones se clasificaron erróneamente como Average, cuando en realidad eran Low. 69 predicciones se clasificaron erróneamente como Average, cuando en realidad eran High. 73 predicciones se clasificaron erróneamente como High, cuando en realidad eran Low. 36 predicciones se clasificaron erróneamente como High, cuando en realidad eran Average.

import statsmodels.api as sm from sklearn.linear_model import Lasso, Ridge from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, median_absolute_error, r2_score from matplotlib.pyplot import figure # Normalizar from sklearn.preprocessing import MinMaxScaler from sklearn import preprocessing import pandas as pd import numpy as np import sys from sklearn.preprocessing import LabelEncoder # Data Modeling Libraries from sklearn.linear_model import LinearRegression, Ridge, Lasso from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, median_absolute_error, r2_score # Data visualization libraries import matplotlib.pyplot as plt import seaborn as sns import re import math from datetime import datetime

from sklearn import datasets data = datasets.fetch_california_housing(as_frame=True, return_X_y=True) Y = data[1] X = data[0]

X_train, X_test, Y_train, Y_test = train_test_split(X,Y, random_state = 20, test_size=0.3) print(X_train.shape)

(14448, 8)

Realizamos los diferentes modelos

Regresión lineal:

#Regresión lineal regr = LinearRegression() #incializo el modelo, creo un objeto de regresión lineal. regr.fit(X_train, Y_train) Y_regr_rl = regr.predict(X_test) #cálculo de métricas del modelo MSE_rl= mean_squared_error(Y_test, Y_regr_rl) MAE_rl= median_absolute_error(Y_test, Y_regr_rl) R2_rl= r2_score(Y_test, Y_regr_rl)

#Coeficientes de la regresión lineal coefrL=regr.coef_

Regresión de Ridge y su coeficiente:

#regresión Ridge RidgeModel = Ridge(alpha = 0.05) RidgeModel.fit(X_train, Y_train) y_pred_R = RidgeModel.predict(X_test) #cálculo de métricas del modelo MSE_R=mean_squared_error(Y_test, y_pred_R) MAE_R=median_absolute_error(Y_test, y_pred_R) R2_R=r2_score(Y_test, y_pred_R)

#Coeficientes de la regresión Ridge coefrR = RidgeModel.coef_

Finalmente, la regresión Lasso con su respectivo coeficiente:

#Regresión lasso LassoModel = Lasso(alpha = 0.5) LassoModel.fit(X_train, Y_train) Y_pred_lasso= LassoModel.predict(X_test) #cálculo de métricas del modelo MSE_L= mean_squared_error(Y_test, Y_pred_lasso) MAE_L= median_absolute_error(Y_test, Y_pred_lasso) R2_L= r2_score(Y_test, Y_pred_lasso)

#Coeficientes de la regresión Lasso coefrS = LassoModel.coef_

#Se realiza una tabla comparativa con los valores de las métricas de cada modelo ## Lo anterior permite evaluar en conjunto las métricas apra determinar cuál modelo tiene un mejor ajuste comparativo = pd.DataFrame( index=["Reg_Lin", "Ridge", "Lasso"], columns=['alpha', 'mse', 'mae', 'r2']) comparativo.loc['Reg_Lin']=['', MSE_rl, MAE_rl, R2_rl] comparativo.loc['Ridge']=['0.5', MSE_R, MAE_R, R2_R] comparativo.loc['Lasso']=['0.5', MSE_L, MAE_L, R2_L] comparativo

alphaobject

mseobject

Reg_Lin

0.5245761338156757

Ridge

0.5

0.5245764116782261

Lasso

0.5

0.745400750013645

El modelo de regresión lineal logra predecir el 61,49% de los precios (R2), y los precios generados por el modelo estarían errados en 4.17 unidades monetarias (error absoluto). Adicionalmente, en el modelo Ridge con alfa de 0.5, que logra predecir el 61,49% de los precios (R2), y los precios generados por el modelo estarían errados en 4.17 unidades monetarias (error absoluto). Finalmente, al analizar el modelo Lasso con alfa de 0.5, que logra predecir el 45,28% de los precios (R2), y los precios generados por el modelo estarían errados en 5.66 unidades monetarias (error absoluto). Según lo anterior, los modelos que más se destacan son el modelo de regresión lineal y ridge; sin embargo, por los decimales se determinó que el mejor modelo para la predicción de la variable valor medio de la vivienda es el modelo de regresión lineal.

#RESUMEN DE COEFICIENTES coeficientes= pd.DataFrame({'OLS': coefrL, 'Ridge': coefrR, 'Lasso':coefrS}, columns=['OLS', 'Ridge', 'Lasso']) coeficientes

OLSfloat64

Ridgefloat64

0.43354320675942803

0.4335363138410242

0.009421014522478777

0.009421134438938982

-0.11251160412314444

-0.11249835654807958

0.6241824786487769

0.6241154000941389

-7.513465023660296e-06

-7.512877634212775e-06

-0.0032595271635436868

-0.003259510444184607

-0.4139749921313886

-0.4139742551589993

-0.42626280692210633

-0.42626109987526856

.css-9i38tn{letter-spacing:inherit;-webkit-text-decoration:none;text-decoration:none;}Karol Becerra - Valentina Muñoz - Valentina Vásquez

Tratamiento de datos

Creación de función para GridSearch

Random Forest

ADABoost

Support Vector Classifier (SVC)

Análisis de la implementación de Grid Search para cada uno de los modelos

Realizamos los diferentes modelos

Karol Becerra - Valentina Muñoz - Valentina Vásquez