!ls /datasets/moussainc/DSA/

 concrete_data.csv		  OneDrive_2022-11-09.zip
'Data and AI websites list.png'   telecom_churn_dq.csv
'OneDrive_2022-11-09 (1).zip'	 'Tosa Python Referentiel.pdf'

import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline #%matplotlib notebook to get dynamic figures from IPython.display import Image import seaborn as sns #sns.set_context('talk')

rep = '/datasets/moussainc/DSA/concrete_data.csv' df = pd.read_csv(rep) df.head()

cementfloat64

slagfloat64

141.3

212.0

168.9

42.2

250.0

0.0

266.0

114.0

154.8

183.4

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1030 entries, 0 to 1029
Data columns (total 9 columns):
 #   Column        Non-Null Count  Dtype  
---  ------        --------------  -----  
 0   cement        1030 non-null   float64
 1   slag          1030 non-null   float64
 2   ash           1030 non-null   float64
 3   water         1030 non-null   float64
 4   superplastic  1030 non-null   float64
 5   coarseagg     1030 non-null   float64
 6   fineagg       1030 non-null   float64
 7   age           1030 non-null   int64  
 8   strength      1030 non-null   float64
dtypes: float64(8), int64(1)
memory usage: 72.5 KB

df.describe()

cementfloat64

slagfloat64

count

1030.0

mean

281.16786407766995

73.89582524271844

std

104.50636449481532

86.27934174810582

min

102.0

0.0

25%

192.375

0.0

50%

272.9

22.0

75%

350.0

142.95

max

540.0

359.4

Quelques visualisations

#sns.pairplot(df, hue='age', height=3); #plt.savefig("pairplot.png", dpi=300, bbox_inches="tight")

from seaborn import heatmap fig, ax = plt.subplots(figsize=(12,8)) ax = heatmap(df.corr(), fmt='.2f', ax=ax, annot=True, cmap='RdBu_r', vmin=-1, vmax=1) fig.savefig("correlation.png", dpi=300, bbox_inches="tight")

sns.boxplot(data=df, x='age', y='strength'); plt.savefig("boxplot.png", dpi=300, bbox_inches="tight")

df.boxplot(rot=45) plt.savefig("boxplot_all.png", dpi=300, bbox_inches="tight")

Nettoyage des données et création de nouvelles colonnes

# Suppression des lignes en doublon df_clean = df[df.duplicated()==False] # Création de nouvelles features pd.options.mode.chained_assignment = None # default='warn' df_clean['density'] = df_clean.sum(axis=1)-df_clean['age']-df_clean['strength'] df_clean['e/c'] = df_clean['water']/df_clean['cement']

df_clean

cementfloat64

102.0 - 540.0

slagfloat64

0.0 - 359.4

141.3

212.0

168.9

42.2

250.0

0.0

266.0

114.0

154.8

183.4

255.0

0.0

166.8

250.2

251.4

0.0

296.0

0.0

155.0

184.0

fig, ax = plt.subplots(figsize=(12,8)) ax = heatmap(df_clean.corr(), fmt='.2f', ax=ax, annot=True, cmap='RdBu_r', vmin=-1, vmax=1) fig.savefig("correlation_f.png", dpi=300, bbox_inches="tight")

On constate que les variables qui ont une influence (positive +, ou négative -) le plus la résistance en compression du béton sont:

(+): cement, superplastic et age

(-): water, fineagg

y = df_clean['strength'] X = df_clean.drop(columns=['strength'])

Modèles de prédiction

J'ai choisi d'utiliser et comparer les 3 modèles scikit-learn suivants pour prédire la résistance en compression du béton

La régression linéaire: Une régression a pour objectif d’expliquer une variable y par le moyen d'autres variables xi.

Le KNN (k-nearst neighbors ou plus proches voisins): algorithme utilisable aussi bien sur des problèmes de régression que de classification. Son fonctionnement peut être assimilé à l’analogie suivante “dis moi qui sont tes voisins, je te dirais qui tu es…”.

Le Random Forest: méthode ensembliste d'apprentissage basée sur le classifier 'Decison Tree'

Import des modules et pre-processing

from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.preprocessing import StandardScaler from sklearn.metrics import mean_squared_error, mean_absolute_error

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0) scaler = StandardScaler().fit(X_train) X_train = pd.DataFrame(scaler.transform(X_train), columns=X.columns) X_test = pd.DataFrame(scaler.transform(X_test), columns=X.columns)

La régression Linéaire

from sklearn.linear_model import LinearRegression linear_model = LinearRegression() linear_model.fit(X_train, y_train) print('Coef. de détermination R2: %0.3f' %linear_model.score(X_test, y_test)) y_pred = linear_model.predict(X_test) print("-----------------------------------") print("Erreur moyenne absolue: %.3f (MPa)" %mean_absolute_error(y_test, y_pred)) print("-----------------------------------") print("RMSE (root mean sqared error): %.3f (MPa)" %(mean_squared_error(y_test, y_pred))**0.5)

Coef. de détermination R2: 0.596
-----------------------------------
Erreur moyenne absolue: 8.027 (MPa)
-----------------------------------
RMSE (root mean sqared error): 10.135 (MPa)

Le modèle KNN

from sklearn.neighbors import KNeighborsRegressor knn_model = KNeighborsRegressor(n_neighbors=3, weights='distance', p=2, n_jobs=1) #Defaults values of n_neighbor and weight are respectively 5 and 'uniform' knn_model.fit(X_train, y_train) print('Coef. de détermination R2: %0.3f' %knn_model.score(X_test, y_test)) y_pred = knn_model.predict(X_test) print("-----------------------------------") print("Erreur moyenne absolue: %.3f (MPa)" %mean_absolute_error(y_test, y_pred)) print("-----------------------------------") print("RMSE (root mean sqared error): %.3f (MPa)" %(mean_squared_error(y_test, y_pred))**0.5)

Coef. de détermination R2: 0.672
-----------------------------------
Erreur moyenne absolue: 6.726 (MPa)
-----------------------------------
RMSE (root mean sqared error): 9.139 (MPa)

Random forest model

from sklearn.ensemble import RandomForestRegressor rf_model = RandomForestRegressor(random_state=0) rf_model.fit(X_train, y_train) print('Coef. de détermination R2: %0.3f' %rf_model.score(X_test, y_test)) y_pred = rf_model.predict(X_test) print("-----------------------------------") print("Erreur moyenne absolue: %.3f (MPa)" %mean_absolute_error(y_test, y_pred)) print("-----------------------------------") print("RMSE (root mean sqared error): %.3f (MPa)" %(mean_squared_error(y_test, y_pred))**0.5)

Coef. de détermination R2: 0.883
-----------------------------------
Erreur moyenne absolue: 3.685 (MPa)
-----------------------------------
RMSE (root mean sqared error): 5.462 (MPa)

Synthèse des résultats

Sans surprise, le modèle randomforest fournit de meilleurs performances.

pour la régression linéaire: R2=0.60, MAE=8.03 et RMSE=10.14

pour le KNN: R2=0.67, MAE=6.73 et RMSE=9.14

pour le randomforest: R2=0.88, MAE=3.69 et RMSE=5.46

.css-9i38tn{letter-spacing:inherit;-webkit-text-decoration:none;text-decoration:none;}Quelques visualisations

Nettoyage des données et création de nouvelles colonnes

Modèles de prédiction

Import des modules et pre-processing

La régression Linéaire

Le modèle KNN

Random forest model

Synthèse des résultats

Quelques visualisations