import pandas as pd ## manip dataframe
import numpy as np ## opérations sur vecteurs
import matplotlib.pyplot as plt ## visualisation
%matplotlib inline
import seaborn as sns ## visualisation
data_DevicesAge = pd.read_csv('/work/Analytics CM_Devices_fonction_age_audience_20201001-20210101.csv', encoding = "utf-8-sig" )
data_AcquisitionChannels = pd.read_csv('/work/Analytics CM Channels Acquisition 20201001-20210511.csv')
data_DevicesAge.shape # Affichage du nombre de ligne et de colonne du dataframe
data_DevicesAge.dtypes
data_DevicesAge.head() # Affichage
data_DevicesAge.isnull().sum() #Pour voir les valeurs null pas colonne on remarque qu'il y en a pas.
# suppresion de la ligne vide
data_DevicesAge = data_DevicesAge[:10]
# Suppression des colonnes vides
data_DevicesAge = data_DevicesAge.drop(columns='Objectifs réalisés',axis=1)
data_DevicesAge = data_DevicesAge.drop(columns="Valeur de l'objectif",axis=1)
data_DevicesAge = data_DevicesAge.drop(columns = "Taux de conversion par objectif" ,axis=1)
# Suppression des lignes vides
data_DevicesAge.dropna()
2.4 Calcul du nombre d'utilisateur par catégories d'âge et par catégories d'appareils
# Convertion de la colonne utilisateur en int
special_unicode = ['\u202f', '\xa0']
for col in data_DevicesAge:
for i, rows in enumerate(data_DevicesAge[col]):
if isinstance(rows, str):
if special_unicode[0] in rows:
data_DevicesAge[col][i] = int(rows.replace('\u202f', ''))
elif special_unicode[1] in rows:
data_DevicesAge[col][i] = rows.replace('\xa0', '')
data_DevicesAge["Total Utilisateurs"] = data_DevicesAge["Utilisateurs"] + data_DevicesAge["Nouveaux utilisateurs"]
sumUsersDevices = data_DevicesAge.pivot_table( index = "Catégorie d'appareil" , columns= "Âge",values = "Utilisateurs" , aggfunc=np.sum)
#index_with_nan = sumUsersDevices.index[sumUsersDevices.isnull().any(axis=1)]
#sumUsersDevices.drop(index_with_nan,0, inplace=True)
print(sumUsersDevices)
Âge 18-24 25-34 35-44 45-54 55-64 65+
Catégorie d'appareil
desktop NaN 14048.0 NaN NaN NaN 18244.0
mobile 38480.0 177735.0 160923.0 144981.0 125895.0 82166.0
tablet NaN NaN NaN NaN 20545.0 19128.0
Après consultation des résultats de calcul, nous remarquons que la tranche d'âge des 18-24 utilise uniquement des appareils mobile pour consulter le journal. Aussi nous pouvons constater que les tablettes ne sont utilisés que par des plus de 65ans. Nous pouvons ainsi recommandé la création d'une application mobile pour le CM.
print("Nombre d'Utilisateurs par age en fonction du devices Télèphone Mobile sur www.corsematin.com")
sumUsersDevices.plot.bar()
Nombre d'Utilisateurs par age en fonction du devices Télèphone Mobile sur www.corsematin.com
En affichant graphiquement les données liés à la proportion d'utilisation des supports mobiles par les différentes catégories d'âge, nous pouvons remarqué que la tranche d'âge des 25-34ans est celle où on retrouve le plus d'utilisateurs de support mobile pour consulter Corse Matin.
3.1 Importation et aperçu des données
data_AffinityAge = pd.read_csv('/work/Analytics CM_categorie affinité age sexe .csv', encoding = "utf-8-sig" )
data_AffinityAge.shape
data_AffinityAge.dtypes
data_AffinityAge.head()
3.2 Traitement des valeurs manquantes
data_AffinityAge.isnull().sum() #Pour voir les valeurs null pas colonne on remarque qu'il y en a pas.
3.3 Suppression des colonnes et lignes vides
# Suppression des colonnes vides
data_AffinityAge = data_AffinityAge.drop(columns='Objectifs réalisés',axis=1)
data_AffinityAge = data_AffinityAge.drop(columns="Valeur de l'objectif",axis=1)
data_AffinityAge = data_AffinityAge.drop(columns = "Taux de conversion par objectif" ,axis=1)
# Suppression des lignes vides
data_AffinityAge.dropna()
3.4 Calcul du nombre d'utilisateur par catégories d'âge et par affinité
# Convertion de la colonne utilisateur en int
special_unicode = ['\u202f', '\xa0']
for col in data_AffinityAge:
for i, rows in enumerate(data_AffinityAge[col]):
if isinstance(rows, str):
if special_unicode[0] in rows:
data_AffinityAge[col][i] = int(rows.replace('\u202f', ''))
elif special_unicode[1] in rows:
data_AffinityAge[col][i] = rows.replace('\xa0', '')
#data_AffinityAge.sort_values(by='Utilisateurs', ascending=False)
resultat = data_AffinityAge["Catégorie d'affinité (audience)"].value_counts()
print(resultat)
News & Politics/Avid News Readers 15
Food & Dining/Cooking Enthusiasts/30 Minute Chefs 12
Lifestyles & Hobbies/Green Living Enthusiasts 12
Lifestyles & Hobbies/Business Professionals 12
Media & Entertainment/TV Lovers 12
Shoppers/Value Shoppers 9
Sports & Fitness/Sports Fans 9
Shoppers/Luxury Shoppers 9
Beauty & Wellness/Frequently Visits Salons 9
Lifestyles & Hobbies/Fashionistas 6
News & Politics/Avid News Readers/Entertainment News Enthusiasts 6
Media & Entertainment/Movie Lovers 6
Beauty & Wellness/Beauty Mavens 6
Lifestyles & Hobbies/Family-Focused 6
Travel/Travel Buffs 6
Food & Dining/Foodies 6
Technology/Technophiles 3
Home & Garden/Do-It-Yourselfers 3
Media & Entertainment/Music Lovers 3
Name: Catégorie d'affinité (audience), dtype: int64
sumUsersAffinity = data_AffinityAge.pivot_table( index = "Catégorie d'affinité (audience)" ,values = "Utilisateurs" , aggfunc=np.sum)
sumUsersAffinity.sort_values(by='Utilisateurs', ascending=False)
sumUsersAffinity.plot.bar()
L'analyse des données nous montre que la catégorie d'articles la plus lu est celle des News & Politics/Avid News Readers avec un total de 858231 utilisateurs l'ayant lu.
data_Age_location = pd.read_csv('/work/CM Analytics Age geolocalisation.csv', encoding = "utf-8-sig" )
data_Age_location.shape
data_Age_location.dtypes
data_Age_location.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 512 entries, 0 to 511
Data columns (total 11 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 Country 511 non-null object
1 Age 511 non-null object
2 Users 512 non-null object
3 New Users 512 non-null object
4 Sessions 512 non-null object
5 Bounce Rate 512 non-null object
6 Pages / Session 512 non-null float64
7 Avg. Session Duration 512 non-null object
8 Goal Conversion Rate 512 non-null object
9 Goal Completions 512 non-null int64
10 Goal Value 512 non-null object
dtypes: float64(1), int64(1), object(9)
memory usage: 44.1+ KB
data_Age_location.head()
data_Age_location.isnull().sum() #Pour voir les valeurs null pas colonne on remarque qu'il y en a pas.
# Suppression des lignes vides
data_Age_location = data_Age_location[:510]
data_Age_location.dropna()
# Suppression des colonnes vides
data_Age_location = data_Age_location.drop(columns="Goal Value",axis=1)
data_Age_location = data_Age_location.drop(columns="Goal Completions",axis=1)
data_Age_location = data_Age_location.drop(columns ="Goal Conversion Rate" ,axis=1)
sns.countplot(data_Age_location['Age'])
/shared-libs/python3.7/py/lib/python3.7/site-packages/seaborn/_decorators.py:43: FutureWarning: Pass the following variable as a keyword arg: x. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.
FutureWarning
special_unicode = ['\u202f', '\xa0']
for col in data_Age_location:
for i, rows in enumerate(data_Age_location[col]):
if isinstance(rows, str):
if special_unicode[0] in rows:
data_Age_location[col][i] = int(rows.replace('\u202f', ''))
elif special_unicode[1] in rows:
data_Age_location[col][i] = rows.replace('\xa0', '')
sumAgeContry = data_Age_location.pivot_table( index = "Country" ,values = "Users" , aggfunc=np.sum)
#print(sumAgeContry)
index_with_nan = sumAgeContry.index[sumAgeContry.isnull().any(axis=1)]
sumAgeContry.drop(index_with_nan,0, inplace=True)
sumAgeContry = sumAgeContry.iloc[1:,0:106]
sumAgeContry
Analyse de donnée de AT INTERNET concernant la localisation
Importation des données
data_Age_Loc_AT = pd.read_csv("/work/AT_INTERNET_Sources_TypeAbonnement.csv" , sep= ";")
data_Age_Loc_AT.shape
data_Age_Loc_AT.dtypes
data_Age_Loc_AT.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 156007 entries, 0 to 156006
Data columns (total 13 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 Sites 156007 non-null object
1 Niveaux 2 156007 non-null object
2 Chapitres 1er niveau 156007 non-null object
3 Gratuit/Payant 156007 non-null int64
4 Villes 156007 non-null object
5 Sources 156007 non-null object
6 Visites 156007 non-null int64
7 Visiteurs (tous événements) 156007 non-null int64
8 Chargements 156007 non-null int64
9 Jours 156007 non-null int64
10 Pages vues 156007 non-null int64
11 Score de visite 156007 non-null float64
12 Visiteurs 156007 non-null int64
dtypes: float64(1), int64(7), object(5)
memory usage: 15.5+ MB
data_Age_Loc_AT.head()
Traitements des valeurs manquantes
data_Age_Loc_AT.isnull().sum() #Pour voir les valeurs null pas colonne on remarque qu'il y en a pas.
data_Age_Loc_AT.groupby(['Gratuit/Payant']).max().sort_values(by='Visites', ascending=False)
NombreVisiteNGP = data_Age_Loc_AT.pivot_table( index = "Niveaux 2" , columns= "Gratuit/Payant" ,values = 'Visites' , aggfunc=np.sum)
print(NombreVisiteNGP)
# code clean en mettre
NombreVisiteNGP.plot.bar()
Gratuit/Payant 0 2
Niveaux 2
7 jours en Corse 11.0 3087.0
A dilla franca 6.0 11013.0
Ajaccio 37108.0 660.0
Autres sports 2690.0 359.0
Balades NaN 1.0
Bastia 20927.0 35.0
Calvi 15737.0 8.0
Carnet 3.0 2.0
Clics transverses 65.0 NaN
Communauté 2087.0 NaN
Communes 57797.0 565472.0
Corte 7269.0 55.0
Dernière minute 41544.0 1347894.0
Diaporamas 1183.0 NaN
Economie 596.0 223.0
Entreprise 1.0 47.0
Erreur 3202.0 NaN
Faits divers 89.0 6197.0
Football 7979.0 4471.0
France-Monde 118.0 2205.0
Home 2102.0 21957.0
Jardiner NaN 1.0
Loisir 8692.0 328574.0
Multimédia 1.0 NaN
Musique 8.0 98.0
Météo 2477.0 NaN
Non classés 8321.0 633.0
People 4.0 14.0
Plaine orientale 6143.0 22.0
Politique 12.0 1047.0
Porto Vecchio 18569.0 15.0
Pratique 228.0 NaN
Recherche 6.0 NaN
Santé 9.0 112.0
Sartene 10532.0 6.0
Société 30.0 1567.0
Sports 4744.0 146663.0
Sports mécaniques 2092.0 103.0
Volley 16.0 22.0
La catégorie d'article la plus lue est la "Dernière minute" et elle est plus lue en version payante.
data_Age_Loc_AT.sort_values(by='Gratuit/Payant', ascending=True)
NombreVisiteGP = data_Age_Loc_AT.pivot_table( index = "Gratuit/Payant" ,values = 'Visites' , aggfunc=np.sum)
print(NombreVisiteGP)
NombreVisiteGP.plot.bar()
Visites
Gratuit/Payant
0 262398
2 2442563
NombreVisiteSC = data_Age_Loc_AT.pivot_table( index = "Gratuit/Payant" ,values = 'Score de visite' , aggfunc=np.sum)
print(NombreVisiteSC)
NombreVisiteSC.plot.bar()
Score de visite
Gratuit/Payant
0 2.979803e+07
2 1.394364e+07
NombreVisitePV = data_Age_Loc_AT.pivot_table( index = "Gratuit/Payant" ,values = 'Pages vues' , aggfunc=np.sum)
print(NombreVisitePV)
NombreVisitePV.plot.bar()
Pages vues
Gratuit/Payant
0 3219881
2 10580207
NombreVisiteV = data_Age_Loc_AT.pivot_table( index = "Gratuit/Payant" ,values = 'Visiteurs' , aggfunc=np.sum)
print(NombreVisiteV)
NombreVisiteV.plot.bar()
Visiteurs
Gratuit/Payant
0 249111
2 2224358
NbSource = data_Age_Loc_AT.pivot_table( index = "Sources" ,values = 'Visites' , aggfunc=np.sum)
print(NbSource)
# code clean en mettre
NbSource.plot.bar()
Visites
Sources
Accès Direct 997743
Email marketing 18775
Moteurs 1159341
Notoriété 10858
Sites affluents 516624
Webmails 1620
Le graphique révèle que la plus grande source de trafic de CM représente les moteurs de recherches internet.
NbSourceGP = data_Age_Loc_AT.pivot_table( index = "Sources" , columns= "Gratuit/Payant" ,values = 'Visites' , aggfunc=np.sum)
print(NbSourceGP)
# code clean en mettre
NbSourceGP.plot.bar()
Gratuit/Payant 0 2
Sources
Accès Direct 129614 868129
Email marketing 1220 17555
Moteurs 117445 1041896
Notoriété 1368 9490
Sites affluents 12663 503961
Webmails 88 1532
TopVille = data_Age_Loc_AT.pivot_table( index = "Villes" , columns= "Gratuit/Payant" ,values = 'Visites' , aggfunc=np.sum)
index_with_nan = TopVille.index[TopVille.isnull().any(axis=1)]
TopVille.drop(index_with_nan,0, inplace=True)
#Trie des villes par ordre decroissant
#print(TopVille.sort_values(by=[2],ascending = False))
#Trie des villes par ordre croissant
print(TopVille.sort_values(by=[2],ascending = True))
Gratuit/Payant 0 2
Villes
Liestal 2.0 1.0
Podolsk 1.0 1.0
Rulzheim 1.0 1.0
Lurcy 1.0 1.0
Kolin 1.0 1.0
... ... ...
Bastia 8480.0 95030.0
Chatillon 12396.0 100610.0
Marseille 14435.0 137019.0
Paris 34320.0 275258.0
Ajaccio 29031.0 288307.0
[8753 rows x 2 columns]
data_Age_Ab_AT = pd.read_csv("/work/AT_INTERNET_Age_Abonné.csv" , sep= ";")
data_Age_Ab_AT.head()
data_Age_Ab_AT.dtypes
data_Age_Ab_AT.isnull().sum() #Pour voir les valeurs null pas colonne on remarque qu'il y en a pas.
data_Age_Ab_AT.dropna()
AgeVisite = data_Age_Ab_AT.pivot_table( index = "Gratuit/Payant" , columns= "Age" ,values = 'Visites' , aggfunc=np.sum)
print(AgeVisite)
AgeVisite.plot.bar()
Age 0 14 a 17 ans 18 a 24 ans 25 a 34 ans 35 a 44 ans \
Gratuit/Payant
0 224072 131 186 2649 5538
2 1091086 6578 11368 56447 124629
Age 45 a 54 ans 55 a 64 ans 65 ans et +
Gratuit/Payant
0 8455 11320 24808
2 365190 357019 623485
#Comptage du nombre d'abonnées par Tranche d'âge
NombreAbonné = data_Age_Ab_AT.pivot_table( index = "Gratuit/Payant" , columns= "Age" ,values = 'Visites' , aggfunc=np.count_nonzero)
print(NombreAbonné)
Age 0 14 a 17 ans 18 a 24 ans 25 a 34 ans 35 a 44 ans \
Gratuit/Payant
0 31883 91 131 887 1928
2 45019 2184 3134 9557 16080
Age 45 a 54 ans 55 a 64 ans 65 ans et +
Gratuit/Payant
0 1982 2712 5866
2 20549 22660 31198
#resultat = data_Age_Ab_AT.groupby(by='Gratuit/Payant', as_index=False).agg({'decompte': pd.Series.nunique})
resultat = data_Age_Ab_AT['Gratuit/Payant'].value_counts()
print(resultat)
2 150381
0 45480
Name: Gratuit/Payant, dtype: int64
# Ville plus actif selon la tranche d'age
AgeVille = data_Age_Ab_AT.pivot_table( index = "Villes" , columns= "Age" ,values = 'Visites' , aggfunc=np.sum)
index_with_nan = AgeVille.index[AgeVille.isnull().any(axis=1)]
AgeVille.drop(index_with_nan,0, inplace=True)
#print(AgeVille)
#Trie des villes par ordre decroissant
print(AgeVille.sort_values(by="Age",ascending = False))
print(TopVille.sort_values(by=[2],ascending = True))
#AgeVille.plot.bar()
Execution Error
KeyError: 'Age'
# article le plus par la tranches d'age 18-24 ans
ArtplusAge = data_Age_Ab_AT.pivot_table( index = "Niveaux 2" , columns= "Age" ,values = 'Visites' , aggfunc=np.sum)
index_with_nan = ArtplusAge.index[ArtplusAge.isnull().any(axis=1)]
ArtplusAge.drop(index_with_nan,0, inplace=True)
#print(AgeVille.sort_values(by = ["Visites"],ascending = False))
print(ArtplusAge)
# code clean en mettre
ArtplusAge.plot.bar()
Age 0 14 a 17 ans 18 a 24 ans 25 a 34 ans \
Niveaux 2
7 jours en Corse 1068.0 5.0 8.0 39.0
A dilla franca 638.0 6.0 3.0 8.0
Ajaccio 29643.0 30.0 21.0 375.0
Autres sports 2095.0 5.0 5.0 63.0
Bastia 16071.0 10.0 19.0 173.0
Calvi 12084.0 7.0 8.0 94.0
Communauté 1515.0 4.0 5.0 34.0
Communes 331735.0 1656.0 2696.0 11422.0
Corte 5854.0 6.0 9.0 82.0
Dernière minute 629850.0 3139.0 5641.0 28892.0
Diaporamas 928.0 3.0 2.0 87.0
Erreur 2701.0 1.0 4.0 8.0
Faits divers 2590.0 24.0 48.0 436.0
Football 8074.0 13.0 31.0 1248.0
France-Monde 1132.0 5.0 13.0 141.0
Home 10192.0 54.0 145.0 1871.0
Loisir 144436.0 1345.0 2288.0 8564.0
Non classés 8304.0 8.0 8.0 106.0
Plaine orientale 4761.0 3.0 2.0 36.0
Porto Vecchio 14811.0 5.0 14.0 80.0
Santé 71.0 1.0 1.0 4.0
Société 684.0 5.0 10.0 100.0
Sports 72866.0 370.0 554.0 5025.0
Sports mécaniques 1455.0 2.0 4.0 43.0
Age 35 a 44 ans 45 a 54 ans 55 a 64 ans 65 ans et +
Niveaux 2
7 jours en Corse 114.0 456.0 571.0 898.0
A dilla franca 46.0 7524.0 2513.0 313.0
Ajaccio 931.0 1300.0 2159.0 5945.0
Autres sports 422.0 377.0 46.0 119.0
Bastia 420.0 849.0 1310.0 3217.0
Calvi 250.0 682.0 1065.0 2109.0
Communauté 459.0 70.0 99.0 90.0
Communes 21728.0 64313.0 75824.0 160356.0
Corte 133.0 331.0 352.0 820.0
Dernière minute 70139.0 201187.0 215781.0 367419.0
Diaporamas 327.0 26.0 16.0 111.0
Erreur 129.0 82.0 137.0 231.0
Faits divers 1949.0 189.0 58.0 1161.0
Football 1421.0 605.0 283.0 1231.0
France-Monde 633.0 43.0 14.0 366.0
Home 7193.0 619.0 235.0 4303.0
Loisir 14194.0 67902.0 45223.0 68167.0
Non classés 233.0 172.0 33.0 253.0
Plaine orientale 70.0 413.0 522.0 495.0
Porto Vecchio 414.0 767.0 1292.0 1985.0
Santé 20.0 3.0 1.0 24.0
Société 478.0 45.0 21.0 302.0
Sports 7814.0 24735.0 19661.0 26347.0
Sports mécaniques 59.0 232.0 331.0 117.0
data_Sour_Tp_AT = pd.read_csv("/work/AT_INTERNET_Sources_TypeAbonnement.csv" , sep= ";")
data_Sour_Tp_AT.dtypes
data_Sour_Tp_AT.head()
data_Sour_Tp_AT.isnull().sum() #Pour voir les valeurs null pas colonne on remarque qu'il y en a pas.
data_Sour_Tp_AT.dropna()
# article le plus par la tranches d'age 18-24 ans
ArtplusAge = data_Sour_Tp_AT.pivot_table( index ="Niveaux ",columns= "Age" ,values = 'Visites' , aggfunc=np.sum)
print(ArtplusAge)
# code clean en mettre Sources
ArtplusAge.plot.bar()
Execution Error
KeyError: 'Niveaux '
data_clust = pd.read_csv("/work/AT_INTERNET_Sources_TypeAbonnement.csv" , sep= ";")
# check original shape
#df_cat.shape
# view columns using df.columns
df_cat.columns
Execution Error
NameError: name 'df_cat' is not defined
onehotlabels
print(model.labels_)
[1 1 2 ... 1 2 1]
le = LabelEncoder()
data['Gender']= le.fit_transform(data['Gender'])
data['Geography']= le.fit_transform(data['Geography'])
from sklearn import preprocessing
enc = preprocessing.OrdinalEncoder(categories='auto')
enc.fit(X)
data=enc.transform(X)
print(data )
[[0.0000e+00 1.0000e+01 8.1000e+02 ... 1.7870e+03 5.8260e+03 7.8300e+02]
[0.0000e+00 2.0000e+00 8.1000e+02 ... 2.1330e+03 5.6091e+04 7.6300e+02]
[0.0000e+00 1.0000e+01 8.1000e+02 ... 2.0970e+03 6.5067e+04 7.6000e+02]
...
[0.0000e+00 2.9000e+01 8.2000e+02 ... 1.6000e+01 6.5125e+04 0.0000e+00]
[0.0000e+00 3.5000e+01 8.2000e+02 ... 0.0000e+00 0.0000e+00 0.0000e+00]
[0.0000e+00 3.5000e+01 8.2000e+02 ... 1.0100e+02 7.0700e+04 0.0000e+00]]
#Cluster K-means
model=KMeans(n_clusters=3)
#adapter le modèle de données
model.fit(data)
model.predict(data)
print(model.labels_)
[2 1 1 ... 1 2 1]
plt.scatter(data[:,0],data[:,1])
#plt.scatter(model.labels_)