NLP_test

#-- first install the package !pip install melusine==2.2.6

#-- import des packages import melusine import pandas as pd import numpy as np

#-- Lecture des données et affichage des premières lignes df = pd.DataFrame(pd.read_pickle("tweets.txt")) df.columns = ["tweets"]

print("Nous avons " +str(df.shape[0])+ " tweets nettoyés!")

#-- Ajout des colonnes body, header, date et from. df.rename(columns = {"tweets":"clean_body"}, inplace = True) list_dates = ["mardi 16 mars 2021 16 h 16 CEST"] * len(df) df["date"] = list_dates list_headers = ["Test"] * len(df) df["header"] = list_headers list_mails = ["best_interns@glb.fr"]* len(df) df["from"] = list_mails #-- Affichage des premières lignes df.head()

from melusine.nlp_tools.phraser import Phraser #-- Obtention de la classe Phraser phraser = Phraser(input_column='clean_body', threshold=10, min_count=10) #-- Entrainement sur nos données (entrainés sur toutes nos données) phraser.train(df)

from melusine.nlp_tools.phraser import phraser_on_body row = df.loc[1,:] phraser_on_body(row, phraser)

from melusine.utils.transformer_scheduler import TransformerScheduler PhraserTransformer = TransformerScheduler( functions_scheduler=[ (phraser_on_body, (phraser,), ['clean_body']) ] ) df_clean = PhraserTransformer.fit_transform(df) df_clean.head()

from melusine.nlp_tools.tokenizer import Tokenizer tokenizer = Tokenizer (input_column='clean_body', stop_removal=True, n_jobs=20) #-- applying the tokenizer (this adds a column called tokens) df_clean = tokenizer.fit_transform(df_clean) df_clean.head()

#-- Comparaison de notre tokenizer et celui de melusine comparison_column = np.where(df_clean["clean_body"] == df["clean_body"], True, False) #-- Index des lignes où ils diffèrent print(np.where(comparison_column == False))

#-- display difference print(df.clean_body[9]) print(df_clean.clean_body[9] +'\n') #-- display difference print(df.clean_body[45]) print(df_clean.clean_body[45]+'\n') #-- display difference print(df.clean_body[600]) print(df_clean.clean_body[600])

from melusine.nlp_tools.embedding import Embedding #-- Définition de la classe Embedding embedding = Embedding(input_column='clean_body', size=300, workers=1, min_count=3) #-- train embedding embedding.train(df_clean)

#-- Test du phraser df_test = pd.DataFrame(["Bonjour, on va peut-être on y arriver... :;*- Et si je mets assurance maladie ? ça cest une phraze mal écrite"]) df_test.columns = ["clean_body"] row_test = df_test.loc[0,:] row_test

phraser_on_body(row_test, phraser)

df_test_clean = tokenizer.fit_transform(df_test) df_test_clean.tokens[0]

from melusine.prepare_email.cleaning import clean_body df_test.columns = ["last_body", "test"] row_test = df_test.loc[0,:] clean_body(row_test)

from melusine.prepare_email.cleaning import clean_text clean_text("Bonjour, on va peut-être on y arriver... ;*-<< Et si je mets assurance maladie ? ça cest une phraze mal écrite")

import ast df_preprocessed = df_clean[['tokens']].astype(str) df_preprocessed['tokens'] = df_preprocessed['tokens'].apply(lambda x: ast.literal_eval(x))

print(df_preprocessed)

df_preprocessed.tokens[0]

#-- Mots clés à chercher en priorité keywords = ['tarif','sinistre'] #-- stopwords stopwords = ["au", "aux", "avec", "ce", "ces", "dans", "de", "des", "du", "elle", "en", "et", "eux", "il", "je", "la", "le", "leur", "lui", "ma", "mais", "me", "même", "mes", "moi", "mon", "ne", "nos", "notre", "nous", "on", "ou","par", "pas", "pour", "qu", "que", "qui", "sa", "se", "ses", "son", "sur","ta", "te", "tes", "toi", "ton", "tu", "un", "une", "vos", "votre", "vous", "c", "d", "j", "l", "à", "m", "n", "s", "t", "y", "été", "étée", "étées", "étés", "étant", "étante", "étants", "étantes", "suis", "es", "est", "sommes", "êtes", "sont", "serai", "seras", "sera", "serons", "serez", "seront", "serais", "serait", "serions", "seriez", "seraient", "étais", "était", "étions", "étiez", "étaient", "fus", "fut", "fûmes", "fûtes", "furent", "sois", "soit", "soyons", "soyez", "soient", "fusse", "fusses", "fût", "fussions", "fussiez", "fussent", "ayant", "ayante", "ayantes", "ayants", "eu", "eue", "eues", "eus", "ai", "as", "avons", "avez", "ont", "aurai", "auras", "aura", "aurons", "aurez", "auront", "aurais", "aurait", "aurions", "auriez", "auraient", "avais", "avait", "avions", "aviez", "avaient", "eut", "eûmes", "eûtes", "eurent", "aie", "aies", "ait", "ayons", "ayez", "aient", "eusse", "eusses", "eût", "eussions", "eussiez", "eussent", "suivant", "wash", "wesh"] #-- Définition du générateur de mots clés from melusine.summarizer.keywords_generator import KeywordsGenerator keywords_generator = KeywordsGenerator(stopwords = stopwords, keywords = keywords, n_max_keywords=1, n_min_keywords=0, threshold_keywords=0.1, keywords_coef=10)

#-- la méthode fit est appliquée sur le génréteur. Pour une raison inconnue cela ne fonctionne pas #-- c'est important car cela entraine le générateur basé sur le score TFIDF des données #keywords_generator.fit(df_preprocessed)

df_preprocessed.head()

#df_preprocessed.tokens[10] #-- display some stopwords df_preprocessed.keywords[100]

df_preprocessed.head()

#-- Construction du dataframe pour le modèle df_keywords = pd.DataFrame(df_preprocessed["keywords"].apply(lambda x: " ".join(x))) df_clean_body = df_clean[["clean_body"]] df_model = df_clean_body.set_index(df_clean_body.index).join(df_keywords.set_index(df_keywords.index)) #-- Combien de labels avons nous ? print(len(df_model["keywords"].unique())) print(df_model["keywords"].unique()) #-- Renommage des colonnes df_model = df_model.rename(columns = {"keywords":"label", "clean_body":"clean_text"})

#-- display head df_model.head()

#-- Definition de X pour le modele. Nous n'avons pas d'entête, il s'agit de la même chose que clean_body X = df_model #-- Definition et encodage de y (en tant que label) from sklearn.preprocessing import LabelEncoder y = df_model['label'] le = LabelEncoder() y = le.fit_transform(y)

#-- import modèle et sous-packages from melusine.models.train import NeuralModel from melusine.models.neural_architectures import cnn_model, rnn_model, bert_model pretrained_embedding = embedding #-- definition de l'architecture du modèle nn_model = NeuralModel(architecture_function=cnn_model, pretrained_embedding=pretrained_embedding, text_input_column="clean_text", meta_input_list=None, n_epochs=10)

nn_model.fit(X,y,tensorboard_log_dir="%load_ext tensorboard")

#-- Prediction y_res = nn_model.predict(X) y_res = le.inverse_transform(y_res) #-- display prediction print(y_res)