import string
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import nltk # herramienta que permite trabajar con dialogos y texto
from nltk.corpus import stopwords
from unidecode import unidecode
# Descargar información necesaria para el preprocesamiento
nltk.download('stopwords')
# Una vez descargado, se comenta porque ya queda instalado
[nltk_data] Downloading package stopwords to /root/nltk_data...
[nltk_data] Package stopwords is already up-to-date!
dialogs = pd.read_csv('dialogos.csv', index_col=0)
dialogs['speaker'] = np.where(dialogs['speaker'] == 'amlo', 'politico', 'medico')
dialogs.sample(10)
# Se busca hacer una clasificación binaria, donde se busca saber quién dijo dicha frase, si un político o un médico
speakerobject
politico70%
medico30%
dialogobject
Se llegó al extremo, al colmo de que la Secretaría de Gobernación que manejaba la Policía Federal contrataba servicios particulares a policías para vigilar sus oficinas.10%
Mucha gente no conoce sobre lo que significó el florecimiento de las culturas de México en la época prehispánica y vamos a exponerlo así. Tan es así, que por eso muchas obras de arte, muchas piezas están en el extranjero exhibidas en los mejores museos del mundo, lo mejor que hay de olmecas no está en México, está en Nueva York, en los museos de Nueva York, me refiero a lo más exquisito, a lo más fino, a los más artístico de los olmecas.10%
8 others80%
49989
politico
Se llegó al extremo, al colmo de que la Secretaría de Gobernación que manejaba la Policía Federal c…
1178
politico
Mucha gente no conoce sobre lo que significó el florecimiento de las culturas de México en la época…
137809
medico
Tener en claro, ya una vez vino la doctora Alethse de la Torre a hablar sobre el amor en los tiempo…
97598
politico
Sí hay información ya, pero no puedo informarlo.
155346
medico
Le pido al doctor Alomía si es tan amable de presentar la primera parte y continuamos.
134413
medico
Las Brigadas Correcaminos están conformadas por 12 personas que tienen diversas funciones, dos de l…
111773
politico
Entonces, estamos resolviendo el problema del abasto de los medicamentos. Se hizo un acuerdo con la…
124523
politico
Se están haciendo obras, presas, trenes, carreteras, puertos, aeropuertos. Dejar protegido todo eso…
26043
politico
Antes, un sexenio anterior, Repsol, de España; la OHL, también de España. Por eso a veces El País, …
100060
politico
Pero habíamos quedado con él.
Análisis Exploratorio de Datos
fig, (ax1,ax2) = plt.subplots(2,1,dpi = 100,figsize = (10,5))
sns.violinplot(y = 'speaker', x = 'length', data=dialogs, ax=ax1)
sns.boxplot(y='speaker', x = 'length', data=dialogs, ax = ax2)
# Se muestra que los diálogos son de la misma longitud en ambos perfiles
# No son una distribución normal
fig = plt.figure(dpi=100,figsize=(12,3))
ax = fig.gca()
for label, color in [('politico','green'),('medico','red')]:
lengths = dialogs[dialogs['speaker'] == label]
values, bins = np.histogram(lengths['length'], range = (0,1200), bins = 50)
y = (bins[1:] + bins[:-1])/2
sns.barplot(x=y, y=values/len(lengths), label = label, color=color, ax = ax, alpha = 0.5)
ax.set_xticklabels([f'{int(_y)} - {int(_x)}' for _x,_y in zip(bins[1:], bins[:-1])], rotation = 90, fontsize = 9)
ax.set_yticklabels([])
ax.set_xlabel('Rango')
ax.legend()
# Distribución de los diálogos
# La mayoría de los diálogos se presentan en dos grupos predominantes
Dividir el Dataset
from sklearn.model_selection import train_test_split
# Se dividirá el data set en dos secciones
# una de las cuales será la de pruebas
rest, test = train_test_split(dialogs, test_size = 0.2, stratify=dialogs['speaker'])
# stratify le inidica que distribuya el dataset en función de speaker para sea más equitativo
# ya que los diálogos del político son muchos más
# El resto se dividirá entre el entrenamiento y la validación
train, val = train_test_split(rest, test_size = 0.2, stratify = rest['speaker'])
len(train), len(val), len(test)
# Guardar los valores en diferentes variables
dialogs_train = train['dialog']
dialogs_val = val['dialog']
dialogs_test = test['dialog']
target_train = train['speaker']
target_val = val['speaker']
target_test = test['speaker']
Feature Engineering
Etiquetas
# Los datos deben transformarse a información que el modelo entienda
# por lo general, estos son números.
# Etiqueta
train_y = np.where(target_train == 'politico', 1, 0)
val_y = np.where(target_val == 'politico', 1, 0)
test_y = np.where(target_test == 'politico', 1, 0)
Texto
dialogs_train.sample(10, random_state=132).values
# Trabajar un sólo texto
example_sentence = dialogs_train.iloc[80561]
print(example_sentence)
¿O quieren ustedes que yo le conteste?
Tokenización
from nltk.tokenize.toktok import ToktokTokenizer
# Existen librerías para redes sociales que identifica emojis
tk_tokenizer = ToktokTokenizer()
# Separar el diálogo y los signos de puntuación en tokens
tokens = tk_tokenizer.tokenize(example_sentence)
print(' # '.join(tokens))
¿ # O # quieren # ustedes # que # yo # le # conteste # ?
# Las palabras que siempre se utilizan, no importar el tema: STOPWORDS
# artículos, preposiciones, conectores, etc
# Símbolos de puntuacióñ
# acentos
# Todos esos tokens se pueden eliminar para poder quedarnos con las importantes
# Se llama a las stopwords del español
sp_stopwords = stopwords.words('spanish')
# Eliminar los signos de puntuación
# Se deben agregar los signos de apertura de interrogación y exclamación
# Se llama a todos los signos de puntuación agregando los mencionados
sp_punctuation = string.punctuation + '¿¡'
# Combinar los dos grupos de no deseados
not_wanted = set((unidecode(word) for word in sp_stopwords)) | set(sp_punctuation)
not_wanted
#tokanizador
tk_tokenizer = ToktokTokenizer()
# Guardar los tokens que si queremos que se conserven
def tokenise(sentence):
limpia = []
clean_sentence = unidecode(sentence)
for token_ in tk_tokenizer.tokenize(clean_sentence):
token = token_.lower()
if token in not_wanted:
continue
limpia.append(token)
return limpia
print(tokenise(example_sentence))
['?o', 'quieren', 'ustedes', 'conteste']
Vectorización
One-Hot Encoding
from sklearn.feature_extraction.text import CountVectorizer
vectorizador_ejemplo = CountVectorizer(binary=True, analyzer = tokenise, max_features=4000)
# Binary inidica si utilizaremos binarios (sólo si existe o no)
# o si queremos ocurrencias (cuantas veces existe)
ejemplos = [
'viva mexico paisanos en septiembre',
'en mexico hay inundaciones de viva voz'
]
vectors = vectorizador_ejemplo.fit_transform(ejemplos)
vocabulary = vectorizador_ejemplo.vocabulary_
columns = [token for token, _ in sorted(vocabulary.items(), key = lambda item: item[1])]
pd.DataFrame(vectors.todense(), columns = columns, index = [1,2])
inundacionesint64
mexicoint64
1
0
1
2
1
1
# Crear un vectorizador
# Toma los mil tokens más frecuentes
vectorizador_real = CountVectorizer(binary=True, analyzer=tokenise, max_features=4000)
Convierte nuestros textos a vectores
# Se entrena al modelo
vectorizador_real.fit(dialogs_train)
train_x = vectorizador_real.transform(dialogs_train)
val_x = vectorizador_real.transform(dialogs_val)
test_x = vectorizador_real.transform(dialogs_test)
Modelado
from sklearn.linear_model import LogisticRegression
# Regresión logística
lr = LogisticRegression()
# Entrenado al modelo con los datos
lr.fit(train_x, train_y)
/shared-libs/python3.7/py/lib/python3.7/site-packages/sklearn/linear_model/_logistic.py:818: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.
Increase the number of iterations (max_iter) or scale the data as shown in:
https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
extra_warning_msg=_LOGISTIC_SOLVER_CONVERGENCE_MSG,
/shared-libs/python3.7/py/lib/python3.7/site-packages/sklearn/linear_model/_logistic.py:818: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.
Increase the number of iterations (max_iter) or scale the data as shown in:
https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
extra_warning_msg=_LOGISTIC_SOLVER_CONVERGENCE_MSG,
/shared-libs/python3.7/py/lib/python3.7/site-packages/sklearn/linear_model/_logistic.py:818: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.
Increase the number of iterations (max_iter) or scale the data as shown in:
https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
extra_warning_msg=_LOGISTIC_SOLVER_CONVERGENCE_MSG,
# Revisar los valores
train_pred = lr.predict(train_x) # Para diagnosticar Overfitting
val_pred = lr.predict(val_x) # Para decidir cambios sobre el modelo
val_pred
# Accuracy
from sklearn.metrics import accuracy_score, classification_report
accuracy_score(train_y, train_pred)
# Se descarta el overfitting porque el valor del accuracy es mayor a 60%
print(classification_report(train_y, train_pred))
precision recall f1-score support
0 0.92 0.84 0.88 26552
1 0.94 0.97 0.96 72972
accuracy 0.94 99524
macro avg 0.93 0.91 0.92 99524
weighted avg 0.94 0.94 0.94 99524
precision recall f1-score support
0 0.92 0.84 0.88 26552
1 0.95 0.97 0.96 72972
accuracy 0.94 99524
macro avg 0.93 0.91 0.92 99524
weighted avg 0.94 0.94 0.94 99524
precision recall f1-score support
0 0.96 0.91 0.94 26552
1 0.97 0.99 0.98 72972
accuracy 0.97 99524
macro avg 0.97 0.95 0.96 99524
weighted avg 0.97 0.97 0.97 99524
print(accuracy_score(val_pred, val_y))
# El valor de entrenamiento sería mucho más alto que el de validación en el caso del overfitting
0.9328805112334714
0.9331216590973032
0.9605321329528556
Test Dataset
# Revisar el conjunto de prueba
test_pred = lr.predict(test_x)
test_accuracy = accuracy_score(test_y,test_pred)
print(f'Test accuracy: {test_accuracy:0.2%}')
# Este es el valor que se muestra
Test accuracy: 95.85%
# Ejemplo propio
oracion = 'Quedate en casa, la curva epidémica no se ha reducido'
own_x = vectorizador_real.transform([oracion])
result = lr.predict(own_x)
result
medico, politico = lr.predict_proba(own_x).squeeze()*100
# Probabilidad de qué sea uno u otro
medico,politico