Trabajo Práctico Integrado N.º 2

Análisis exploratorio (analítico y visual)

# Importación de librerias: import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt import plotly.express as px import plotly.graph_objects as go

Cargando datos

df = pd.read_csv('/work/exams.csv') df

Visualizando las primeras 5 filas

df.head()

Visualizando las últimas 5 filas

df.tail()

Resumen estadístico

df.describe()

Tipos de datos

df.dtypes

Eliminación de datos duplicados

print(f'Original:{df.id.count()} filas') duplicate_rows_df = df[df.duplicated()] print(f'Cantidad de filas duplicadas: {duplicate_rows_df.id.count()}') df_2 = df.drop_duplicates()

Después de eliminar las filas duplicadas:

print(f'Final: {df_2.id.count()} filas')

Eliminación de columnas irrelevantes

df_2.columns.to_list()

Renombrando columnas

titles = df_3.columns.to_list() titles_cap = [title.replace('_', ' ').capitalize() for title in titles] titles_cap[1] = 'Ethnicity' res = {k: v for k,v in zip(titles,titles_cap)} df_4 = df_3.rename(columns = res) df_4.columns.to_list()

Búsqueda de valores nulos

df_4.isnull().sum()

df_4[df_4.isnull().any(axis=1)]

print(100 * df_4.isnull().sum()/df_4.shape[0]) # Las filas con valores nulos representan el 0.7% del total de los datos, pueden ser eliminados tranquilamente

Detección y eliminación de outliers

for col in df_5.columns: if df_5[col].dtype == 'float64': plt.figure(figsize=(15,7)) sns.boxplot(x=df_5[col]) plt.title(f"Outliers in {col}") plt.show()

print(f'Antes: {df_5.Lunch.count()} filas\n') Q1 = df_5.quantile(0.25) Q3 = df_4.quantile(0.75) IQR = Q3 - Q1 print(IQR) df_6 = df_5[~( (df_5.lt(Q1-1.5*IQR)) | (df_5.gt(Q3+1.5*IQR)) ).any(axis=1)] print(f'\nDespués: {df_6.Lunch.count()} filas\n')

Correlaciones y frecuencias

for col in df_6.columns: if df_6[col].dtype == 'float64': plt.figure(figsize=(15,7)) plt.hist(df_6[col], bins=20) plt.title(col.split()[0]) plt.ylabel("Student count") plt.xlabel("Score") plt.show()

correlations = df_6.corr() correlations

plt.figure(figsize=(20,10)) sns.heatmap(correlations, cmap='BrBG', annot=True) plt.show()

for col in df_6.columns: if df_6[col].dtype == 'object': labels = df_6[col].value_counts().index sizes = df_6[col].value_counts() plt.pie(sizes, labels=labels, autopct='%1.2f%%') plt.title(col) plt.show()

Preguntas

¿Qué factores son los que más influyen sobre las calificaciones de los estudiantes?

df_6

Codificaremos las columnas que contienen características mixtas no-numéricas de la siguiente forma:

columns = [x for x in df_6.columns if df_6[x].dtype == 'object'] df_8 = df_6.copy() for col in columns: lista = df_6[col].unique() print(f'# {col.upper()}:') for i, tipo in enumerate(lista): print(f'# {tipo} = {i}') df_8.loc[df_8[col] == tipo, col] = i print('# ------------------') df_8[[col]] = df_8[[col]].apply(pd.to_numeric) df_8

De esta forma podemos elaborar un mapa de calor para ver como se correlacionan estas características con las calificaciones de los estudiantes:

plt.figure(figsize=(20,10)) sns.heatmap(df_8.corr(), annot=True) plt.show()

Con ayuda de este mapa podemos tener una idea el valor de correlación entre cada característica, ya hemos visto que entre las calificaciones de las asignaturas hay fuertes correlaciones y no es de extrañar, ya que las 4 asignaturas pertenecen al campo de las ciencias exactas, pero lo que nos interesa en esta sección es la relación de las calificaciones con respecto al resto de características disponibles en el dataset, por eso debemos hacer un enfoque en el siguiente sector del mapa de calor:

columns = [x for x in df_6.columns if df_6[x].dtype == 'float64'] plt.figure(figsize=(20,10)) sns.heatmap(df_8.corr()[0:6][columns], annot=True) plt.show()

plt.figure(figsize=(15,7)) sns.pairplot(df_8, y_vars=['Math score', 'Physics score', 'Chemistry score', 'Algebra score'], x_vars=['Gender', 'Ethnicity', 'Parental level of education', 'Lunch', 'Employed', 'Test preparation course'], kind = 'reg') plt.show()

Observando este sector podemos ver varias cosas

El almuerzo es el factor que mayor correlación tiene con las calificaciones, como tenemos una correlación negativa y teniendo en cuenta que 0 es un almuerzo estándar y 1 es un almuerzo free o reducido, entonces concluimos que tener un almuerzo estándar favorece ligeramente a las calificaciones de los alumnos.

El estado laboral de los alumnos casi no tiene correlación sobre las calificaciones de los alumnos, veremos esto más adelante.

Las calificaciones en Álgebra tienen una baja correlación con el género de los alumnos, podría pensarse que ambos géneros se encuentran en condiciones similares con respecto a esta asignatura, lo veremos más adelante.

El nivel de educación de los padres también afecto positivamente a las calificaciones de sus hijos, cuanto más alto fue el nivel de educación alcanzado por los padres mayores calificaciones obtuvieron sus hijos, y esto parece algo razonable, la educación de los padres comúnmente es transmitida a sus hijos.

Los alumnos que realizaron el curso de preparación para exámenes vieron afectadas positivamente sus calificaciones, lo veremos a continuación.

¿Hay alguna relación entre el promedio de notas obtenidas y el hecho de haber realizado el curso preparatorio?

df_7 = df_6.copy() df_7['Average score'] = df_7.mean(axis=1) df_7

plt.figure(figsize = (15,7)) sns.histplot(df_7, x='Average score', hue="Test preparation course", fill=True, kde='reg') plt.title("Average score by preparatory course condition") plt.ylabel("Student count") plt.show()

print("Realizaron el curso:", df_7[df_7["Test preparation course"] == 'completed'].shape[0]) print("Realizaron el curso:", df_7[df_7["Test preparation course"] == 'none'].shape[0])

Conclusión: Si bien la cantidad de alumnos que no realizo el curso preparatorio casi duplica a la de quienes lo han completado, esta diferencia no se ve reflejada significativamente en el promedio de notas. Se recomienda auditar los contenidos del curso, a fines de lograr una mejora en el rendimiento académico y aumentar el interés del alumnado.

¿Cómo afecta en las calificaciones de los alumnos el estado laboral de los mismos?

def setYlabel(axs,label): for axs_row in axs: for axs_col in axs_row: axs_col.set_ylabel(label) return fig,axs = plt.subplots(2,2, figsize = (15,7)) sns.histplot(data=df_6, x="Math score", kde=True, ax=axs[0, 0], palette='YlOrBr', hue='Employed') sns.histplot(data=df_6, x="Physics score", kde=True, ax=axs[0, 1], palette="rocket", hue='Employed') sns.histplot(data=df_6, x="Chemistry score", kde=True, ax=axs[1, 0], palette="mako", hue='Employed') sns.histplot(data=df_6, x="Algebra score", kde=True, ax=axs[1, 1], palette="viridis", hue='Employed') setYlabel(axs,"Student count") fig.suptitle("Scores by employ condition") fig.show()

A simple vista no podemos extraer mucha información, ambos grupos parecen presentar desempeños similares en la mayoría de asignaturas. Veamos como se ve afectado el promedio de ambos grupos:

plt.figure(figsize=(15,7)) sns.histplot(data=df_7, x="Average score", kde=True, palette="viridis", hue='Employed') plt.ylabel("Student count") plt.title("Average score by employ condition") plt.show()

employed_median_score = round(df_7[df_7["Employed"] == 'yes'].mean(), 3) unemployed_median_score = round(df_7[df_7["Employed"] == 'no'].mean(), 3) pd.DataFrame(data={'Employed':employed_median_score, 'Unemployed':unemployed_median_score})

En conclusión, podemos decir que el estado laboral de los estudiantes afecta muy poco en las calificaciones. Como comentario, para poder dar una respuesta más certera a esta pregunta deberíamos analizar como afecta el estado laboral del estudiante en el porcentaje de deserciones, pero no contamos con esta información, ya que supongo que se han tenido en cuenta solamente aquellos alumnos que han llegado a las instancias finales de las asignaturas.

¿Cuánto influye el nivel de estudio alcanzado por los padres en las calificaciones de sus hijos?

fig,axs = plt.subplots(2,2, figsize = (15,7)) sns.histplot(data=df_7, x="Math score", kde=True, ax=axs[0, 0], palette='YlOrBr', hue="Parental level of education") sns.histplot(data=df_7, x="Physics score", kde=True, ax=axs[0, 1], palette="rocket", hue="Parental level of education") sns.histplot(data=df_7, x="Chemistry score", kde=True, ax=axs[1, 0], palette="mako", hue="Parental level of education") sns.histplot(data=df_7, x="Algebra score", kde=True, ax=axs[1, 1], palette="viridis", hue="Parental level of education") setYlabel(axs,"Student count") fig.suptitle("Scores by parental level of education") fig.show()

Podemos observar que los hijos de padres que han alcanzado niveles de educación tales como maestrías o licenciaturas tienen calificaciones mayormente altas, para hijos de padres que han alcanzado niveles tales como grados de asociado o alguna educación superior las calificaciones no son tan altas como el anterior grupo, pero son más altas que las calificaciones de aquellos hijos con padres que solo alcanzaron niveles de educación de secundaria o bachilleratos. Veamos que pasa con el promedio de las calificaciones:

plt.figure(figsize=(15,7)) sns.histplot(data=df_7, x="Average score", kde=True, palette="viridis", hue="Parental level of education") plt.ylabel("Student count") plt.title("Average score by parental level of education") plt.show()

levels = df_7["Parental level of education"].unique() dc = {} for level in levels: dc[level] = round(df_7[df_7["Parental level of education"] == level].mean(), 3) pd.DataFrame(data=dc)

Aquí podemos corroborar que el análisis anteriormente realizado es correcto. Se recomienda a la institución encuestar al alumnado para conocer sobre el estado del apoyo escolar que se le brinda en su hogar y así poder generar programas de apoyo para los estudiantes que más lo necesiten.

¿Cómo es el desempeño en cada asignatura de acuerdo al género?

fig = px.box(df_7, x=["Math score", "Physics score", "Chemistry score", "Algebra score", "Average score"], color="Gender", ) fig.update_layout( title="Scores by gender", xaxis_title="Scores", yaxis_title="Subjects" ) fig.show()

Claramente, podemos ver que las chicas tienen un mejor desempeño que los chicos en al menos 3 de las 4 asignaturas, siendo estás Física, Química y Álgebra, pero en Matemáticas la balanza se inclina a favor de los chicos. Veamos cuanta es la diferencia de las calificaciones en promedio:

female_median_score = round(df_7[df_7["Gender"] == 'female'].mean(), 3) male_median_score = round(df_7[df_7["Gender"] == 'male'].mean(), 3) pd.DataFrame(data={'female':female_median_score, 'male':male_median_score})

Si bien no hay una gran brecha entre las calificaciones promedio de hombres y mujeres, existe una diferencia que debería analizarse teniendo en cuenta otros factores tales como el nivel de estudio de los padres, el tipo de almuerzo o si han realizado el curso de preparatorio, también podemos atribuir esta diferencia a la prioridad que cada grupo ha puesto sobre cada asignatura, pero esto es un aspecto que no podremos analizar por falta de información. Por ejemplo, veamos como es el almuerzo de hombres y mujeres, que como ya vimos es el factor dentro de nuestro dataset que más influye sobre las calificaciones:

plt.figure(figsize=(15,7)) sns.histplot(data=df_7, x="Lunch", kde=True, palette='YlOrBr', hue="Gender") plt.ylabel("Student count") plt.title("Lunch by gender") plt.show()

Podemos ver qué dentro de la población de estudiantes que tienen almuerzos estándar, la cantidad de hombres y mujeres es casi pareja, pero hay un desbalance en la población de estudiantes que tienen almuerzos free o reducidos, siendo hombres los de mayor cantidad en esta categoría, si bien no es tanta la diferencia podría influir en la diferencia de calificaciones entre ambos grupos. Ahora veamos qué porcentaje de hombres y mujeres completaron el curso de preparatorio:

p_male_test_c = 100 * df_6[(df_6["Gender"] == 'male')&(df_6["Test preparation course"] == 'completed')].shape[0] / df_6.shape[0] p_female_test_c = 100 * df_6[(df_6["Gender"] == 'female')&(df_6["Test preparation course"] == 'completed')].shape[0] / df_6.shape[0] plt.figure(figsize=(15,7)) plt.pie([p_male_test_c, p_female_test_c, 100 - (p_male_test_c + p_female_test_c)], labels=["male that completed the course", "female that completed the course", "female/male that not completed the course"], autopct='%1.2f%%') plt.title("Percentage of students that completed course by gender") plt.show()

La diferencia nos dice que hubo un 1.62% más de hombres que finalizaron el curso, como ya dijimos completar el curso beneficiaba ligeramente las calificaciones de los estudiantes, pero claramente esto no alcanzo para que los hombres igualen las calificaciones de las mujeres. Veamos también el porcentaje de hijas e hijos con padres con determinado nivel de educación:

plt.figure(figsize=(15,7)) sns.histplot(data=df_7, x="Parental level of education", kde=True, hue="Gender") plt.title("Parental level of education by the gender of your children") plt.ylabel("Student count") plt.show()

Sucede algo similar, los hijos/as con padres con niveles de educación más altos conseguirán mejores calificaciones, los dos niveles más altos de educación son liderados por padres con hijas, pero nos es tanta la diferencia, al menos en la categoría de licenciaturas, en cambio, para el tercer y cuarto nivel más alto de educación que son liderados por padres con hijos existe una amplia diferencia en ambos niveles, a priori los hombres deberían tener la ventaja con sus calificaciones, pero no es así.

En conclusión, estos análisis nos dicen que las chicas han realizado un excelente trabajo, ¡Felicitaciones, muy bien por ellas!. Chicos, lo siento, deben esforzarse un poco más. Se recomienda analizar el contenido de las asignaturas para causar mayor interés en el grupo con menor rendimiento.

¿El tipo de almuerzo influye en las calificaciones de los estudiantes?

#px.strip(df_7, x="Math score", y="Lunch", color='Lunch') sr_std = df_7[df_7["Lunch"] == 'standard'].mean() sr_free = df_7[df_7["Lunch"] == 'free/reduced'].mean() labels = [] for label in sr_std.index: if label != 'Average score': label_arr = label.split() labels.append(label_arr[0] + ' average ' + label_arr[1]) else: labels.append(label) fig = go.Figure(data=[ go.Bar(name='Standard Lunch', x=labels, y=sr_std.values, text=sr_std.values), go.Bar(name='Free/Reduced Lunch', x=labels, y=sr_free.values, text=sr_free.values) ]) fig.update_layout(barmode='group', uniformtext_minsize=8, uniformtext_mode='hide', title="Averages scores by type lunch", yaxis_title="Score value") fig.update_traces(texttemplate='%{text:.5s}', textposition='outside') fig.show()

Con este simple gráfico podemos observar como sé potencian las calificaciones promedio debido al tipo de almuerzo del estudiante, veamos que pasa con las calificaciones individuales de cada estudiante:

fig,axs = plt.subplots(2,2, figsize = (15,7)) sns.histplot(data=df_7, x="Math score", kde=True, ax=axs[0, 0], palette='YlOrBr', hue="Lunch") sns.histplot(data=df_7, x="Physics score", kde=True, ax=axs[0, 1], palette="rocket", hue="Lunch") sns.histplot(data=df_7, x="Chemistry score", kde=True, ax=axs[1, 0], palette="mako", hue="Lunch") sns.histplot(data=df_7, x="Algebra score", kde=True, ax=axs[1, 1], palette="viridis", hue="Lunch") setYlabel(axs,"Student count") fig.suptitle("Scores by type lunch") fig.show()

Solamente con observar como les fue a los estudiantes en Matemáticas podemos decir que el tipo de almuerzo es un factor que influye bastante en las calificaciones. Y esto es claro, ya que nuestro cerebro necesita energía para funcionar correctamente, pues los alimentos nos proporcionan dicha energía. La institución debe analizar la posibilidad de aportar algún tipo de alimento, como una merienda o viandas, a sus estudiantes para que estos mejoren su rendimiento académico sustancialmente, además debe encuestarse a los estudiantes acerca de su rutina alimentaria fuera de la institución en busca de alumnos que presenten problemas de acceso a una alimentación saludable.

¿Qué implicancia tienen las etnias de los estudiantes?

etnias = df_7['Ethnicity'].unique() promediosXetnias = [] for etnia in etnias: promediosXetnias.append(df_7[df_7['Ethnicity'] == etnia].mean().values) df_etnias = pd.DataFrame(data=promediosXetnias, columns=etnias, index=df_7.mean().index) df_etnias

fig = go.Figure(data=[ go.Bar(name='Math score', x=df_etnias.columns, y=df_etnias.loc["Math score"], text=df_etnias.loc["Math score"]), go.Bar(name='Physics score', x=df_etnias.columns, y=df_etnias.loc["Physics score"], text=df_etnias.loc["Physics score"], visible=False), go.Bar(name='Chemistry score', x=df_etnias.columns, y=df_etnias.loc["Chemistry score"], text=df_etnias.loc["Chemistry score"], visible=False), go.Bar(name='Algebra score', x=df_etnias.columns, y=df_etnias.loc["Algebra score"], text=df_etnias.loc["Algebra score"], visible=False), go.Bar(name='Average score', x=df_etnias.columns, y=df_etnias.loc["Average score"], text=df_etnias.loc["Average score"], visible=False), ]) fig.update_layout(barmode='stack', uniformtext_minsize=8, uniformtext_mode='hide') fig.update_traces(texttemplate='%{text:.5s}', textposition='outside') steps = [] for i in range(len(fig.data)): step = dict( method="update", args=[{"visible": [False] * len(fig.data)}], label=fig.data[i].name + 's' ) step["args"][0]["visible"][i] = True steps.append(step) sliders = [dict( active=10, pad={"t": 50}, steps=steps )] fig.update_layout( sliders=sliders, title="Average scores by ethnicities", xaxis_title="Ethnicities", yaxis_title="Average score value" ) fig.show()

for etnia in etnias: print(f'Al {etnia} pertenecen {df_7[df_7["Ethnicity"] == etnia].shape[0]} estudiantes')

Conclusión: Los grupos E, B y C presentan promedios similares, el grupo D presenta el promedio más alto y, a diferencia del resto, el grupo A presenta el promedio más bajo de todos, casualmente este grupo son los de menos población, esto puede deberse a que este grupo no sea nativo del país, y el bajo promedio, que tampoco es muy distinto del resto, puede deberse a factores de adaptabilidad de la propia etnia, podrían presentar dificultades para interpretar el lenguaje nativo o simplemente están acostumbrados a otro tipo de enseñanza, se recomienda realizar encuestas al alumnado sobre el desarrollo de las asignaturas, las dificultades que se les presentan y sobre el desempeño de los profesores para detectar y descartar posibles problemas.