Conociendo nuestros datos de pingüinos. 🗺🧭🐧
Instalar librerías necesarias
Importar librerías
import empiricaldist
import janitor
import matplotlib.pyplot as plt
import numpy as np
import palmerpenguins
import pandas as pd
import scipy.stats
import seaborn as sns
import sklearn.metrics
import statsmodels.api as sm
import statsmodels.formula.api as smf
import statsmodels.stats as ss
import session_info
Run to view results
Establecer apariencia general de los gráficos
%matplotlib inline
sns.set_style(style='whitegrid')
sns.set_context(context='notebook')
plt.rcParams['figure.figsize'] = (11, 9.4)
penguin_color = {
'Adelie': '#ff6602ff',
'Gentoo': '#0f7175ff',
'Chinstrap': '#c65dc9ff'
}
Run to view results
Cargar los datos
Utilizando el paquete palmerpenguins
Datos crudos
# datos sin procesamiento tal como los tomaron los cientrificos
raw_pinguins_df = palmerpenguins.load_penguins_raw()
raw_pinguins_df.head()
Run to view results
Datos previamente procesados
preprocess_pinguins_df = palmerpenguins.load_penguins()
preprocess_pinguins_df.head()
Run to view results
Utilizando los conjuntos de datos de seaborn
sns_penguins_df = sns.load_dataset('penguins')
sns_penguins_df.head()
Run to view results
Utilizando la interfaz de Deepnote importando con PANDAS
Links de importación de datos:
preprocess_pinguins_df=pd.read_csv('penguins.csv')
preprocess_pinguins_df.head()
Run to view results
Colecta y validación de datos
¿Qué tipo de dato son las variables del conjunto de datos?
preprocess_pinguins_df.dtypes
Run to view results
¿Cuántas variables de cada tipo de dato tenemos en el conjunto de datos?
preprocess_pinguins_df.dtypes.value_counts()
Run to view results
¿Cuántas variables y observaciones tenemos en el conjunto de datos?
preprocess_pinguins_df.shape
#Muestra las dimenciones, en este caso 344 FILAS (observaciones) y 8 COLUMNAS (variables)
Run to view results
¿Existen valores nulos explicitos en el conjunto de datos?
x = preprocess_pinguins_df.isnull().head(2) # me da un df solo con true y false para ver si hay nulos
print(x)
# any - si encuentra almenos un nulo vuelve true en una serie que rrecorre columnaas
preprocess_pinguins_df.isnull().any()
Run to view results
De tener observaciones con valores nulos, ¿cuántas tenemos por cada variable?
# suma todos los null que encuentra por columnas
preprocess_pinguins_df.isnull().sum()
Run to view results
¿Cuántos valores nulos tenemos en total en el conjunto de datos?
#a la respuesta anteriro la vuelve a sumar y solo genera un valor
preprocess_pinguins_df.isnull().sum().sum()
Run to view results
¿Cuál es la proporción de valores nulos por cada variable?
# melt() toma cada uno de los items y crea una tabla con variables y valores para ver cada apartado si es null o no
#pipe() es para pasarle funciones al dataframe u operaciones
# sns.displot crea la grafica adecuada
# data=df el resultado de la operación para graficar
# y='variable' la variable que se va a graficar de df
# hue='value' el valor que se va a graficar de la variable
# multiple='fill' apila los nulos sobre los no nulos
# aspect=2 el ancho de la grafica
preprocess_pinguins_df.isnull().melt().pipe(
lambda df: (
sns.displot(
data=df,
y='variable',
hue='value',
multiple='fill',
aspect=2
)
)
)
Run to view results
¿Cómo podemos visualizar los valores nulos en todo el conjunto de datos?
preprocess_pinguins_df.isnull().transpose().pipe(lambda df: sns.heatmap(df))
# EN ESTE CASO EL TRANSPOSE SOLO FU FARA VER LA GRAFICA EN VERTICAL CON FORME A LOS ITEMS DE LA TABLA
# se ven 10 items que conforman valores nulos y uno de ellos el 272 es el que mas tiene
# se pueden eliminar para limpiar los datos, no generan valor
Run to view results
¿Cuántas observaciones perdemos si eliminamos los datos faltantes?
# se eliminan todos los nulos con dropna en este caso 10
preprocess_pinguins_df = preprocess_pinguins_df.dropna()
preprocess_pinguins_df.dropna().shape
Run to view results
Conteos y proporciones
Preludio: ¿Qué estadísticos describen el conjunto de datos?
Todas las variables
# sin include='all' solo incluye valores numericos
preprocess_pinguins_df.describe(include='all')
Run to view results
Solo las numéricas
preprocess_pinguins_df.describe(include=[np.number])
Run to view results
Solo categóricas - 1
preprocess_pinguins_df.describe(include=object)
Run to view results
Solo categóricas - 2
# convierte las variables objer en categorias directamente, porque un object podria a llegar a ser un string muy largo y no aplica a categoria
preprocess_pinguins_df.astype({'species': 'category', 'island': 'category','sex':'category'}).describe(include='category')
Run to view results
¿Cómo visualizar los conteos?
Pandas
preprocess_pinguins_df.species.value_counts().plot(kind='bar')
Run to view results
¿Cómo visualizar las proporciones?
sns.catplot(data=preprocess_pinguins_df, x='species', kind='count', palette=penguin_color)
Run to view results
Medidas de tendencia central
Media o promedio
#promedia el item de bill_depth_mm de la tabla
print('promedio con pandas', preprocess_pinguins_df.bill_depth_mm.mean())
# con numpy
print('promedio con numpy',np.mean(preprocess_pinguins_df.bill_depth_mm))
#promedio de TODAS LAS VARIABLES NUMERICAS
preprocess_pinguins_df.mean()
Run to view results
Mediana
# No hay mucho sesgo
preprocess_pinguins_df.median()
Run to view results
Moda
#La moda aplica con las variables categoricas
preprocess_pinguins_df.mode()
Run to view results
Medidas de dispersión
¿Cuál es el valor máximo de las variables? rango
max = preprocess_pinguins_df.max(numeric_only=True)
min = preprocess_pinguins_df.min(numeric_only=1)
rango = max - min
rango
Run to view results
¿Cuál es la desviación estándar de las variables?
# si al promedio le sumo y le resto la std tengo un rango que captura del 65% al 99% de los datos utiles a trabajar
preprocess_pinguins_df.std()
Run to view results
¿Cuál es el rango intercuartílico?
# Q1 - Q3
preprocess_pinguins_df.quantile(0.75) - preprocess_pinguins_df.quantile(0.25)
Run to view results
# los 3 quantiles de cada variable numerica
preprocess_pinguins_df.quantile([0.25,0.5,0.75]).transpose()
Run to view results
¿Cómo puedo visualizar la distribución de una variable?
Histograma
fig = plt.subplots(figsize=(3,3))
sns.histplot(data=preprocess_pinguins_df, x='bill_depth_mm', kde=True)
#para vizualizar el promedio
plt.axvline(preprocess_pinguins_df.bill_depth_mm.mean(), color='red', linestyle='dashed', linewidth=2)
# mediana
plt.axvline(preprocess_pinguins_df.bill_depth_mm.median(), color='k', linestyle='dashed', linewidth=2)
# moda es el pico de la grafica
Run to view results
Diagrama de caja / boxplot
fig = plt.subplots(figsize=(3,3))
sns.boxplot(data=preprocess_pinguins_df, x='bill_depth_mm')
Run to view results
Distribuciones: PMFs, CDFs y PDFs
Funciones de probabilidad de masas (PMFs)
nos dice la probabilidad que una variable DISCRETA aleatoria tome un valor determinado. ej cual es la probabilidad que en mi salon haya personas con 23 años
Utilizando seaborn
#binwidth=1 para ver la mayor cantidad de valores que no se persiben default
# stat='probability' hace que las barras representen la probabilidad y no la frecuencia - cambio la informacion de las barras
fig = plt.subplots(figsize=(3,3))
sns.histplot(data=preprocess_pinguins_df, x='flipper_length_mm', binwidth=1,
stat='probability'
)
Run to view results
Utilizando empiricaldist
fig = plt.subplots(figsize=(3,3))
# crea una tabla, por cada valor su probabilidad de ocurrencia
pmf = empiricaldist.Pmf.from_seq(preprocess_pinguins_df.flipper_length_mm, normalize=1)
print(pmf.bar())
# Le puedo preguntar la probabilidad de que aparezca el numero que yo quiera, así no este en el df
numer=200
print('probabilidad de que caparezca',numer, '=',pmf(numer))
Run to view results
Funciones empirícas de probabilidad acumulada (ECDFs)
probabilidad que una variable DISCTRETA igual o menor a un valor ej cual es la probabilidad que en mi salon haya personas con 23 años o menos
Utilizando seaborn
fig = plt.subplots(figsize=(3,3))
# con sns solo podemos graficar, no hacer preguntas como cual es la probabilidad que caiga x, tengo que ver a ojo
sns.ecdfplot(data=preprocess_pinguins_df,x='flipper_length_mm')
Run to view results
Utilizando empiricaldist
fig = plt.subplots(figsize=(3,3))
# para hacer preguntas más especificas
cdf=empiricaldist.Cdf.from_seq(preprocess_pinguins_df.flipper_length_mm,normalize=1)
print(cdf.plot())
#probabilidad de que mida 200 o menos
q=200
cdf(q)
Run to view results
Comparando distribuciones
fig = plt.subplots(figsize=(3,3))
sns.ecdfplot(data=preprocess_pinguins_df,x='flipper_length_mm', hue='species')
Run to view results
Funciones de densidad de probabilidad
nos dice la probabilidad que una variable CONTINUA aleatoria tome un valor determinado. ej cual es la probabilidad qUE UN pinguino mida 2.3445, CALCULA LA PROBAIBILIDAD DE MANERA CONTINUA NO COMO PMF QUE HABIAN LUGARES QUE NO TENIAN VALOR
fig = plt.subplots(figsize=(3,3))
# bw_method=0.1 aumenta la escala a ver la distribución
sns.kdeplot(data=preprocess_pinguins_df,x='flipper_length_mm', bw_method=0.1) #grafica de densidad
Run to view results
Ley de los Grandes Números y Teorema del Límite Central
Ley de los Grandes Números
si voy incrementando el tamaño de la muestra va a tender a la probabilidad teórica eje lanzar dados
# le paso una secuencia de 6 simulando los dados | pmf para la probabilidad que caiga una var discreta
dice=empiricaldist.Pmf.from_seq([1,2,3,4,5,6])
for sample_size in (1e2, 1e4, 1e6):
sample_size = int(sample_size)
values= dice.sample(sample_size)
sample_pmf=empiricaldist.Pmf.from_seq(values)
fig = plt.subplots(figsize=(3,3))
sample_pmf.bar()
plt.axhline(y=1/6, color='red', linestyle='dashed')
plt.title(f"Sample size={sample_size}")
Run to view results
Teorema del límite central
# normalize=1 porcentage de aparición con respecto al total
preprocess_pinguins_df.sex.value_counts(normalize=1)
Run to view results
# si sale male es 0, fale 1 en toda la distribución | en esta función tiende al limite central de fale
sex_numeric = preprocess_pinguins_df.sex.replace(['male', 'female'], [0, 1])
number_samples = 1000
sample_size = 35 # número de muestras
np.random.seed(42)
# lista auxiliar: almacenar las muestras
samples_list = []
for i in range(1, number_samples + 1):
sex_numeric_sample = sex_numeric.sample(sample_size, replace=True).to_numpy()
samples_list.append(pd.Series(sex_numeric_sample, name=f'sample_{i}')) # almacenar cada muestra en una serie
# Concatenar todas las muestras en un nuevo df
samples_df = pd.concat(samples_list, axis=1)
male_proportion_mean = samples_df.mean().mean()
print(f'Estimated percentage for male penguins (in total population): {male_proportion_mean * 100:.2f}%')
Run to view results
Estableciendo relaciones: Gráfica de puntos
# alpha=0.5 | en caso de 0.5 deben haber 2 valores que caigan en el mismo punto para que se no sea transparente
# s tamaño de puntos
fig = plt.subplots(figsize=(5,5))
sns.scatterplot(data=preprocess_pinguins_df, x='bill_depth_mm', y='bill_length_mm',
alpha=0.5,
s=100
)
print('CON HISTOGRAMA')
# rug=1 muestra que tanto se distribuyen los datos en los ejes
sns.displot(data=preprocess_pinguins_df, x='bill_depth_mm', y='bill_length_mm',
rug=True
)
print('CON DENSIDAD')
sns.displot(data=preprocess_pinguins_df, x='bill_depth_mm', y='bill_length_mm',
rug=True, kind='kde'
)
print('UNIENDO LOS DATOS')
sns.jointplot(data=preprocess_pinguins_df, x='bill_depth_mm', y='bill_length_mm',
alpha=0.5)
Run to view results
Estableciendo relaciones: Gráficos de violín y boxplots
# MEZCLA VARIABLE NUMERICAS CON CATEGORICAS, LAS NUMERICAS QUEDAN UNICAMENTE EN EL EJE DE LA CATEGORICA
fig, axes = plt.subplots(3,2, figsize=(20,15))
sns.scatterplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[0, 0]
)
#CON LA FORMA ANTERIOR LOS PUNTOS SE PUEDEN SOPALAR SI HAY REPETIDOS, Y NO VEMOS DONDE SE ACUMULAN MAS
# GENERAMOS UN RUIDO ALEATORIO QUE VARIA HORIZONTALMENTE PARA VER DONDE SE ACUMULA
# stripplot muestra la distribución de datos a lo largo de una categoría en el eje x.
sns.stripplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[0, 1]
)
#CON BOX PARA ANALIZAR LOS DATOS NUMERICOS INDIVIDUALMENTE POR CADA DATO CATEGORICO
# PERO NO MUESTRA COMO SE DISTRIBUYEN O ACUMULAN LOS DATOS, SIGUIENTE APOYA ESTO
sns.boxplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[1, 0]
)
#################
# GRAFICA MAS COMPLETA PERMITE ANALIZAR DATOS NUMERICOS INDIVIDUALMENTE Y ANALIZAR DISTRIBUCION
sns.boxplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[1, 1]
)
sns.stripplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[1, 1],
legend=0
)
################# COMO ES EL MISMO AX SE ACUMULA UNA FIG SOBRE OTRA
##violinplot GRAFICA PARA CON ENFOQUE EN ANALIZAR ESTOS 2 TIPOS DE VARIABLES A LA VEZ
sns.violinplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[2, 0]
)
# Y SE PUEDE COMBINAR CON PUNTOS
sns.stripplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[2, 0],
legend=0
)
#swarmplot GENERA UN RUIDO EN EL EJE X PERO ESTA VEZ NO ES ALEATORIO SINO UNO LADO DEL OTRO
sns.swarmplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[2, 1]
)
Run to view results
Estableciendo relaciones: Matrices de correlación
¿Existe una correlación lineal entre alguna de nuestras variables?
¿Como puedo visualizar los coeficientes de correlación?
¿Cómo podría representar una variable categórica como numérica discreta?
¿Cuál es una límitante de los coeficientes de correlación lineal?
Sólo nos ayuda a determinar la posible existencia de una correlación lineal, sin embargo, su ausencia no significa que no exista otro tipo de correlación
El coeficiente de correlación no nos habla del impacto de la relación
Estableciendo relaciones: Análisis de regresión simple
Limitaciones del análisis de regresión simple
La regresión lineal simple no es simétrica
La regresión no nos dice nada sobre la causalidad, pero existen herramientas para separar las relaciones entre varias variables
La pendiente es -0.634905, lo que significa que cada milímetro adicional de profundidad del pico es asociado a un decremento de -0.634905 milímetros de la longitud del pico de un pingüino.