Conociendo nuestros datos de pingüinos. 🗺🧭🐧

Instalar librerías necesarias

!pip install --upgrade pip !pip install palmerpenguins==0.1.4 numpy==1.23.4 pandas==1.5.1 seaborn==0.12.1 matplotlib==3.6.0 empiricaldist==0.6.7 statsmodels==0.13.5 scikit-learn==1.1.2 pyjanitor==0.23.1 session-info

Run to view results

Importar librerías

import empiricaldist import janitor import matplotlib.pyplot as plt import numpy as np import palmerpenguins import pandas as pd import scipy.stats import seaborn as sns import sklearn.metrics import statsmodels.api as sm import statsmodels.formula.api as smf import statsmodels.stats as ss import session_info

Run to view results

Establecer apariencia general de los gráficos

%matplotlib inline sns.set_style(style='whitegrid') sns.set_context(context='notebook') plt.rcParams['figure.figsize'] = (11, 9.4) penguin_color = { 'Adelie': '#ff6602ff', 'Gentoo': '#0f7175ff', 'Chinstrap': '#c65dc9ff' }

Run to view results

Cargar los datos

Utilizando el paquete palmerpenguins

Datos crudos

raw_penguins_df = palmerpenguins.load_penguins_raw() raw_penguins_df

Run to view results

Datos previamente procesados

#preprocessed_penguins_df = palmerpenguins.load_penguins() #preprocessed_penguins_df pp_df=palmerpenguins.load_penguins() pp_df

Run to view results

Utilizando los conjuntos de datos de seaborn

#preprocessed_penguins_df = sns.load_dataset("penguins") pp_df=sns.load_dataset("penguins")

Run to view results

Utilizando la interfaz de Deepnote

Links de importación de datos:

Conjunto de datos crudos.

Conjunto de datos previamente procesados.

raw_penguins_df2 = pd.read_csv('penguins_raw.csv') raw_penguins_df2

Run to view results

preprocessed_penguins_df2 = pd.read_csv('penguins.csv') preprocessed_penguins_df2

Run to view results

Colecta y validación de datos

¿Qué tipo de dato son las variables del conjunto de datos?

#preprocessed_penguins_df.dtypes pp_df.dtypes

Run to view results

¿Cuántas variables de cada tipo de dato tenemos en el conjunto de datos?

( pp_df .dtypes .value_counts() )

Run to view results

¿Cuántas variables y observaciones tenemos en el conjunto de datos?

pp_df.shape

Run to view results

¿Existen valores nulos explicitos en el conjunto de datos?

#( # preprocessed_penguins_df # .isnull() # .any() #) ( pp_df .isnull() .any() )

Run to view results

De tener observaciones con valores nulos, ¿cuántas tenemos por cada variable?

( pp_df .isnull() .sum() .sort_values(ascending=False) )

Run to view results

¿Cuántos valores nulos tenemos en total en el conjunto de datos?

( pp_df .isnull() .sum() .sum() )

Run to view results

¿Cuál es la proporción de valores nulos por cada variable?

import matplotlib print(matplotlib.__version__) import seaborn print(seaborn.__version__) !pip install --upgrade seaborn matplotlib

Run to view results

!pip uninstall seaborn matplotlib !pip install seaborn matplotlib !pip install seaborn matplotlib --upgrade import matplotlib print(matplotlib.__version__) import seaborn print(seaborn.__version__)

Run to view results

( pp_df .isnull() .melt(value_name='missing') .pipe( lambda df: ( sns.displot( data=df, y='variable', hue='missing', multiple='fill', aspect=2 ) ) ) )

Run to view results

¿Cómo podemos visualizar los valores nulos en todo el conjunto de datos?

( pp_df .isnull() .transpose() .pipe( lambda df: sns.heatmap(data=df) ) )

Run to view results

¿Cuántas observaciones perdemos si eliminamos los datos faltantes?

processed_penguins_df = ( pp_df .dropna() ) processed_penguins_df

Run to view results

Conteos y proporciones

Preludio: ¿Qué estadísticos describen el conjunto de datos?

Todas las variables

processed_penguins_df.describe(include='all')

Run to view results

Solo las numéricas

processed_penguins_df.describe(include=[np.number])

Run to view results

Solo categóricas - 1

processed_penguins_df.describe(include=object)

Run to view results

Solo categóricas - 2

( processed_penguins_df .astype({ 'species':'category', 'island':'category', 'sex':'category' } ) .describe(include='category') )

Run to view results

¿Cómo visualizar los conteos?

Pandas

( processed_penguins_df .species .value_counts() .sort_index() .plot( kind='bar', color=penguin_color.values(), title='Número de pinguinos por especie', ) ) plt.show()

Run to view results

Seaborn

pp_df

Run to view results

sns.catplot( data=processed_penguins_df, x='species', kind='count', palette=penguin_color ) plt.show()

Run to view results

( processed_penguins_df .value_counts('species', sort=True) .reset_index(name='count') .pipe( lambda df: sns.barplot( data=df, x='species', y='count', palette=penguin_color ) ) ) plt.show()

Run to view results

¿Cómo visualizar las proporciones?

( processed_penguins_df .add_column('x', '') .pipe( lambda df: sns.displot( data=df, x='x', hue='species', multiple='fill', palette=penguin_color ) ) ) plt.show()

Run to view results

Medidas de tendencia central

Media o promedio

processed_penguins_df.bill_depth_mm.mean()

Run to view results

np.mean(processed_penguins_df.bill_depth_mm)

Run to view results

processed_penguins_df.mean(numeric_only= 'True')

Run to view results

Mediana

processed_penguins_df.median(numeric_only= 'True')

Run to view results

Moda

processed_penguins_df.mode()

Run to view results

processed_penguins_df.describe(include=object)

Run to view results

Medidas de dispersión

¿Cuál es el valor máximo de las variables?

processed_penguins_df.max(numeric_only= 'True')

Run to view results

¿Cuál es el valor mínimo de las variables?

processed_penguins_df.min(numeric_only= 'True')

Run to view results

¿Cuál es el rango de las variables?

processed_penguins_df.max(numeric_only= 'True') - processed_penguins_df.min(numeric_only= 'True')

Run to view results

¿Cuál es la desviación estándar de las variables?

processed_penguins_df.std(numeric_only= 'True')

Run to view results

¿Cuál es el rango intercuartílico?

processed_penguins_df.quantile(0.75, numeric_only= 'True')

Run to view results

processed_penguins_df.quantile(0.75, numeric_only= 'True')-processed_penguins_df.quantile(0.25, numeric_only= 'True')

Run to view results

( processed_penguins_df .quantile(q=[0.75,0.5,0.25],numeric_only= 'True') .transpose() .rename_axis('variable') .reset_index() .assign( iqr=lambda df: df[0.75] - df[0.25] ) )

Run to view results

¿Cómo puedo visualizar la distribución de una variable?

Histograma

sns.histplot( data=processed_penguins_df, x='flipper_length_mm', )

Run to view results

Diagrama de caja / boxplot

Run to view results

Limitaciones

Run to view results

Distribuciones: PMFs, CDFs y PDFs

Funciones de probabilidad de masas (PMFs)

Utilizando seaborn

Run to view results

Utilizando empiricaldist

Run to view results

Funciones empirícas de probabilidad acumulada (ECDFs)

Utilizando seaborn

Run to view results

Utilizando empiricaldist

Run to view results

Comparando distribuciones

Run to view results

Funciones de densidad de probabilidad

Run to view results

Ley de los Grandes Números y Teorema del Límite Central

Ley de los Grandes Números

Run to view results

Teorema del límite central

Run to view results

Estableciendo relaciones: Gráfica de puntos

Run to view results

Estableciendo relaciones: Gráficos de violín y boxplots

Run to view results

Estableciendo relaciones: Matrices de correlación

¿Existe una correlación lineal entre alguna de nuestras variables?

Run to view results

¿Como puedo visualizar los coeficientes de correlación?

Run to view results

¿Cómo podría representar una variable categórica como numérica discreta?

Run to view results

¿Cuál es una límitante de los coeficientes de correlación lineal?

Sólo nos ayuda a determinar la posible existencia de una correlación lineal, sin embargo, su ausencia no significa que no exista otro tipo de correlación

Run to view results

El coeficiente de correlación no nos habla del impacto de la relación

Run to view results

Estableciendo relaciones: Análisis de regresión simple

Run to view results

Limitaciones del análisis de regresión simple

La regresión lineal simple no es simétrica

Run to view results

La regresión no nos dice nada sobre la causalidad, pero existen herramientas para separar las relaciones entre varias variables

La pendiente es -0.634905, lo que significa que cada milímetro adicional de profundidad del pico es asociado a un decremento de -0.634905 milímetros de la longitud del pico de un pingüino.

Run to view results

Análisis de regresión múltiple

Olvidé mi báscula para pesar a los pingüinos, ¿Cuál sería la mejor forma de capturar ese dato?

Creando modelos

Run to view results

Visualizando resultados

Run to view results

Análisis de regresión logística

Run to view results

Paradoja de Simpson

Run to view results

Información de sesión

Run to view results

.css-15w88e5{color:var(--chakra-colors-fg-neutral-primary);font-weight:inherit;letter-spacing:-0.09px;}Conociendo nuestros datos de pingüinos. 🗺🧭🐧

Instalar librerías necesarias

Importar librerías

Establecer apariencia general de los gráficos

Cargar los datos

Utilizando los conjuntos de datos de seaborn

Utilizando la interfaz de Deepnote

Colecta y validación de datos

¿Qué tipo de dato son las variables del conjunto de datos?

¿Cuántas variables de cada tipo de dato tenemos en el conjunto de datos?

¿Cuántas variables y observaciones tenemos en el conjunto de datos?

¿Existen valores nulos explicitos en el conjunto de datos?

De tener observaciones con valores nulos, ¿cuántas tenemos por cada variable?

¿Cuántos valores nulos tenemos en total en el conjunto de datos?

¿Cuál es la proporción de valores nulos por cada variable?

¿Cómo podemos visualizar los valores nulos en todo el conjunto de datos?

¿Cuántas observaciones perdemos si eliminamos los datos faltantes?

Conteos y proporciones

Preludio: ¿Qué estadísticos describen el conjunto de datos?

Todas las variables

Solo las numéricas

Solo categóricas - 1

Solo categóricas - 2

¿Cómo visualizar los conteos?

Pandas

Seaborn

¿Cómo visualizar las proporciones?

Medidas de tendencia central

Media o promedio

Mediana

Moda

Medidas de dispersión

¿Cuál es el valor máximo de las variables?

¿Cuál es el valor mínimo de las variables?

¿Cuál es el rango de las variables?

¿Cuál es la desviación estándar de las variables?

¿Cuál es el rango intercuartílico?

¿Cómo puedo visualizar la distribución de una variable?

Histograma

Diagrama de caja / boxplot

Limitaciones

Distribuciones: PMFs, CDFs y PDFs

Funciones de probabilidad de masas (PMFs)

Utilizando seaborn

Utilizando empiricaldist

Funciones empirícas de probabilidad acumulada (ECDFs)

Utilizando seaborn

Utilizando empiricaldist

Comparando distribuciones

Funciones de densidad de probabilidad

Ley de los Grandes Números y Teorema del Límite Central

Ley de los Grandes Números

Teorema del límite central

Estableciendo relaciones: Gráfica de puntos

Estableciendo relaciones: Gráficos de violín y boxplots

Estableciendo relaciones: Matrices de correlación

¿Existe una correlación lineal entre alguna de nuestras variables?

¿Como puedo visualizar los coeficientes de correlación?

¿Cómo podría representar una variable categórica como numérica discreta?

¿Cuál es una límitante de los coeficientes de correlación lineal?

Sólo nos ayuda a determinar la posible existencia de una correlación lineal, sin embargo, su ausencia no significa que no exista otro tipo de correlación

El coeficiente de correlación no nos habla del impacto de la relación

Estableciendo relaciones: Análisis de regresión simple

Limitaciones del análisis de regresión simple

La regresión lineal simple no es simétrica

La regresión no nos dice nada sobre la causalidad, pero existen herramientas para separar las relaciones entre varias variables

Análisis de regresión múltiple

Olvidé mi báscula para pesar a los pingüinos, ¿Cuál sería la mejor forma de capturar ese dato?

Creando modelos

Visualizando resultados

Análisis de regresión logística

Paradoja de Simpson

Información de sesión

Conociendo nuestros datos de pingüinos. 🗺🧭🐧