Conociendo nuestros datos de ping眉inos. 馃椇馃Л馃惂
Instalar librer铆as necesarias
#!pip install --upgrade pip
#!pip install palmerpenguins==0.1.4 numpy==1.23.4 pandas==1.5.1 seaborn==0.12.1 matplotlib==3.6.0 empiricaldist==0.6.7 statsmodels==0.13.5 scikit-learn==1.1.2 pyjanitor==0.23.1 session-info
Run to view results
Importar librer铆as
!pip install empiricaldist==0.7.5
Run to view results
import empiricaldist
import janitor
import matplotlib.pyplot as plt
import numpy as np
import palmerpenguins
import pandas as pd
import scipy.stats
import seaborn as sns
import sklearn.metrics
import statsmodels.api as sm
import statsmodels.formula.api as smf
import statsmodels.stats as ss
import session_info
Run to view results
Establecer apariencia general de los gr谩ficos
%matplotlib inline
sns.set_style(style='whitegrid')
sns.set_context(context='notebook')
plt.rcParams['figure.figsize'] = (11, 9.4)
penguin_color = {
'Adelie': '#ff6602ff',
'Gentoo': '#0f7175ff',
'Chinstrap': '#c65dc9ff'
}
Run to view results
Cargar los datos
Utilizando el paquete palmerpenguins
Datos crudos
# datos sin procesamiento tal como los tomaron los cientrificos
raw_pinguins_df = palmerpenguins.load_penguins_raw()
raw_pinguins_df.head()
Run to view results
Datos previamente procesados
preprocess_pinguins_df = palmerpenguins.load_penguins()
preprocess_pinguins_df.head()
Run to view results
Utilizando los conjuntos de datos de seaborn
sns_penguins_df = sns.load_dataset('penguins')
sns_penguins_df.head()
Run to view results
Utilizando la interfaz de Deepnote importando con PANDAS
Links de importaci贸n de datos:
preprocess_pinguins_df=pd.read_csv('penguins.csv')
preprocess_pinguins_df.head()
Run to view results
Colecta y validaci贸n de datos
驴Qu茅 tipo de dato son las variables del conjunto de datos?
preprocess_pinguins_df.dtypes
Run to view results
驴Cu谩ntas variables de cada tipo de dato tenemos en el conjunto de datos?
preprocess_pinguins_df.dtypes.value_counts()
Run to view results
驴Cu谩ntas variables y observaciones tenemos en el conjunto de datos?
preprocess_pinguins_df.shape
#Muestra las dimenciones, en este caso 344 FILAS (observaciones) y 8 COLUMNAS (variables)
Run to view results
驴Existen valores nulos explicitos en el conjunto de datos?
x = preprocess_pinguins_df.isnull().head(2) # me da un df solo con true y false para ver si hay nulos
print(x)
# any - si encuentra almenos un nulo vuelve true en una serie que rrecorre columnaas
preprocess_pinguins_df.isnull().any()
Run to view results
De tener observaciones con valores nulos, 驴cu谩ntas tenemos por cada variable?
# suma todos los null que encuentra por columnas
preprocess_pinguins_df.isnull().sum()
Run to view results
驴Cu谩ntos valores nulos tenemos en total en el conjunto de datos?
#a la respuesta anteriro la vuelve a sumar y solo genera un valor
preprocess_pinguins_df.isnull().sum().sum()
Run to view results
驴Cu谩l es la proporci贸n de valores nulos por cada variable?
# melt() toma cada uno de los items y crea una tabla con variables y valores para ver cada apartado si es null o no
#pipe() es para pasarle funciones al dataframe u operaciones
# sns.displot crea la grafica adecuada
# data=df el resultado de la operaci贸n para graficar
# y='variable' la variable que se va a graficar de df
# hue='value' el valor que se va a graficar de la variable
# multiple='fill' apila los nulos sobre los no nulos
# aspect=2 el ancho de la grafica
preprocess_pinguins_df.isnull().melt().pipe(
lambda df: (
sns.displot(
data=df,
y='variable',
hue='value',
multiple='fill',
aspect=2
)
)
)
Run to view results
驴C贸mo podemos visualizar los valores nulos en todo el conjunto de datos?
preprocess_pinguins_df.isnull().transpose().pipe(lambda df: sns.heatmap(df))
# EN ESTE CASO EL TRANSPOSE SOLO FU FARA VER LA GRAFICA EN VERTICAL CON FORME A LOS ITEMS DE LA TABLA
# se ven 10 items que conforman valores nulos y uno de ellos el 272 es el que mas tiene
# se pueden eliminar para limpiar los datos, no generan valor
Run to view results
驴Cu谩ntas observaciones perdemos si eliminamos los datos faltantes?
# se eliminan todos los nulos con dropna en este caso 10
preprocess_pinguins_df = preprocess_pinguins_df.dropna()
preprocess_pinguins_df.dropna().shape
Run to view results
Conteos y proporciones
Preludio: 驴Qu茅 estad铆sticos describen el conjunto de datos?
Todas las variables
# sin include='all' solo incluye valores numericos
preprocess_pinguins_df.describe(include='all')
Run to view results
Solo las num茅ricas
preprocess_pinguins_df.describe(include=[np.number])
Run to view results
Solo categ贸ricas - 1
preprocess_pinguins_df.describe(include=object)
Run to view results
Solo categ贸ricas - 2
# convierte las variables objer en categorias directamente, porque un object podria a llegar a ser un string muy largo y no aplica a categoria
preprocess_pinguins_df.astype({'species': 'category', 'island': 'category','sex':'category'}).describe(include='category')
Run to view results
驴C贸mo visualizar los conteos?
Pandas
preprocess_pinguins_df.species.value_counts().plot(kind='bar')
Run to view results
驴C贸mo visualizar las proporciones?
sns.catplot(data=preprocess_pinguins_df, x='species', kind='count', palette=penguin_color)
Run to view results
Medidas de tendencia central
Media o promedio
#promedia el item de bill_depth_mm de la tabla
print('promedio con pandas', preprocess_pinguins_df.bill_depth_mm.mean())
# con numpy
print('promedio con numpy',np.mean(preprocess_pinguins_df.bill_depth_mm))
#promedio de TODAS LAS VARIABLES NUMERICAS
preprocess_pinguins_df.mean()
Run to view results
Mediana
# No hay mucho sesgo
preprocess_pinguins_df.median()
Run to view results
Moda
#La moda aplica con las variables categoricas
preprocess_pinguins_df.mode()
Run to view results
Medidas de dispersi贸n
驴Cu谩l es el valor m谩ximo de las variables? rango
max = preprocess_pinguins_df.max(numeric_only=True)
min = preprocess_pinguins_df.min(numeric_only=1)
rango = max - min
rango
Run to view results
驴Cu谩l es la desviaci贸n est谩ndar de las variables?
# si al promedio le sumo y le resto la std tengo un rango que captura del 65% al 99% de los datos utiles a trabajar
preprocess_pinguins_df.std()
Run to view results
驴Cu谩l es el rango intercuart铆lico?
# Q1 - Q3
preprocess_pinguins_df.quantile(0.75) - preprocess_pinguins_df.quantile(0.25)
Run to view results
# los 3 quantiles de cada variable numerica
preprocess_pinguins_df.quantile([0.25,0.5,0.75]).transpose()
Run to view results
驴C贸mo puedo visualizar la distribuci贸n de una variable?
Histograma
fig = plt.subplots(figsize=(3,3))
sns.histplot(data=preprocess_pinguins_df, x='bill_depth_mm', kde=True)
#para vizualizar el promedio
plt.axvline(preprocess_pinguins_df.bill_depth_mm.mean(), color='red', linestyle='dashed', linewidth=2)
# mediana
plt.axvline(preprocess_pinguins_df.bill_depth_mm.median(), color='k', linestyle='dashed', linewidth=2)
# moda es el pico de la grafica
Run to view results
Diagrama de caja / boxplot
fig = plt.subplots(figsize=(3,3))
sns.boxplot(data=preprocess_pinguins_df, x='bill_depth_mm')
Run to view results
Distribuciones: PMFs, CDFs y PDFs
Funciones de probabilidad de masas (PMFs)
nos dice la probabilidad que una variable DISCRETA aleatoria tome un valor determinado. ej cual es la probabilidad que en mi salon haya personas con 23 a帽os
Utilizando seaborn
#binwidth=1 para ver la mayor cantidad de valores que no se persiben default
# stat='probability' hace que las barras representen la probabilidad y no la frecuencia - cambio la informacion de las barras
fig = plt.subplots(figsize=(3,3))
sns.histplot(data=preprocess_pinguins_df, x='flipper_length_mm', binwidth=1,
stat='probability'
)
Run to view results
Utilizando empiricaldist
fig = plt.subplots(figsize=(3,3))
# crea una tabla, por cada valor su probabilidad de ocurrencia
pmf = empiricaldist.Pmf.from_seq(preprocess_pinguins_df.flipper_length_mm, normalize=1)
print(pmf.bar())
# Le puedo preguntar la probabilidad de que aparezca el numero que yo quiera, as铆 no este en el df
numer=200
print('probabilidad de que caparezca',numer, '=',pmf(numer))
Run to view results
Funciones empir铆cas de probabilidad acumulada (ECDFs)
probabilidad que una variable DISCTRETA igual o menor a un valor ej cual es la probabilidad que en mi salon haya personas con 23 a帽os o menos
Utilizando seaborn
fig = plt.subplots(figsize=(3,3))
# con sns solo podemos graficar, no hacer preguntas como cual es la probabilidad que caiga x, tengo que ver a ojo
sns.ecdfplot(data=preprocess_pinguins_df,x='flipper_length_mm')
Run to view results
Utilizando empiricaldist
fig = plt.subplots(figsize=(3,3))
# para hacer preguntas m谩s especificas
cdf=empiricaldist.Cdf.from_seq(preprocess_pinguins_df.flipper_length_mm,normalize=1)
print(cdf.plot())
#probabilidad de que mida 200 o menos
q=200
cdf(q)
Run to view results
Comparando distribuciones
fig = plt.subplots(figsize=(3,3))
sns.ecdfplot(data=preprocess_pinguins_df,x='flipper_length_mm', hue='species')
Run to view results
Funciones de densidad de probabilidad
nos dice la probabilidad que una variable CONTINUA aleatoria tome un valor determinado. ej cual es la probabilidad qUE UN pinguino mida 2.3445, CALCULA LA PROBAIBILIDAD DE MANERA CONTINUA NO COMO PMF QUE HABIAN LUGARES QUE NO TENIAN VALOR
fig = plt.subplots(figsize=(3,3))
# bw_method=0.1 aumenta la escala a ver la distribuci贸n
sns.kdeplot(data=preprocess_pinguins_df,x='flipper_length_mm', bw_method=0.1) #grafica de densidad
Run to view results
Ley de los Grandes N煤meros y Teorema del L铆mite Central
Ley de los Grandes N煤meros
si voy incrementando el tama帽o de la muestra va a tender a la probabilidad te贸rica eje lanzar dados
# le paso una secuencia de 6 simulando los dados | pmf para la probabilidad que caiga una var discreta
dice=empiricaldist.Pmf.from_seq([1,2,3,4,5,6])
for sample_size in (1e2, 1e4, 1e6):
sample_size = int(sample_size)
values= dice.sample(sample_size)
sample_pmf=empiricaldist.Pmf.from_seq(values)
fig = plt.subplots(figsize=(3,3))
sample_pmf.bar()
plt.axhline(y=1/6, color='red', linestyle='dashed')
plt.title(f"Sample size={sample_size}")
Run to view results
Teorema del l铆mite central
# normalize=1 porcentage de aparici贸n con respecto al total
preprocess_pinguins_df.sex.value_counts(normalize=1)
Run to view results
# si sale male es 0, fale 1 en toda la distribuci贸n | en esta funci贸n tiende al limite central de fale
sex_numeric = preprocess_pinguins_df.sex.replace(['male', 'female'], [0, 1])
number_samples = 1000
sample_size = 35 # n煤mero de muestras
np.random.seed(42)
# lista auxiliar: almacenar las muestras
samples_list = []
for i in range(1, number_samples + 1):
sex_numeric_sample = sex_numeric.sample(sample_size, replace=True).to_numpy()
samples_list.append(pd.Series(sex_numeric_sample, name=f'sample_{i}')) # almacenar cada muestra en una serie
# Concatenar todas las muestras en un nuevo df
samples_df = pd.concat(samples_list, axis=1)
male_proportion_mean = samples_df.mean().mean()
print(f'Estimated percentage for male penguins (in total population): {male_proportion_mean * 100:.2f}%')
Run to view results
Estableciendo relaciones: Gr谩fica de puntos
# alpha=0.5 | en caso de 0.5 deben haber 2 valores que caigan en el mismo punto para que se no sea transparente
# s tama帽o de puntos
fig = plt.subplots(figsize=(5,5))
sns.scatterplot(data=preprocess_pinguins_df, x='bill_depth_mm', y='bill_length_mm',
alpha=0.5,
s=100
)
print('CON HISTOGRAMA')
# rug=1 muestra que tanto se distribuyen los datos en los ejes
sns.displot(data=preprocess_pinguins_df, x='bill_depth_mm', y='bill_length_mm',
rug=True
)
print('CON DENSIDAD')
sns.displot(data=preprocess_pinguins_df, x='bill_depth_mm', y='bill_length_mm',
rug=True, kind='kde'
)
print('UNIENDO LOS DATOS')
sns.jointplot(data=preprocess_pinguins_df, x='bill_depth_mm', y='bill_length_mm',
alpha=0.5)
Run to view results
Estableciendo relaciones ENTRE PARES DE VARIABLES: Gr谩ficos de viol铆n y boxplots
# MEZCLA VARIABLE NUMERICAS CON CATEGORICAS, LAS NUMERICAS QUEDAN UNICAMENTE EN EL EJE DE LA CATEGORICA
fig, axes = plt.subplots(3,2, figsize=(20,15))
sns.scatterplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[0, 0]
)
#CON LA FORMA ANTERIOR LOS PUNTOS SE PUEDEN SOPALAR SI HAY REPETIDOS, Y NO VEMOS DONDE SE ACUMULAN MAS
# GENERAMOS UN RUIDO ALEATORIO QUE VARIA HORIZONTALMENTE PARA VER DONDE SE ACUMULA
# stripplot muestra la distribuci贸n de datos a lo largo de una categor铆a en el eje x.
sns.stripplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[0, 1]
)
#CON BOX PARA ANALIZAR LOS DATOS NUMERICOS INDIVIDUALMENTE POR CADA DATO CATEGORICO
# PERO NO MUESTRA COMO SE DISTRIBUYEN O ACUMULAN LOS DATOS, SIGUIENTE APOYA ESTO
sns.boxplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[1, 0]
)
#################
# GRAFICA MAS COMPLETA PERMITE ANALIZAR DATOS NUMERICOS INDIVIDUALMENTE Y ANALIZAR DISTRIBUCION
sns.boxplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[1, 1]
)
sns.stripplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[1, 1],
legend=0
)
################# COMO ES EL MISMO AX SE ACUMULA UNA FIG SOBRE OTRA
##violinplot GRAFICA PARA CON ENFOQUE EN ANALIZAR ESTOS 2 TIPOS DE VARIABLES A LA VEZ
sns.violinplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[2, 0]
)
# Y SE PUEDE COMBINAR CON PUNTOS
sns.stripplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[2, 0],
legend=0
)
#swarmplot GENERA UN RUIDO EN EL EJE X PERO ESTA VEZ NO ES ALEATORIO SINO UNO LADO DEL OTRO
sns.swarmplot(
data=preprocess_pinguins_df,
x='species',
y='flipper_length_mm',
hue='species',
ax=axes[2, 1]
)
Run to view results
Estableciendo relaciones: Matrices de correlaci贸n
COEFICIENTE DE CORELACI脫N ENTRE 1 = CORRELACI脫N PERFECTA POSITIVA. -1 CORRELACI脫N PERFECTA NEGATIVA. 0 NADA DE CORRELACI脫N.
驴Existe una correlaci贸n lineal entre alguna de nuestras variables?
preprocess_pinguins_df.corr()
Run to view results
驴Como puedo visualizar los coeficientes de correlaci贸n?
# cmap=sns.diverging_palette(220, 10, as_cmap=True) le pongo una paleta de colores divergente...
# ...para los valores que crecen
# center=0 pongo el color central del mapa de calor en el 0
# vmin=-1, pogo el valor minimo porque default toma el min de la data y me interesa -1 como min
# vmax=1,pogo el valor max porque default toma el max de la data y me interesa 1 como max
# linewidths=0.5 margen separado entre los cuadritos para que se vea estetico
# annot=True valor numerico que representa cada cuadro
fig = plt.subplots(figsize=(5,5))
sns.heatmap(
data=preprocess_pinguins_df.corr(),
cmap=sns.diverging_palette(220, 10, as_cmap=True),
center=0,
vmin=-1,
vmax=1,
linewidths=0.5,
annot=True
)
Run to view results
# clustermap evoluci贸n de heatmap, agrupa los datos de acuerdo a la correlaci贸n para visualizarlos mejor
sns.clustermap(
data=preprocess_pinguins_df.corr(),
cmap=sns.diverging_palette(220, 10, as_cmap=True),
center=0,
vmin=-1,
vmax=1,
linewidths=0.5,
annot=True
)
Run to view results
驴C贸mo podr铆a representar una variable categ贸rica como num茅rica discreta?
# no recomendado solo se deberia hacer con numericos
Run to view results
驴Cu谩l es una l铆mitante de los coeficientes de correlaci贸n lineal?
S贸lo nos ayuda a determinar la posible existencia de una correlaci贸n lineal, sin embargo, su ausencia no significa que no exista otro tipo de correlaci贸n
# simulo una correlacion NO LINEAL
fig = plt.subplots(figsize=(4,4))
x = np.linspace(-100,100,100)
y=x**2
y += np.random.normal(0, 1000, x.size)
sns.scatterplot(x=x, y=y)
#funci贸n para calcular la correlaci贸n entre variables especificas, en este caso casi 0 no hay corr lineal
# con esto confirmamos que no estamos viendo otro tipo de correlaci贸n porque en este caso es cuadratica
print(np.corrcoef(x,y))
Run to view results
# simulo una correlacion NO LINEAL
fig = plt.subplots(figsize=(4,4))
x = np.linspace(-100,100,100)
y=x**3
y += np.random.normal(0, 1000, x.size)
sns.scatterplot(x=x, y=y)
#funci贸n para calcular la correlaci贸n entre variables especificas, en este caso casi 1 si hay correlaci贸n
# EL PROBLEMA ES QUE SABEMOS PORQUE LA SIMULAMOS QUE ES CUBICA Y NO ES LINEAL, ASI QUE NO PODRIAMOS SABER...
# QUE TIPO DE CORRELACI脫N ES ASI NOS DE 1 SI NO TENEMOS CERTEZA
# POR ESO SIEMPRE HAY QUE GRAFICARLOS
print(np.corrcoef(x,y))
Run to view results
El coeficiente de correlaci贸n no nos habla del impacto de la relaci贸n
UN COEFICIENTE DE CORRELACION PERSE NO TE DIRA EL IMPACTO, EN ESTE CASO ES ALLTO PERO EL IMPACTO ES POCO SON VALORES MUY BAJOS Y EL QUE LA CORRELACION ES UN POCO MAS VAJA SON VARIABLES QUE TIENEN MAS IMPACTO EN EL CONTEXTO
fig = plt.subplots(figsize=(4,4))
np.random.seed(42)
x1 = np.linspace(0,100,100)
y1 = 0.1* x1 +3 + np.random.uniform(-2,2,size=x1.size)
sns.scatterplot(x=x1, y=y1)
x2 = np.linspace(0,100,100)
y2 = 0.5* x1 +1 + np.random.uniform(0,60,size=x2.size)
sns.scatterplot(x=x2, y=y2)
plt.legend(["1","2"])
print(np.corrcoef(x1,y1))
print(np.corrcoef(x2,y2))
Run to view results
Estableciendo relaciones: An谩lisis de regresi贸n simple
fig = plt.subplots(figsize=(4,4))
res_1=scipy.stats.linregress(x=x1, y=y1)
res_2=scipy.stats.linregress(x=x2, y=y2)
# trabajo con las 2 correlaciones de arriba que una tiene un alto impacto y la otra tiene un bajo
# sep='\n' pone un salto de linea en cada caso
#slope IMPACTO. es la pendiente, el cambio que tiene la variable en una unidad de la otra, si x cambia y tambien
# SLOPE IMPORTA DA INFO QUE NO DA EL COEFISIENTE DE CORRELACI脫N DEL IMPACTO
# intercept es el punto de corte, la variable que no cambia
# rvalue es la correlaci贸n lineal entre las dos variables | proporcion que capturamos de los datos
print(res_1,res_2, sep='\n')
sns.scatterplot(x=x1, y=y1)
fx1 = np.array([x1.min(), x1.max()])
fy1 = res_1.intercept + res_1.slope * fx1
plt.plot(fx1, fy1)
sns.scatterplot(x=x2, y=y2)
fx2 = np.array([x2.min(), x2.max()])
fy2 = res_2.intercept + res_2.slope * fx2
plt.plot(fx2, fy2)
plt.legend(["1", "1","2","2"])
##APLICANDOLO A LOS PINGUINOS
fig = plt.subplots(figsize=(4,4))
sns.scatterplot(x="bill_length_mm", y="bill_depth_mm", data=preprocess_pinguins_df)
res_penguis= scipy.stats.linregress(
x=preprocess_pinguins_df["bill_length_mm"],
y=preprocess_pinguins_df["bill_depth_mm"]
)
print(res_penguis)
px = np.array([preprocess_pinguins_df.bill_length_mm.min(), preprocess_pinguins_df.bill_length_mm.max()])
py = res_penguis.intercept + res_penguis.slope * px
# grafico linea de regresi贸n
plt.plot(px, py)
print('correlacion negativa y slope peque帽o, no hay impacto entre esas variables',res_penguis, sep='\n')
Run to view results
Limitaciones del an谩lisis de regresi贸n simple
La regresi贸n lineal simple no es sim茅trica
fig = plt.subplots(figsize=(4,4))
x = preprocess_pinguins_df.bill_depth_mm
y = preprocess_pinguins_df.bill_length_mm
res_x_y = scipy.stats.linregress(x=x, y=y)
res_y_x = scipy.stats.linregress(x=y, y=x)
#SLOPE MUY DISTINTO
print(res_x_y, res_y_x, sep='\n')
sns.scatterplot(x=x, y=y)
# grafico linea de regresi贸n
fx = np.array([x.min(), x.max()])
fy = res_x_y.intercept + res_x_y.slope * fx
plt.plot(fx, fy)
fx_2= np.array([y.min(), y.max()])
fy_2= res_y_x.intercept + res_y_x.slope * fx_2
plt.plot(fy_2, fx_2)
Run to view results
La regresi贸n no nos dice nada sobre la causalidad, pero existen herramientas para separar las relaciones entre varias variables
La pendiente es -0.634905, lo que significa que cada mil铆metro adicional de profundidad del pico es asociado a un decremento de -0.634905 mil铆metros de la longitud del pico de un ping眉ino.
An谩lisis de regresi贸n m煤ltiple********************
Olvid茅 mi b谩scula para pesar a los ping眉inos, 驴Cu谩l ser铆a la mejor forma de capturar ese dato?
Creando modelos
#MODELO 1 REGRESION LINEAL SIMPLE
# como no tengo la bascula encontrar茅 body_mass_g con info de bill_length_mm dado que si tengo para medir esa
# predecir la variable dependiente body_mass_g a partir de la variable independiente bill_length_mm
model_1= (
smf.ols(
formula='body_mass_g ~ bill_length_mm',
data=preprocess_pinguins_df
).fit() #ajusta el modelo?
)
#fit encuentra los coeficientes de la ecuaci贸n de la recta (pendiente y la intersecci贸n) que mejor explican la relaci贸n entre la variable independiente y la variable dependiente
print(model_1.summary())
# valores importantes pendiente e intersepcion bill_length_mm 86.7918, delaci贸n de cambio
Run to view results
#MODELO 2 REGRESION LINEAL MULTIPLE
model_2= (
smf.ols(
formula='body_mass_g ~ bill_length_mm + bill_depth_mm',
data=preprocess_pinguins_df
).fit() #ajusta el modelo?
)
print(model_2.summary())
# bill_depth_mm -145.5072 a mayor pico menos pesa el ping
# bill_length_mm 74.8126 por cada milimetro un ping pesa 74 g mas
Run to view results
#Al CONSIDERAR DISTNTAS VARIABLES LOS COEFISIENTES CAMBIAN Y NOS DEBEMOS PREGUNTAR SI HACE SENTIDO O NO
# POR LO CUAL HAY QUE VIZUALIZAR EN GRAFICAS
# LOS DATOS SE AJUSTAN MAS PRESISOS ENTRE MAS VARIABLES RECOLECTEMOS Adj. R-squared:0.762 AUMENTA
model_3= (
smf.ols(
formula='body_mass_g ~ bill_length_mm + bill_depth_mm + flipper_length_mm',
data=preprocess_pinguins_df
).fit() #ajusta el modelo?
)
print(model_3.summary())
Run to view results
# MODELO 4 CON VARIABLE CATEGORICA
# C(sex) c de categorica
# interpretacion del coeficiente categorico C(sex)[T.male] 541.0285 los machos pesan 541g mas que las embras
# el R-squared es aun m谩s alto o m谩s preciso porque hay mas variables que alimentan el modelo
model_4= (
smf.ols(
formula='body_mass_g ~ bill_length_mm + bill_depth_mm + flipper_length_mm + C(sex)',
data=preprocess_pinguins_df
).fit() #ajusta el modelo?
)
print(model_4.summary())
Run to view results
# EL MODELO MAS SIMPLE ES EL MEJOR SI APLICAMOS LOGICA Y CONOCEMOS LA INFORMACI脫N
# SABEMOS QUE EL TAMA脩O DE UNA ALETA ESTA RELACIONADO CON EL PESO, POR LO CUAL PODEMOS HACER EL ANALISIS CON ESOS DATOS
# Y SER脕N MAS CERTEROS QUE METER MUCHAS VARIABLES | tambien sabemos que el sex influye en el peso
model_5= (
smf.ols(
formula='body_mass_g ~ flipper_length_mm + C(sex)',
data=preprocess_pinguins_df
).fit() #ajusta el modelo
)
print(model_5.summary())
# vemos que por si mismo el R-squared ya es alto
# flipper_length_mm 50.1533 un cambio en la long de la aleta = a 46g mas
Run to view results
Visualizando resultados
#CREACIPON TABLA dataframe aparte DE RESULTADOS REALES DE LOS PESOS VS LOS PREDICHOS POR CADA MODELO
models_results= pd.DataFrame(
dict(
actual_value=preprocess_pinguins_df.body_mass_g,
prediction_model_1=model_1.predict(),
prediction_model_2=model_2.predict(),
prediction_model_3=model_3.predict(),
prediction_model_4=model_4.predict(),
prediction_model_5=model_5.predict(),
species=preprocess_pinguins_df.species,
sex=preprocess_pinguins_df.sex
)
)
models_results
# en las graficas de la leyenda de la tabla se obserba que el modelo 5 es el mas parecido
Run to view results
fig, axes = plt.subplots(1,2, figsize=(20,10))
sns.kdeplot(
data=models_results,
ax=axes[0]
)
sns.kdeplot(
data=models_results[["actual_value","prediction_model_5"]],
ax=axes[1]
)
Run to view results
An谩lisis de regresi贸n log铆stica
# CEAR UN MODELO PARA AYUDAR A DEFINIR SI UN PING ES MACHO O HEMBRA 0/1
sex_numeric = preprocess_pinguins_df.sex.replace(['male', 'female'], [1, 0])
smf.logit(
formula='sex_numeric ~ flipper_length_mm + bill_length_mm + bill_depth_mm + C(island)',
data=preprocess_pinguins_df
).fit().summary()
# para los valores positivos en coef indica que es mas probable encontrar machos bill_length_mm 0.1413
# entre mas sea el pico mayor es la probabilidad de ser macho
Run to view results