Proyecto de análisis y predicción de precios de inmuebles con AED y algoritmo de regresión regularizada

Resumen ejecutivo

Este proyecto se enfoca en la predicción de las ventas de viviendas en el condado de King, ubicado en el estado de Washington, EE. UU., utilizando técnicas de aprendizaje automático. El objetivo principal es desarrollar el mejor modelo de regresión posible para predecir con alta precisión los precios de las viviendas y comprender los factores que más influyen en su valor. El conjunto de datos utilizado contiene información histórica sobre propiedades vendidas en el período comprendido entre mayo de 2014 y mayo de 2015.

Planteamiento del problema

El desafío principal de este proyecto es crear un modelo de regresión que pueda predecir con la mayor precisión posible las ventas de casas en el condado de King. Esto implica no solo la construcción de un modelo preciso, sino también la identificación y comprensión de los factores más influyentes en el precio de las propiedades. Este conocimiento puede ser valioso para compradores, vendedores y agentes inmobiliarios.

Descripción de la base de datos

El conjunto de datos utilizado en este proyecto comprende información sobre los precios de las viviendas en el condado de King, una región que abarca Seattle, en el estado de Washington, EE. UU. Los datos se obtuvieron de la plataforma Kaggle y están disponibles bajo la licencia CC0: Dominio público. Aunque el origen específico de los datos no se ha especificado, se puede inferir que son confiables ya que contienen información relevante como precios y tamaño de las propiedades.

El conjunto de datos consta de 21 variables diferentes y un total de 21,597 observaciones. Algunas de las variables, como "Rating" (calificación), parecen provenir de una fuente oficial, dado que se basan en un sistema de calificación específico para el condado de King. Por otro lado, la variable "View" (ver) está relacionada con la cantidad de visitas que ha recibido una propiedad, lo que sugiere que los datos podrían haber sido recopilados por un agente o una empresa de bienes raíces. En cualquier caso, no hay razones para cuestionar la precisión general de los datos, ya que elementos como los precios y el tamaño de las propiedades parecen seguir patrones no aleatorios.

Variables - Descripción de tipos de datos

id: una notación para una casa - Numérica

date: Fecha en que se vendió la casa - Cadena

price: El precio es el objetivo de predicción - Numérico

bedrooms: Número de dormitorios/casa - Numérico

bathrooms: Número de baños/dormitorios - Numérico

sqft_living: pies cuadrados de la casa - Numérico

sqft_lot: pies cuadrados del lote - - Numérico

floors: Total de pisos (niveles) en la casa - Numérico

Beachfront house: que tiene vista al paseo marítimo - Numérico

view: Ha sido visto - Numérico

condition: Qué tan buena es la condición (en general). 1 indica propiedad desgastada y 5 excelente.(http://info.kingcounty.gov/assessor/esales/Glossary.aspx?type=r#g) - Numérico

Grade: Calificación general otorgada a la unidad de vivienda, según el sistema de calificación del condado de King. 1 pobre, 13 excelente. - Numérico

sqft_above: pies cuadrados de la casa aparte del sótano - Numérico

sqft_basement: pies cuadrados del sótano - Numérico

yr_built: Año de construcción - Numérico

yr_renovated: Año en que se renovó la casa - Numérico

zipcode: código postal - Numérico

lat: Coordenada de latitud - Numérico

long: Coordenada de longitud - Numérica

sqft_living15: Área de la sala de estar en 2015 (implica: algunas renovaciones) Esto podría haber afectado o no el área del tamaño del lote - Numérico

sqft_lot15: área de tamaño de lote en 2015 (implica: algunas renovaciones) - Numérico

Análisis exploratorio de datos

Introducción

El análisis exploratorio de datos (EDA) es una etapa fundamental en nuestro proyecto de análisis y pronóstico de ventas de inmuebles en el condado de King, Washington, USA. En esta fase, utilizaremos diversas herramientas para explorar y comprender en profundidad el conjunto de datos que hemos extraído de la plataforma Kaggle.

Para iniciar este proceso, hemos importado la biblioteca pandas para manipulación de datos, numpy para operaciones numéricas, plotly.express y matplotlib.pyplot para visualización de datos, seaborn para gráficos estadísticos y scipy.stats para análisis estadístico. Además, hemos cargado nuestro conjunto de datos desde el archivo "Data_ventas_inmuebles.csv" en un DataFrame de pandas llamado "df".

El objetivo de este análisis es obtener una visión general de nuestros datos, identificar tendencias, patrones y posibles relaciones entre las variables que luego serán fundamentales para construir un modelo de regresión preciso. Además, este análisis nos ayudará a cumplir con nuestro objetivo principal: predecir las ventas de viviendas en el condado de King con una precisión alta y comprender qué factores contribuyen significativamente al valor de las propiedades.

A lo largo de esta etapa, realizaremos diversas exploraciones, como la visualización de distribuciones de variables, la identificación de valores atípicos, la evaluación de correlaciones y la selección de características relevantes. Cada uno de estos pasos nos acercará más a comprender la dinámica subyacente de los precios de las viviendas en nuestra región de interés.

Este proceso de análisis exploratorio de datos servirá como base sólida para la construcción posterior de nuestro modelo de regresión y nos permitirá tomar decisiones informadas en relación con los factores que influyen en las ventas de inmuebles en el condado de King.

A continuación, procederemos a realizar una serie de análisis detallados sobre nuestro conjunto de datos, explorando las variables clave y extrayendo información valiosa que nos ayudará a cumplir nuestros objetivos de pronóstico y comprensión.

import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from scipy import stats df = pd.read_csv("Data_ventas_inmuebles.csv")

df.shape

Se evidencia que nuestro dataframe cuenta con 21 features o variables y 21597 observaciones, lo cual, nos habla de una dimensionalidad importante y acorde a los fines de nuestro proyecto.

df.dtypes

Procedemos a eliminar algunas columnas específicas del DataFrame "df" que no consideramos adecuadas para nuestro análisis de datos. Las columnas que se eliminan son "date" (fecha de venta) y "id" (identificador).

columns_to_drop = ["date", "id"] df = df.drop(columns=columns_to_drop)

Esto es relevante desde una perspectiva estadística, ya que estas dos columnas son características que pueden no ser directamente relevantes para nuestro análisis de predicción de precios de viviendas. La variable "date" es la fecha de venta y puede ser más útil para análisis temporales que para predicción de precios con regresión, y "id" es un identificador único que muy probablemente no influye en el precio de las viviendas.

Ahora bien, se cuenta con la variable "zipcode", que representaba el identificador geográfico de cada vivienda. Reconociendo la importancia de la ubicación en la determinación de los precios de las viviendas, se creó una nueva variable numérica denominada "zipcode_group" en una escala de 1 (las menos costosas) a 5 (las más costosas).

# Calcular el precio promedio por código postal zipcode_prices = df.groupby('zipcode')['price'].mean().reset_index() # Clasificar los códigos postales en cinco grupos zipcode_prices['zipcode_group'] = pd.qcut(zipcode_prices['price'], q=5, labels=[1, 2, 3, 4, 5]) # Crear un diccionario de mapeo para asignar grupos a cada código postal en el DataFrame original zipcode_mapping = dict(zip(zipcode_prices['zipcode'], zipcode_prices['zipcode_group'])) df['zipcode_group'] = df['zipcode'].map(zipcode_mapping)

Esta variable se generó mediante un enfoque de agrupación de códigos postales, donde se calculó el precio promedio por código postal y se clasificaron los códigos postales en cinco grupos distintos en función de sus precios promedio relativos.

La creación de "zipcode_group" se basó en la premisa de que las viviendas ubicadas en áreas geográficas similares tienden a tener precios similares.

Posteriormente, la variable original "zipcode" se eliminó del análisis, ya que su información se incorporó de manera más efectiva a través de "zipcode_group".

columns_to_drop = ["zipcode"] df = df.drop(columns=columns_to_drop)

registros_duplicados = df[df.duplicated()] registros_duplicados

Se verifican registros duplicados y a continuación se eliminan.

df = df.drop_duplicates()

Luego de eliminar los registros duplicados, se verifica el nuevo número de observaciones de la data.

df.shape

df.dtypes

La columna "price" (precio) es de tipo float64, lo que indica que representa valores numéricos decimales. Esto es fundamental desde una perspectiva económica, ya que el precio de venta de las viviendas es la variable objetivo en nuestro análisis. El tipo de dato float64 es adecuado para manejar valores de precio con precisión decimal, lo que es esencial en el sector inmobiliario.

Otras variables importantes, como el estimado de la ubicación de las viviendas según las agrupaciones de sus códigos postales en función del precio ("zipcode_group"), el tamaño de la vivienda en pies cuadrados ("sqft_living"), el número de dormitorios ("bedrooms"), el número de baños ("bathrooms"), y el año de construcción ("yr_built"), también son de tipo numérico. Estos datos numéricos son esenciales para comprender las características de las propiedades y su impacto en el precio de venta.

Las variables numéricas "waterfront" (frente al agua) y "condition" (condición de la propiedad), están representadas como enteros ("int64"). Estas variables numéricas también pueden ser útiles en nuestro análisis estadísticos.

El hecho de que muchas de las variables sean de tipo entero "int64" o "float64" facilita el cálculo de estadísticas descriptivas, inferenciales y la construcción de modelos de regresión.

# Visualización de las primeras filas del DataFrame df.head()

El resultado de "df.head()" proporciona una vista previa de cómo se ven los datos después de las transformaciones realizadas. Esto es valioso desde una perspectiva computacional, ya que nos permite verificar si las columnas no deseadas se han eliminado correctamente y si los datos se ven limpios y listos para su análisis. Los valores en las columnas parecen estar formateados adecuadamente, y no hay indicios inmediatos de errores o problemas de formato en estas primeras filas.

Al observar las primeras cinco filas de datos, podemos obtener una visión preliminar de la distribución y la variabilidad de algunas variables clave. Por ejemplo, podemos notar que las viviendas tienen diferentes números de dormitorios, baños y tamaños. La columna "yr_renovated" (año de renovación) muestra algunos valores en cero, lo que sugiere en primera instancia que algunas propiedades no han sido renovadas. Esto es útil para identificar datos faltantes o valores atípicos que pueden requerir un tratamiento especial en nuestro análisis.

pd.value_counts(df['zipcode_group'])

Teniendo en cuenta que se asignó el valor 1 a las viviendas menos costosas y el valor 5 a las más costosas, se tiene que:

Grupo 2: Hay 4932 viviendas en este grupo. Estas viviendas tienen precios moderadamente bajos en relación con los demás grupos.

Grupo 4: Contiene 4813 viviendas. Estas viviendas son más costosas que las del Grupo 2, pero aún no están entre las más costosas.

Grupo 3: Hay 4278 viviendas en este grupo. Estas viviendas están en un rango de precios similar a las del Grupo 4.

Grupo 1: Este grupo contiene 3812 viviendas, y estas son las menos costosas entre todas las categorías.

Grupo 5: Contiene 3757 viviendas y representa las viviendas más costosas en el conjunto de datos.

pd.value_counts(df['condition'])

El resultado muestra una desglose de la variable "condition" (condición de la propiedad) en nuestro conjunto de datos, una variable de naturaleza categórica ordinal que será adecuadamente tratada como numérica entera en nuestro proyecto para fines de eficiencia en nuestro modelo de regresión múltiple. Esta variable representa la evaluación de la condición general de las propiedades.Desde una perspectiva económica, esta información es valiosa, ya que la condición de una propiedad puede tener un impacto significativo en su valor de mercado.

En este desglose, observamos que la mayoría de las propiedades tienen una condición de "3", lo que podría indicar una condición promedio o estándar. Esto puede tener implicaciones en la fijación de precios y en la percepción del valor por parte de los compradores. Podemos observar que la condición "3" es la más común, con 14,020 propiedades que la tienen. Las condiciones "4" y "5" también son comunes, mientras que las condiciones "1" y "2" son menos frecuentes.

Este desglose nos brinda información sobre la variabilidad de la condición de las propiedades en nuestro conjunto de datos, lo que podría ser útil para identificar tendencias o patrones en relación con los precios de venta.

pd.value_counts(df['grade'])

El resultado muestra un desglose de la variable "grade" en nuestro conjunto de datos, la cual, al igual es de naturaleza categórica ordinal, pero para fines de nuestro proyecto será tratada adecuadamente como numérica entera. Esta variable representa la calificación general o el nivel de calidad de las propiedades.

Desde una perspectiva económica, esta información es importante, ya que la calificación o el grado de una propiedad puede tener un impacto significativo en su valor de mercado. Por lo tanto, comprender la distribución de las calificaciones de las propiedades es relevante para evaluar el mercado inmobiliario en el condado de King.

Podemos observar que las calificaciones "7" y "8" son las más comunes, con 8,974 y 6,065 propiedades que las tienen, respectivamente. Esto sugiere que la mayoría de las propiedades tienen una calificación promedio o superior.

Las calificaciones "3" y "13" son las menos comunes, con solo una propiedad que tiene una calificación de "3" y 13 propiedades que tienen una calificación de "13". Estas calificaciones extremas son raras en nuestro conjunto de datos.

# Verificación de tipos de datos y valores nulos df.info()

El resultado proporciona información sobre la estructura de nuestro conjunto de datos. Indica que tenemos un total de 21 columnas (variables) en el conjunto de datos, pero después de eliminar algunas columnas, ahora tenemos 18 columnas en uso.

El resultado muestra información sobre el número de filas y columnas en el conjunto de datos. Tenemos 21,597 filas (entradas) y 18 columnas en uso.

También se proporciona información sobre el tipo de datos en cada columna (Dtype). Esto es esencial desde una perspectiva estadística, ya que nos permite entender la naturaleza de nuestras variables, ya sea numérica (float64 o int64) o de otro tipo.

Finalmente, se informa que no hay valores nulos (Non-Null Count) en ninguna de las columnas, lo que significa que todas las columnas tienen datos completos. Esto es importante para mantener la integridad de nuestro análisis estadístico.

Distribución y dispersión de variables

Visualización de distribución de variables numéricas mediante histogramas

numeric_features = ["price", "zipcode_group", "grade", "condition", "bedrooms", "bathrooms", "sqft_living", "sqft_lot", "floors", "waterfront", "view", "sqft_above", "sqft_basement", "yr_built", "yr_renovated", "lat", "long", "sqft_living15", "sqft_lot15"] categorical_features = ["condition", "grade"] # Configuración del número de columnas y filas para los subplots num_cols = 2 num_rows = (len(numeric_features) + 1) // 2 # Asegura que tenga suficientes filas # Creación de la figura y los ejes fig, axes = plt.subplots(num_rows, num_cols, figsize=(12, 16)) fig.subplots_adjust(hspace=0.5) # Espacio vertical entre subplots # Generación de histogramas para las características numéricas en subplots for i, feature in enumerate(numeric_features): row = i // num_cols col = i % num_cols sns.histplot(df[feature], bins=20, kde=True, ax=axes[row, col]) axes[row, col].set_title(f'Histograma de {feature}', fontsize=14) # Tamaño del título axes[row, col].set_xlabel(feature, fontsize=12) # Tamaño del label x axes[row, col].set_ylabel('Frecuencia', fontsize=12) # Tamaño del label y # Eliminar subplots vacíos si el número de características no es divisible por num_cols if len(numeric_features) % num_cols != 0: for i in range(len(numeric_features) % num_cols, num_cols): fig.delaxes(axes[num_rows - 1, i]) plt.tight_layout() # Ajustar automáticamente la disposición plt.show()

Visualización de dispersión en variables mediante gráficos boxplot

import seaborn as sns import matplotlib.pyplot as plt features = ["price", "zipcode_group", "bedrooms", "grade", "condition", "bathrooms", "sqft_living", "sqft_lot", "floors", "waterfront", "view", "sqft_above", "sqft_basement", "yr_built", "yr_renovated", "lat", "long", "sqft_living15", "sqft_lot15"] # Configurar el número de columnas y filas para los subplots num_cols = 2 num_rows = (len(features) + 1) // 2 # Asegura que haya suficientes filas # Creación de la figura y los ejes fig, axes = plt.subplots(num_rows, num_cols, figsize=(16, 16)) fig.subplots_adjust(hspace=0.5) # Espacio vertical entre subplots # Generación de gráficos de caja para las características en subplots for i, feature in enumerate(features): row = i // num_cols col = i % num_cols sns.boxplot(data=df, y=feature, ax=axes[row, col]) axes[row, col].set_title(f'Boxplot de {feature}', fontsize=14) # Tamaño del título axes[row, col].set_xlabel('') # Eliminar etiqueta x axes[row, col].set_ylabel(feature, fontsize=12) # Tamaño de la etiqueta y # Eliminar subplots vacíos si el número de características no es divisible por num_cols if len(features) % num_cols != 0: for i in range(len(features) % num_cols, num_cols): fig.delaxes(axes[num_rows - 1, i]) plt.tight_layout() # Ajustar automáticamente la disposición plt.show()

features = ["price", "zipcode_group", "bedrooms", "bathrooms", "grade", "condition", "sqft_living", "sqft_lot", "floors", "waterfront", "view", "sqft_above", "sqft_basement", "yr_built", "yr_renovated", "lat", "long", "sqft_living15", "sqft_lot15"] # Obtener estadísticas descriptivas para las características numéricas summary_table = df[features].describe() # Mostrar la tabla de resumen summary_table

Análisis de distribución y dispersión (Histogramas y Boxplots):

Precio (price):

Media: El precio promedio de las viviendas es de aproximadamente $540,307. Esto indica el valor típico de las propiedades en el área de estudio. Desviación estándar: La alta desviación estándar de aproximadamente $367,406 sugiere una amplia variabilidad en los precios, lo que indica una gran diversidad en el mercado inmobiliario de la región. Rango: Los precios varían desde un mínimo de $78,000 hasta un máximo de $7,700,000. Este amplio rango refleja la heterogeneidad de las propiedades, desde viviendas asequibles hasta propiedades de lujo.

Grupo de código postal (zipcode_group):

Esta variable parece representar una categorización de códigos postales en grupos numéricos del 1 al 5. Cada grupo podría indicar diferentes zonas geográficas o niveles de precio en el mercado inmobiliario. Ayuda a capturar la influencia de la ubicación en el análisis.

Número de dormitorios (bedrooms):

Media: El promedio de aproximadamente 3.37 dormitorios sugiere que la mayoría de las viviendas tienen alrededor de tres o cuatro dormitorios. Un mayor número de dormitorios tiende a incrementar el precio, ya que proporciona más espacio habitable.

Número de baños (bathrooms):

Media: El promedio de aproximadamente 2.12 baños indica que, en promedio, las viviendas tienen alrededor de dos baños. Los baños adicionales pueden aumentar el valor de la propiedad, ya que mejoran la comodidad y el espacio utilizable.

Grado (grade):

Media: La media de grado es de aproximadamente 7.66. Un grado más alto suele asociarse con viviendas de mayor calidad y, por lo tanto, precios más altos.

Condición (condition):

Media: La media de condición es de aproximadamente 3.41. Un valor más alto indica una mejor condición de la vivienda, lo que puede influir positivamente en el precio.

Superficie habitable (sqft_living):

Media: La superficie promedio de aproximadamente 2,080 pies cuadrados indica el tamaño típico de las viviendas en el conjunto de datos. Un mayor tamaño suele asociarse con precios más altos.

Tamaño del lote (sqft_lot):

Media: El tamaño promedio del lote es de aproximadamente 15,102 pies cuadrados. Lotes más grandes suelen estar relacionados con propiedades más caras.

Número de pisos (floors):

Media: La media de aproximadamente 1.49 indica que la mayoría de las viviendas tienen un solo piso. Más pisos pueden aumentar el precio, pero esto también puede depender de la ubicación y el estilo arquitectónico.

Propiedad frente al agua (waterfront):

Variable binaria (0 y 1) que indica si una vivienda tiene vista al agua. La presencia de agua suele aumentar significativamente el precio debido a la demanda y la escasez de propiedades con esta característica.

Vistas (view): Media: El valor promedio es de aproximadamente 0.23. Un valor más alto indica una vista más atractiva, lo que puede influir en el precio.

Superficie sobre el nivel del suelo (sqft_above): Media: La superficie promedio sobre el nivel del suelo es de aproximadamente 1,789 pies cuadrados. Esta característica refleja la cantidad de espacio habitable.

Superficie del sótano (sqft_basement): Media: La media de aproximadamente 292 pies cuadrados indica la extensión de espacio en el sótano. La presencia de un sótano y su tamaño pueden influir en el precio.

Año de construcción (yr_built): Media: El año promedio de construcción es de aproximadamente 1971. La antigüedad de una vivienda puede afectar su precio y posible necesidad de renovación.

Año de renovación (yr_renovated): Media: El año promedio de renovación es de aproximadamente 1987. La renovación reciente puede aumentar el valor de la vivienda.

Superficie habitable promedio de viviendas cercanas (sqft_living15): Media: La media de aproximadamente 1,260 pies cuadrados representa la superficie promedio de viviendas cercanas. Puede indicar el entorno de la vivienda y afectar el precio.

Tamaño promedio del lote de viviendas cercanas (sqft_lot15): Media: El tamaño promedio del lote de aproximadamente 12,760 pies cuadrados puede influir en la percepción del vecindario y el precio.

#Cálculo de coeficiente de sesgo Pearson numeric_features = ["price", "zipcode_group", "bedrooms", "bathrooms", "grade", "condition", "sqft_living", "sqft_lot", "floors", "waterfront", "view", "sqft_above", "sqft_basement", "yr_built", "yr_renovated", "lat", "long", "sqft_living15", "sqft_lot15"] # Cálculo del coeficiente de sesgo Pearson para cada variable skewness = [(3 * (df[feature].mean() - df[feature].median())) / df[feature].std() for feature in numeric_features] # Creación de un DataFrame para mostrar los resultados skewness_df = pd.DataFrame({'Variable': numeric_features, 'Coeficiente de Sesgo Pearson': skewness}) print(skewness_df)

Análisis de distribuciones con coeficiente de sesgo Pearson

Precio (price):

Coeficiente de Sesgo Pearson: 0.737388 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución de precios. Esto significa que hay una concentración de viviendas con precios más bajos y un número relativamente menor de viviendas con precios mucho más altos, lo que resulta en una cola derecha pesada en la distribución.

Grupo de código postal (zipcode_group):

Coeficiente de Sesgo Pearson: -0.023371 Interpretación: El coeficiente de sesgo cercano a cero sugiere que la distribución de los grupos de código postal tiende a ser aproximadamente simétrica, sin una asimetría pronunciada hacia la izquierda o la derecha.

Número de dormitorios (bedrooms):

Coeficiente de Sesgo Pearson: 1.208909 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución del número de dormitorios. Esto significa que la mayoría de las viviendas tienen un número relativamente bajo de dormitorios, pero hay algunas con un número significativamente mayor de dormitorios que generan una cola derecha en la distribución.

Número de baños (bathrooms):

Coeficiente de Sesgo Pearson: -0.523470 Interpretación: El coeficiente de sesgo negativo indica una asimetría hacia la izquierda en la distribución del número de baños. Esto sugiere que la mayoría de las viviendas tienen un número relativamente alto de baños, pero hay algunas con un número significativamente menor de baños que generan una cola izquierda en la distribución.

Grado (grade):

Coeficiente de Sesgo Pearson: 1.681769 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución de los grados de calidad de las viviendas. La mayoría de las viviendas tienen grados moderados, pero hay algunas con grados muy altos que generan una cola derecha en la distribución.

Condición (condition):

Coeficiente de Sesgo Pearson: 1.890026 Interpretación: El coeficiente de sesgo positivo sugiere una asimetría hacia la derecha en la distribución de las condiciones de las viviendas. La mayoría de las viviendas tienen condiciones moderadas, pero hay algunas con condiciones excepcionalmente buenas que generan una cola derecha en la distribución.

Superficie habitable (sqft_living):

Coeficiente de Sesgo Pearson: 0.556698 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución de los tamaños de superficie habitable. La mayoría de las viviendas tienen tamaños moderados, pero hay algunas con tamaños excepcionalmente grandes que generan una cola derecha en la distribución.

Tamaño del lote (sqft_lot):

Coeficiente de Sesgo Pearson: 0.541955 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución de los tamaños de lote. La mayoría de las viviendas tienen lotes de tamaño moderado, pero hay algunas con lotes significativamente más grandes que generan una cola derecha en la distribución.

Número de pisos (floors):

Coeficiente de Sesgo Pearson: -0.033731 Interpretación: El coeficiente de sesgo cercano a cero sugiere que la distribución del número de pisos tiende a ser aproximadamente simétrica, sin una asimetría pronunciada hacia la izquierda o la derecha.

Propiedad frente al agua (waterfront):

Coeficiente de Sesgo Pearson: 0.261640 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución de propiedades frente al agua. La mayoría de las viviendas no tienen vista al agua, pero algunas tienen esta característica, generando una cola derecha en la distribución.

Vistas (view):

Coeficiente de Sesgo Pearson: 0.916972 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución de las puntuaciones de vistas. La mayoría de las viviendas tienen puntuaciones moderadas de vistas, pero algunas tienen puntuaciones muy altas, generando una cola derecha en la distribución.

Superficie sobre el nivel del suelo (sqft_above):

Coeficiente de Sesgo Pearson: 0.828527 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución de la superficie sobre el nivel del suelo. La mayoría de las viviendas tienen espacio habitable sobre el nivel del suelo de tamaño moderado, pero algunas tienen un espacio significativamente más grande, generando una cola derecha en la distribución.

Superficie del sótano (sqft_basement):

Coeficiente de Sesgo Pearson: 1.977117 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución de la superficie del sótano. La mayoría de las viviendas tienen sótanos de tamaño moderado, pero algunas tienen sótanos excepcionalmente grandes, generando una cola derecha en la distribución.

Año de construcción (yr_built):

Coeficiente de Sesgo Pearson: -0.409102 Interpretación: El coeficiente de sesgo negativo indica una asimetría hacia la izquierda en la distribución de los años de construcción. La mayoría de las viviendas fueron construidas en años más recientes, pero algunas son más antiguas y generan una cola izquierda en la distribución.

Año de renovación (yr_renovated):

Coeficiente de Sesgo Pearson: 0.630330 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución de los años de renovación. La mayoría de las viviendas fueron renovadas en años más recientes, pero algunas tienen años de renovación anteriores, generando una cola derecha en la distribución.

Superficie habitable promedio de viviendas cercanas (sqft_living15):

Coeficiente de Sesgo Pearson: 0.642023 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución de los tamaños promedio de superficie habitable de viviendas cercanas. La mayoría de las viviendas tienen tamaños promedio, pero algunas tienen tamaños promedio significativamente más grandes, generando una cola derecha en la distribución.

Tamaño promedio del lote de viviendas cercanas (sqft_lot15):

Coeficiente de Sesgo Pearson: 0.565299 Interpretación: El coeficiente de sesgo positivo indica una asimetría hacia la derecha en la distribución de los tamaños promedio de lote de viviendas cercanas. La mayoría de las viviendas tienen tamaños promedio de lote, pero algunas tienen tamaños promedio significativamente más grandes, generando una cola derecha en la distribución.

Visualización de correlaciones entre la variable objetivo y cada una de las variables explicativas, mediante gráficos de dispersión

features = ["bedrooms", "zipcode_group", "bathrooms", "sqft_living", "sqft_lot", "grade", "condition", "floors", "waterfront", "view", "sqft_above", "sqft_basement", "yr_built", "yr_renovated", "lat", "long", "sqft_living15", "sqft_lot15"] fig, axes = plt.subplots(nrows=9, ncols=2, figsize=(12, 36)) fig.subplots_adjust(hspace=0.5) for i, feature in enumerate(features): row = i // 2 col = i % 2 axes[row, col].scatter(df[feature], df['price'], alpha=0.5) axes[row, col].set_xlabel(feature) axes[row, col].set_ylabel('Price') axes[row, col].set_title(f'Relación entre {feature} y price') plt.tight_layout() plt.show()

Matriz de correlaciones entre variables

# Heatmap de correlación correlation_matrix = df.corr() plt.figure(figsize=(20, 20)) sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm') plt.show()

Tabla de correlaciones entre variables

# Calcular la matriz de correlación correlation_matrix = df.corr() # Convertir la matriz de correlación a un DataFrame correlation_df = pd.DataFrame(correlation_matrix, columns=df.columns, index=df.columns) # Mostrar el cuadro relacional de correlaciones correlation_df

Análisis de correlaciones entre la variable objetivo y cada una de las variables explicativas

Tamaño de la Superficie Habitable (sqft_living):

Correlación: 0.7019 Implicaciones Estadísticas: Existe una fuerte correlación positiva entre el tamaño de la superficie habitable y el precio de las viviendas. Esto significa que a medida que el tamaño de la superficie habitable aumenta, el precio tiende a aumentar significativamente. Implicaciones Económicas: Desde una perspectiva económica, esta correlación sugiere que los compradores están dispuestos a pagar más por viviendas con más espacio habitable. El tamaño de la superficie habitable es un factor importante en la determinación del precio de una vivienda.

Grado (grade):

Correlación: 0.6681 Implicaciones Estadísticas: Existe una correlación positiva significativa entre el grado de la vivienda y su precio. A medida que el grado aumenta, el precio tiende a aumentar. Implicaciones Económicas: El grado de una vivienda puede reflejar su calidad y características. Esta correlación sugiere que las viviendas de mayor calidad, según su grado, tienden a tener precios más altos.

Tamaño de la Superficie sobre el Nivel del Suelo (sqft_above):

Correlación: 0.6054 Implicaciones Estadísticas: El tamaño de la superficie sobre el nivel del suelo está positivamente correlacionado con el precio. A medida que esta superficie aumenta, el precio tiende a aumentar. Implicaciones Económicas: El espacio sobre el nivel del suelo es un componente importante de la superficie habitable total de una vivienda. Esta correlación indica que una mayor superficie sobre el nivel del suelo contribuye al aumento del precio de la vivienda.

Grupo de Código Postal (zipcode_group):

Correlación: 0.5543 Implicaciones Estadísticas: La correlación entre el grupo de código postal y el precio es moderada y positiva, lo que indica que la ubicación de cada vivienda en función del código postal influye de manera significativa al precio. Implicaciones Económicas: El código postal puede influir en el precio debido a la ubicación y características de la zona, lo que puede aumentar la demanda de ciertos potenciales compradores.

Tamaño del Lote (sqft_lot):

Correlación: 0.0899 Implicaciones Estadísticas: Existe una correlación positiva débil entre el tamaño del lote y el precio. El aumento en el tamaño del lote tiene una influencia limitada en el precio. Implicaciones Económicas: Aunque hay una correlación positiva, su debilidad sugiere que el tamaño del lote no es un factor principal en la determinación del precio. Los compradores pueden estar dispuestos a pagar algo más por lotes más grandes, pero otros factores son más influyentes.

Vista (view):

Correlación: 0.3975 Implicaciones Estadísticas: La vista de la vivienda muestra una correlación positiva con el precio, pero es menos fuerte que otras variables. Implicaciones Económicas: Tener una vista escénica puede aumentar el atractivo de una vivienda y, por lo tanto, su precio. Sin embargo, esta correlación es menos significativa que otras variables principales, como el tamaño de la superficie habitable y el grado.

Cantidad de Dormitorios (bedrooms):

Correlación: 0.3088 Implicaciones Estadísticas: Existe una correlación positiva significativa entre la cantidad de dormitorios y el precio de las viviendas. A medida que aumenta el número de dormitorios, el precio tiende a aumentar. Implicaciones Económicas: Los dormitorios adicionales pueden aumentar el espacio y la capacidad de una vivienda, lo que influye en un precio más alto.

Condición (condition):

Correlación: 0.0360 Implicaciones Estadísticas: La correlación entre la condición de la vivienda y el precio es débil y positiva. Esto indica que, en general, las viviendas en mejor condición tienden a tener precios ligeramente más altos. Implicaciones Económicas: Aunque la correlación es débil, la condición sigue siendo un factor importante. Las viviendas en mejor estado pueden atraer a compradores dispuestos a pagar un poco más.

Año de Construcción (yr_built):

Correlación: 0.0540 Implicaciones Estadísticas: La correlación entre el año de construcción y el precio es débil y positiva. Esto sugiere que, en general, las viviendas más nuevas tienden a tener precios ligeramente más altos. Implicaciones Económicas: Aunque la correlación es débil, la antigüedad de una vivienda puede influir en su precio. Las viviendas más nuevas pueden atraer a compradores dispuestos a pagar un poco más por características modernas.

Año de Renovación (yr_renovated):

Correlación: 0.1265 Implicaciones Estadísticas: La correlación entre el año de renovación y el precio es positiva pero moderada. Esto sugiere que las renovaciones recientes pueden estar asociadas con precios ligeramente más altos. Implicaciones Económicas: Las renovaciones pueden mejorar la apariencia y la funcionalidad de una vivienda, lo que podría aumentar su precio. Sin embargo, la correlación no es muy fuerte.

Latitud (lat):

Correlación: 0.3067 Implicaciones Estadísticas: La correlación entre la latitud y el precio es positiva y moderada. A medida que la latitud aumenta, el precio tiende a aumentar.

Longitud (long):

Correlación: 0.0220 Implicaciones Estadísticas: La correlación entre la longitud y el precio es débil y positiva. Esto sugiere una influencia mínima de la longitud en el precio. Implicaciones Económicas: La longitud geográfica de una vivienda parece tener una influencia limitada en su precio. Otros factores son más influyentes.

Superficie del Lote Promedio de Viviendas Cercanas (sqft_lot15):

Correlación: 0.0828 Implicaciones Estadísticas: La correlación entre el tamaño promedio del lote de viviendas cercanas y el precio es débil y positiva. Implicaciones Económicas: Aunque existe una correlación positiva, parece que el tamaño promedio del lote de viviendas cercanas tiene una influencia limitada en el precio.

En resumen, estas correlaciones destacan la importancia de diversas características en la determinación del precio de las viviendas. Factores como el tamaño de la superficie habitable, el grado de la vivienda, la ubicación de la vivienda en función de su código postal, el número de baños y la latitud geográfica muestran correlaciones significativas y positivas con el precio. Estas correlaciones sugieren que los compradores están dispuestos a pagar más por viviendas con más espacio habitable, mejor grado, más baños y ubicaciones geográficas específicas. Por otro lado, variables como la condición de la vivienda, el año de construcción y la longitud geográfica muestran correlaciones más débiles con el precio, lo que indica que su influencia en el precio es probablemente limitada.

Modelo predictivo con algoritmo de regresión regularizada

Introducción

En el marco de este proyecto de ciencia de datos, hemos explorado detalladamente un conjunto de datos de ventas de viviendas en el condado de King, con el objetivo de desarrollar un modelo predictivo preciso para pronosticar los precios de las viviendas. Tras un exhaustivo Análisis Exploratorio de Datos (AED) que nos proporcionó una comprensión profunda de las características y relaciones clave entre las variables, hemos llegado a una etapa crucial: la construcción, evaluación y selección del mejor modelo de pronóstico.

En esta etapa, nos centramos en la aplicación de algoritmos de regresión regularizada, una técnica efectiva en la modelización predictiva que combina la regresión con la regularización para prevenir el sobreajuste y mejorar la generalización del modelo. La elección de la regresión regularizada es fundamental, ya que abordará la variabilidad y complejidad inherentes a los datos, permitiendo un ajuste más preciso y evitando problemas de multicolinealidad y overfitting.

A lo largo de esta sección, exploraremos en detalle la construcción del modelo predictivo con algoritmos de regresión regularizada, evaluaremos su rendimiento y seleccionaremos el modelo que mejor se ajuste a nuestros datos manteniendo buena capacidad de generalización. Además, analizaremos las implicaciones económicas y estadísticas de cada modelo, teniendo en cuenta la importancia de las variables predictoras en la determinación de los precios de las viviendas.

Este proceso de construcción y selección del modelo es esencial en nuestro proyecto, ya que su precisión tendrá un impacto directo en la calidad de nuestras predicciones y, por lo tanto, en su utilidad para profesionales del sector inmobiliario, compradores y vendedores de viviendas, y otros actores interesados en comprender y pronosticar los precios de las propiedades en el mercado de King County.

Carga y preparación de datos

Estas bibliotecas proporcionan las herramientas necesarias para cargar, explorar, manipular y analizar los datos que se utilizarán en la construcción y evaluación de modelos predictivos.

import pandas as pd import numpy as np

Carga de Datos: La primera línea de código carga un conjunto de datos desde un archivo CSV llamado "Data_ventas_inmuebles.csv" en un DataFrame de pandas llamado "df". Esto es fundamental para trabajar con los datos en Python, ya que crea una estructura de datos tabular que permite manipular y analizar la información de manera efectiva

df = pd.read_csv("Data_ventas_inmuebles.csv")

df.head()

El conjunto de datos contiene información sobre ventas de inmuebles e incluye diversas columnas, cada una con diferentes características relacionadas con las propiedades. Aquí se proporciona una breve descripción de las columnas principales:

-id: Un identificador único para cada propiedad. -date: La fecha en que se registró la venta de la propiedad. -price: El precio de venta de la propiedad. -bedrooms: El número de dormitorios en la propiedad. -bathrooms: El número de baños en la propiedad. -sqft_living: El tamaño de la superficie habitable en pies cuadrados. -sqft_lot: El tamaño del lote en pies cuadrados. -floors: El número de pisos en la propiedad. -waterfront: Una variable binaria que indica si la propiedad tiene vista al agua (0: No, 1: Sí). -view: Una variable numérica que indica el nivel de vista de la propiedad. -condition: La condición general de la propiedad. -grade: La calificación o grado de la propiedad. -sqft_above: El tamaño de la superficie sobre el nivel del suelo en pies cuadrados. -sqft_basement: El tamaño del sótano en pies cuadrados. -yr_built: El año de construcción de la propiedad. -yr_renovated: El año de renovación de la propiedad. -zipcode: El código postal de la ubicación de la propiedad. -lat: La latitud geográfica de la propiedad. -long: La longitud geográfica de la propiedad. -sqft_living15: El tamaño promedio de la superficie habitable de viviendas cercanas en pies cuadrados. -sqft_lot15: El tamaño promedio del lote de viviendas cercanas en pies cuadrados.

Desde una perspectiva económica, este conjunto de datos es valioso para analizar el mercado inmobiliario, ya que proporciona información sobre los precios de venta de propiedades en función de diversas características. Esto puede ayudar a identificar patrones y tendencias en el mercado.

Desde un punto de vista estadístico, este primer vistazo a los datos permite comprender la distribución y la estructura de las variables, lo que es esencial para futuros análisis, como la construcción de modelos de regresión. Además, ayuda a identificar posibles problemas en los datos, como valores faltantes o atípicos.

df.shape

El primer número, "21597", representa la cantidad de filas o registros en el conjunto de datos. Cada fila corresponde a una observación individual en el contexto del proyecto, que en este caso sería una propiedad inmobiliaria.

El segundo número, "21", indica la cantidad de columnas o variables en el conjunto de datos. Cada columna representa una característica específica de las propiedades, como el precio, el número de dormitorios, el tamaño del lote, etc.

df_t = df

La creación de una nueva variable que se refiera al mismo conjunto de datos ayuda mejorar la organización, la claridad y la trazabilidad en el proceso de desarrollo del modelo predictivo.

# Se calcula el precio promedio por código postal zipcode_prices = df_t.groupby('zipcode')['price'].mean().reset_index() # Se clasifican los códigos postales en cinco grupos zipcode_prices['zipcode_group'] = pd.qcut(zipcode_prices['price'], q=5, labels=[1, 2, 3, 4, 5]) # Se crea un diccionario de mapeo para asignar grupos a cada código postal en el DataFrame original zipcode_mapping = dict(zip(zipcode_prices['zipcode'], zipcode_prices['zipcode_group'])) df_t['zipcode_group'] = df['zipcode'].map(zipcode_mapping)

La variable "zipcode_group" puede capturar la influencia de la ubicación geográfica en el precio de las viviendas, lo que es fundamental para el análisis y la construcción de modelos predictivos precisos.

Al considerar el precio promedio por código postal y agruparlos de esta manera, se introduce una variable que puede ayudar a modelar de manera más efectiva la variabilidad en los precios de las viviendas en diferentes áreas geográficas. Esto es importante porque la ubicación suele ser un factor clave en el mercado inmobiliario, y este enfoque permite que el modelo tenga en cuenta estas diferencias geográficas en el precio de las viviendas.

columns_to_drop = ["zipcode", "date", "id"] #Eliminación de variables que no son de interés para el modelo df_t = df_t.drop(columns=columns_to_drop)

Esta operación es importante en el contexto de construcción de modelos predictivos, ya que simplifica el conjunto de datos y se enfoca en las variables más relevantes para predecir el precio de las viviendas. Eliminar columnas no utilizadas puede ayudar a evitar el sobreajuste del modelo, mejorar la eficiencia computacional y facilitar la interpretación de los resultados. En este caso, las columnas eliminadas ("zipcode," "date" y "id") se consideran irrelevantes para la predicción del precio de las viviendas y, por lo tanto, se eliminan del conjunto de datos.

df_t.isna().sum()/len(df_t) #Verificación de valores faltantes

El resultado muestra que no se encontraron valores faltantes en ninguna de las columnas del conjunto de datos "df_t." Cada columna se enumera junto con el porcentaje de valores faltantes en relación con el tamaño total del conjunto de datos. En este caso, todos los porcentajes de valores faltantes son igual a cero, lo que indica que no hay datos faltantes en ninguna de las columnas.

df_t = df_t.drop_duplicates() #Se eliminan valores duplicados identificados en el AED df_t.shape #Se verifica el nuevo número de observaciones y variables

El resultado muestra que después de eliminar los valores duplicados, el nuevo tamaño del DataFrame "df_t" es de (21,592 observaciones, 19 variables). Esto significa que se identificaron y eliminaron un total de cinco observaciones duplicadas que estaban presentes en el conjunto de datos original.

Construcción y evaluación del mejor modelo

En esta etapa crucial del proyecto, se llevará a cabo la construcción y evaluación de modelos predictivos para predecir los precios de las viviendas. Comenzando con la creación y evaluación de un modelo lineal, este proceso sienta las bases para explorar enfoques más complejos. A continuación, se describen las etapas que seguirán.

Modelo Lineal: Se iniciará con un modelo de regresión lineal, que busca establecer relaciones lineales entre las variables predictoras y la variable objetivo, que es el precio de las viviendas. Este modelo proporcionará una primera visión de la relación entre las variables.

Modelos Polinomiales: Se construirán modelos polinomiales de grado 2 y grado 3. Estos modelos permiten capturar relaciones no lineales entre las variables predictoras y el precio. Un modelo polinomial de grado 2 considera relaciones cuadráticas, mientras que un modelo de grado 3 incorpora relaciones cúbicas. La elección del grado del polinomio se basará en las mejores métricas de prueba, la capacidad de ajuste y la capacidad de generalización de cada modelo.

Selección del Mejor Modelo: Se evaluarán los modelos polinomiales para determinar cuál ofrece el mejor rendimiento en términos de precisión predictiva. Esto se logrará mediante métricas de evaluación, como la raíz del error cuadrático medio (RMSE), el error absoluto medio (MAE) y el coeficiente de determinación (R^2).

Regularización Ridge: Para evitar el problema de sobreajuste y garantizar la capacidad de generalización del modelo seleccionado, se aplicará la técnica de regularización Ridge. Esta técnica agrega una penalización a los coeficientes del modelo para evitar que tomen valores extremadamente altos. Esto ayuda a controlar la complejidad del modelo y mejora su capacidad para hacer predicciones precisas en nuevos datos.

Estos pasos son esenciales en la construcción de modelos predictivos confiables que puedan utilizarse en el mercado inmobiliario. Se busca encontrar un equilibrio entre la complejidad del modelo y su capacidad para predecir con precisión los precios de las viviendas en función de múltiples variables.

Creación y evaluación de modelo lineal

El siguiente bloque de código divide el conjunto de datos en dos partes esenciales: la variable objetivo que se busca predecir (precio) y las variables predictoras que se utilizarán para realizar los pronósticos.

y = df_t["price"] x = df_t.drop(["price"], axis=1)

Se visualizan las variables predictoras:

x.head()

Se visualiza la variable objetivo:

y.head()

En el siguiente paso del proyecto, se llevaron a cabo las siguientes operaciones relacionadas con la construcción y evaluación de un modelo de regresión lineal:

División de Datos: Se utilizó la función "train_test_split" de la biblioteca scikit-learn (sklearn) para dividir el conjunto de datos en dos subconjuntos: uno de entrenamiento y otro de prueba. El conjunto de datos se dividió de manera que el 80% de los datos se reservaron para entrenar el modelo, mientras que el 20% restante se reservaron para evaluar su rendimiento. La opción "random_state" se configuró como "None" para garantizar la reproducibilidad de la división, lo que significa que la división será diferente en cada ejecución.

Creación del Modelo: Se creó un objeto de modelo de regresión lineal utilizando la clase "LinearRegression" de scikit-learn. Este objeto se denominó "modelo_regresion".

Entrenamiento del Modelo: El modelo de regresión lineal se entrenó utilizando los datos de entrenamiento. Esto implica que el modelo ajustó sus parámetros para encontrar la mejor relación lineal entre las variables predictoras (características) y la variable objetivo (precio de las viviendas).

from sklearn.model_selection import train_test_split #para separación de muestra en entrenamiento y test from sklearn.linear_model import LinearRegression #Para construcción del modelo con algoritmo de regresión lineal from sklearn.metrics import mean_squared_error, r2_score, mean_absolute_error # Divide los datos en conjuntos de entrenamiento y prueba x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=None) # Se utiliza un 80% de los datos para entrenamiento y un 20% para pruebas. # El parámetro 'random_state' se utiliza para asegurar la reproducibilidad de la división. modelo_regresion = LinearRegression() #Se crea el objeto del modelo modelo_regresion.fit(x_train, y_train) #Se entrena el modelo

Se genera el entrenamiento del modelo de regresión lineal:

from sklearn.metrics import mean_squared_error, r2_score, mean_absolute_error # Realiza predicciones en los datos de prueba y_pred_train = modelo_regresion.predict(x_train) # Calcula el error cuadrático medio (MSE) mse = mean_squared_error(y_train, y_pred_train) # Calcula el coeficiente de determinación (R^2) r2 = r2_score(y_train, y_pred_train) # Calcula el error absoluto medio (MAE) mae = mean_absolute_error(y_train, y_pred_train) # Calcula la raíz del error cuadrático medio (RMSE) rmse = np.sqrt(mse) # Imprime los resultados print(f'Error Cuadrático Medio (MSE): {mse}') print(f'Coeficiente de Determinación (R^2): {r2}') print(f'Error Absoluto Medio (MAE): {mae}') print(f'Raíz del Error Cuadrático Medio (RMSE): {rmse}')

En general, los resultados sugieren que el modelo tiene un buen ajuste a los datos de entrenamiento, ya que explica una parte significativa de la variabilidad en los precios de las viviendas. Sin embargo, la evaluación en datos de prueba también es crucial para verificar la capacidad de generalización del modelo, lo cual es un paso importante que se realizará a continuación.

# Realiza predicciones en los datos de prueba y_pred_test = modelo_regresion.predict(x_test) # Calcula el error cuadrático medio (MSE) mse = mean_squared_error(y_test, y_pred_test) # Calcula el coeficiente de determinación (R^2) r2 = r2_score(y_test, y_pred_test) # Calcula el error absoluto medio (MAE) mae = mean_absolute_error(y_test, y_pred_test) # Calcula la raíz del error cuadrático medio (RMSE) rmse = np.sqrt(mse) # Imprime los resultados print(f'Error Cuadrático Medio (MSE): {mse}') print(f'Coeficiente de Determinación (R^2): {r2}') print(f'Error Absoluto Medio (MAE): {mae}') print(f'Raíz del Error Cuadrático Medio (RMSE): {rmse}')

En este paso, se realizaron predicciones utilizando el modelo de regresión lineal entrenado en un conjunto de datos de prueba (conjunto de prueba) que no había sido utilizado previamente en el proceso de entrenamiento. Luego, se calcularon diversas métricas de desempeño para evaluar la calidad de las predicciones del modelo en datos independientes. Estas métricas incluyen:

Error Cuadrático Medio (MSE): El MSE mide el promedio de los errores al cuadrado entre las predicciones del modelo y los valores reales de la variable objetivo en el conjunto de prueba. En este caso, el MSE fue de aproximadamente 31,368,943,842.84. Un MSE más bajo indica un mejor ajuste del modelo a los datos de prueba.

Coeficiente de Determinación (R^2): El coeficiente de determinación, o R cuadrado (R^2), proporciona una medida de cuánta varianza en la variable objetivo es explicada por el modelo en el conjunto de prueba. En este caso, el R^2 fue de aproximadamente 0.7608, lo que significa que alrededor del 76.1% de la variabilidad en los precios de las viviendas en el conjunto de prueba se explica por el modelo. Un R^2 más cercano a 1 indica un mejor rendimiento del modelo en la predicción de datos no vistos previamente.

Error Absoluto Medio (MAE): El MAE mide el promedio de los errores absolutos entre las predicciones del modelo y los valores reales de la variable objetivo en el conjunto de prueba. En este caso, el MAE fue de aproximadamente 112,385.41. Representa la magnitud promedio de los errores en unidades monetarias.

Raíz del Error Cuadrático Medio (RMSE): El RMSE es la raíz cuadrada del MSE y proporciona una medida de la magnitud promedio de los errores en la misma escala que la variable objetivo. En este caso, el RMSE fue de aproximadamente 177,112.80.

Estas métricas son fundamentales para evaluar la capacidad de generalización del modelo a datos independientes en el conjunto de prueba. En este caso, los resultados sugieren que el modelo de regresión lineal tiene un buen rendimiento en la predicción de los precios de las viviendas en el conjunto de prueba, con un MSE y RMSE bajos, un R^2 cercano a 1 y un MAE razonablemente bajo. Estos indicadores son consistentes con el buen desempeño previamente observado en el conjunto de entrenamiento.

modelo_regresion.fit(x, y) #Se ajusta el modelo

Este código ejecutado ajustó el modelo de regresión lineal a todos los datos disponibles, lo que permitirá aprovechar al máximo la información contenida en el conjunto de datos completo para futuras predicciones o análisis.

modelo_regresion.coef_ #Visualizamos los parámetros del modelo (coeficientes de regresión) modelo_regresion.intercept_ ##Visualizamos el intercepto print("Los coeficientes son:", modelo_regresion.coef_) print("El intercepto es:", modelo_regresion.intercept_)

Los coeficientes de regresión indican cuánto cambia el precio de una vivienda cuando una variable explicativa específica aumenta en una unidad, manteniendo todas las demás variables constantes. Por ejemplo, un coeficiente positivo para una variable significa que un aumento en esa variable está asociado con un aumento en el precio de la vivienda, y viceversa. Esto proporciona información sobre la dirección y la magnitud de la relación entre las variables explicativas y el precio.

El intercepto es un término constante en la ecuación de regresión que representa el valor predicho del precio cuando todas las variables explicativas son iguales a cero. En este caso, indica el precio base de una vivienda cuando todas las demás variables explicativas son cero o no aplican.

Creación y evaluación de modelo polinomial grado 2

from sklearn.preprocessing import PolynomialFeatures from sklearn.metrics import mean_squared_error, r2_score, mean_absolute_error # Se divide los datos en conjuntos de entrenamiento y prueba xx = df_t.drop('price', axis=1) # Variables explicativas yy = df_t['price'] # Variable objetivo xx_train, xx_test, yy_train, yy_test = train_test_split(xx, yy, test_size=0.2, random_state=42) # Se aplica transformación polinomial a las variables explicativas degree = 2 # Grado del polinomio (puedes ajustar este valor) poly_features = PolynomialFeatures(degree=degree) xx_train_poly = poly_features.fit_transform(xx_train) xx_test_poly = poly_features.transform(xx_test) # Se entrena un modelo de regresión lineal con las características polinomiales model = LinearRegression() model.fit(xx_train_poly, yy_train) # Se realiza predicciones en el conjunto de entrenamiento yy_train_pred = model.predict(xx_train_poly) # Se realiza predicciones en el conjunto de prueba yy_test_pred = model.predict(xx_test_poly) # Se calcula RMSE para el conjunto de entrenamiento rmse_train = np.sqrt(mean_squared_error(yy_train, yy_train_pred)) # Se calcula RMSE para el conjunto de prueba rmse_test = np.sqrt(mean_squared_error(yy_test, yy_test_pred)) # Se calcula R-squared para el conjunto de entrenamiento r2_train = r2_score(yy_train, yy_train_pred) # Se calcula R-squared para el conjunto de prueba r2_test = r2_score(yy_test, yy_test_pred) # Se calcula el Error Absoluto Medio (MAE) para el conjunto de prueba mae_test = mean_absolute_error(yy_test, yy_test_pred) print(f'RMSE (Entrenamiento): {rmse_train}') print(f'R-squared (Entrenamiento): {r2_train}') print(f'RMSE (Prueba): {rmse_test}') print(f'R-squared (Prueba): {r2_test}') print(f'Error Absoluto Medio (MAE) (Prueba): {mae_test}')

En este paso, se construyó y evaluó un modelo de regresión polinomial de grado 2 como una extensión del modelo de regresión lineal previamente creado. El objetivo era determinar si un modelo de regresión polinomial, que permite capturar relaciones no lineales entre las variables independientes y la variable objetivo, ofrecía un mejor ajuste en comparación con el modelo lineal.

Aquí se presentan las principales diferencias y resultados en comparación con el modelo de regresión lineal:

RMSE y R-squared en el conjunto de entrenamiento: Modelo de Regresión Lineal: RMSE (Error Cuadrático Medio de la Raíz) ~ 187,573 y R-squared ~ 0.741. Modelo de Regresión Polinomial de Grado 2: RMSE ~ 138,467 y R-squared ~ 0.854. En el conjunto de entrenamiento, el modelo de regresión polinomial de grado 2 mostró un RMSE significativamente menor y un R-squared más alto en comparación con el modelo lineal. Esto indica que el modelo polinomial logró un mejor ajuste a los datos de entrenamiento y explicó una mayor proporción de la variabilidad en los precios de las viviendas.

RMSE y R-squared en el conjunto de prueba: Modelo de Regresión Lineal: RMSE ~ 177,113 y R-squared ~ 0.761. Modelo de Regresión Polinomial de Grado 2: RMSE ~ 145,226 y R-squared ~ 0.859. En el conjunto de prueba, nuevamente, el modelo polinomial de grado 2 superó al modelo lineal. El RMSE fue menor en el modelo polinomial, lo que indica que las predicciones del modelo polinomial eran más precisas en el conjunto de prueba. Además, el R-squared fue más alto en el modelo polinomial, lo que sugiere que el modelo polinomial explicó una mayor cantidad de la variabilidad en los precios de las viviendas en el conjunto de prueba.

Error Absoluto Medio (MAE) en el conjunto de prueba: Modelo de Regresión Lineal: MAE ~ 112,385. Modelo de Regresión Polinomial de Grado 2: MAE ~ 87,930. El MAE en el conjunto de prueba fue significativamente menor en el modelo polinomial de grado 2 en comparación con el modelo lineal. Esto indica que las predicciones del modelo polinomial eran más cercanas en promedio a los valores reales de los precios de las viviendas.

En resumen, el modelo de regresión polinomial de grado 2 demostró un mejor rendimiento en términos de ajuste y precisión en comparación con el modelo de regresión lineal en ambos conjuntos de entrenamiento y prueba. Esto sugiere que capturó de manera más efectiva relaciones no lineales en los datos, lo que lo convierte en una elección más adecuada para predecir los precios de las viviendas en este contexto específico.

Creación y evaluación de modelo polinomial grado 3

# Se aplica transformación polinomial a las variables explicativas degree = 3 # Grado del polinomio (puedes ajustar este valor) poly_features = PolynomialFeatures(degree=degree) xx_train_poly = poly_features.fit_transform(xx_train) xx_test_poly = poly_features.transform(xx_test) # Se entrena un modelo de regresión lineal con las características polinomiales model = LinearRegression() model.fit(xx_train_poly, yy_train) # Se realiza predicciones en el conjunto de entrenamiento yy_train_pred = model.predict(xx_train_poly) # Se realiza predicciones en el conjunto de prueba yy_test_pred = model.predict(xx_test_poly) # Se calcula RMSE para el conjunto de entrenamiento rmse_train = np.sqrt(mean_squared_error(yy_train, yy_train_pred)) # Se calcula RMSE para el conjunto de prueba rmse_test = np.sqrt(mean_squared_error(yy_test, yy_test_pred)) # Se calcula R-squared para el conjunto de entrenamiento r2_train = r2_score(yy_train, yy_train_pred) # Se calcula R-squared para el conjunto de prueba r2_test = r2_score(yy_test, yy_test_pred) # Se calcula el Error Absoluto Medio (MAE) para el conjunto de prueba mae_test = mean_absolute_error(yy_test, yy_test_pred) print(f'RMSE (Entrenamiento): {rmse_train}') print(f'R-squared (Entrenamiento): {r2_train}') print(f'RMSE (Prueba): {rmse_test}') print(f'R-squared (Prueba): {r2_test}') print(f'Error Absoluto Medio (MAE) (Prueba): {mae_test}')

En este paso del proyecto, se construyó y evaluó un modelo de regresión polinomial de grado 3, el cual es una extensión del modelo polinomial de grado 2 previamente creado. El objetivo era determinar si un modelo de mayor grado podría capturar relaciones aún más complejas entre las variables independientes y la variable objetivo (precio de las viviendas).

A continuación, se presentan las principales diferencias y resultados en comparación con el modelo polinomial de grado 2 y el modelo lineal:

RMSE y R-squared en el conjunto de entrenamiento: Modelo Polinomial de Grado 2: RMSE ~ 138,467 y R-squared ~ 0.854. Modelo Polinomial de Grado 3: RMSE ~ 119,374 y R-squared ~ 0.892. El modelo polinomial de grado 3 mostró un RMSE aún menor y un R-squared más alto en el conjunto de entrenamiento en comparación con el modelo polinomial de grado 2. Esto indica que el modelo polinomial de grado 3 logró un ajuste aún mejor a los datos de entrenamiento y explicó una mayor proporción de la variabilidad en los precios de las viviendas.

RMSE y R-squared en el conjunto de prueba: Modelo Polinomial de Grado 2: RMSE ~ 145,226 y R-squared ~ 0.859. Modelo Polinomial de Grado 3: RMSE ~ 335,040 y R-squared ~ 0.247. Sin embargo, en el conjunto de prueba, el modelo polinomial de grado 3 mostró un RMSE significativamente mayor y un R-squared mucho más bajo en comparación con el modelo polinomial de grado 2. Esto indica que, aunque el modelo polinomial de grado 3 se ajustó de manera excelente a los datos de entrenamiento, no logró generalizar bien en datos nuevos y no vistos.

Error Absoluto Medio (MAE) en el conjunto de prueba: Modelo Polinomial de Grado 2: MAE ~ 87,930. Modelo Polinomial de Grado 3: MAE ~ 100,693. El MAE en el conjunto de prueba también fue ligeramente mayor en el modelo polinomial de grado 3 en comparación con el modelo polinomial de grado 2, lo que indica que las predicciones del modelo de grado 3 eran ligeramente menos precisas en datos no vistos.

En resumen, aunque el modelo polinomial de grado 3 logró un ajuste excepcionalmente bueno a los datos de entrenamiento, no se generalizó de manera efectiva en el conjunto de prueba, lo que resultó en un aumento significativo del RMSE y una disminución drástica del R-squared en comparación con el modelo polinomial de grado 2. Esto sugiere que, en este caso, un modelo de grado 2 podría ser el modelo de regresión polinomial más adecuado para predecir los precios de las viviendas en datos nuevos y desconocidos. Sin embargo, es susceptible a tener posibles problemas de sobreajuste (overfitting), por lo cual, será necesario regularizarlo con la norma L2 (Ridge).

Creación y evaluación de modelo polinomial grado 2 regularizado con norma L2 (Ridge)

from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.linear_model import Ridge # Se aplica transformación polinomial a las variables explicativas degree = 2 # Grado del polinomio (puedes ajustar este valor) poly_features = PolynomialFeatures(degree=degree) xx_train_poly = poly_features.fit_transform(xx_train) xx_test_poly = poly_features.transform(xx_test) # Se definen los valores de alpha que se probarán alphas = [0.01, 0.1, 1, 10, 100] # Se crea un diccionario con los hiperparámetros a ajustar param_grid = {'alpha': alphas} # Se crea un modelo Ridge ridge_model = Ridge() # Se realiza una búsqueda en cuadrícula para encontrar los mejores hiperparámetros grid_search = GridSearchCV(ridge_model, param_grid, cv=5, scoring='neg_mean_squared_error') grid_search.fit(xx_train_poly, yy_train) # Se obtiene los mejores hiperparámetros encontrados best_alpha = grid_search.best_params_['alpha'] # Se entrena un modelo Ridge con los mejores hiperparámetros ridge_model = Ridge(alpha=best_alpha) ridge_model.fit(xx_train_poly, yy_train) # Se realiza predicciones en el conjunto de prueba yy_test_pred = ridge_model.predict(xx_test_poly) # Se calcula RMSE para el conjunto de prueba rmse_test = np.sqrt(mean_squared_error(yy_test, yy_test_pred)) # Se calcula R-squared para el conjunto de prueba r2_test = r2_score(yy_test, yy_test_pred) # Se calcula el R-squared ajustado para el conjunto de prueba n = len(yy_test) p = xx_test_poly.shape[1] adjusted_r2_test = 1 - (1 - r2_test) * (n - 1) / (n - p - 1) # Se calcula el Error Absoluto Medio (MAE) para el conjunto de prueba mae_test = mean_absolute_error(yy_test, yy_test_pred) # Se imprime métricas de evaluación print(f'RMSE (Prueba): {rmse_test}') print(f'R-squared (Prueba): {r2_test}') print(f'R-squared ajustado (Prueba): {adjusted_r2_test}') print(f'Error Absoluto Medio (MAE) (Prueba): {mae_test}')

En este paso, se llevó a cabo la evaluación de un modelo de regresión Ridge regularizado con un grado de polinomio igual a 2. A continuación, se realiza un análisis detallado de los resultados y su relevancia:

Transformación Polinomial: Primero, se aplicó una transformación polinomial de grado 2 a las variables explicativas. Esta transformación permitió capturar relaciones no lineales entre las características y el precio de las propiedades, lo que podría mejorar la capacidad predictiva del modelo.

Búsqueda de Hiperparámetros Óptimos: Luego, se realizó una búsqueda en cuadrícula (GridSearchCV) para encontrar el mejor valor de hiperparámetro alpha. El hiperparámetro alpha controla el nivel de regularización en el modelo Ridge. Se probaron varios valores de alpha (0.01, 0.1, 1, 10, 100) y se seleccionó el que produjo el mejor rendimiento en términos de métricas de evaluación.

Entrenamiento del Modelo Ridge: Con el mejor valor de alpha encontrado, se entrenó un modelo de regresión Ridge. Este modelo tiene la capacidad de controlar el sobreajuste, lo que significa que puede generalizar mejor a nuevos datos.

Evaluación del Modelo: Una vez entrenado el modelo Ridge, se evaluó su desempeño en el conjunto de prueba utilizando varias métricas:

-RMSE (Error Cuadrático Medio de la Raíz): Esta métrica mide la diferencia entre los valores reales y las predicciones del modelo, proporcionando una medida de la precisión del modelo en términos de unidades de precio. En este caso, el RMSE en el conjunto de prueba fue de aproximadamente 146,598.57 unidades monetarias.

-R-squared (R^2): R-squared es una métrica que indica la proporción de la variabilidad en la variable objetivo (precio) que es explicada por el modelo. En este caso, el modelo Ridge logró un R-squared de aproximadamente 0.8558 en el conjunto de prueba, lo que sugiere que el 85.58% de la variabilidad en los precios se puede explicar mediante las características del modelo.

-R-squared Ajustado: El R-squared ajustado tiene en cuenta el número de características en el modelo y proporciona una medida más realista de la capacidad de generalización del modelo. En este caso, el R-squared ajustado fue de aproximadamente 0.8492 en el conjunto de prueba.

-MAE (Error Absoluto Medio): El MAE es la diferencia promedio entre los valores reales y las predicciones del modelo. En este caso, el MAE en el conjunto de prueba fue de aproximadamente 88,128.19 unidades monetarias.

Elección del mejor modelo de regresión y su interpretación

Tras evaluar los modelos anteriores, se llegó a las siguientes conclusiones:

El modelo de regresión polinomial grado 2 no regularizado y el modelo de regresión polinomial grado 2 regularizado (Ridge) mostraron resultados muy similares en términos de métricas de evaluación, como RMSE, R-squared y MAE.

Ambos modelos superaron al modelo de regresión lineal en términos de capacidad para explicar la variabilidad en los precios de las viviendas.

El modelo de regresión polinomial grado 2 regularizado (Ridge) mostró ventajas en términos de estabilidad y capacidad de generalización. Esto se debió a la regularización, que ayudó a prevenir el sobreajuste y a reducir la sensibilidad a valores atípicos o ruido en los datos.

Dado que las métricas eran muy similares y que el modelo Ridge ofrecía ventajas en términos de estabilidad y robustez, se tomó la decisión de seleccionar el modelo de regresión polinomial grado 2 regularizado (Ridge) como el mejor modelo para predecir los precios de las viviendas.

Esta elección se basó en la premisa de que un modelo más estable y menos propenso al sobreajuste sería más valioso en situaciones del mundo real, como la toma de decisiones empresariales o inversiones en el mercado inmobiliario, donde la consistencia y la fiabilidad de las predicciones son fundamentales. Además, el modelo Ridge conserva un buen rendimiento en términos de precisión.

Almacenamiento del modelo

En este paso, se realizó la tarea de guardar el modelo de regresión Ridge entrenado en un archivo con el nombre "modelo_ridge.pkl" utilizando la biblioteca Joblib en Python.

import joblib # Se especifica la ruta y el nombre de archivo donde se desea guardar el modelo modelo_ridge_filename = 'modelo_ridge.pkl' # Se guarda el modelo en el archivo joblib.dump(ridge_model, modelo_ridge_filename) print(f'Modelo Ridge guardado en {modelo_ridge_filename}') # Se puede cargar el modelo Ridge desde el archivo: ridge_model_cargado = joblib.load(modelo_ridge_filename)

Conclusiones finales

Los modelos de regresión polinomial, especialmente el de grado 2, demostraron ser más adecuados para capturar la relación no lineal entre las características y el precio de las propiedades.

La regularización Ridge ayudó a controlar el sobreajuste del modelo sin sacrificar significativamente el rendimiento en datos de prueba.

El modelo de regresión Ridge entrenado fue guardado en un archivo, lo que permite su uso en aplicaciones de producción o análisis futuros.

En términos de cumplimiento de los objetivos del proyecto, se logró construir un modelo predictivo de precios de bienes raíces con un buen desempeño en términos de métricas de evaluación y capacidad de generalización, lo que podría ser valioso en el contexto de una empresa de bienes raíces para realizar estimaciones de precios.