📊 👫🏻Análisis datos poblacionales del INE

Breve descripción del proyecto: Este proyecto se centra en el aprovechamiento de datos externos para enriquecer nuestro análisis. Reconocemos que la información valiosa a menudo está disponible, aunque no sea generada por nuestra empresa o clientes. En esta iniciativa, nos conectaremos a la base de datos del Instituto Nacional de Estadística de España (INE) para descargar datos de población en España. Nuestro objetivo es limpiar y analizar estos datos para obtener conclusiones sobre la evolución de la población española a lo largo del tiempo.

Contexto

Las preguntas que vamos a responder en el proyecto son:

¿Cómo ha ido variando la población a lo largo de los años? ¿Han variado los máximos y los mínimos o los rangos?

¿Cuál es la tasa de crecimiento/decrecimiento de la población? ¿ha variado a lo largo de los años?

Comparando la tasa de crecimiento entre décadas ¿Se detecta variación?

¿Hay diferencias entre la población femenina y la masculina?

¿Hay algo más que podamos decir de estos datos?

Herramientas a utilizar

El lenguaje de programación utilizada para realizar el proyecto fue Python, y las librerias que utilizamos para la ejecucion fueron pandas, numpy, seaborn y matplotlib.

Conjunto de datos del proyecto

Los datos están originalmente en la base de datos del INE (https://www.ine.es/index.htm), en concreto los datos de las series que están en el archivo ine_codes.xlsx y que corresponden a datos históricos de población en España. Tanto para el total de la población, como diferenciada por los sexos masculino y femenino. El dataset contiene entre 312 registros y un total de 11 columnas.

Desarrollo | Ejecución

En primer lugar debemos conectar con el INE y descargar su dataset sobre población.

Run to view results

# Import libraries import pandas as pd import requests import datetime import openpyxl

Run to view results

# Function that takes an INE code and returns a json with INE data # Connects with INE def ine_request(ine_code): resultados = 999 path_template = 'http://servicios.ine.es/wstempus/js/ES/DATOS_SERIE/{cod_serie}?nult={n_ult_datos}' path = path_template.format(cod_serie=ine_code, n_ult_datos=resultados) json_request = requests.get(path).json() return json_request

Run to view results

# Read the INE codes file df_codigos = pd.read_excel('ine_codes.xlsx', engine='openpyxl')

Run to view results

# Transform the INE codes column of df_codigos into a list codigos = df_codigos['ine_code'].tolist() fecha_lista = [] variable_lista = list() valor_lista = list()

Run to view results

# Iterate through the list of INE codes for codigo in codigos: # Load the result of the ine_request() function into 'datos' datos = ine_request(codigo) # Load the name of the variable nombre_variable = datos['Nombre'] # Retrieve the attributes of each data series for dato in datos['Data']: fecha = datetime.date.fromtimestamp(dato['Fecha'] // 1000) valor = dato['Valor'] fecha_lista.append(fecha) variable_lista.append(nombre_variable) valor_lista.append(valor)

Run to view results

# Create a dataframe with all the data lists df = pd.DataFrame({ 'Fecha': fecha_lista, 'Dato' : variable_lista, 'Población' : valor_lista })

Run to view results

# Save the dataframe to an excel file df.to_excel('tabla_ine.xlsx', index=False)

Run to view results

Limpieza de datos

df_codigos

Run to view results

list(df_codigos['ine_code'])

Run to view results

codigos

Run to view results

ine_request('CP335')

Run to view results

datos['Nombre']

Run to view results

datos['Data']

Run to view results

datos['Data'][1]

Run to view results

len(datos['Data'])

Run to view results

df.Fecha

Run to view results

df.rename(columns = {'Fecha': 'fecha', 'Dato': 'dato', 'Población': 'poblacion'})

Run to view results

df.rename(columns = {'Fecha': 'fecha', 'Dato': 'dato', 'Población': 'poblacion'}, inplace = True) df

Run to view results

df.poblacion

Run to view results

Exploramos población

max(df.poblacion) / 1000000

Run to view results

min(df.poblacion) / 1000000

Run to view results

Exploramos fechas

max(df.fecha)

Run to view results

min(df.fecha)

Run to view results

Formateamos la columna dato

df.dato[0]

Run to view results

df.dato[208].split('. ')

Run to view results

df.dato.str.split('. ')

Run to view results

df.dato.str.split('.').str.get(2)

Run to view results

df['tipo_dato'] = df.dato.str.split('. ').str.get(5) df

Run to view results

df[df.tipo_dato == 'Mujeres']

Run to view results

df[df.tipo_dato == 'Total'].poblacion.max( )/1000000

Run to view results

df[df.tipo_dato == 'Total'].poblacion.min( )/1000000

Run to view results

df[df.tipo_dato == 'Mujeres'].poblacion.max( )/1000000

Run to view results

df.groupby('tipo_dato')

Run to view results

df.groupby('tipo_dato').poblacion.max()

Run to view results

df.groupby('tipo_dato').min()

Run to view results

df.groupby('tipo_dato').poblacion.aggregate(['min','max','mean'])

Run to view results

df.groupby('tipo_dato').poblacion.transform('mean')

Run to view results

df.groupby('tipo_dato').poblacion.transform('mean').apply(lambda x: format(x, '0.2f'))

Run to view results

df['medias_pob'] = df.groupby('tipo_dato').poblacion.transform('mean').apply(lambda x: format(x, '0.2f')) df

Run to view results

df['medias_pob'].dtype

Run to view results

df.medias_pob.apply(lambda x: float(x))

Run to view results

df['medias_pob'] = df.medias_pob.apply(lambda x: float(x)) df

Run to view results

df.info()

Run to view results

df.poblacion - df.medias_pob

Run to view results

df['diferencia_media_pob'] = df.poblacion - df.medias_pob df

Run to view results

df[(df.diferencia_media_pob < 0 )& (df.tipo_dato == 'Hombres')]

Run to view results

df = df.assign(valor_previo_pob = lambda row: row.poblacion.shift(1), incremento_pob = lambda row: row.poblacion - row.poblacion.shift(1))

Run to view results

df.incremento_pob[104]

Run to view results

df.loc[104, ['valor_previo_pob', 'incremento_pob']]

Run to view results

import numpy as np df.loc[208, ['valor_previo_pob', 'incremento_pob']] = np.nan

Run to view results

df.loc[208, ['valor_previo_pob', 'incremento_pob']]

Run to view results

df.loc[104, ['valor_previo_pob', 'incremento_pob']] = np.nan

Run to view results

df.loc[208, ['valor_previo_pob', 'incremento_pob']]

Run to view results

Procesamiento de fechas

import datetime

Run to view results

df.fecha

Run to view results

df.fecha[0]

Run to view results

df.fecha[0].year

Run to view results

df.fecha[0].month

Run to view results

df.fecha[0].day

Run to view results

df.fecha = pd.to_datetime(df.fecha) df.fecha

Run to view results

df['año'] = df.fecha.apply(lambda x: x.year) df

Run to view results

df['mes'] = df.fecha.apply(lambda x: x.month) df

Run to view results

df.año.unique()

Run to view results

df['decadas'] = pd.cut(df.año, bins = [1970, 1979, 1989, 1999, 2009, 2019, 2022], labels = ['setentas', 'ochentas', 'noventas', 'dosmil', 'dosmildiez', 'dosmilveinte']) df.sample(20)

Run to view results

df.decadas.dtype

Run to view results

df.groupby(['tipo_dato', 'decadas', 'mes']).incremento_pob.sum()

Run to view results

df.groupby(['tipo_dato', 'decadas']).incremento_pob.sum()

Run to view results

df.to_csv('poblacion_INE_limpios.csv', index = False)

Run to view results

import seaborn as sns import matplotlib.pyplot as plt import datetime import os

Run to view results

1.¿Cómo ha ido variando la población a lo largo del tiempo?

df.fecha[df.tipo_dato == 'Total']

Run to view results

plt.figure(figsize = (9,4)) plt.plot(df.fecha[df.tipo_dato == 'Total'], df.poblacion[df.tipo_dato == 'Total']/1000000, color = 'tab:red') plt.xlabel('Fecha') plt.ylabel('Población (millones)') plt.title('Población Total') plt.show()

Run to view results

df.tipo_dato.unique()

Run to view results

def plot_df(x, y, title, xlabel, ylabel): plt.figure(figsize = (9,4)) plt.plot(x, y/1000000, color = 'tab:red') plt.xlabel(xlabel) plt.ylabel(ylabel) plt.title(title) plt.show()

Run to view results

for i in df.tipo_dato.unique(): plot_df(df.fecha[df.tipo_dato == i], df.poblacion[df.tipo_dato == i], 'Población {0}'.format(i), 'Fecha', 'Población (millones)')

Run to view results

plt.figure(figsize = (9, 4), dpi = 80) for i, d in enumerate(df.tipo_dato.unique()): plt.plot('fecha', 'poblacion', data = df[df.tipo_dato == d], color = mycolors[i], label = d) plt.legend() plt.xlabel('Fecha') plt.ylabel('Población (millones)') plt.title('Población española (1971 - 2022)', fontsize = 15, pad = 20) plt.show()

Run to view results

sns.lineplot(x = df.fecha, y = df.poblacion/1000000, hue = df.tipo_dato);

Run to view results

sns.lineplot(x = df.fecha, y = df.poblacion/1000000, hue = df.tipo_dato); plt.title('Población española (1971 - 2022)', fontsize = 15, pad = 20) plt.legend(title = 'Series');

Run to view results

sns.set_theme(style = 'whitegrid')

Run to view results

sns.lineplot(x = df.fecha[df.tipo_dato != 'Total'], y = df.poblacion[df.tipo_dato != 'Total'], hue = df.tipo_dato); plt.title('Población española (1971 - 2022), Hombres vs. Mujeres', fontsize = 15, pad = 20) plt.legend(title = 'Series', labels = ['Hombres', 'Mujeres']);

Run to view results

sns.boxplot(x = 'tipo_dato', y = df.poblacion/1000000, data = df) plt.xlabel('Fecha') plt.ylabel('Población (millones)') plt.title('Población española (1971 - 2022)', fontsize = 15, pad = 20) plt.show()

Run to view results

plt.figure(figsize = (9,7), dpi = 80) sns.swarmplot(x = 'tipo_dato', y = df.poblacion/1000000, data = df) plt.xlabel('Fecha') plt.ylabel('Población (millones)') plt.title('Población española (1971 - 2022)', fontsize = 15, pad = 20) plt.show()

Run to view results

df['poblacion_millones'] = df['poblacion'] / 1000000 g = sns.catplot(x='tipo_dato', y='poblacion_millones', data=df, kind='violin', inner=None) sns.swarmplot(x='tipo_dato', y='poblacion_millones', data=df, ax=g.ax, color='k', size=3) plt.xlabel('Fecha')

Run to view results

fig, axes = plt.subplots(1,2,figsize=(15,5), dpi= 80) sns.barplot(x='tipo_dato', y=df.poblacion/1000000, data=df, ax=axes[0]) sns.barplot(x='mes', y=df.poblacion/1000000, data=df[(df.tipo_dato == 'Total') & (df.año.isin([1980, 2022]))]) axes[0].set_title('Población Española por serie (1971-2022)', fontsize=15, pad = 10) for p in axes[1].patches:#Para el pintar el cálculo de la media axes[1].annotate(f'media:\n{p.get_height():0.2f}', (p.get_x() + p.get_width() / 2., p.get_height() / 2), ha='center', va='center', xytext=(0, 10), textcoords='offset points') axes[1].set_title('Población Española Total (1980-2022)', fontsize=15, pad = 10);

Run to view results

df.groupby(['tipo_dato', 'decadas', 'mes']).incremento_pob.sum()

Run to view results

Conclusiones

Resumen de los resultados: En este proyecto de análisis de datos poblacionales del INE, hemos realizado una exploración detallada de los datos históricos de población en España. A continuación, destacamos los resultados más relevantes:

Variación de la población a lo largo de los años: Hemos observado que la población en España ha experimentado cambios significativos a lo largo de los años. Los máximos y mínimos varían, lo que indica fluctuaciones en la población.

Tasa de crecimiento/Decrecimiento de la población: Calculamos la tasa de crecimiento/decrecimiento de la población y encontramos que ha habido variaciones a lo largo de los años. Esto sugiere que el crecimiento de la población no ha sido constante y ha estado sujeto a influencias diversas.

Comparación de la tasa de Ccrecimiento entre décadas: Realizamos una comparación de la tasa de crecimiento entre décadas y detectamos variaciones significativas. Esto puede ser atribuible a factores socioeconómicos, políticos y culturales que han influido en la demografía del país.

Diferencias entre la población femenina y masculina: Exploramos las diferencias de género en la población y encontramos patrones interesantes. Estos patrones pueden proporcionar información valiosa sobre la dinámica de género en la sociedad española.

Cumplimiento de los objetivos: En general, hemos logrado cumplir con los objetivos establecidos al inicio del proyecto. Hemos obtenido respuestas a las preguntas planteadas y hemos identificado patrones y tendencias en los datos de población. Los criterios de éxito definidos se han alcanzado en términos de obtener información valiosa y relevante sobre la evolución de la población española.

Impacto y relevancia: Los resultados de este análisis de datos tienen un alto impacto y relevancia en diversos ámbitos. Pueden proporcionar información útil para la planificación gubernamental, la toma de decisiones empresariales y la comprensión de la demografía española. Los hallazgos pueden contribuir a políticas públicas más informadas y estrategias de negocio más efectivas.

Limitaciones y áreas de mejora: Es importante reconocer algunas limitaciones del análisis. No hemos considerado variables externas que podrían influir en la población, como eventos históricos o políticos específicos. Además, la calidad de los datos puede variar a lo largo del tiempo. En futuros proyectos, el análisis podria incluir variables adicionales y considerando un contexto histórico más detallado.

Recomendaciones: Basándome en los hallazgos, recomendamos:

Realizar un análisis más profundo de las causas detrás de las variaciones en la población a lo largo de los años, considerando factores socioeconómicos y eventos históricos.

Evaluar cómo las tendencias demográficas podrían afectar las políticas públicas y estrategias empresariales en el futuro.

Continuar actualizando y manteniendo la base de datos de población para un seguimiento continuo y análisis más precisos.

Reflexión sobre el proceso: Este proyecto me ha permitido aplicar habilidades de análisis de datos y programación en Python para extraer información valiosa de fuentes externas. Hemos enfrentado desafíos al limpiar y analizar datos históricos, pero hemos aprendido a superarlos. En futuros proyectos, podríamos considerar la aplicación de técnicas más avanzadas y la colaboración interdisciplinaria para obtener una comprensión aún más profunda de los datos poblacionales. Este proyecto subraya la importancia de utilizar datos externos para enriquecer nuestro análisis y tomar decisiones informadas.