馃搳 馃懌馃徎An谩lisis datos poblacionales del INE
Breve descripci贸n del proyecto: Este proyecto se centra en el aprovechamiento de datos externos para enriquecer nuestro an谩lisis. Reconocemos que la informaci贸n valiosa a menudo est谩 disponible, aunque no sea generada por nuestra empresa o clientes. En esta iniciativa, nos conectaremos a la base de datos del Instituto Nacional de Estad铆stica de Espa帽a (INE) para descargar datos de poblaci贸n en Espa帽a. Nuestro objetivo es limpiar y analizar estos datos para obtener conclusiones sobre la evoluci贸n de la poblaci贸n espa帽ola a lo largo del tiempo.
Contexto
Las preguntas que vamos a responder en el proyecto son:
驴C贸mo ha ido variando la poblaci贸n a lo largo de los a帽os? 驴Han variado los m谩ximos y los m铆nimos o los rangos?
驴Cu谩l es la tasa de crecimiento/decrecimiento de la poblaci贸n? 驴ha variado a lo largo de los a帽os?
Comparando la tasa de crecimiento entre d茅cadas 驴Se detecta variaci贸n?
驴Hay diferencias entre la poblaci贸n femenina y la masculina?
驴Hay algo m谩s que podamos decir de estos datos?
Herramientas a utilizar
El lenguaje de programaci贸n utilizada para realizar el proyecto fue Python, y las librerias que utilizamos para la ejecucion fueron pandas, numpy, seaborn y matplotlib.
Conjunto de datos del proyecto
Los datos est谩n originalmente en la base de datos del INE (https://www.ine.es/index.htm), en concreto los datos de las series que est谩n en el archivo ine_codes.xlsx y que corresponden a datos hist贸ricos de poblaci贸n en Espa帽a. Tanto para el total de la poblaci贸n, como diferenciada por los sexos masculino y femenino. El dataset contiene entre 312 registros y un total de 11 columnas.
Desarrollo | Ejecuci贸n
En primer lugar debemos conectar con el INE y descargar su dataset sobre poblaci贸n.
# Import libraries
import pandas as pd
import requests
import datetime
import openpyxl
# Function that takes an INE code and returns a json with INE data
# Connects with INE
def ine_request(ine_code):
resultados = 999
path_template = 'http://servicios.ine.es/wstempus/js/ES/DATOS_SERIE/{cod_serie}?nult={n_ult_datos}'
path = path_template.format(cod_serie=ine_code, n_ult_datos=resultados)
json_request = requests.get(path).json()
return json_request
# Read the INE codes file
df_codigos = pd.read_excel('ine_codes.xlsx', engine='openpyxl')
# Transform the INE codes column of df_codigos into a list
codigos = df_codigos['ine_code'].tolist()
fecha_lista = []
variable_lista = list()
valor_lista = list()
# Iterate through the list of INE codes
for codigo in codigos:
# Load the result of the ine_request() function into 'datos'
datos = ine_request(codigo)
# Load the name of the variable
nombre_variable = datos['Nombre']
# Retrieve the attributes of each data series
for dato in datos['Data']:
fecha = datetime.date.fromtimestamp(dato['Fecha'] // 1000)
valor = dato['Valor']
fecha_lista.append(fecha)
variable_lista.append(nombre_variable)
valor_lista.append(valor)
# Create a dataframe with all the data lists
df = pd.DataFrame({
'Fecha': fecha_lista,
'Dato' : variable_lista,
'Poblaci贸n' : valor_lista
})
# Save the dataframe to an excel file
df.to_excel('tabla_ine.xlsx', index=False)
Limpieza de datos
df_codigos
list(df_codigos['ine_code'])
codigos
ine_request('CP335')
datos['Nombre']
datos['Data']
datos['Data'][1]
len(datos['Data'])
df
df.Fecha
df.rename(columns = {'Fecha': 'fecha', 'Dato': 'dato', 'Poblaci贸n': 'poblacion'})
df.rename(columns = {'Fecha': 'fecha', 'Dato': 'dato', 'Poblaci贸n': 'poblacion'}, inplace = True)
df
df.poblacion
Exploramos poblaci贸n
max(df.poblacion) / 1000000
min(df.poblacion) / 1000000
Exploramos fechas
max(df.fecha)
min(df.fecha)
Formateamos la columna dato
df.dato[0]
df.dato[208].split('. ')
df.dato.str.split('. ')
df.dato.str.split('.').str.get(2)
df['tipo_dato'] = df.dato.str.split('. ').str.get(5)
df
df[df.tipo_dato == 'Mujeres']
df[df.tipo_dato == 'Total'].poblacion.max( )/1000000
df[df.tipo_dato == 'Total'].poblacion.min( )/1000000
df[df.tipo_dato == 'Mujeres'].poblacion.max( )/1000000
df.groupby('tipo_dato')
df.groupby('tipo_dato').poblacion.max()
df.groupby('tipo_dato').min()
df.groupby('tipo_dato').poblacion.aggregate(['min','max','mean'])
df.groupby('tipo_dato').poblacion.transform('mean')
df.groupby('tipo_dato').poblacion.transform('mean').apply(lambda x: format(x, '0.2f'))
df['medias_pob'] = df.groupby('tipo_dato').poblacion.transform('mean').apply(lambda x: format(x, '0.2f'))
df
df['medias_pob'].dtype
df.medias_pob.apply(lambda x: float(x))
df['medias_pob'] = df.medias_pob.apply(lambda x: float(x))
df
df.info()
df.poblacion - df.medias_pob
df['diferencia_media_pob'] = df.poblacion - df.medias_pob
df
df[(df.diferencia_media_pob < 0 )& (df.tipo_dato == 'Hombres')]
df = df.assign(valor_previo_pob = lambda row: row.poblacion.shift(1),
incremento_pob = lambda row: row.poblacion - row.poblacion.shift(1))
df.incremento_pob[104]
df.loc[104, ['valor_previo_pob', 'incremento_pob']]
import numpy as np
df.loc[208, ['valor_previo_pob', 'incremento_pob']] = np.nan
df.loc[208, ['valor_previo_pob', 'incremento_pob']]
df.loc[104, ['valor_previo_pob', 'incremento_pob']] = np.nan
df.loc[208, ['valor_previo_pob', 'incremento_pob']]
Procesamiento de fechas
import datetime
df.fecha
df.fecha[0]
df.fecha[0].year
df.fecha[0].month
df.fecha[0].day
df.fecha = pd.to_datetime(df.fecha)
df.fecha
df['a帽o'] = df.fecha.apply(lambda x: x.year)
df
df['mes'] = df.fecha.apply(lambda x: x.month)
df
df.a帽o.unique()
df['decadas'] = pd.cut(df.a帽o, bins = [1970, 1979, 1989, 1999, 2009, 2019, 2022],
labels = ['setentas', 'ochentas', 'noventas', 'dosmil', 'dosmildiez', 'dosmilveinte'])
df.sample(20)
df.decadas.dtype
df.groupby(['tipo_dato', 'decadas', 'mes']).incremento_pob.sum()
df.groupby(['tipo_dato', 'decadas']).incremento_pob.sum()
df.to_csv('poblacion_INE_limpios.csv', index = False)
import seaborn as sns
import matplotlib.pyplot as plt
import datetime
import os
1.驴C贸mo ha ido variando la poblaci贸n a lo largo del tiempo?
df.fecha[df.tipo_dato == 'Total']
plt.figure(figsize = (9,4))
plt.plot(df.fecha[df.tipo_dato == 'Total'], df.poblacion[df.tipo_dato == 'Total']/1000000, color = 'tab:red')
plt.xlabel('Fecha')
plt.ylabel('Poblaci贸n (millones)')
plt.title('Poblaci贸n Total')
plt.show()
df.tipo_dato.unique()
def plot_df(x, y, title, xlabel, ylabel):
plt.figure(figsize = (9,4))
plt.plot(x, y/1000000, color = 'tab:red')
plt.xlabel(xlabel)
plt.ylabel(ylabel)
plt.title(title)
plt.show()
for i in df.tipo_dato.unique():
plot_df(df.fecha[df.tipo_dato == i], df.poblacion[df.tipo_dato == i], 'Poblaci贸n {0}'.format(i), 'Fecha', 'Poblaci贸n (millones)')
plt.figure(figsize = (9, 4), dpi = 80)
for i, d in enumerate(df.tipo_dato.unique()):
plt.plot('fecha', 'poblacion', data = df[df.tipo_dato == d], color = mycolors[i], label = d)
plt.legend()
plt.xlabel('Fecha')
plt.ylabel('Poblaci贸n (millones)')
plt.title('Poblaci贸n espa帽ola (1971 - 2022)', fontsize = 15, pad = 20)
plt.show()
sns.lineplot(x = df.fecha, y = df.poblacion/1000000, hue = df.tipo_dato);
sns.lineplot(x = df.fecha, y = df.poblacion/1000000, hue = df.tipo_dato);
plt.title('Poblaci贸n espa帽ola (1971 - 2022)', fontsize = 15, pad = 20)
plt.legend(title = 'Series');
sns.set_theme(style = 'whitegrid')
sns.lineplot(x = df.fecha[df.tipo_dato != 'Total'], y = df.poblacion[df.tipo_dato != 'Total'], hue = df.tipo_dato);
plt.title('Poblaci贸n espa帽ola (1971 - 2022), Hombres vs. Mujeres', fontsize = 15, pad = 20)
plt.legend(title = 'Series', labels = ['Hombres', 'Mujeres']);
sns.boxplot(x = 'tipo_dato', y = df.poblacion/1000000, data = df)
plt.xlabel('Fecha')
plt.ylabel('Poblaci贸n (millones)')
plt.title('Poblaci贸n espa帽ola (1971 - 2022)', fontsize = 15, pad = 20)
plt.show()
plt.figure(figsize = (9,7), dpi = 80)
sns.swarmplot(x = 'tipo_dato', y = df.poblacion/1000000, data = df)
plt.xlabel('Fecha')
plt.ylabel('Poblaci贸n (millones)')
plt.title('Poblaci贸n espa帽ola (1971 - 2022)', fontsize = 15, pad = 20)
plt.show()
df['poblacion_millones'] = df['poblacion'] / 1000000
g = sns.catplot(x='tipo_dato', y='poblacion_millones', data=df, kind='violin', inner=None)
sns.swarmplot(x='tipo_dato', y='poblacion_millones', data=df, ax=g.ax, color='k', size=3)
plt.xlabel('Fecha')
fig, axes = plt.subplots(1,2,figsize=(15,5), dpi= 80)
sns.barplot(x='tipo_dato', y=df.poblacion/1000000, data=df, ax=axes[0])
sns.barplot(x='mes', y=df.poblacion/1000000, data=df[(df.tipo_dato == 'Total') & (df.a帽o.isin([1980, 2022]))])
axes[0].set_title('Poblaci贸n Espa帽ola por serie (1971-2022)', fontsize=15, pad = 10)
for p in axes[1].patches:#Para el pintar el c谩lculo de la media
axes[1].annotate(f'media:\n{p.get_height():0.2f}', (p.get_x() + p.get_width() / 2., p.get_height() / 2),
ha='center', va='center', xytext=(0, 10), textcoords='offset points')
axes[1].set_title('Poblaci贸n Espa帽ola Total (1980-2022)', fontsize=15, pad = 10);
df.groupby(['tipo_dato', 'decadas', 'mes']).incremento_pob.sum()
Conclusiones
Resumen de los resultados: En este proyecto de an谩lisis de datos poblacionales del INE, hemos realizado una exploraci贸n detallada de los datos hist贸ricos de poblaci贸n en Espa帽a. A continuaci贸n, destacamos los resultados m谩s relevantes:
Variaci贸n de la poblaci贸n a lo largo de los a帽os: Hemos observado que la poblaci贸n en Espa帽a ha experimentado cambios significativos a lo largo de los a帽os. Los m谩ximos y m铆nimos var铆an, lo que indica fluctuaciones en la poblaci贸n.
Tasa de crecimiento/Decrecimiento de la poblaci贸n: Calculamos la tasa de crecimiento/decrecimiento de la poblaci贸n y encontramos que ha habido variaciones a lo largo de los a帽os. Esto sugiere que el crecimiento de la poblaci贸n no ha sido constante y ha estado sujeto a influencias diversas.
Comparaci贸n de la tasa de Ccrecimiento entre d茅cadas: Realizamos una comparaci贸n de la tasa de crecimiento entre d茅cadas y detectamos variaciones significativas. Esto puede ser atribuible a factores socioecon贸micos, pol铆ticos y culturales que han influido en la demograf铆a del pa铆s.
Diferencias entre la poblaci贸n femenina y masculina: Exploramos las diferencias de g茅nero en la poblaci贸n y encontramos patrones interesantes. Estos patrones pueden proporcionar informaci贸n valiosa sobre la din谩mica de g茅nero en la sociedad espa帽ola.
Cumplimiento de los objetivos: En general, hemos logrado cumplir con los objetivos establecidos al inicio del proyecto. Hemos obtenido respuestas a las preguntas planteadas y hemos identificado patrones y tendencias en los datos de poblaci贸n. Los criterios de 茅xito definidos se han alcanzado en t茅rminos de obtener informaci贸n valiosa y relevante sobre la evoluci贸n de la poblaci贸n espa帽ola.
Impacto y relevancia: Los resultados de este an谩lisis de datos tienen un alto impacto y relevancia en diversos 谩mbitos. Pueden proporcionar informaci贸n 煤til para la planificaci贸n gubernamental, la toma de decisiones empresariales y la comprensi贸n de la demograf铆a espa帽ola. Los hallazgos pueden contribuir a pol铆ticas p煤blicas m谩s informadas y estrategias de negocio m谩s efectivas.
Limitaciones y 谩reas de mejora: Es importante reconocer algunas limitaciones del an谩lisis. No hemos considerado variables externas que podr铆an influir en la poblaci贸n, como eventos hist贸ricos o pol铆ticos espec铆ficos. Adem谩s, la calidad de los datos puede variar a lo largo del tiempo. En futuros proyectos, el an谩lisis podria incluir variables adicionales y considerando un contexto hist贸rico m谩s detallado.
Recomendaciones: Bas谩ndome en los hallazgos, recomendamos:
Realizar un an谩lisis m谩s profundo de las causas detr谩s de las variaciones en la poblaci贸n a lo largo de los a帽os, considerando factores socioecon贸micos y eventos hist贸ricos.
Evaluar c贸mo las tendencias demogr谩ficas podr铆an afectar las pol铆ticas p煤blicas y estrategias empresariales en el futuro.
Continuar actualizando y manteniendo la base de datos de poblaci贸n para un seguimiento continuo y an谩lisis m谩s precisos.
Reflexi贸n sobre el proceso: Este proyecto me ha permitido aplicar habilidades de an谩lisis de datos y programaci贸n en Python para extraer informaci贸n valiosa de fuentes externas. Hemos enfrentado desaf铆os al limpiar y analizar datos hist贸ricos, pero hemos aprendido a superarlos. En futuros proyectos, podr铆amos considerar la aplicaci贸n de t茅cnicas m谩s avanzadas y la colaboraci贸n interdisciplinaria para obtener una comprensi贸n a煤n m谩s profunda de los datos poblacionales. Este proyecto subraya la importancia de utilizar datos externos para enriquecer nuestro an谩lisis y tomar decisiones informadas.