Encuesta Anual Manufacturera – EAM - 2020

Departamento Administrativo Nacional de Estadística - DANE

A continuación se resolverán las siguientes preguntas relacionadas con la base de datos que se puede encontrar en la pagina https://microdatos.dane.gov.co/index.php/catalog/724

¿Cuántas establecimientos hay en la base de datos?

Calcular el número de ocupados según sexo y actividad económica (CIIU4)

Calcular el valor de la producción bruta, consumo intermedio y valor agregado por departamento

Identificar los establecimientos que se encuentran por encima del percentil 98 en el valor de ventas

Solo para el rol de estadístico o analista de datos: La variable PRODBIND tiene valores en 99 que deben ser imputados con algún método estadístico. ¿Cuál método utilizaría y justifique por qué es adecuado?

#Lectura de dataframe df = pd.read_excel('EAM_2020.xlsx') df

#Tamaño del dataset df.shape

El dataframe no contiene gran cantidad de datos nulos, pues las columnas con mayor cantidad de nulos tienen 3 que corresponde a un 0,04% de los datos

Establecimientos presentes en la base de datos

df.nordest.nunique()

Empresas Presentes en la base de datos

df.nordemp.nunique()

Número de ocupados según sexo y actividad económica (CIIU4)

df1 = df[['ciiu4', 'c4r4c9t', 'c4r4c10t']].copy() df1 = df1.rename(columns={'c4r4c9t': 'Mujeres', 'c4r4c10t': 'Hombres'}) tablapv = pd.pivot_table(df1, values=['Mujeres', 'Hombres'], index='ciiu4', aggfunc='sum') tablapv

Grafica top 10 actividades económicas con mayor ocupación

Valor de la producción bruta, consumo intermedio y valor agregado por departamento

Departamentos

departamentos = df.dpto.value_counts() info_por_departamento = df.groupby('dpto').agg('sum') info_por_departamento = info_por_departamento.reindex(departamentos.index) info_por_departamento = info_por_departamento.reset_index() info_por_departamento = info_por_departamento.rename(columns={'index': 'departamento'}) info_por_departamento[['departamento','PRODBR2','CONSIN2','VALAGRI']]

Valor de la producción bruta, consumo intermedio y valor agregado por departamento

Establecimientos que se encuentran por encima del percentil 98 en el valor de ventas

VALORVEN y el Percentil 98

percentil_98 = np.percentile(df.VALORVEN, 98) print("Percentil 98:", percentil_98) datos_ordenados = np.sort(df.VALORVEN) plt.plot(datos_ordenados, 'o-', label='Datos') plt.axhline(percentil_98, color='r', linestyle='--', label='Percentil 98') plt.ticklabel_format(style='plain') plt.xlabel('Índice de datos') plt.ylabel('Valor') plt.legend() plt.show()

Establecimientos por encima del percentil 98

mask = df.VALORVEN > percentil_98 dfEstablecimientos = df[mask] dfEstablecimientos[['nordest','VALORVEN']].sort_values('VALORVEN')

datos_menores = [d for d in df.VALORVEN if d <= percentil_98] # Filtrar los datos mayores al percentil 98 datos_mayores = [d for d in df.VALORVEN if d > percentil_98] porcentaje_menores = len(datos_menores) / len(df) * 100 porcentaje_mayores = len(datos_mayores) / len(df) * 100 suma_datos = sum(df.VALORVEN) porcentaje_menores = sum(datos_menores) / suma_datos * 100 porcentaje_mayores = sum(datos_mayores) / suma_datos * 100 etiquetas = ['Menores o iguales\nal percentil 98', 'Mayores\nal percentil 98'] valores = [porcentaje_menores, porcentaje_mayores] colores = ['lightblue', 'lightgreen'] plt.pie(valores, labels=etiquetas, colors=colores, autopct='%1.1f%%', startangle=90) plt.axis('equal') plt.title('Porcentaje de la suma de VALORVEN\nmenores o iguales al percentil 98\ny mayores al percentil 98') plt.show()

Variable PRODBIND: Imputar valores = 99

conteo_99 = df[df['PRODBIND'] == 99]['PRODBIND'].count() # Calcula el porcentaje porcentaje_99 = (conteo_99 / len(df['PRODBIND'])) * 100 print(f"El porcentaje de datos iguales a 99 en la columna 'PRODBIND' es: {porcentaje_99:.2f}% con {conteo_99} datos")

print(df.PRODBIND.describe())

sns.displot(x=df.PRODBIND/1e2, kind='kde') media = df.PRODBIND.mean() mediana = df.PRODBIND.median() plt.axvline(x=media, color='red', linestyle='--', label='Media') plt.axvline(x=mediana, color='green', linestyle='--', label='Mediana') plt.legend() plt.show()

Como podemos ver en el resumen de la columna PRODBIND, encontramos que la distribución de los datos esta sesgada hacia la izquierda a valores más bajos, concentrando más cantidad de registros, basándonos en la diferencia entre la media y la mediana,

# Se calcula la media de la columna PRODBIND excluyendo los valores = 99 mediana = df.PRODBIND[df.PRODBIND !=99].median() mediana

# Se imputan los valores iguales a 99 con la mediana valores_imputados = df.PRODBIND.replace(99, mediana) valores_imputados.describe()

Los valores iguales a 99 fueron remplazados por la mediana debido a que la muestra cuenta con gran varianza además de un sesgo importante que se pudo evidenciar en la grafica anterior, se elige la mediana ya que es una medida de tendencia central que no es susceptible a Outliers como si lo puede ser la media.

Además cabe aclarar que para el calculo de la media se excluyeron los valores iguales a 99 ya que se consideran valores atípicos.

Fuente: Departamento Administrativo Nacional de Estadística: www.dane.gov.co