Encuesta Anual Manufacturera – EAM - 2020

Departamento Administrativo Nacional de Estadística - DANE

A continuación se resolverán las siguientes preguntas relacionadas con la base de datos que se puede encontrar en la pagina https://microdatos.dane.gov.co/index.php/catalog/724

¿Cuántas establecimientos hay en la base de datos?

Calcular el número de ocupados según sexo y actividad económica (CIIU4)

Calcular el valor de la producción bruta, consumo intermedio y valor agregado por departamento

Identificar los establecimientos que se encuentran por encima del percentil 98 en el valor de ventas

Solo para el rol de estadístico o analista de datos: La variable PRODBIND tiene valores en 99 que deben ser imputados con algún método estadístico. ¿Cuál método utilizaría y justifique por qué es adecuado?

#Lectura de dataframe df = pd.read_excel('EAM_2020.xlsx') df

nordempint64

141299 - 987653

nordestint64

140327 - 987653

141299

140327

141302

140333

141305

140336

141308

140339

141309

140340

141311

140342

141312

140343

141313

140344

141315

140346

141318

140348

#Tamaño del dataset df.shape

      Atributo Tipo de dato  Nulos  Porcentaje Nulos
65      c3r2pt      float64      2              0.03
147    c3r23c3      float64      2              0.03
146    c3r23c2      float64      2              0.03
145    c3r23c1      float64      2              0.03
144    C3R20C3      float64      2              0.03
..         ...          ...    ...               ...
325   GASPAUTO      float64      3              0.04
326     GASPCO      float64      3              0.04
327   CARBONMC      float64      3              0.04
313  GASOLAUTO      float64      3              0.04
301  PETROAUTO      float64      3              0.04

[175 rows x 4 columns]

El dataframe no contiene gran cantidad de datos nulos, pues las columnas con mayor cantidad de nulos tienen 3 que corresponde a un 0,04% de los datos

Establecimientos presentes en la base de datos

df.nordest.nunique()

Empresas Presentes en la base de datos

df.nordemp.nunique()

Número de ocupados según sexo y actividad económica (CIIU4)

df1 = df[['ciiu4', 'c4r4c9t', 'c4r4c10t']].copy() df1 = df1.rename(columns={'c4r4c9t': 'Mujeres', 'c4r4c10t': 'Hombres'}) tablapv = pd.pivot_table(df1, values=['Mujeres', 'Hombres'], index='ciiu4', aggfunc='sum') tablapv

Hombresint64

27 - 24330

Mujeresint64

6 - 42686

1011

22348

7700

1012

1449

1626

1020

2067

1733

1030

7233

2031

1040

13252

6234

1051

7702

3245

1061

1244

374

1062

712

560

1071

6408

1096

1072

692

Grafica top 10 actividades económicas con mayor ocupación

Valor de la producción bruta, consumo intermedio y valor agregado por departamento

Departamentos

departamentos = df.dpto.value_counts() info_por_departamento = df.groupby('dpto').agg('sum') info_por_departamento = info_por_departamento.reindex(departamentos.index) info_por_departamento = info_por_departamento.reset_index() info_por_departamento = info_por_departamento.rename(columns={'index': 'departamento'}) info_por_departamento[['departamento','PRODBR2','CONSIN2','VALAGRI']]

departamentoint64

5 - 99

PRODBR2int64

217044053 - 43777612648

33903776640

43777612648

40790438139

32779079449

22075372267

16917738914

4686496864

5739185553

22223135172

1117175301

4392640867

6919351481

3528610221

2650270464

2725224940

1219204945

1247544974

471090229

1024215636

2805413362

2019385825

272090337

217044053

Valor de la producción bruta, consumo intermedio y valor agregado por departamento

Establecimientos que se encuentran por encima del percentil 98 en el valor de ventas

VALORVEN y el Percentil 98

percentil_98 = np.percentile(df.VALORVEN, 98) print("Percentil 98:", percentil_98) datos_ordenados = np.sort(df.VALORVEN) plt.plot(datos_ordenados, 'o-', label='Datos') plt.axhline(percentil_98, color='r', linestyle='--', label='Percentil 98') plt.ticklabel_format(style='plain') plt.xlabel('Índice de datos') plt.ylabel('Valor') plt.legend() plt.show()

Percentil 98: 338380043.0

Establecimientos por encima del percentil 98

mask = df.VALORVEN > percentil_98 dfEstablecimientos = df[mask] dfEstablecimientos[['nordest','VALORVEN']].sort_values('VALORVEN')

nordestint64

140371 - 987538

VALORVENint64

341316778 - 3990161547

6101

981924

341316778

1726

144571

341316778

6728

984269

341316778

4827

975178

343783959

5543

978731

343783959

705

142338

343783959

7164

986601

345171518

4490

867189

345171518

2778

986586

345171518

6752

975145

345803951

datos_menores = [d for d in df.VALORVEN if d <= percentil_98] # Filtrar los datos mayores al percentil 98 datos_mayores = [d for d in df.VALORVEN if d > percentil_98] porcentaje_menores = len(datos_menores) / len(df) * 100 porcentaje_mayores = len(datos_mayores) / len(df) * 100 suma_datos = sum(df.VALORVEN) porcentaje_menores = sum(datos_menores) / suma_datos * 100 porcentaje_mayores = sum(datos_mayores) / suma_datos * 100 etiquetas = ['Menores o iguales\nal percentil 98', 'Mayores\nal percentil 98'] valores = [porcentaje_menores, porcentaje_mayores] colores = ['lightblue', 'lightgreen'] plt.pie(valores, labels=etiquetas, colors=colores, autopct='%1.1f%%', startangle=90) plt.axis('equal') plt.title('Porcentaje de la suma de VALORVEN\nmenores o iguales al percentil 98\ny mayores al percentil 98') plt.show()

Variable PRODBIND: Imputar valores = 99

conteo_99 = df[df['PRODBIND'] == 99]['PRODBIND'].count() # Calcula el porcentaje porcentaje_99 = (conteo_99 / len(df['PRODBIND'])) * 100 print(f"El porcentaje de datos iguales a 99 en la columna 'PRODBIND' es: {porcentaje_99:.2f}% con {conteo_99} datos")

El porcentaje de datos iguales a 99 en la columna 'PRODBIND' es: 5.00% con 367 datos

print(df.PRODBIND.describe())

count         7343.00
mean      32218290.09
std      127022822.03
min              0.00
25%         842538.00
50%        3128141.00
75%       14963226.50
max     4143709011.00
Name: PRODBIND, dtype: float64

sns.displot(x=df.PRODBIND/1e2, kind='kde') media = df.PRODBIND.mean() mediana = df.PRODBIND.median() plt.axvline(x=media, color='red', linestyle='--', label='Media') plt.axvline(x=mediana, color='green', linestyle='--', label='Mediana') plt.legend() plt.show()

Como podemos ver en el resumen de la columna PRODBIND, encontramos que la distribución de los datos esta sesgada hacia la izquierda a valores más bajos, concentrando más cantidad de registros, basándonos en la diferencia entre la media y la mediana,

# Se calcula la media de la columna PRODBIND excluyendo los valores = 99 mediana = df.PRODBIND[df.PRODBIND !=99].median() mediana

# Se imputan los valores iguales a 99 con la mediana valores_imputados = df.PRODBIND.replace(99, mediana) valores_imputados.describe()

Los valores iguales a 99 fueron remplazados por la mediana debido a que la muestra cuenta con gran varianza además de un sesgo importante que se pudo evidenciar en la grafica anterior, se elige la mediana ya que es una medida de tendencia central que no es susceptible a Outliers como si lo puede ser la media.

Además cabe aclarar que para el calculo de la media se excluyeron los valores iguales a 99 ya que se consideran valores atípicos.

Fuente: Departamento Administrativo Nacional de Estadística: www.dane.gov.co

.css-ytumd6{-webkit-text-decoration:none;text-decoration:none;}Encuesta Anual Manufacturera – EAM - 2020

Departamento Administrativo Nacional de Estadística - DANE

Establecimientos presentes en la base de datos

Empresas Presentes en la base de datos

Número de ocupados según sexo y actividad económica (CIIU4)

Grafica top 10 actividades económicas con mayor ocupación

Valor de la producción bruta, consumo intermedio y valor agregado por departamento

Establecimientos que se encuentran por encima del percentil 98 en el valor de ventas

VALORVEN y el Percentil 98

Establecimientos por encima del percentil 98

Variable PRODBIND: Imputar valores = 99

Encuesta Anual Manufacturera – EAM - 2020