👩🏻💻 LINKEDIN - Data - Automatización + Limpieza de datos + Análisis
Breve descripción del proyecto: En este proyecto, nosotros, como analistas de datos, estamos enfocados en analizar el mercado laboral en roles relacionados con la analítica de datos en diferentes países. Nuestra fuente de datos proviene de una descarga de webscraping que hemos obtenido de LinkedIn, que contiene información sobre puestos de trabajo en este campo. Nuestro objetivo principal es validar la calidad de los datos y, posteriormente, extraer conclusiones clave sobre el mercado laboral en el mundo de la analítica de datos.
Contexto
Este proyecto intentará responder a las siguientes preguntas:
¿Cúales son las empresas con mayor cantidad de ofertas?
¿Que cantidad de ofertas tenemos en la tabla por ubicación?
¿Que cantidad de ofertas tenemos por día publicados?
¿Cúales son los top 10 títulos de roles que se usan para publicar ofertas?
¿Cúales con las 5 ubicaciones con mayor cantidad de ofertas?
¿Cuantas ofertas de trabajo hay combinando keyowrd con título oferta? ¿Puedes devolver la cantidad agregando por ambos campos?
¿Cuantos puestos tenemos como junior, puedes traer la cantidad por título
de oferta?
¿ Puedes ahora devolver la cantidad de ofertas con el título junior, pero por país
Podemos saber la cantidad de ofertas publicadas por mes y keyword?, ¿Que meses son mas top y con que keywords?
Herramientas a utilizar
El lenguaje de programación utilizada para realizar el proyecto fue Mysql.
Conjunto de datos del proyecto
Los datos están originalmente en CSV, la fuente de datos proviene de una descarga de webscraping que he obtenido de LinkedIn, que contiene información sobre puestos de trabajo en analisis de datos.
Desarrollo | Ejecución
Parte I - Crear tabla linkedin_data + SP de recarga de datos
1. Cargar la base de datos “linkedin_data” 2. Crear tabla linkedin_ofertas (con los siguientes campos: linkedin_ofertas ( fecha_actualizacion datetime, nombre_empresa varchar(200) , fecha_busqueda_oferta_linkedin datetime , fecha_publicacion_oferta date , pais_oferta varchar(200), search_id_oferta int , titulo_oferta varchar(200) ) 3. Modificar las restricciones de la fecha ejecutuando la siguiente sentencia: SET @@SESSION.sql_mode='ALLOW_INVALID_DATES'; 4. Definir la consulta que va a dejar los datos como queremos. (limpiarlos) 5. Crear un stored procedure con la query de limpieza que inserte datos en la tabla. 6. Crear el evento que ejecute el SP de forma diaria
Parte II - Crear tabla linkedin_busquedas + SP de recarga de datos
1. Crear tabla linkedin_busquedas (linkedin_busquedas ( id_busqueda INT PRIMARY KEY, fecha_busqueda datetime , fecha_actualizacion datetime, keyword_busqueda varchar(200) , pais_busqueda varchar(200), n_resultados_busqueda int ) 2. Modificar las restricciones de la fecha ejecutuando la siguiente sentencia: SET @@SESSION.sql_mode='ALLOW_INVALID_DATES'; 3. Definir la consulta que va a dejar los datos como queremos. (limpiarlos) 4. Crear un stored procedure con la query de limpieza que inserte datos en la tabla. 5. Crear el evento que ejecute el SP de forma diaria
Limpieza de datos
# 1. Crear tabla linkedin_ofertas
CREATE TABLE linkedin_ofertas (
id_oferta INT PRIMARY KEY,
fecha_actualizacion datetime,
nombre_empresa varchar(200) ,
fecha_busqueda_oferta_linkedin datetime ,
fecha_publicacion_oferta date ,
ubicacion_oferta varchar(200),
search_id_oferta int ,
titulo_oferta varchar(200),
fecha_actualizacion_sp datetime
)
# 2. Modificar las restricciones de la fecha ejecutuando la siguiente sentencia:
SET @@SESSION.sql_mode='ALLOW_INVALID_DATES';
# Tambien yendo a MYSQL Preferences -> MYSQL
# en SQL_MODE to be used in generated scripts: quitar las opciones de ZERO_DATES
# 3. Definir la query que va a dejar los datos como queremos.
INSERT INTO linkedin_data.linkedin_ofertas
SELECT
id as id_oferta,
_fivetran_synced as fecha_actualizacion,
company_name as nombre_empresa,
DATE_FORMAT(STR_TO_DATE(date,"%Y-%m-%d %H:%i:%s"),'%Y-%m-%d %H:%i:%s') as fecha_busqueda_oferta_linkedin,
date_published as fecha_publicacion_oferta,
location as ubicacion_oferta,
searches as search_id_oferta,
title as titulo_oferta,
NOW() AS fecha_actualizacion_sp
FROM linkedin_data.raw_linkedin_results
WHERE _fivetran_synced is not null
# 4. Creamos SP con la query
#DELIMITER $$
CREATE DEFINER=`root`@`localhost` PROCEDURE `update_table_linkedin_ofertas`()
BEGIN
INSERT INTO linkedin_data.linkedin_ofertas (id_oferta,fecha_actualizacion, nombre_empresa, fecha_busqueda_oferta_linkedin,fecha_publicacion_oferta,pais_oferta,search_id_oferta,titulo_oferta,fecha_actuailzacion_sp)
SELECT
id as id_oferta,
DATE_FORMAT(STR_TO_DATE(_fivetran_synced,"%Y-%m-%d %H:%i:%s"),'%Y-%m-%d %H:%i:%s') as fecha_actualizacion,
company_name as nombre_empresa,
DATE_FORMAT(STR_TO_DATE(date,"%Y-%m-%d %H:%i:%s"),'%Y-%m-%d %H:%i:%s') as fecha_busqueda_oferta_linkedin,
date_published as fecha_publicacion_oferta,
location as pais_oferta,
searches as search_id_oferta,
title as titulo_oferta
FROM linkedin_data.raw_linkedin_results
WHERE id not in (SELECT id_oferta FROM linkedin_data.linkedin_ofertas); #OPCION 1
END
# 5. Creamos un evento para ejecutar el SP de forma diaria
CREATE
EVENT `update_table_linkedin_ofertas`
ON SCHEDULE EVERY 1 DAY
STARTS TIMESTAMP(NOW() + INTERVAL 1 MINUTE)
DO CALL update_table_linkedin_ofertas();
# 6. Ver eventos
SHOW EVENTS
# 7.Ver código del evento
SHOW CREATE EVENT update_table_linkedin_ofertas
# Recursos : https://dev.mysql.com/doc/refman/8.0/en/alter-event.html
------PARTE II - Crear busquedas
# 1. Crear tabla linkedin_busquedas
CREATE TABLE linkedin_busquedas (
id_busqueda INT PRIMARY KEY,
fecha_busqueda datetime ,
fecha_actualizacion datetime,
keyword_busqueda varchar(200) ,
pais_busqueda varchar(200),
n_resultados_busqueda int,
fecha_actualizacion_sp datetime
)
# 2. Modificar las restricciones de la fecha ejecutuando la siguiente sentencia:
SET @@SESSION.sql_mode='ALLOW_INVALID_DATES';
# Tambien yendo a MYSQL Preferences -> MYSQL
# en SQL_MODE to be used in generated scripts: quitar las opciones de ZERO_DATES
# 3. Definir la query que va a dejar los datos como queremos.
SELECT
id as id_busqueda,
timestamp(STR_TO_DATE(date,"%Y-%m-%d %H:%i:%s")) as fecha_busqueda_1, -- posible solucion
DATE_FORMAT(STR_TO_DATE(date,"%Y-%m-%d %H:%i:%s"),'%Y-%m-%d %H:%i:%s') as fecha_busqueda,
DATE_FORMAT(STR_TO_DATE(_fivetran_synced,"%Y-%m-%d %H:%i:%s"),'%Y-%m-%d %H:%i:%s') as fecha_actualizacion,
keyword as keyword_busqueda, location as pais_busqueda,
cast(REPLACE(REPLACE(n_results,",",""),"+","") as UNSIGNED) as n_resultados_busqueda
FROM linkedin_data.raw_linkedin_searches
WHERE _fivetran_synced is not null AND id not in (SELECT id_busqueda FROM linkedin_data.linkedin_busquedas);
# 4. Creamos SP con la query
#DELIMITER $$
CREATE DEFINER=`root`@`localhost` PROCEDURE `update_table_linkedin_busquedas`()
BEGIN
INSERT INTO linkedin_data.linkedin_busquedas (id_busqueda, fecha_busqueda, fecha_actualizacion, keyword_busqueda, pais_busqueda, n_resultados_busqueda)
SELECT
id as id_busqueda,
DATE_FORMAT(STR_TO_DATE(date,"%Y-%m-%d %H:%i:%s"),'%Y-%m-%d %H:%i:%s') as fecha_busqueda,
DATE_FORMAT(STR_TO_DATE(_fivetran_synced,"%Y-%m-%d %H:%i:%s"),'%Y-%m-%d %H:%i:%s') as fecha_actualizacion,
keyword as keyword_busqueda, location as pais_busqueda,
cast(REPLACE(REPLACE(n_results,",",""),"+","") as UNSIGNED) as n_resultados_busqueda
FROM linkedin_data.raw_linkedin_searches
WHERE _fivetran_synced is not null AND id not in (SELECT id_busqueda FROM linkedin_data.linkedin_busquedas)
END
# 5. Creamos un evento para ejecutar el SP
# CREAMOS UN EJECUTADOR DEL SP CON EVENTOS
CREATE
EVENT `update_table_linkedin_busquedas`
ON SCHEDULE EVERY 1 DAY
STARTS TIMESTAMP(NOW() + INTERVAL 1 MINUTE)
DO CALL update_table_linkedin_busquedas();
# 6. Ver eventos
SHOW EVENTS
# 7. Ver el codigo de ese evento que creamos
# Ver código del evento
SHOW CREATE EVENT update_table_linkedin_busquedas
# Recursos : https://dev.mysql.com/doc/refman/8.0/en/alter-event.html
Run to view results
Análisis exploratorio - validacion de datos
# Para validar datos siempre debemos contrarrestrarlos con la fuente original.
# Para eso vamos a linkedin y chequeamos
# 1. Chequeo que podemos hacer es ver cantidad de ofertas por día si tiene un sentido
SELECT
fecha_publicacion_oferta,
count(*)
FROM linkedin_data.linkedin_ofertas r
GROUP BY fecha_publicacion_oferta
ORDER BY fecha_publicacion_oferta DESC
Run to view results
Análisis Linkedin data
# 1. ¿Cúales son las empresas con mayor cantidad de ofertas?
SELECT
nombre_empresa,
count(*) AS cantidad_ofertas
FROM linkedin_data.linkedin_ofertas
GROUP BY nombre_empresa
ORDER BY count(*) DESC;
# 2. ¿Que cantidad de ofertas tenemos en la tabla por ubicación?
SELECT
ubicacion_oferta,
count(*) AS cantidad_ofertas
FROM linkedin_data.linkedin_ofertas
GROUP BY ubicacion_oferta
ORDER BY count(*) DESC;
# 3. ¿Que cantidad de ofertas tenemos por día publicados?
SELECT
fecha_publicacion_oferta,
count(*) AS cantidad_ofertas
FROM linkedin_data.linkedin_ofertas
GROUP BY fecha_publicacion_oferta
ORDER BY count(*) DESC;
## 4. ¿Cúales son los top 10 títulos de roles que se usan para publicar ofertas?
SELECT
titulo_oferta,
count(*) AS cantidad_ofertas
FROM linkedin_data.linkedin_ofertas
GROUP BY titulo_oferta
ORDER BY count(*) DESC
LIMIT 10;
# 5. ¿Cúales con las 5 ubicaciones con mayor cantidad de ofertas?
SELECT
ubicacion_oferta,
COUNT(*) as cantidad_ofertas
FROM linkedin_data.linkedin_ofertas
GROUP BY ubicacion_oferta
ORDER BY count(*) DESC
LIMIT 5;
# 6. ¿Cuantas ofertas de trabajo hay combinando keyowrd con título oferta?
# ¿Puedes devolver la cantidad agregando por ambos campos?
SELECT
b.keyword_busqueda,
o.titulo_oferta,
count(*) as cantidad_ofertas
FROM linkedin_data.linkedin_busquedas b
LEFT JOIN linkedin_data.linkedin_ofertas o on search_id_oferta = id_busqueda
GROUP BY
keyword_busqueda,
titulo_oferta
ORDER BY cantidad_ofertas desc;
# 7. ¿Cuantos puestos tenemos como junior, puedes traer la cantidad por título
SELECT
titulo_oferta,
count(*)
FROM linkedin_data.linkedin_ofertas o
LEFT JOIN linkedin_data.linkedin_busquedas b on o.search_id_oferta = b.id_busqueda
WHERE
titulo_oferta LIKE '%Junior%'
OR titulo_oferta LIKE '%Jr%'
OR titulo_oferta LIKE '%Intern%'
OR titulo_oferta LIKE '%Entry-Level%'
OR titulo_oferta LIKE '%Entry%'
GROUP BY titulo_oferta
order by count(*) DESC
# 8. ¿ Puedes ahora devolver la cantidad de ofertas con el título junior, pero por país?
SELECT
ubicacion_oferta,
count(*)
FROM linkedin_data.linkedin_ofertas o
LEFT JOIN linkedin_data.linkedin_busquedas b on o.search_id_oferta = b.id_busqueda
WHERE
titulo_oferta LIKE '%Junior%'
OR titulo_oferta LIKE '%Jr%'
OR titulo_oferta LIKE '%Intern%'
OR titulo_oferta LIKE '%Entry-Level%'
OR titulo_oferta LIKE '%Entry%'
GROUP BY ubicacion_oferta
order by count(*) DESC
# 9. Podemos saber la cantidad de ofertas publicadas por mes y keyword?
# ¿ Que meses son mas top y con que keywords?
SELECT
month(fecha_publicacion_oferta) AS mes_oferta,
b.keyword_busqueda,
count(*) as cantidad_de_ofertas
FROM linkedin_data.linkedin_ofertas o
LEFT JOIN linkedin_data.linkedin_busquedas b on o.search_id_oferta = b.id_busqueda
GROUP BY mes_oferta,b.keyword_busqueda
order by mes_oferta,count(*) DESC
Run to view results
Conclusiones
Resumen de los resultados:
Empresas con Mayor Cantidad de Ofertas: Se identificaron las empresas con la mayor cantidad de ofertas de trabajo en el campo de la analítica de datos en diferentes países. Esto proporciona una visión de las empresas líderes en la contratación de profesionales de este campo.
Cantidad de Ofertas por Ubicación: Se analizó la distribución geográfica de las ofertas de trabajo, lo que permite comprender dónde se encuentra la demanda más alta en términos de ubicación geográfica.
Cantidad de Ofertas por Día de Publicación: Se evaluó cuántas ofertas se publican diariamente, lo que puede revelar patrones de actividad en el mercado laboral de la analítica de datos.
Top 10 Títulos de Roles Más Comunes: Se identificaron los 10 títulos de roles más comunes utilizados en las ofertas de trabajo, lo que ayuda a comprender qué tipos de roles son más demandados.
Ubicaciones con Mayor Cantidad de Ofertas: Se destacaron las 5 ubicaciones con la mayor cantidad de ofertas de trabajo, lo que puede ser útil para los profesionales que buscan oportunidades laborales en ubicaciones específicas.
Cantidad de Ofertas por Combinación de Keyword y Título de Oferta: Se calculó la cantidad de ofertas de trabajo que se pueden relacionar con palabras clave específicas y títulos de ofertas, lo que permite identificar áreas de especialización en la analítica de datos.
Cantidad de Puestos Junior por Título de Oferta: Se analizó cuántos puestos de trabajo se clasifican como "junior" en función del título de la oferta, lo que brinda información sobre las oportunidades para profesionales en etapas iniciales de sus carreras.
Cantidad de Ofertas "Junior" por País: Se determinó la cantidad de ofertas de trabajo con el título "junior" desglosado por país, lo que ayuda a entender dónde se encuentran las oportunidades para roles junior.
Cantidad de Ofertas Publicadas por Mes y Keyword: Se analizó la cantidad de ofertas de trabajo publicadas por mes y se identificaron las palabras clave más relevantes en cada mes.
Cumplimiento de los objetivos: Se logró la validación de la calidad de los datos y se realizaron análisis que proporcionan respuestas a las preguntas de investigación planteadas, cumpliendo así con los objetivos del proyecto.
Impacto y relevancia: Los resultados obtenidos proporcionan información valiosa sobre el mercado laboral en el campo de la analítica de datos, lo que puede tener un impacto significativo en la toma de decisiones para profesionales, empresas y académicos interesados en esta área.
Limitaciones y áreas de mejora: Las limitaciones del análisis pueden incluir la calidad de los datos de webscraping, que pueden contener errores o estar incompletos. Además, se podría mejorar el análisis utilizando modelos más avanzados y considerando variables adicionales para un análisis más completo.
Recomendaciones: Basado en los hallazgos, se recomienda a los profesionales de la analítica de datos que consideren las ubicaciones con mayor demanda, los títulos de roles más comunes y las palabras clave relevantes al buscar empleo o especializarse en este campo.
Las empresas pueden utilizar esta información para orientar sus estrategias de contratación y para comprender mejor la competencia en la contratación de profesionales de analítica de datos.
Se sugiere mejorar la calidad de los datos de webscraping y explorar la posibilidad de incorporar datos adicionales para enriquecer el análisis.
Reflexión sobre el proceso: Se enfrentaron desafíos relacionados con la calidad de los datos y la interpretación de los resultados. Se aprendieron lecciones sobre la importancia de la limpieza de datos y la necesidad de comprender completamente el contexto de los datos.
En futuros proyectos, se pueden implementar mejores prácticas de limpieza de datos y considerar el uso de técnicas de minería de datos avanzadas para un análisis más profundo.
Futuras investigaciones: Para futuras investigaciones, se podrían explorar tendencias a lo largo del tiempo en el mercado laboral de analítica de datos, identificar habilidades específicas en demanda y analizar el impacto de factores externos, como la economía, en la contratación de profesionales de datos.
También se podría investigar más a fondo la relación entre la ubicación geográfica y los salarios en el campo de la analítica de datos.