馃捇 Data science job postings on Glassdoor
Breve descripci贸n del proyecto: En este proyecto, analizaremos los datos de Glassdoor "Data Science Job Posting" para proporcionar una recopilaci贸n detallada y estructurada de ofertas de empleo relacionadas con la ciencia de datos, para obtener informaci贸n valiosa para la toma de decisiones estrat茅gicas. Utilizaremos un conjunto de datos que contiene informaci贸n demogr谩fica de las ofertas laborales, rangos salariales, conocimientos de herramientas, y otros datos relevantes
Contexto
Este proyecto intentar谩 responder a dos preguntas:
驴C贸mo se comparan las diferentes carreras relacionadas con los datos en cuanto al salario esperado?
驴Qu茅 habilidades deben aprender los profesionales aspirantes a trabajar con datos para buscar el salario esperado m谩s alto?
Herramientas a utilizar
El lenguaje de programaci贸n utilizada para realizar el proyecto fue Python, y las librerias que utilizamos para la ejecucion fueron pandas y numpy.
Conjunto de datos del proyecto
Los datos est谩n originalmente en CSV, los hemos descargado de la plataforma kaggle. Tenemos 1 CSV que contiene informaci贸n sobre las ofertas de empleo relacionadas con la ciencia de datos, extra铆das de la plataforma Glassdoor. A continuaci贸n, se presentan los nombres de las columnas y una breve descripci贸n de algunas de ellas: job_title: El t铆tulo del trabajo publicado, salary_estimate: Rango salarial ofrecido en la oferta de empleo, job skills: Skills mas demandadas. El dataset contiene entre 672 registros y un total de 15 columnas.
Desarrollo | Ejecuci贸n
Data science job postings on Glassdoor
El objetivo de realizar este dataset "Data Science Job Posting on Glassdoor" es proporcionar una recopilaci贸n detallada y estructurada de ofertas de empleo relacionadas con la ciencia de datos, extra铆das de la plataforma Glassdoor.
La base de datos "Data Science Job Posting on Glassdoor"
Contiene informaci贸n sobre ofertas de empleo relacionadas con ciencia de datos. A continuaci贸n, se presentan los nombres de las columnas y una breve descripci贸n de cada una:
job_title: El t铆tulo del trabajo publicado.
salary_estimate: Rango salarial ofrecido en la oferta de empleo.
job_description: Descripci贸n detallada de las responsabilidades y requisitos del trabajo.
rating: Calificaci贸n o puntuaci贸n de la empresa por parte de los empleados.
company_name: Nombre de la empresa que ofrece el trabajo.
location: Ubicaci贸n geogr谩fica donde se encuentra el trabajo.
headquarters: Ubicaci贸n de la sede principal de la empresa.
size: Tama帽o de la empresa seg煤n el n煤mero de empleados.
type_of_ownership: Tipo de propiedad o estructura de la empresa.
industry: Industria a la que pertenece la empresa.
sector: Sector econ贸mico al que pertenece la empresa.
revenue: Ingresos generados por la empresa.
# Importamos las librerias
import pandas as pd
import numpy as np
# Reemplaza "nombre_archivo.csv" con el nombre de tu archivo CSV
uncleaned_jobs_csv = "Uncleaned_DS_jobs.csv"
# Cargar el archivo CSV en un DataFrame
uncleaned_data = pd.read_csv(uncleaned_jobs_csv)
Run to view results
# Verificamos el tama帽o del dataset
uncleaned_data.shape
Run to view results
uncleaned_data.describe()
Run to view results
uncleaned_data.head()
Run to view results
uncleaned_data.info()
Run to view results
# Verificamos si existen valores nulos
uncleaned_data.isnull().sum()
Run to view results
# Renombramos las columnas
uncleaned_data.rename(columns = lambda header: header.lower().replace(" ", "_"), inplace = True)
Run to view results
uncleaned_data.info()
Run to view results
# Borramos la columna index porque al borrar los datos duplicados debemos resetear el index
uncleaned_data.drop('index',axis=1,inplace=True)
uncleaned_data.shape
Run to view results
print(uncleaned_data[uncleaned_data.duplicated()].shape)
uncleaned_data[uncleaned_data.duplicated()]
Run to view results
# Investigamos la cantidad de valores -1 en la columna "competitors"
uncleaned_data.loc[uncleaned_data['competitors'] == '-1', 'competitors'].value_counts()
Run to view results
# Calculo el promedio de la cantidad de valores -1
round((501/672 * 100),2)
Run to view results
# Procedemos borrando la columna de "competitors" ya que hay 501 datos nulos que representan el 74.55 de la columna
uncleaned_data.drop(columns='competitors', inplace=True)
Run to view results
uncleaned_data.columns
Run to view results
# Comprobamos los valores del conjunto de datos que tienen par茅ntesis
uncleaned_data['job_title'][:100]
Run to view results
uncleaned_data.loc[uncleaned_data['job_title'].str.contains('\([^()]+\)')]
Run to view results
# Limpiamos algunos par茅ntesis del modelo
uncleaned_data['job_title'] = uncleaned_data.loc[:, 'job_title'].str.replace('(Sr.)','Sr.')
Run to view results
uncleaned_data['job_title']
Run to view results
# Eliminamos el resto de parentesis de la columna 'job_title'
uncleaned_data['job_title'] = uncleaned_data.loc[:,'job_title'].str.extract('([^()]+)')
# Convertimos a min煤sculas todos los valores de la columna 'job_title'
uncleaned_data['job_title'] = uncleaned_data.loc[:, 'job_title'].str.lower()
Run to view results
# Eliminamos el resto de parentesis de la columna 'job_title'
uncleaned_data['job_title'] = uncleaned_data.loc[:,'job_title'].str.extract('([^()]+)')
# Convertimos a min煤sculas todos los valores de la columna 'job_title'
uncleaned_data['job_title'] = uncleaned_data.loc[:, 'job_title'].str.lower()
Run to view results
# Comprobamos si queda algun caracter especial en las columnas 'job_tile', 'company_name'
uncleaned_data.loc[uncleaned_data['job_title'].str.contains('\([^()]+\)'), ['job_title','company_name']]
Run to view results
# Debemos quitar la palabra (Glassdoor est.) de toda la columna
uncleaned_data['salary_estimate'][500:600]
Run to view results
uncleaned_data['salary_estimate'] = uncleaned_data.loc[:,'salary_estimate'].str.extract('([^()]+)')
uncleaned_data['salary_estimate'][:100]
Run to view results
# Verificamos que la colunma 'job_description' no tenga valores nulos
uncleaned_data.loc[:,'job_description']
uncleaned_data.loc[uncleaned_data.loc[:,'job_description'] == '-1']
Run to view results
# Tambi茅n verificamos si la columna 'ratings' contiene valores nulos
uncleaned_data.loc[:,'rating'][:100]
uncleaned_data[uncleaned_data.loc[:,'rating'] == '-1']
Run to view results
# Comprobamos que la columna 'company_name' tiene un formato a la derecha "\n"
uncleaned_data.loc[:,'company_name'][:10]
Run to view results
# Extraemos todo el texto que aparece despues de "\n" de la columna 'company_name'
uncleaned_data['company_name'] = uncleaned_data.loc[:,'company_name'].str.replace(r'\n\d+(\.\d+)?','',regex = True)
Run to view results
# Comprobamos que la columna 'company_name' ya no tenga el formato anterior
uncleaned_data['company_name'][:10]
Run to view results
# Verificamos como viene la columna 'location'
uncleaned_data.loc[:,'location'][300:400]
Run to view results
# Dividimos la columna 'location' en 3 partes estado, cuidad, secci贸n remoto
uncleaned_data.loc[uncleaned_data.loc[:,'location']=='United States', 'location'].value_counts()
Run to view results
# Contamos la cantidad de trabajos remotos
uncleaned_data.loc[uncleaned_data.loc[:, 'location']=='Remote', 'location'].value_counts()
Run to view results
# Reemplazamos en la columna 'location' algunos codigos de la ciudad ya que no se muestra en varias ciudades
uncleaned_data.loc[:,'location'].apply(lambda x:x.split(',')[-1]).value_counts()
Run to view results
# Usamos la misma funci贸n lambda para obtener los codigos de las ciudades y valores atipicos en una nueva columna
uncleaned_data['location_state'] = uncleaned_data.loc[:,'location'].apply(lambda x:x.split(',')[-1].strip())
Run to view results
uncleaned_data['location_state']
Run to view results
uncleaned_data['location_city'] = uncleaned_data.loc[:,'location'].apply(lambda x:x.split(',')[0].strip())
Run to view results
uncleaned_data['location_city']
Run to view results
# Reemplazamos el nombre del estado con su respectivo c贸digo de ciudad
uncleaned_data['location_state'].value_counts()
Run to view results
# Creamos una funci贸n para los c贸digos de los estados que no estan correctamente clasificados en la columna
def clean_city(unclean_data):
return (
uncleaned_data.loc[:,'location_state']
.replace('California', 'CA')
.replace('Texas', 'TX')
.replace('Utah', 'UT')
.replace('New Jersey', 'NJ')
.replace('Remote', 'n/a')
.replace('United States', 'n/a')
)
uncleaned_data = uncleaned_data.assign(
location_state = clean_city
)
Run to view results
uncleaned_data['location_state'].value_counts()
Run to view results
# Creamos una nueva columna para ver si la ubicacion esta en Estados Unidos (Remoto o Hibrido)
uncleaned_data['locations_in_us'] = uncleaned_data.loc[:, 'location'].apply(lambda x: 1 if x != 'Remote' else 0)
Run to view results
uncleaned_data['location_state'].value_counts()
Run to view results
def clean_city(uncleaned_data):
return(
uncleaned_data.loc[:,'location_city']
.replace('California', 'n/a')
.replace('Texas', 'n/a')
.replace('Utah', 'n/a')
.replace('New Jersey', 'n/a')
.replace('Remote', 'n/a')
.replace('United States', 'n/a')
)
uncleaned_data = uncleaned_data.assign(
location_city = clean_city
)
Run to view results
uncleaned_data['location_city'].value_counts()
Run to view results
uncleaned_data.info()
Run to view results
# Comprobamos los valores 煤nicos de la columna 'headquarters'
uncleaned_data['headquarters'].value_counts()
Run to view results
uncleaned_data['same_location'] = uncleaned_data.apply(lambda x: 1 if x.location == x.headquarters else 0, axis = 1)
Run to view results
uncleaned_data['same_location']
Run to view results
uncleaned_data['size'].unique()
Run to view results
# Reemplazamos los valores -1 de la columna size con n/a
def size_cleaning(uncleaned_data):
return(
uncleaned_data.loc[:, 'size']
.replace('employees', '')
.replace('-1', 'n/a')
.replace('Unknown', 'n/a')
)
uncleaned_data = uncleaned_data.assign(
size = size_cleaning
)
Run to view results
uncleaned_data['size'].unique()
Run to view results
# Eliminamos la columna 'founded', ya que no aporta valor y tiene una gran cantidad de valores -1
uncleaned_data['founded'][:100]
uncleaned_data.drop(columns = 'founded', inplace = True)
Run to view results
uncleaned_data
Run to view results
# Verificamos los valores en la columna 'type_of_ownership'
uncleaned_data.loc[:,'type_of_ownership'].value_counts()
Run to view results
# Limpiamos los datos que se encuentran erroneos en la columna 'type_of_ownership'
def ownership(uncleaned_data):
return (
uncleaned_data.loc[:, 'type_of_ownership']
.replace('Nonprofit Organization', 'Nonprofit')
.replace('-1','n/a')
.replace('Unknown', 'n/a')
.replace('Company - Private', 'Private')
.replace('Company - Public', 'Public')
.replace('Other Organization', 'Other')
)
uncleaned_data = uncleaned_data.assign(
type_of_ownership = ownership
)
Run to view results
uncleaned_data.loc[:,'type_of_ownership'].value_counts()
Run to view results
# Verificamos los valores 煤nicos de la columna 'industry'
uncleaned_data['industry'].value_counts()
Run to view results
# Debido a la gran cantidad de valores -1 vamos a convertirlos en 'n/a' con una funci贸n lambda
uncleaned_data['industry'] = uncleaned_data['industry'].apply( lambda x: x.replace('-1','n/a'))
Run to view results
uncleaned_data['industry'].value_counts()
Run to view results
uncleaned_data['industry'].value_counts()
Run to view results
# Debido a la gran cantidad de valores -1 vamos en la columna 'headquarters' convertirlos en 'n/a' con una funci贸n lambda
uncleaned_data['headquarters'] = uncleaned_data['headquarters'].apply( lambda x: x.replace('-1','n/a'))
Run to view results
uncleaned_data['headquarters'].value_counts()
Run to view results
uncleaned_data['rating'].value_counts()
Run to view results
# Debido a la gran cantidad de valores -1 vamos en la columna 'headquarters' convertirlos en 'n/a' con una funci贸n lambda
uncleaned_data['rating'] = uncleaned_data['rating'].apply(lambda x: 0.0 if x == -1.0 else x)
Run to view results
uncleaned_data['rating'].value_counts()
Run to view results
uncleaned_data['sector'].unique()
Run to view results
uncleaned_data['sector'].value_counts()
Run to view results
uncleaned_data['sector'] = uncleaned_data['sector'].apply(lambda x: x.replace('-1','n/a'))
Run to view results
uncleaned_data['sector'].value_counts()
Run to view results
# Revisamos los valores de la columna 'revenues'
uncleaned_data['revenue'].value_counts()
Run to view results
# Combinamos los valores de 'Unknown' y '-1'
def revenue_cleanup(uncleaned_data):
return(
uncleaned_data.loc[:, 'revenue']
.replace('-1','n/a')
.replace('Unknown / Non-Applicable','n/a')
)
uncleaned_data = uncleaned_data.assign(
revenue = revenue_cleanup
)
Run to view results
uncleaned_data['revenue'].value_counts()
Run to view results
# De la columna 'revenue', queremos quitar la palabra USD, con la funci贸n lambda
uncleaned_data['revenue'] = uncleaned_data.loc[:, 'revenue'].str.extract('([^()]+)')
uncleaned_data['revenue'].value_counts()
Run to view results
# Verificamos si hay algun valor de -1 en alguna de las columnas
uncleaned_data[uncleaned_data.eq('-1').any(axis = 1)]
Run to view results
uncleaned_data['salary_estimate'][:10]
Run to view results
# Separamos los valores de la columna 'salary_estimate'
uncleaned_data['lower_salary'] = uncleaned_data.loc[:, 'salary_estimate'].apply(lambda x: x.split('-')[0].strip())
uncleaned_data['highest_salary']= uncleaned_data.loc[:, 'salary_estimate'].apply(lambda x: x.split('-')[1].strip())
Run to view results
# Eliminar s铆mbolos y caracteres no num茅ricos de la columna 'lower_salary'
def lower_salary_clean(uncleaned_data):
return pd.to_numeric(
uncleaned_data.loc[:,'lower_salary']
.str.replace("$","")
.str.replace("K","")
)
uncleaned_data = uncleaned_data.assign(
lower_salary = lower_salary_clean
)
Run to view results
uncleaned_data['lower_salary'].unique()
Run to view results
# Eliminar s铆mbolos y caracteres no num茅ricos de la columna 'highest_salary'
def upper_salary_clean(uncleaned_data):
return pd.to_numeric(
uncleaned_data.loc[:,'highest_salary']
.str.replace('$','')
.str.replace('K','')
)
uncleaned_data = uncleaned_data.assign(
highest_salary = upper_salary_clean
)
Run to view results
uncleaned_data['highest_salary'].unique()
Run to view results
# Con los valores 'lower_salary' y 'highest_salary' calculamos el salario promedio
uncleaned_data['average_salary'] = (uncleaned_data['highest_salary'] + uncleaned_data['lower_salary']) // 2
Run to view results
uncleaned_data['average_salary'].unique()
Run to view results
# Podemos simplificar el titulo de la columna 'job_title', asi que primero verificamos que elementos contiene la columna.
uncleaned_data['job_title'].value_counts()
Run to view results
def title_simplif(title):
if 'data scientist' in title.lower():
return 'data scientist'
elif 'data engineer' in title.lower():
return 'data engineer'
elif 'data analyst' in title.lower():
return 'data analyst'
elif 'machine learning' in title.lower():
return 'machine learning'
elif 'analyst' in title.lower():
return 'data analyst'
else:
return 'n/a'
uncleaned_data['job_simplif'] = uncleaned_data['job_title'].apply(title_simplif)
Run to view results
# Cuando aplicamos la funci贸n verificamos los valores 煤nicos
uncleaned_data['job_simplif'].value_counts()
Run to view results
# Verificamos nuevamente la columna y podemos ver que hay muchos sr. y senior en los titulos asi que aplicaremos la funcion anterior para simplificarlo
def title_position(title):
if 'jr.' in title.lower():
return 'jr'
elif 'sr' in title.lower():
return 'sr'
elif 'sr.' in title.lower():
return 'sr'
elif 'vp' in title.lower():
return 'sr'
else:
return 'n/a'
uncleaned_data['job_position'] = uncleaned_data['job_title'].apply(title_position)
Run to view results
uncleaned_data['job_position'].value_counts()
Run to view results
uncleaned_data
Run to view results
# Revisamos que informaci贸n podemos extraer de la columna 'job_description'
uncleaned_data['python'] = uncleaned_data.apply(lambda x: 1 if 'python' in x.job_description.lower() else 0, axis = 1)
uncleaned_data['excel'] = uncleaned_data.apply(lambda x: 1 if 'excel' in x.job_description.lower() else 0, axis = 1)
uncleaned_data['tableau'] = uncleaned_data.apply(lambda x: 1 if 'tableau' in x.job_description.lower() else 0, axis = 1)
uncleaned_data['power_bi'] = uncleaned_data.apply(lambda x: 1 if 'power_bi' in x.job_description.lower() else 0, axis = 1)
uncleaned_data['sql'] = uncleaned_data.apply(lambda x: 1 if 'sql' in x.job_description.lower() else 0, axis = 1)
uncleaned_data['python'].value_counts()
uncleaned_data['excel'].value_counts()
uncleaned_data['tableau'].value_counts()
uncleaned_data['power_bi'].value_counts()
uncleaned_data['sql'].value_counts()
Run to view results
uncleaned_data
Run to view results
import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd
%matplotlib inline
Run to view results
fig, ax = plt.subplots(figsize=(10,10))
chart = sns.barplot(x=uncleaned_data.job_simplif.value_counts().index, y=uncleaned_data.job_simplif.value_counts())
_=chart.set_xticklabels(chart.get_xticklabels(), rotation=35)
plt.savefig('job title count.png')
Run to view results
pd.pivot_table(uncleaned_data, index='job_simplif', values='average_salary')
Run to view results
Conclusiones
Resumen de los resultados: Tras el an谩lisis de datos del conjunto proporcionado sobre las ofertas de trabajo en el campo de la ciencia de datos en Glassdoor, hemos observado varios resultados notables. Se ha encontrado una creciente demanda de profesionales en el campo de la ciencia de datos, con un n煤mero significativo de ofertas de trabajo en diversas ubicaciones y niveles de experiencia. Adem谩s, se identificaron patrones en t茅rminos de las habilidades m谩s solicitadas y los sectores de la industria que m谩s buscan estos profesionales.
Cumplimiento de los objetivos: En general, se ha logrado cumplir con los objetivos establecidos al inicio del proyecto. Las preguntas de investigaci贸n planteadas inicialmente se abordaron con 茅xito mediante el an谩lisis de datos, y se obtuvieron respuestas claras sobre la demanda de empleos en el campo de la ciencia de datos en Glassdoor. Adem谩s, se pudo evaluar si se alcanzaron los criterios de 茅xito definidos, y en su mayor铆a, se cumplieron.
Impacto y relevancia: Los resultados de este an谩lisis tienen un impacto significativo tanto para las personas que buscan empleo en el campo de la ciencia de datos como para las empresas que buscan contratar talento en este 谩mbito. La informaci贸n sobre las habilidades m谩s solicitadas y las ubicaciones con una alta demanda puede ser esencial para la toma de decisiones estrat茅gicas en recursos humanos y planificaci贸n de carrera.
Limitaciones y 谩reas de mejora: Se reconoce que este an谩lisis est谩 limitado por la calidad de los datos disponibles en el conjunto proporcionado. Adem谩s, se podr铆a mejorar la precisi贸n del an谩lisis mediante la inclusi贸n de informaci贸n adicional, como la informaci贸n salarial y la duraci贸n de las ofertas de trabajo. Tambi茅n se podr铆a explorar el uso de modelos m谩s sofisticados para predecir tendencias futuras en la demanda de empleo en el campo de la ciencia de datos.
Recomendaciones: Bas谩ndonos en los hallazgos del an谩lisis, se recomienda a los profesionales de la ciencia de datos que enfoquen su desarrollo de habilidades en 谩reas espec铆ficas que est谩n en alta demanda, como el aprendizaje autom谩tico y la programaci贸n en Python. Adem谩s, se sugiere a las empresas que ajusten sus estrategias de contrataci贸n para alinearlas con las tendencias observadas en este an谩lisis.
Reflexi贸n sobre el proceso: El proceso de an谩lisis de datos present贸 desaf铆os, como la limpieza y la calidad de los datos, pero tambi茅n brind贸 lecciones valiosas sobre la importancia de la exploraci贸n de datos y la selecci贸n adecuada de t茅cnicas de an谩lisis. Para futuros proyectos, se deber铆a prestar especial atenci贸n a la calidad de los datos y la mejora continua de las habilidades de an谩lisis.
Futuras investigaciones: Para futuras investigaciones, ser铆a interesante explorar m谩s a fondo las correlaciones entre los requisitos de habilidades y los niveles de experiencia en las ofertas de trabajo. Adem谩s, se podr铆a investigar la relaci贸n entre el salario ofrecido y otros factores, como la ubicaci贸n geogr谩fica y el tipo de empresa. Estas 谩reas de investigaci贸n podr铆an proporcionar una comprensi贸n m谩s profunda del mercado laboral en el campo de la ciencia de datos.