💻 Data science job postings on Glassdoor
Breve descripción del proyecto: En este proyecto, analizaremos los datos de Glassdoor "Data Science Job Posting" para proporcionar una recopilación detallada y estructurada de ofertas de empleo relacionadas con la ciencia de datos, para obtener información valiosa para la toma de decisiones estratégicas. Utilizaremos un conjunto de datos que contiene información demográfica de las ofertas laborales, rangos salariales, conocimientos de herramientas, y otros datos relevantes
Contexto
Este proyecto intentará responder a dos preguntas:
¿Cómo se comparan las diferentes carreras relacionadas con los datos en cuanto al salario esperado?
¿Qué habilidades deben aprender los profesionales aspirantes a trabajar con datos para buscar el salario esperado más alto?
Herramientas a utilizar
El lenguaje de programación utilizada para realizar el proyecto fue Python, y las librerias que utilizamos para la ejecucion fueron pandas y numpy.
Conjunto de datos del proyecto
Los datos están originalmente en CSV, los hemos descargado de la plataforma kaggle. Tenemos 1 CSV que contiene información sobre las ofertas de empleo relacionadas con la ciencia de datos, extraídas de la plataforma Glassdoor. A continuación, se presentan los nombres de las columnas y una breve descripción de algunas de ellas: job_title: El título del trabajo publicado, salary_estimate: Rango salarial ofrecido en la oferta de empleo, job skills: Skills mas demandadas. El dataset contiene entre 672 registros y un total de 15 columnas.
Desarrollo | Ejecución
Data science job postings on Glassdoor
El objetivo de realizar este dataset "Data Science Job Posting on Glassdoor" es proporcionar una recopilación detallada y estructurada de ofertas de empleo relacionadas con la ciencia de datos, extraídas de la plataforma Glassdoor.
La base de datos "Data Science Job Posting on Glassdoor"
Contiene información sobre ofertas de empleo relacionadas con ciencia de datos. A continuación, se presentan los nombres de las columnas y una breve descripción de cada una:
job_title: El título del trabajo publicado.
salary_estimate: Rango salarial ofrecido en la oferta de empleo.
job_description: Descripción detallada de las responsabilidades y requisitos del trabajo.
rating: Calificación o puntuación de la empresa por parte de los empleados.
company_name: Nombre de la empresa que ofrece el trabajo.
location: Ubicación geográfica donde se encuentra el trabajo.
headquarters: Ubicación de la sede principal de la empresa.
size: Tamaño de la empresa según el número de empleados.
type_of_ownership: Tipo de propiedad o estructura de la empresa.
industry: Industria a la que pertenece la empresa.
sector: Sector económico al que pertenece la empresa.
revenue: Ingresos generados por la empresa.
# Importamos las librerias
import pandas as pd
import numpy as np
# Reemplaza "nombre_archivo.csv" con el nombre de tu archivo CSV
uncleaned_jobs_csv = "Uncleaned_DS_jobs.csv"
# Cargar el archivo CSV en un DataFrame
uncleaned_data = pd.read_csv(uncleaned_jobs_csv)
Run to view results
# Verificamos el tamaño del dataset
uncleaned_data.shape
Run to view results
uncleaned_data.describe()
Run to view results
uncleaned_data.head()
Run to view results
uncleaned_data.info()
Run to view results
# Verificamos si existen valores nulos
uncleaned_data.isnull().sum()
Run to view results
# Renombramos las columnas
uncleaned_data.rename(columns = lambda header: header.lower().replace(" ", "_"), inplace = True)
Run to view results
uncleaned_data.info()
Run to view results
# Borramos la columna index porque al borrar los datos duplicados debemos resetear el index
uncleaned_data.drop('index',axis=1,inplace=True)
uncleaned_data.shape
Run to view results
print(uncleaned_data[uncleaned_data.duplicated()].shape)
uncleaned_data[uncleaned_data.duplicated()]
Run to view results
# Investigamos la cantidad de valores -1 en la columna "competitors"
uncleaned_data.loc[uncleaned_data['competitors'] == '-1', 'competitors'].value_counts()
Run to view results
# Calculo el promedio de la cantidad de valores -1
round((501/672 * 100),2)
Run to view results
# Procedemos borrando la columna de "competitors" ya que hay 501 datos nulos que representan el 74.55 de la columna
uncleaned_data.drop(columns='competitors', inplace=True)
Run to view results
uncleaned_data.columns
Run to view results
# Comprobamos los valores del conjunto de datos que tienen paréntesis
uncleaned_data['job_title'][:100]
Run to view results
uncleaned_data.loc[uncleaned_data['job_title'].str.contains('\([^()]+\)')]
Run to view results
# Limpiamos algunos paréntesis del modelo
uncleaned_data['job_title'] = uncleaned_data.loc[:, 'job_title'].str.replace('(Sr.)','Sr.')
Run to view results
uncleaned_data['job_title']
Run to view results
# Eliminamos el resto de parentesis de la columna 'job_title'
uncleaned_data['job_title'] = uncleaned_data.loc[:,'job_title'].str.extract('([^()]+)')
# Convertimos a minúsculas todos los valores de la columna 'job_title'
uncleaned_data['job_title'] = uncleaned_data.loc[:, 'job_title'].str.lower()
Run to view results
# Eliminamos el resto de parentesis de la columna 'job_title'
uncleaned_data['job_title'] = uncleaned_data.loc[:,'job_title'].str.extract('([^()]+)')
# Convertimos a minúsculas todos los valores de la columna 'job_title'
uncleaned_data['job_title'] = uncleaned_data.loc[:, 'job_title'].str.lower()
Run to view results
# Comprobamos si queda algun caracter especial en las columnas 'job_tile', 'company_name'
uncleaned_data.loc[uncleaned_data['job_title'].str.contains('\([^()]+\)'), ['job_title','company_name']]
Run to view results
# Debemos quitar la palabra (Glassdoor est.) de toda la columna
uncleaned_data['salary_estimate'][500:600]
Run to view results
uncleaned_data['salary_estimate'] = uncleaned_data.loc[:,'salary_estimate'].str.extract('([^()]+)')
uncleaned_data['salary_estimate'][:100]
Run to view results
# Verificamos que la colunma 'job_description' no tenga valores nulos
uncleaned_data.loc[:,'job_description']
uncleaned_data.loc[uncleaned_data.loc[:,'job_description'] == '-1']
Run to view results
# También verificamos si la columna 'ratings' contiene valores nulos
uncleaned_data.loc[:,'rating'][:100]
uncleaned_data[uncleaned_data.loc[:,'rating'] == '-1']
Run to view results
# Comprobamos que la columna 'company_name' tiene un formato a la derecha "\n"
uncleaned_data.loc[:,'company_name'][:10]
Run to view results
# Extraemos todo el texto que aparece despues de "\n" de la columna 'company_name'
uncleaned_data['company_name'] = uncleaned_data.loc[:,'company_name'].str.replace(r'\n\d+(\.\d+)?','',regex = True)
Run to view results
# Comprobamos que la columna 'company_name' ya no tenga el formato anterior
uncleaned_data['company_name'][:10]
Run to view results
# Verificamos como viene la columna 'location'
uncleaned_data.loc[:,'location'][300:400]
Run to view results
# Dividimos la columna 'location' en 3 partes estado, cuidad, sección remoto
uncleaned_data.loc[uncleaned_data.loc[:,'location']=='United States', 'location'].value_counts()
Run to view results
# Contamos la cantidad de trabajos remotos
uncleaned_data.loc[uncleaned_data.loc[:, 'location']=='Remote', 'location'].value_counts()
Run to view results
# Reemplazamos en la columna 'location' algunos codigos de la ciudad ya que no se muestra en varias ciudades
uncleaned_data.loc[:,'location'].apply(lambda x:x.split(',')[-1]).value_counts()
Run to view results
# Usamos la misma función lambda para obtener los codigos de las ciudades y valores atipicos en una nueva columna
uncleaned_data['location_state'] = uncleaned_data.loc[:,'location'].apply(lambda x:x.split(',')[-1].strip())
Run to view results
uncleaned_data['location_state']
Run to view results
uncleaned_data['location_city'] = uncleaned_data.loc[:,'location'].apply(lambda x:x.split(',')[0].strip())
Run to view results
uncleaned_data['location_city']
Run to view results
# Reemplazamos el nombre del estado con su respectivo código de ciudad
uncleaned_data['location_state'].value_counts()
Run to view results
# Creamos una función para los códigos de los estados que no estan correctamente clasificados en la columna
def clean_city(unclean_data):
return (
uncleaned_data.loc[:,'location_state']
.replace('California', 'CA')
.replace('Texas', 'TX')
.replace('Utah', 'UT')
.replace('New Jersey', 'NJ')
.replace('Remote', 'n/a')
.replace('United States', 'n/a')
)
uncleaned_data = uncleaned_data.assign(
location_state = clean_city
)
Run to view results
uncleaned_data['location_state'].value_counts()
Run to view results
# Creamos una nueva columna para ver si la ubicacion esta en Estados Unidos (Remoto o Hibrido)
uncleaned_data['locations_in_us'] = uncleaned_data.loc[:, 'location'].apply(lambda x: 1 if x != 'Remote' else 0)
Run to view results
uncleaned_data['location_state'].value_counts()
Run to view results
def clean_city(uncleaned_data):
return(
uncleaned_data.loc[:,'location_city']
.replace('California', 'n/a')
.replace('Texas', 'n/a')
.replace('Utah', 'n/a')
.replace('New Jersey', 'n/a')
.replace('Remote', 'n/a')
.replace('United States', 'n/a')
)
uncleaned_data = uncleaned_data.assign(
location_city = clean_city
)
Run to view results
uncleaned_data['location_city'].value_counts()
Run to view results
uncleaned_data.info()
Run to view results
# Comprobamos los valores únicos de la columna 'headquarters'
uncleaned_data['headquarters'].value_counts()
Run to view results
uncleaned_data['same_location'] = uncleaned_data.apply(lambda x: 1 if x.location == x.headquarters else 0, axis = 1)
Run to view results
uncleaned_data['same_location']
Run to view results
uncleaned_data['size'].unique()
Run to view results
# Reemplazamos los valores -1 de la columna size con n/a
def size_cleaning(uncleaned_data):
return(
uncleaned_data.loc[:, 'size']
.replace('employees', '')
.replace('-1', 'n/a')
.replace('Unknown', 'n/a')
)
uncleaned_data = uncleaned_data.assign(
size = size_cleaning
)
Run to view results
uncleaned_data['size'].unique()
Run to view results
# Eliminamos la columna 'founded', ya que no aporta valor y tiene una gran cantidad de valores -1
uncleaned_data['founded'][:100]
uncleaned_data.drop(columns = 'founded', inplace = True)
Run to view results
uncleaned_data
Run to view results
# Verificamos los valores en la columna 'type_of_ownership'
uncleaned_data.loc[:,'type_of_ownership'].value_counts()
Run to view results
# Limpiamos los datos que se encuentran erroneos en la columna 'type_of_ownership'
def ownership(uncleaned_data):
return (
uncleaned_data.loc[:, 'type_of_ownership']
.replace('Nonprofit Organization', 'Nonprofit')
.replace('-1','n/a')
.replace('Unknown', 'n/a')
.replace('Company - Private', 'Private')
.replace('Company - Public', 'Public')
.replace('Other Organization', 'Other')
)
uncleaned_data = uncleaned_data.assign(
type_of_ownership = ownership
)
Run to view results
uncleaned_data.loc[:,'type_of_ownership'].value_counts()
Run to view results
# Verificamos los valores únicos de la columna 'industry'
uncleaned_data['industry'].value_counts()
Run to view results
# Debido a la gran cantidad de valores -1 vamos a convertirlos en 'n/a' con una función lambda
uncleaned_data['industry'] = uncleaned_data['industry'].apply( lambda x: x.replace('-1','n/a'))
Run to view results
uncleaned_data['industry'].value_counts()
Run to view results
uncleaned_data['industry'].value_counts()
Run to view results
# Debido a la gran cantidad de valores -1 vamos en la columna 'headquarters' convertirlos en 'n/a' con una función lambda
uncleaned_data['headquarters'] = uncleaned_data['headquarters'].apply( lambda x: x.replace('-1','n/a'))
Run to view results
uncleaned_data['headquarters'].value_counts()
Run to view results
uncleaned_data['rating'].value_counts()
Run to view results
# Debido a la gran cantidad de valores -1 vamos en la columna 'headquarters' convertirlos en 'n/a' con una función lambda
uncleaned_data['rating'] = uncleaned_data['rating'].apply(lambda x: 0.0 if x == -1.0 else x)
Run to view results
uncleaned_data['rating'].value_counts()
Run to view results
uncleaned_data['sector'].unique()
Run to view results
uncleaned_data['sector'].value_counts()
Run to view results
uncleaned_data['sector'] = uncleaned_data['sector'].apply(lambda x: x.replace('-1','n/a'))
Run to view results
uncleaned_data['sector'].value_counts()
Run to view results
# Revisamos los valores de la columna 'revenues'
uncleaned_data['revenue'].value_counts()
Run to view results
# Combinamos los valores de 'Unknown' y '-1'
def revenue_cleanup(uncleaned_data):
return(
uncleaned_data.loc[:, 'revenue']
.replace('-1','n/a')
.replace('Unknown / Non-Applicable','n/a')
)
uncleaned_data = uncleaned_data.assign(
revenue = revenue_cleanup
)
Run to view results
uncleaned_data['revenue'].value_counts()
Run to view results
# De la columna 'revenue', queremos quitar la palabra USD, con la función lambda
uncleaned_data['revenue'] = uncleaned_data.loc[:, 'revenue'].str.extract('([^()]+)')
uncleaned_data['revenue'].value_counts()
Run to view results
# Verificamos si hay algun valor de -1 en alguna de las columnas
uncleaned_data[uncleaned_data.eq('-1').any(axis = 1)]
Run to view results
uncleaned_data['salary_estimate'][:10]
Run to view results
# Separamos los valores de la columna 'salary_estimate'
uncleaned_data['lower_salary'] = uncleaned_data.loc[:, 'salary_estimate'].apply(lambda x: x.split('-')[0].strip())
uncleaned_data['highest_salary']= uncleaned_data.loc[:, 'salary_estimate'].apply(lambda x: x.split('-')[1].strip())
Run to view results
# Eliminar símbolos y caracteres no numéricos de la columna 'lower_salary'
def lower_salary_clean(uncleaned_data):
return pd.to_numeric(
uncleaned_data.loc[:,'lower_salary']
.str.replace("$","")
.str.replace("K","")
)
uncleaned_data = uncleaned_data.assign(
lower_salary = lower_salary_clean
)
Run to view results
uncleaned_data['lower_salary'].unique()
Run to view results
# Eliminar símbolos y caracteres no numéricos de la columna 'highest_salary'
def upper_salary_clean(uncleaned_data):
return pd.to_numeric(
uncleaned_data.loc[:,'highest_salary']
.str.replace('$','')
.str.replace('K','')
)
uncleaned_data = uncleaned_data.assign(
highest_salary = upper_salary_clean
)
Run to view results
uncleaned_data['highest_salary'].unique()
Run to view results
# Con los valores 'lower_salary' y 'highest_salary' calculamos el salario promedio
uncleaned_data['average_salary'] = (uncleaned_data['highest_salary'] + uncleaned_data['lower_salary']) // 2
Run to view results
uncleaned_data['average_salary'].unique()
Run to view results
# Podemos simplificar el titulo de la columna 'job_title', asi que primero verificamos que elementos contiene la columna.
uncleaned_data['job_title'].value_counts()
Run to view results
def title_simplif(title):
if 'data scientist' in title.lower():
return 'data scientist'
elif 'data engineer' in title.lower():
return 'data engineer'
elif 'data analyst' in title.lower():
return 'data analyst'
elif 'machine learning' in title.lower():
return 'machine learning'
elif 'analyst' in title.lower():
return 'data analyst'
else:
return 'n/a'
uncleaned_data['job_simplif'] = uncleaned_data['job_title'].apply(title_simplif)
Run to view results
# Cuando aplicamos la función verificamos los valores únicos
uncleaned_data['job_simplif'].value_counts()
Run to view results
# Verificamos nuevamente la columna y podemos ver que hay muchos sr. y senior en los titulos asi que aplicaremos la funcion anterior para simplificarlo
def title_position(title):
if 'jr.' in title.lower():
return 'jr'
elif 'sr' in title.lower():
return 'sr'
elif 'sr.' in title.lower():
return 'sr'
elif 'vp' in title.lower():
return 'sr'
else:
return 'n/a'
uncleaned_data['job_position'] = uncleaned_data['job_title'].apply(title_position)
Run to view results
uncleaned_data['job_position'].value_counts()
Run to view results
uncleaned_data
Run to view results
# Revisamos que información podemos extraer de la columna 'job_description'
uncleaned_data['python'] = uncleaned_data.apply(lambda x: 1 if 'python' in x.job_description.lower() else 0, axis = 1)
uncleaned_data['excel'] = uncleaned_data.apply(lambda x: 1 if 'excel' in x.job_description.lower() else 0, axis = 1)
uncleaned_data['tableau'] = uncleaned_data.apply(lambda x: 1 if 'tableau' in x.job_description.lower() else 0, axis = 1)
uncleaned_data['power_bi'] = uncleaned_data.apply(lambda x: 1 if 'power_bi' in x.job_description.lower() else 0, axis = 1)
uncleaned_data['sql'] = uncleaned_data.apply(lambda x: 1 if 'sql' in x.job_description.lower() else 0, axis = 1)
uncleaned_data['python'].value_counts()
uncleaned_data['excel'].value_counts()
uncleaned_data['tableau'].value_counts()
uncleaned_data['power_bi'].value_counts()
uncleaned_data['sql'].value_counts()
Run to view results
uncleaned_data
Run to view results
import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd
%matplotlib inline
Run to view results
fig, ax = plt.subplots(figsize=(10,10))
chart = sns.barplot(x=uncleaned_data.job_simplif.value_counts().index, y=uncleaned_data.job_simplif.value_counts())
_=chart.set_xticklabels(chart.get_xticklabels(), rotation=35)
plt.savefig('job title count.png')
Run to view results
pd.pivot_table(uncleaned_data, index='job_simplif', values='average_salary')
Run to view results
Conclusiones
Resumen de los resultados: Tras el análisis de datos del conjunto proporcionado sobre las ofertas de trabajo en el campo de la ciencia de datos en Glassdoor, hemos observado varios resultados notables. Se ha encontrado una creciente demanda de profesionales en el campo de la ciencia de datos, con un número significativo de ofertas de trabajo en diversas ubicaciones y niveles de experiencia. Además, se identificaron patrones en términos de las habilidades más solicitadas y los sectores de la industria que m ás buscan estos profesionales.
Cumplimiento de los objetivos: En general, se ha logrado cumplir con los objetivos establecidos al inicio del proyecto. Las preguntas de investigación planteadas inicialmente se abordaron con éxito mediante el análisis de datos, y se obtuvieron respuestas claras sobre la demanda de empleos en el campo de la ciencia de datos en Glassdoor. Además, se pudo evaluar si se alcanzaron los criterios de éxito definidos, y en su mayoría, se cumplieron.
Impacto y relevancia: Los resultados de este análisis tienen un impacto significativo tanto para las personas que buscan empleo en el campo de la ciencia de datos como para las empresas que buscan contratar talento en este ámbito. La información sobre las habilidades más solicitadas y las ubicaciones con una alta demanda puede ser esencial para la toma de decisiones estratégicas en recursos humanos y planificación de carrera.
Limitaciones y áreas de mejora: Se reconoce que este análisis está limitado por la calidad de los datos disponibles en el conjunto proporcionado. Además, se podría mejorar la precisión del análisis mediante la inclusión de información adicional, como la información salarial y la duración de las ofertas de trabajo. También se podría explorar el uso de modelos más sofisticados para predecir tendencias futuras en la demanda de empleo en el campo de la ciencia de datos.
Recomendaciones: Basándonos en los hallazgos del análisis, se recomienda a los profesionales de la ciencia de datos que enfoquen su desarrollo de habilidades en áreas específicas que están en alta demanda, como el aprendizaje automático y la programación en Python. Además, se sugiere a las empresas que ajusten sus estrategias de contratación para alinearlas con las tendencias observadas en este análisis.
Reflexión sobre el proceso: El proceso de análisis de datos presentó desafíos, como la limpieza y la calidad de los datos, pero también brindó lecciones valiosas sobre la importancia de la exploración de datos y la selección adecuada de técnicas de análisis. Para futuros proyectos, se debería prestar especial atención a la calidad de los datos y la mejora continua de las habilidades de análisis.
Futuras investigaciones: Para futuras investigaciones, sería interesante explorar más a fondo las correlaciones entre los requisitos de habilidades y los niveles de experiencia en las ofertas de trabajo. Además, se podría investigar la relación entre el salario ofrecido y otros factores, como la ubicación geográfica y el tipo de empresa. Estas áreas de investigación podrían proporcionar una comprensión más profunda del mercado laboral en el campo de la ciencia de datos.