💻 Data science job postings on Glassdoor

Breve descripción del proyecto: En este proyecto, analizaremos los datos de Glassdoor "Data Science Job Posting" para proporcionar una recopilación detallada y estructurada de ofertas de empleo relacionadas con la ciencia de datos, para obtener información valiosa para la toma de decisiones estratégicas. Utilizaremos un conjunto de datos que contiene información demográfica de las ofertas laborales, rangos salariales, conocimientos de herramientas, y otros datos relevantes

Contexto

Este proyecto intentará responder a dos preguntas:

¿Cómo se comparan las diferentes carreras relacionadas con los datos en cuanto al salario esperado?

¿Qué habilidades deben aprender los profesionales aspirantes a trabajar con datos para buscar el salario esperado más alto?

Herramientas a utilizar

El lenguaje de programación utilizada para realizar el proyecto fue Python, y las librerias que utilizamos para la ejecucion fueron pandas y numpy.

Conjunto de datos del proyecto

Los datos están originalmente en CSV, los hemos descargado de la plataforma kaggle. Tenemos 1 CSV que contiene información sobre las ofertas de empleo relacionadas con la ciencia de datos, extraídas de la plataforma Glassdoor. A continuación, se presentan los nombres de las columnas y una breve descripción de algunas de ellas: job_title: El título del trabajo publicado, salary_estimate: Rango salarial ofrecido en la oferta de empleo, job skills: Skills mas demandadas. El dataset contiene entre 672 registros y un total de 15 columnas.

Desarrollo | Ejecución

Data science job postings on Glassdoor

El objetivo de realizar este dataset "Data Science Job Posting on Glassdoor" es proporcionar una recopilación detallada y estructurada de ofertas de empleo relacionadas con la ciencia de datos, extraídas de la plataforma Glassdoor.

La base de datos "Data Science Job Posting on Glassdoor"

Contiene información sobre ofertas de empleo relacionadas con ciencia de datos. A continuación, se presentan los nombres de las columnas y una breve descripción de cada una:

job_title: El título del trabajo publicado.

salary_estimate: Rango salarial ofrecido en la oferta de empleo.

job_description: Descripción detallada de las responsabilidades y requisitos del trabajo.

rating: Calificación o puntuación de la empresa por parte de los empleados.

company_name: Nombre de la empresa que ofrece el trabajo.

location: Ubicación geográfica donde se encuentra el trabajo.

headquarters: Ubicación de la sede principal de la empresa.

size: Tamaño de la empresa según el número de empleados.

type_of_ownership: Tipo de propiedad o estructura de la empresa.

industry: Industria a la que pertenece la empresa.

sector: Sector económico al que pertenece la empresa.

revenue: Ingresos generados por la empresa.

# Importamos las librerias import pandas as pd import numpy as np # Reemplaza "nombre_archivo.csv" con el nombre de tu archivo CSV uncleaned_jobs_csv = "Uncleaned_DS_jobs.csv" # Cargar el archivo CSV en un DataFrame uncleaned_data = pd.read_csv(uncleaned_jobs_csv)

# Verificamos el tamaño del dataset uncleaned_data.shape

uncleaned_data.describe()

uncleaned_data.head()

uncleaned_data.info()

# Verificamos si existen valores nulos uncleaned_data.isnull().sum()

# Renombramos las columnas uncleaned_data.rename(columns = lambda header: header.lower().replace(" ", "_"), inplace = True)

uncleaned_data.info()

# Borramos la columna index porque al borrar los datos duplicados debemos resetear el index uncleaned_data.drop('index',axis=1,inplace=True) uncleaned_data.shape

print(uncleaned_data[uncleaned_data.duplicated()].shape) uncleaned_data[uncleaned_data.duplicated()]

# Investigamos la cantidad de valores -1 en la columna "competitors" uncleaned_data.loc[uncleaned_data['competitors'] == '-1', 'competitors'].value_counts()

# Calculo el promedio de la cantidad de valores -1 round((501/672 * 100),2)

# Procedemos borrando la columna de "competitors" ya que hay 501 datos nulos que representan el 74.55 de la columna uncleaned_data.drop(columns='competitors', inplace=True)

uncleaned_data.columns

# Comprobamos los valores del conjunto de datos que tienen paréntesis uncleaned_data['job_title'][:100]

uncleaned_data.loc[uncleaned_data['job_title'].str.contains('$[^()]+$')]

# Limpiamos algunos paréntesis del modelo uncleaned_data['job_title'] = uncleaned_data.loc[:, 'job_title'].str.replace('(Sr.)','Sr.')

uncleaned_data['job_title']

# Eliminamos el resto de parentesis de la columna 'job_title' uncleaned_data['job_title'] = uncleaned_data.loc[:,'job_title'].str.extract('([^()]+)') # Convertimos a minúsculas todos los valores de la columna 'job_title' uncleaned_data['job_title'] = uncleaned_data.loc[:, 'job_title'].str.lower()

# Comprobamos si queda algun caracter especial en las columnas 'job_tile', 'company_name' uncleaned_data.loc[uncleaned_data['job_title'].str.contains('$[^()]+$'), ['job_title','company_name']]

# Debemos quitar la palabra (Glassdoor est.) de toda la columna uncleaned_data['salary_estimate'][500:600]

uncleaned_data['salary_estimate'] = uncleaned_data.loc[:,'salary_estimate'].str.extract('([^()]+)') uncleaned_data['salary_estimate'][:100]

# Verificamos que la colunma 'job_description' no tenga valores nulos uncleaned_data.loc[:,'job_description'] uncleaned_data.loc[uncleaned_data.loc[:,'job_description'] == '-1']

# También verificamos si la columna 'ratings' contiene valores nulos uncleaned_data.loc[:,'rating'][:100] uncleaned_data[uncleaned_data.loc[:,'rating'] == '-1']

# Comprobamos que la columna 'company_name' tiene un formato a la derecha "\n" uncleaned_data.loc[:,'company_name'][:10]

# Extraemos todo el texto que aparece despues de "\n" de la columna 'company_name' uncleaned_data['company_name'] = uncleaned_data.loc[:,'company_name'].str.replace(r'\n\d+(\.\d+)?','',regex = True)

# Comprobamos que la columna 'company_name' ya no tenga el formato anterior uncleaned_data['company_name'][:10]

# Verificamos como viene la columna 'location' uncleaned_data.loc[:,'location'][300:400]

# Dividimos la columna 'location' en 3 partes estado, cuidad, sección remoto uncleaned_data.loc[uncleaned_data.loc[:,'location']=='United States', 'location'].value_counts()

# Contamos la cantidad de trabajos remotos uncleaned_data.loc[uncleaned_data.loc[:, 'location']=='Remote', 'location'].value_counts()

# Reemplazamos en la columna 'location' algunos codigos de la ciudad ya que no se muestra en varias ciudades uncleaned_data.loc[:,'location'].apply(lambda x:x.split(',')[-1]).value_counts()

# Usamos la misma función lambda para obtener los codigos de las ciudades y valores atipicos en una nueva columna uncleaned_data['location_state'] = uncleaned_data.loc[:,'location'].apply(lambda x:x.split(',')[-1].strip())

uncleaned_data['location_state']

uncleaned_data['location_city'] = uncleaned_data.loc[:,'location'].apply(lambda x:x.split(',')[0].strip())

uncleaned_data['location_city']

# Reemplazamos el nombre del estado con su respectivo código de ciudad uncleaned_data['location_state'].value_counts()

# Creamos una función para los códigos de los estados que no estan correctamente clasificados en la columna def clean_city(unclean_data): return ( uncleaned_data.loc[:,'location_state'] .replace('California', 'CA') .replace('Texas', 'TX') .replace('Utah', 'UT') .replace('New Jersey', 'NJ') .replace('Remote', 'n/a') .replace('United States', 'n/a') ) uncleaned_data = uncleaned_data.assign( location_state = clean_city )

uncleaned_data['location_state'].value_counts()

# Creamos una nueva columna para ver si la ubicacion esta en Estados Unidos (Remoto o Hibrido) uncleaned_data['locations_in_us'] = uncleaned_data.loc[:, 'location'].apply(lambda x: 1 if x != 'Remote' else 0)

uncleaned_data['location_state'].value_counts()

def clean_city(uncleaned_data): return( uncleaned_data.loc[:,'location_city'] .replace('California', 'n/a') .replace('Texas', 'n/a') .replace('Utah', 'n/a') .replace('New Jersey', 'n/a') .replace('Remote', 'n/a') .replace('United States', 'n/a') ) uncleaned_data = uncleaned_data.assign( location_city = clean_city )

uncleaned_data['location_city'].value_counts()

uncleaned_data.info()

# Comprobamos los valores únicos de la columna 'headquarters' uncleaned_data['headquarters'].value_counts()

uncleaned_data['same_location'] = uncleaned_data.apply(lambda x: 1 if x.location == x.headquarters else 0, axis = 1)

uncleaned_data['same_location']

uncleaned_data['size'].unique()

# Reemplazamos los valores -1 de la columna size con n/a def size_cleaning(uncleaned_data): return( uncleaned_data.loc[:, 'size'] .replace('employees', '') .replace('-1', 'n/a') .replace('Unknown', 'n/a') ) uncleaned_data = uncleaned_data.assign( size = size_cleaning )

uncleaned_data['size'].unique()

# Eliminamos la columna 'founded', ya que no aporta valor y tiene una gran cantidad de valores -1 uncleaned_data['founded'][:100] uncleaned_data.drop(columns = 'founded', inplace = True)

uncleaned_data

# Verificamos los valores en la columna 'type_of_ownership' uncleaned_data.loc[:,'type_of_ownership'].value_counts()

# Limpiamos los datos que se encuentran erroneos en la columna 'type_of_ownership' def ownership(uncleaned_data): return ( uncleaned_data.loc[:, 'type_of_ownership'] .replace('Nonprofit Organization', 'Nonprofit') .replace('-1','n/a') .replace('Unknown', 'n/a') .replace('Company - Private', 'Private') .replace('Company - Public', 'Public') .replace('Other Organization', 'Other') ) uncleaned_data = uncleaned_data.assign( type_of_ownership = ownership )

uncleaned_data.loc[:,'type_of_ownership'].value_counts()

# Verificamos los valores únicos de la columna 'industry' uncleaned_data['industry'].value_counts()

# Debido a la gran cantidad de valores -1 vamos a convertirlos en 'n/a' con una función lambda uncleaned_data['industry'] = uncleaned_data['industry'].apply( lambda x: x.replace('-1','n/a'))

uncleaned_data['industry'].value_counts()

# Debido a la gran cantidad de valores -1 vamos en la columna 'headquarters' convertirlos en 'n/a' con una función lambda uncleaned_data['headquarters'] = uncleaned_data['headquarters'].apply( lambda x: x.replace('-1','n/a'))

uncleaned_data['headquarters'].value_counts()

uncleaned_data['rating'].value_counts()

# Debido a la gran cantidad de valores -1 vamos en la columna 'headquarters' convertirlos en 'n/a' con una función lambda uncleaned_data['rating'] = uncleaned_data['rating'].apply(lambda x: 0.0 if x == -1.0 else x)

uncleaned_data['rating'].value_counts()

uncleaned_data['sector'].unique()

uncleaned_data['sector'].value_counts()

uncleaned_data['sector'] = uncleaned_data['sector'].apply(lambda x: x.replace('-1','n/a'))

uncleaned_data['sector'].value_counts()

# Revisamos los valores de la columna 'revenues' uncleaned_data['revenue'].value_counts()

# Combinamos los valores de 'Unknown' y '-1' def revenue_cleanup(uncleaned_data): return( uncleaned_data.loc[:, 'revenue'] .replace('-1','n/a') .replace('Unknown / Non-Applicable','n/a') ) uncleaned_data = uncleaned_data.assign( revenue = revenue_cleanup )

uncleaned_data['revenue'].value_counts()

# De la columna 'revenue', queremos quitar la palabra USD, con la función lambda uncleaned_data['revenue'] = uncleaned_data.loc[:, 'revenue'].str.extract('([^()]+)') uncleaned_data['revenue'].value_counts()

# Verificamos si hay algun valor de -1 en alguna de las columnas uncleaned_data[uncleaned_data.eq('-1').any(axis = 1)]

uncleaned_data['salary_estimate'][:10]

# Separamos los valores de la columna 'salary_estimate' uncleaned_data['lower_salary'] = uncleaned_data.loc[:, 'salary_estimate'].apply(lambda x: x.split('-')[0].strip()) uncleaned_data['highest_salary']= uncleaned_data.loc[:, 'salary_estimate'].apply(lambda x: x.split('-')[1].strip())

# Eliminar símbolos y caracteres no numéricos de la columna 'lower_salary' def lower_salary_clean(uncleaned_data): return pd.to_numeric( uncleaned_data.loc[:,'lower_salary'] .str.replace("$","") .str.replace("K","") ) uncleaned_data = uncleaned_data.assign( lower_salary = lower_salary_clean )

uncleaned_data['lower_salary'].unique()

# Eliminar símbolos y caracteres no numéricos de la columna 'highest_salary' def upper_salary_clean(uncleaned_data): return pd.to_numeric( uncleaned_data.loc[:,'highest_salary'] .str.replace('$','') .str.replace('K','') ) uncleaned_data = uncleaned_data.assign( highest_salary = upper_salary_clean )

uncleaned_data['highest_salary'].unique()

# Con los valores 'lower_salary' y 'highest_salary' calculamos el salario promedio uncleaned_data['average_salary'] = (uncleaned_data['highest_salary'] + uncleaned_data['lower_salary']) // 2

uncleaned_data['average_salary'].unique()

# Podemos simplificar el titulo de la columna 'job_title', asi que primero verificamos que elementos contiene la columna. uncleaned_data['job_title'].value_counts()

def title_simplif(title): if 'data scientist' in title.lower(): return 'data scientist' elif 'data engineer' in title.lower(): return 'data engineer' elif 'data analyst' in title.lower(): return 'data analyst' elif 'machine learning' in title.lower(): return 'machine learning' elif 'analyst' in title.lower(): return 'data analyst' else: return 'n/a' uncleaned_data['job_simplif'] = uncleaned_data['job_title'].apply(title_simplif)

# Cuando aplicamos la función verificamos los valores únicos uncleaned_data['job_simplif'].value_counts()

# Verificamos nuevamente la columna y podemos ver que hay muchos sr. y senior en los titulos asi que aplicaremos la funcion anterior para simplificarlo def title_position(title): if 'jr.' in title.lower(): return 'jr' elif 'sr' in title.lower(): return 'sr' elif 'sr.' in title.lower(): return 'sr' elif 'vp' in title.lower(): return 'sr' else: return 'n/a' uncleaned_data['job_position'] = uncleaned_data['job_title'].apply(title_position)

uncleaned_data['job_position'].value_counts()

uncleaned_data

# Revisamos que información podemos extraer de la columna 'job_description' uncleaned_data['python'] = uncleaned_data.apply(lambda x: 1 if 'python' in x.job_description.lower() else 0, axis = 1) uncleaned_data['excel'] = uncleaned_data.apply(lambda x: 1 if 'excel' in x.job_description.lower() else 0, axis = 1) uncleaned_data['tableau'] = uncleaned_data.apply(lambda x: 1 if 'tableau' in x.job_description.lower() else 0, axis = 1) uncleaned_data['power_bi'] = uncleaned_data.apply(lambda x: 1 if 'power_bi' in x.job_description.lower() else 0, axis = 1) uncleaned_data['sql'] = uncleaned_data.apply(lambda x: 1 if 'sql' in x.job_description.lower() else 0, axis = 1) uncleaned_data['python'].value_counts() uncleaned_data['excel'].value_counts() uncleaned_data['tableau'].value_counts() uncleaned_data['power_bi'].value_counts() uncleaned_data['sql'].value_counts()

uncleaned_data

import matplotlib.pyplot as plt import seaborn as sns import pandas as pd %matplotlib inline

fig, ax = plt.subplots(figsize=(10,10)) chart = sns.barplot(x=uncleaned_data.job_simplif.value_counts().index, y=uncleaned_data.job_simplif.value_counts()) _=chart.set_xticklabels(chart.get_xticklabels(), rotation=35) plt.savefig('job title count.png')

pd.pivot_table(uncleaned_data, index='job_simplif', values='average_salary')

Conclusiones

Resumen de los resultados: Tras el análisis de datos del conjunto proporcionado sobre las ofertas de trabajo en el campo de la ciencia de datos en Glassdoor, hemos observado varios resultados notables. Se ha encontrado una creciente demanda de profesionales en el campo de la ciencia de datos, con un número significativo de ofertas de trabajo en diversas ubicaciones y niveles de experiencia. Además, se identificaron patrones en términos de las habilidades más solicitadas y los sectores de la industria que más buscan estos profesionales.

Cumplimiento de los objetivos: En general, se ha logrado cumplir con los objetivos establecidos al inicio del proyecto. Las preguntas de investigación planteadas inicialmente se abordaron con éxito mediante el análisis de datos, y se obtuvieron respuestas claras sobre la demanda de empleos en el campo de la ciencia de datos en Glassdoor. Además, se pudo evaluar si se alcanzaron los criterios de éxito definidos, y en su mayoría, se cumplieron.

Impacto y relevancia: Los resultados de este análisis tienen un impacto significativo tanto para las personas que buscan empleo en el campo de la ciencia de datos como para las empresas que buscan contratar talento en este ámbito. La información sobre las habilidades más solicitadas y las ubicaciones con una alta demanda puede ser esencial para la toma de decisiones estratégicas en recursos humanos y planificación de carrera.

Limitaciones y áreas de mejora: Se reconoce que este análisis está limitado por la calidad de los datos disponibles en el conjunto proporcionado. Además, se podría mejorar la precisión del análisis mediante la inclusión de información adicional, como la información salarial y la duración de las ofertas de trabajo. También se podría explorar el uso de modelos más sofisticados para predecir tendencias futuras en la demanda de empleo en el campo de la ciencia de datos.

Recomendaciones: Basándonos en los hallazgos del análisis, se recomienda a los profesionales de la ciencia de datos que enfoquen su desarrollo de habilidades en áreas específicas que están en alta demanda, como el aprendizaje automático y la programación en Python. Además, se sugiere a las empresas que ajusten sus estrategias de contratación para alinearlas con las tendencias observadas en este análisis.

Reflexión sobre el proceso: El proceso de análisis de datos presentó desafíos, como la limpieza y la calidad de los datos, pero también brindó lecciones valiosas sobre la importancia de la exploración de datos y la selección adecuada de técnicas de análisis. Para futuros proyectos, se debería prestar especial atención a la calidad de los datos y la mejora continua de las habilidades de análisis.

Futuras investigaciones: Para futuras investigaciones, sería interesante explorar más a fondo las correlaciones entre los requisitos de habilidades y los niveles de experiencia en las ofertas de trabajo. Además, se podría investigar la relación entre el salario ofrecido y otros factores, como la ubicación geográfica y el tipo de empresa. Estas áreas de investigación podrían proporcionar una comprensión más profunda del mercado laboral en el campo de la ciencia de datos.