depression_detection_ML

# importaciones de librerias para la recuperacion de los datos import pandas as pd from pmaw import PushshiftAPI # instancia de PushshiftAPI para las peticiones a reddit api = PushshiftAPI()

# Funcion a utilizar para obtener todos los posts de reddit def get_data_reddit(subreddit, limit): # hacemos la peticion o consulta con los parametros recibidos # usamos el mem_safe por lo que son muchos datos, ayuda a que la memoria ram no se sature # https://github.com/mattpodolak/pmaw#memory-safety-1 query = api.search_submissions(subreddit = subreddit, limit = limit, mem_safe=True) # Llenamos una lista con lo que contiene la consulta submissions = [post for post in query] # Imprimimos esto, puramente estetico print(f'{len(submissions)} publicaciones recuperadas de Pushshift de la subreddit {subreddit}') # convertimos la lista a un dataframe de pandas df_subr = pd.DataFrame(submissions) # retornamos un dataframe con solo algunas de las columnas return df_subr[['id', 'author', 'created_utc', 'domain','url', 'title', 'score', 'selftext', 'num_comments', 'num_crossposts', 'full_link']]

# Lista de subreddits a consultar los datos subreddits = ['depression', 'Anxiety', 'suicidewatch', 'BPD', 'schizophrenia', 'socialanxiety' ]

# DF que contendra todos los datos df_mental_health = pd.DataFrame() # el limite de consulta para cada subreddir limit = 50000 # Bucle para obtener los datos de la lista de subreddits utilizando la funcion ya declarada for subreddit in subreddits: # llenando un df con la funcion df = get_data_reddit(subreddit, limit) # concatenando el df con el DF que contendra todo df_mental_health = pd.concat([df_mental_health, df]) # impresiones para info print(f'La subreddit {subreddit} se a añadido correctamente') print(df_mental_health.shape) print('----------------------------------------------------------') # hacer que se guarde cada vez que se acabe con la consulta de un subreddit (50K datos) df_mental_health.to_csv('mental_health.csv', sep=';', header=True, index=False)

# observando el tamaño final del dataframe df_mental_health.shape