TP Final Integrador

# imports import numpy as np import pandas as pd import sqlite3 as sql3 import matplotlib.pyplot as plt import seaborn as sns

# Levanto los datos en 3 diferentes dataframes #ARTICULOS conn = sql3.connect('/work/data/articles.db') sql_query = pd.read_sql_query('SELECT * FROM articles', conn) df_articles = pd.DataFrame(sql_query,columns=['article_id','article_name','unit_price']) print(df_articles)

# VENDEDORES df_sellers = pd.read_excel('/work/data/sellers.xlsx', index_col=0) print(df_sellers) # me dio error porque esta en otro formato que no es excel puro y pandas no llega a interpretar bien

#ORDERNES df_orders = pd.read_csv('/work/data/orders.csv') print(df_orders)

# Exploración del df de artículos print('Muestra de los datos') print(df_articles.head()) #me muestra los 5 primeros print('\nformato del dataframe') print(df_articles.shape) print('\nBusqueda de valores nulos') print(df_articles.isnull().sum()) print('\nFormato de los datos') print(df_articles.dtypes)

# Exploración del df de vendedores print('Muestra de los datos') print(df_sellers.head()) #me muestra los 5 primeros print('\nformato del dataframe') print(df_sellers.shape) print('\nBusqueda de valores nulos') print(df_sellers.isnull().sum()) print('\nFormato de los datos') print(df_sellers.dtypes)

# Exploración del df de órdenes print('Muestra de los datos') print(df_orders.head()) #me muestra los 5 primeros print('\nformato del dataframe') print(df_orders.shape) print('\nBusqueda de valores nulos') print(df_orders.isnull().sum()) print('\nFormato de los datos') print(df_orders.dtypes)

df_articles['unit_price'] = df_articles['unit_price'].astype(float) print(df_articles.dtypes)

#Creo una copia del df_orders my_df = df_orders.copy() # Cambio el indice del df_articles esto solo puedo hacerlo una vez? df_articles.set_index('article_id', inplace=True) #print(df_articles.loc[20017]['article_name']) print(df_articles.head())

print(my_df.head())

#agrego las columnas que me faltan my_df = my_df.assign(article_name = my_df['article_id']) my_df = my_df.assign(total_amount = my_df['article_id']) my_df = my_df.assign(seller_name = my_df['seller_id']) print(my_df.head())

# reemplazar los datos en las nuevas columnas for i in range(len(my_df.index)): #columna article_name #cargo el nombre del articulo en una variable article = df_articles.loc[my_df.loc[i]['article_name']]['article_name'] #se lo asigno a la columna y registro que corresponde my_df.loc[i,'article_name'] = article #columna total_amount my_df.loc[i, 'total_amount'] = my_df.loc[i, 'quantity'] * df_articles.loc[my_df.loc[i]['total_amount']]['unit_price'] #columna de seler_name my_df.loc[i,'seller_name'] = df_sellers.loc[my_df.loc[i]['seller_name']]['seller_name'] print(my_df.head())

#elimino las columnas que no necesito my_df.drop(['order_id','article_id','seller_id'], axis='columns', inplace=True) print(my_df.head())

d1=pd.DataFrame({'mes': ['ene','feb','mar','abr'], 'ventas':[10,20,30,15]}) d2=pd.DataFrame({'mes': ['ene','feb','mar','abr'], 'costos':[7,16,25,12]}) print(pd.merge(d1,d2))

# RESOLUCIÓN ANALÍTICA my_df2 = my_df.groupby('article_name').sum() por_cant = my_df2.sort_values('quantity',ascending = False) print(por_cant['quantity'].head(1))

# RESOLUCIÓN GRÁFICA ponerlos mas bonitos, mejor y mas bonitos, y poner titulo sns.displot(my_df,x='article_name') plt.xticks(rotation=90) plt.show()

# RESOLUCIÓN ANALÍTICA my_df3 = (my_df.groupby('article_name').sum()).sort_values('total_amount', ascending=False).head(5) print(my_df3['total_amount'])

# RESOLUCIÓN GRÁFICA plt.pie(x=my_df3['total_amount'],labels= my_df3.index) plt.show()

# RESOLUCIÓN ANALÍTICA df4 = (my_df.groupby('seller_name').sum()).sort_values('total_amount', ascending=False) print(df4[['quantity']+['total_amount']])

# RESOLUCIÓN GRÁFICA plt.bar(df4.index,df4['total_amount']) plt.xticks(rotation=60) plt.show()

# RESOLUCIÓN ANALÍTICA df5= (my_df.groupby('week').sum()).sort_values('total_amount', ascending=False) print(df5)

# RESOLUCIÓN GRÁFICA plt.bar(df5.index, df5['total_amount']) plt.show()

Me gustaria destacar en esta oportunidad que me encanto el curso de Big Data, pero lo mas importante a destacar es la excelencia de Regina en cada clase. Se nota su dedicacion y preparacion de cada Clase, cada detalle y lo mas importante el manejo de los tiempos en la clase. Muy dedidaca a que podamos aprender todo y con mucha pacienca para y con cada uno de nosotros. Muchas gracias Regina fue un gusto poder ser tu alumna en tus clases y gracias a ti he aprendido muchisimo y pude descubrir que es lo que mas me gusta.

Como propuesta les dejo la siguiente: Como no logramos profundizar en muchos de los temas interesantes de lo que es Big Data, me gustaria que exista una continuidad de este curso algo como Big Data II, pudiendo cursarlo aquellos que ya cursamos el primero. Ojala pueda ser posible. Y ojala que en esa oportunidad pueda volver a ser alumna de Regina.

Muchas gracias por esta oportunidad que nos brindan de poder capacitarnos sin importar lugar de residencia, ni sexo, ni edad, etc. pudiendo cursar todos. Un gusto y hasta pronto...