# A veces necesitamos instalar nuevas librerías en nuestros proyectos
!pip install openpyxl==3.0.10 # esta librería no viene incorporado en deepnote, entonces la voy a tener que instalar SIEMPRE desde la consola del SISTEMA OPERATIVO (!) y no desde el interprete de python.
#pip lines: son los métodos que le voy a aplicar a cada dataframe sucesivamente, serie de procesos donde lo que sale de un proceso se convierte en la entrada de un nuevo proceso.
# imports
import numpy as np
import pandas as pd
import sqlite3 as sql3
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import StandardScaler
# Levanto los datos en 3 diferentes dataframes
# ARTÍCULOS
conn = sql3.connect('/work/data/articles.db')
query1 = pd.read_sql_query('SELECT * FROM articles', conn)
df_articles = pd.DataFrame(query1, columns = ['article_id', 'article_name', 'unit_price']) #creamos un dt de articles
#print(df_articles)
# VENDEDORES
df_sellers = pd.read_excel('/work/data/sellers.xlsx', index_col=0)
#print(df_sellers)
# ÓRDENES
df_orders = pd.read_csv('/work/data/orders.csv')
print(df_orders)
# Exploración del df de artículos
print('Muestra de datos')
print(df_articles.head())
print('\nFormato del dataframe')
print(df_articles.shape) # para ver el formato del dt, se usa el atributo "shape"
print('\nBúsqueda de valores nulos por columna')
print(df_articles.isnull().sum()) # busco los nulos de cada columna y los voy a contar
print('\nFormato de los datos')
print(df_articles.dtypes) # ver el tipo de dato que tengo en cada columna
# Exploración del df de vendedores
print('Muestra de datos')
print(df_sellers.head())
print('\nFormato del dataframe')
print(df_sellers.shape)
print('\nBúsqueda de valores nulos por columna')
print(df_sellers.isnull().sum())
print('\nFormato de los datos')
print(df_sellers.dtypes)
# Exploración del df de órdenes
print('Muestra de datos')
print(df_orders.head())
print('\nFormato del dataframe')
print(df_orders.shape)
print('\nBúsqueda de valores nulos por columna')
print(df_orders.isnull().sum())
print('\nFormato de los datos')
print(df_orders.dtypes)
df_articles['unit_price'] = df_articles['unit_price'].astype(float) # cambio el tipo de objeto
print(df_articles.dtypes)
# Creo una copia del df base
my_df = df_orders.copy()
# Cambio el índice del df artículos
df_articles.set_index('article_id', inplace=True) # aplica el cambio sobre el mismo df
print(my_df)
#print(df_articles)
# Agrego algunas columnas y pongo el campo que me va a servir de "ancla"
my_df = my_df.assign(article_name = my_df['article_id'])
my_df = my_df.assign(total_amount = my_df['article_id']) # voy a necesitar el unit_price
my_df = my_df.assign(seller_name = my_df['seller_id'])
# reemplazar los valores en el nuevo df
# df_articles[?]['article_name']
for i in range(len(my_df.index)):
# len... devuelve la cantidad de registros
article = df_articles.loc[my_df.loc[i]['article_name']]['article_name'] # para buscar por filas, uso ".loc"
# reemplazo en la columna 'article_name'
my_df.loc[i,'article_name'] = article
# modificar la columna total_amount
my_df.loc[i,'total_amount'] = my_df.loc[i,'quantity'] * df_articles.loc[my_df.loc[i]['total_amount']]['unit_price']
#modificar la columna "seller_name"
my_df.loc[i,'seller_name'] = df_sellers.loc[my_df.loc[i]['seller_name']]['seller_name']
print(my_df)
# elimino las columnas que no necesito
my_df.drop(['order_id','article_id','seller_id'], axis='columns', inplace=True) #inplace es para que no me devuelva una copia y trabaje sobre el mismo dt
print(my_df)
# RESOLUCIÓN ANALÍTICA
my_df2 = my_df.groupby('article_name').sum()
por_cant = my_df2.sort_values('quantity',ascending=False)
print(por_cant['quantity'].head(1))
# RESOLUCIÓN GRÁFICA
sns.displot(my_df, x='article_name')
plt.xticks(rotation=80)
plt.show()
#darle el estilo que querramos: ponerle titulo, etiqueta a ejes color
# RESOLUCIÓN ANALÍTICA
my_df3 =(my_df.groupby('article_name').sum()).sort_values('total_amount', ascending=False).head(5)
"""
my_df3 =(my_df.groupby('article_name').sum())
my_df3 = my_df3.sort_values('total_amount', ascending=False)
my_df3 = my_df3.head(5)
"""
print(my_df3['total_amount'])
# RESOLUCIÓN GRÁFICA
# OJO: No puedo hacer un análisis comparativo ni poner porcentajes porque no están todos los artículos en este df. Sólo puse los top 5
plt.pie(x=my_df3['total_amount'], labels=my_df3.index)
plt.show()
# RESOLUCIÓN ANALÍTICA
my_df4 = (my_df.groupby('seller_name').sum()).sort_values('total_amount', ascending=False)
print(my_df4[['quantity']+['total_amount']]) # para que se visualicen las dos columnas
# RESOLUCIÓN GRÁFICA
plt.bar(my_df4.index, my_df4['total_amount'])
plt.xticks(rotation=60)
plt.show()
# RESOLUCIÓN ANALÍTICA
my_df5 = (my_df.groupby('week').sum()).sort_values('total_amount',ascending=False)
print(my_df5)
# Ejemplo con gráfico de tortas
# plt.pie(x=my_df5['total_amount'], labels=my_df5.index)
# plt.show()
my_df5['total_amount'].median()
# RESOLUCIÓN GRÁFICA
plt.bar(my_df5.index,my_df5['total_amount'], color="red", alpha=0.7)
plt.show()
# RESOLUCIÓN
cols = ["quantity", "country_name", "total_amount"]
my_df6 = my_df[cols]
my_df6["profit"] = my_df6.quantity * my_df6.total_amount
my_df6 = my_df6.groupby("country_name").sum()
my_df6.sort_values("profit", ascending=False, inplace=True)
my_df6 = my_df6.head()
print(my_df6)
plt.bar(my_df6.index, my_df6.profit, color="red", alpha=0.5)
plt.show()
# RESOLUCIÓN
cols1 = ["week", "country_name", "quantity"]
my_df7 = my_df[cols1]
mercosur = ["Argentina", "Brazil", "Uruguay", "Paraguay"]
my_df7 = my_df7[(my_df7.country_name == mercosur[0]) | (my_df7.country_name == mercosur[1]) | (my_df7.country_name == mercosur[2]) | (my_df7.country_name == mercosur[3])]
my_df7 = my_df7.groupby(["country_name", "week"]).sum()
print(my_df7)
# RESOLUCIÓN
cols1 = ["week", "country_name", "quantity"]
my_df8 = my_df[cols1]
mercosur = ["Argentina", "Brazil", "Uruguay", "Paraguay"]
my_df8 = my_df8[(my_df8.country_name == mercosur[0]) | (my_df8.country_name == mercosur[1]) | (my_df8.country_name == mercosur[2]) | (my_df8.country_name == mercosur[3])]
print(my_df8)
my_df8.columns
sns.pairplot(my_df8)
sns.pairplot(my_df8, hue='week')
escala = StandardScaler()
escalado = escala.fit_transform(my_df[['week', 'quantity']])
escalado.T
matriz_cov = np.cov(escalado.T)
matriz_cov
# Mapa de calor
plt.figure(figsize=(9,9))
mapa_calor = sns.heatmap(matriz_cov, fmt='.2f', square=True, cbar=True, annot=True, xticklabels=['week', 'quantity'], yticklabels=['week', 'quantity'])