Codo a Codo 4.0 2022 Curso BIG DATA Comision 22041 Nombre y Apellido Desiree del Valle Alvarado Alviarez TP2 Integrador
# A veces necesitamos instalar nuevas librerías en nuestros proyectos
!pip install openpyxl==3.0.10
Requirement already satisfied: openpyxl==3.0.10 in /root/venv/lib/python3.9/site-packages (3.0.10)
Requirement already satisfied: et-xmlfile in /root/venv/lib/python3.9/site-packages (from openpyxl==3.0.10) (1.1.0)
WARNING: You are using pip version 22.0.4; however, version 22.1.2 is available.
You should consider upgrading via the '/root/venv/bin/python -m pip install --upgrade pip' command.
# imports
import numpy as np
import pandas as pd
import sqlite3 as sql3
import openpyxl # para que levante bien el excel
import matplotlib.pyplot as plt
import seaborn as sns
# Levanto los datos en 3 diferentes dataframes
# Artículos
conn = sql3.connect('/work/data/articles.db')
sql_query = pd.read_sql_query('SELECT * FROM articles', conn)
df_articles = pd.DataFrame(sql_query, columns = ['article_id', 'article_name', 'unit_price'])
# Vendedores
df_sellers = pd.read_excel('/work/data/sellers.xlsx', index_col=0)
# Órdenes
df_orders = pd.read_csv('/work/data/orders.csv')
# Exploración del df de artículos
print('Muestra de datos')
print(df_articles.head())
print('\nFormato del dataframe')
print(df_articles.shape)
print('\nBúsqueda de valores nulos por columna')
print(df_articles.isnull().sum())
print('\nFormato de los datos por columna')
print(df_articles.dtypes)
Muestra de datos
article_id article_name unit_price
0 20015 Smartphone 525.00
1 20016 Full Pc 2127.81
2 20017 Monitor 230.00
3 20018 Tablet 130.00
4 20019 Desk 130.10
Formato del dataframe
(31, 3)
Búsqueda de valores nulos por columna
article_id 0
article_name 0
unit_price 0
dtype: int64
Formato de los datos por columna
article_id int64
article_name object
unit_price object
dtype: object
# Exploración del df de vendedores
print('Muestra de datos')
print(df_sellers.head())
print('\nFormato del dataframe')
print(df_sellers.shape)
print('\nBúsqueda de valores nulos por columna')
print(df_sellers.isnull().sum())
print('\nFormato de los datos por columna')
print(df_sellers.dtypes)
Muestra de datos
seller_name
seller_id
1 Aveline Swanwick
2 Jase Doy
3 Oliviero Charkham
4 Cornie Wynrehame
5 Ewell Peres
Formato del dataframe
(15, 1)
Búsqueda de valores nulos por columna
seller_name 0
dtype: int64
Formato de los datos por columna
seller_name object
dtype: object
# Exploración del df de órdenes
print('Muestra de datos')
print(df_orders.head())
print('\nFormato del dataframe')
print(df_orders.shape)
print('\nBúsqueda de valores nulos por columna')
print(df_orders.isnull().sum())
print('\nFormato de los datos por columna')
print(df_orders.dtypes)
Muestra de datos
order_id week article_id quantity seller_id country_name
0 15024 1 20039 10 10 Peru
1 15025 1 20029 15 5 Peru
2 15026 1 20024 5 14 Bolivia
3 15027 1 20018 9 14 Brazil
4 15028 1 20035 6 15 Mexico
Formato del dataframe
(1000, 6)
Búsqueda de valores nulos por columna
order_id 0
week 0
article_id 0
quantity 0
seller_id 0
country_name 0
dtype: int64
Formato de los datos por columna
order_id int64
week int64
article_id int64
quantity int64
seller_id int64
country_name object
dtype: object
df_articles['unit_price'] = df_articles['unit_price'].astype(float)
print(df_articles.dtypes)
article_id int64
article_name object
unit_price float64
dtype: object
# Creo una copia del df_orders
my_df = df_orders.copy()
# Cambio el índice del df de artículos
df_artic = df_articles.set_index('article_id',inplace = False)
# Agrego algunas columnas y pongo el campo que me va a servir de "ancla" para acordarme
my_df = my_df.assign(article_name = my_df['article_id'])
my_df = my_df.assign(total_amount = my_df['article_id'])
my_df = my_df.assign(seller_name = my_df['seller_id'])
# reemplazo los valores en el nuevo df
# 1. busco el nombre del artículo y lo asigno a una variable
# como df_articles está indexado por article_id, lo uso para ubicarme en
# el registro que busco
# SINTAXIS: df_articles.loc[indice][columna]
# [indice] va a ser el dato que obtengo de my_df.loc[i]['article_id']
# -> o sea, tomo registro a registro el article_id y lo uso para extraer
# el nombre del artículo
for i in range(len(my_df.index)): # len(my_df.index) devuelve la cantidad de registros
# Obtenemos article_name
id_articulo = my_df.loc[i]['article_id']
nombreArticulo = df_artic.loc[id_articulo]['article_name']
#se lo asigno a la columna correspondiente
my_df.loc[i,'article_name'] = nombreArticulo
# Obtenemos total_amount
precioArticulo = df_artic.loc[id_articulo]['unit_price']
my_df.loc[i, 'total_amount'] = my_df.loc[i,'quantity'] * precioArticulo
# Obtenemos seller_name
id_vendedor = my_df.loc[i]['seller_id']
nombreVendedor = df_sellers.loc[id_vendedor]['seller_name']
my_df.loc[i, 'seller_name'] = nombreVendedor
# elimino las columnas que no necesito
my_df.drop(['order_id', 'article_id', 'seller_id'], axis = 'columns', inplace=True)
my_df
weekint64
1 - 4
quantityint64
1 - 15
0
1
10
1
1
15
2
1
5
3
1
9
4
1
6
5
1
6
6
1
13
7
1
14
8
1
7
9
1
4
print(my_df)
week quantity country_name article_name total_amount seller_name
0 1 10 Peru Water Cooling 675.0 Cirilo Grandham
1 1 15 Peru Mouse 454.5 Ewell Peres
2 1 5 Bolivia Netbook 725.0 Janel O'Curran
3 1 9 Brazil Tablet 1170.0 Janel O'Curran
4 1 6 Mexico Case 227.4 Daisie Slograve
.. ... ... ... ... ... ...
995 4 1 Brazil Modem 67.5 Kati Innot
996 4 15 Brazil Heatsink 150.0 Daisie Slograve
997 4 2 Colombia Heatsink 20.0 Vasily Danilyuk
998 4 14 Brazil Tablet 1820.0 Vasily Danilyuk
999 4 12 Brazil SDD 264.0 Onida Cosely
[1000 rows x 6 columns]
# RESOLUCIÓN ANALÍTICA
df_cant_articulos = my_df.groupby('article_name').sum()
df_cant_articulos_ord = df_cant_articulos.sort_values('quantity', ascending=False)
print(df_cant_articulos_ord['quantity'].head(1) )
article_name
HDD 413
Name: quantity, dtype: int64
# RESOLUCIÓN GRÁFICA
sns.barplot(y = df_cant_articulos_ord["quantity"], x=df_cant_articulos_ord.index)
plt.xticks(rotation=90)
plt.show()
print(df_cant_articulos_ord['quantity'].head(2) )
article_name
HDD 413
Tablet 374
Name: quantity, dtype: int64
# RESOLUCIÓN ANALÍTICA
df_monto_articulo_ord = my_df.groupby('article_name').sum().sort_values('total_amount', ascending=False).head(5)
print(df_monto_articulo_ord)
week quantity total_amount
article_name
Full Pc 70 253 538335.93
Notebook 69 251 251000.00
Smartphone 74 290 152250.00
Chair 56 207 69477.48
Tablet 90 374 48620.00
# RESOLUCIÓN GRÁFICA
# plt.pie(x=df_monto_articulo_ord['total_amount'], labels=df_monto_articulo_ord.index)
# plt.show()
plt.barh(df_monto_articulo_ord.index, df_monto_articulo_ord['total_amount'] , height=0.7)
plt.show()
# RESOLUCIÓN ANALÍTICA
df_monto_vendedor_ord = my_df.groupby('seller_name').sum().sort_values('total_amount', ascending=False)
print(df_monto_vendedor_ord[['quantity']+['total_amount']])
quantity total_amount
seller_name
Janel O'Curran 703 192832.47
Brockie Patience 441 142709.88
Oliviero Charkham 555 141329.76
Vasily Danilyuk 521 129157.55
Daisie Slograve 554 120520.11
Aveline Swanwick 629 118874.33
Arnold Kilkenny 583 94552.04
Kati Innot 512 83704.62
Jase Doy 582 80628.31
Ewell Peres 496 78144.32
Onida Cosely 535 77373.37
Milly Christoffe 442 61733.69
Tobin Roselli 519 56984.42
Cornie Wynrehame 523 52253.57
Cirilo Grandham 470 45009.40
# RESOLUCIÓN GRÁFICA
plt.bar(df_monto_vendedor_ord.index, df_monto_vendedor_ord['total_amount'])
plt.xticks(rotation=45, ha="right")
plt.show()
Se le debe asignar a Janel O'Curran
# RESOLUCIÓN ANALÍTICA
df_venta_semanal = my_df.groupby(by='week').sum().sort_values('total_amount',ascending=False)
print(df_venta_semanal['total_amount'])
week
1 507458.81
2 415364.44
3 329140.03
4 223844.56
Name: total_amount, dtype: float64
# RESOLUCIÓN GRÁFICA
plt.bar(df_venta_semanal.index,df_venta_semanal['total_amount'], width=0.8)
plt.show()
Se observa que en el mes 1 se vendió más y va decayendo a medida que pasan las semanas
Artic_pais = my_df.groupby(['country_name', 'article_name']).size()
Artic_pais
Artic_pais.plot(kind = 'bar',
stacked = 'True', # Muestra las barras apiladas
width = 0.9, # Grosor de las barras para dejar espacio entre ellas
figsize=(20,20)); # Cambiamos el tamaño de la figura
Se observan que se vendieron por país más productos en Brasil y Peru y menos en Puerto Rico
df_venta_semanal_article = my_df.groupby(['week', 'article_name']).sum()
print(df_venta_semanal_article['total_amount'])
week article_name
1 CPU 9214.92
Case 2690.90
Chair 17453.28
Desk 5724.40
Fan Cooler 246.50
...
4 Usb Cable 212.40
Video Card 3682.00
Water Cooling 2160.00
Webcam 521.82
Wi-Fi Card 596.10
Name: total_amount, Length: 124, dtype: float64
df_venta_semanal_article2= df_venta_semanal_article.drop(['quantity'], axis=1)
df_venta_semanal_article2
total_amountfloat64
94.16 - 206397.57
(1, 'CPU')
9214.92
(1, 'Case')
2690.9
(1, 'Chair')
17453.28
(1, 'Desk')
5724.4
(1, 'Fan Cooler')
246.5
(1, 'Full Pc')
206397.57
(1, 'HDD')
5625.86
(1, 'Headphones')
1351.4
(1, 'Heatsink')
570
(1, 'Keyboard')
1378.6
df_venta_semanal_article2.plot(kind = 'barh',
stacked = 'True', # Muestra las barras apiladas
width = 0.9, # Grosor de las barras para dejar espacio entre ellas
figsize=(20,20));
Se observa que Full_Pc y Notebook fueron vendidos todas las semanas mayormente
df_monto_vendedor = my_df.groupby('seller_name').count()
df_monto_vendedor["country"] = df_monto_vendedor.index
df_monto_vendedor
weekint64
54 - 79
quantityint64
54 - 79
Arnold Kilkenny
68
68
Aveline Swanwick
75
75
Brockie Patience
57
57
Cirilo Grandham
62
62
Cornie Wynrehame
70
70
Daisie Slograve
72
72
Ewell Peres
66
66
Janel O'Curran
79
79
Jase Doy
73
73
Kati Innot
63
63
plt.pie(df_monto_vendedor["quantity"], labels = df_monto_vendedor["country"], autopct='%.1f%%', radius=3)
plt.title("Porcentaje de ventas por vendedor", y = 1.8, fontdict = {"fontsize": 30 })
plt.show()
df_monto_vendedor
weekint64
54 - 79
quantityint64
54 - 79
Arnold Kilkenny
68
68
Aveline Swanwick
75
75
Brockie Patience
57
57
Cirilo Grandham
62
62
Cornie Wynrehame
70
70
Daisie Slograve
72
72
Ewell Peres
66
66
Janel O'Curran
79
79
Jase Doy
73
73
Kati Innot
63
63
En promedio todos vendieron no más de un 8% y no menos de un 5%
Como conclusión se puede observar que los paises con más ventas fueron Brasil y Peru, ventas de tipo electrónicas, y que los vendedores se mantienen entre un 5 y 8% de ventas, además que las ventas van disminuyendo a medida que pasan las semanas