Čiščenje in obdelava podatkov
V tem notebooku, je prikazan celoten postopek, kako smo pridobili očiščen dataset, vseh kriptovalut pridobljenih iz spletne strani coinGecko
Importi knjižnic za obdelavo
import pandas as pd
import numpy as np
import requests
import matplotlib.pyplot as plt
import ast
import re
import statsmodels.api as sm
pd.set_option('display.precision', 10)
pd.set_option('display.float_format', '{:.4f}'.format)
import podatkov od web scrapinga
Tabela 1 - Uvoz podatkov od web scrapinga
df1 = pd.read_csv('data_main.csv', delimiter=";")
df1
df1.drop(columns=["Unnamed: 0"], inplace=True)
df1
df1.info()
df1.columns
df1["Name_for_merge"] = df1.data_url.apply(lambda x : x.split("/")[-1])
df1
Tabela 2 - Uvoz podatkov od web scrapinga
Uvozimo tabele in jih združimo v enotni dataFrame
ddf1 = pd.read_csv("ds1.csv", delimiter=";")
ddf2 = pd.read_csv("ds_missing_result2.csv",delimiter=";")
ddf3 = pd.read_csv("ds3.csv", delimiter=",", quotechar='"', engine='python')
ddf4 = pd.read_csv("ds4.csv", delimiter=",", quotechar='"', engine='python')
ddf5 = pd.read_csv("ds5.csv", delimiter=",", quotechar='"', engine='python')
ddf6 = pd.read_csv("ds6.csv", delimiter=";")
ddf7 = pd.read_csv("ds7.csv", delimiter=";")
ddf8 = pd.read_csv("ds8.csv", delimiter=",", quotechar='"', engine='python')
ddf9 = pd.read_csv("ds9.csv", delimiter=",", quotechar='"', engine='python')
ddf10 = pd.read_csv("ds_missing_result3.csv",delimiter=";")
df2 = pd.concat([ddf1,ddf2, ddf3, ddf4, ddf5, ddf6, ddf7, ddf8, ddf9, ddf10])
df2
Odstranimo nepomembne stolpce
df2.drop(columns=["API ID", "Unnamed: 0"], inplace=True)
df2
Pogledamo če je kakšna vrstica brez podatkov
df_tmp = df1[~df1["Name_for_merge"].isin(df2['index'])]
df_tmp
Združevanje tabel
Naredimo inner merge tabel po stolpcu name in obdržimo samo prvi duplikat
merged_df = pd.merge(df1, df2, left_on='Name_for_merge', right_on='index', how='inner')
merged_df = merged_df[~merged_df['Name_for_merge'].duplicated(keep='first')]
merged_df
merged_df.columns
Tam kjer nismo v prvi tabeli pridobili cene uporabimo ceno iz 2 tabele
merged_df.loc[merged_df["price"] == "-", "price"] = merged_df.loc[merged_df["price"] == "-", "price_2"]
Odstranimo nepotrebne in podvojene stolpce
merged_df.drop(columns=["Name_for_merge", "Market Cap Rank", "index", "price_2", "All-Time Low"], inplace=True)
merged_df.columns
Preimenujemo v df
df = merged_df
Urejanje Združenega dataseta
Uporabljene metode
# Funkcija za pretvorbo niza v seznam URL-jev
def niz_v_seznam(niz):
try:
# Uporaba ast.literal_eval za pretvorbo niza v seznam
rezultat = ast.literal_eval(niz)
if isinstance(rezultat, list):
return rezultat
else:
return None
except:
return None
# Funkcija za pretvorbo niza, ki izgleda kot seznam, v URL string
def niz_v_url(niz):
try:
seznam = ast.literal_eval(niz)
return seznam[0] if isinstance(seznam, list) and seznam else None
except:
return None
# Funkcija za pretvorbo niza v seznam zadnjih segmentov
def pridobi_zadnje_segmente(niz):
try:
url_seznam = ast.literal_eval(niz)
# Izvlečemo zadnje segmente za vsak URL
zadnji_segmenti = [url.split('/')[-1] for url in url_seznam if url]
return zadnji_segmenti
except:
return []
Stolpec "Rank" nastavimo za ID, saj je sam po sebi unikaten. Predstavlja rangiranje kriptovalut glede na velikost tržne kapitalizacije (ang. Market cap)
df.set_index(df["rank"], drop=True)
df.sort_index()
Izpis za pregled
df
df.info()
Izpis trenutnih stolpcev
df.columns
Preimenujemo stolpce v slovenske
preimenovanja = {
'rank': 'Rank',
'name': 'Ime',
'data_url': 'Url_podatkov',
'ticker': 'Oznaka',
'price': 'Cena',
'change_1h': 'Sprememba_1h',
'change_24h': 'Sprememba_24h',
'Website': 'Spletna_stran',
'Explorers': 'Raziskovalci',
'Wallets': 'Denarnice',
'Community': 'Skupnost',
'Search on': 'Twitter_tag_link',
'Source Code': 'Izvorna_koda',
'Categories': 'Kategorije',
'Market Cap': 'Trzna_kapitalizacija',
'Market Cap / FDV': 'Trzna_kapitalizacija_FDV',
'24 Hour Trading Vol': '24urni_obseg_trgovanja',
'Fully Diluted Valuation': 'Popolnoma_razredceno_vrednotenje',
'Circulating Supply': 'Obtocna_ponudba',
'Total Supply': 'Skupna_ponudba',
'Max Supply': 'Maksimalna_ponudba',
'Chains': 'Verige',
'Contract': 'Pogodba',
'Market Cap / TVL Ratio': 'Razmerje_trzna_kapitalizacija_TVL',
'Total Value Locked (TVL)': 'Skupna_vrednost_zaklenjena',
'Fully Diluted Valuation / TVL Ratio': 'Razmerje_popolnoma_razredceno_vrednotenje_TVL',
'Liquidity': 'Likvidnost',
'24 Hour Transaction Count': 'Stevilo_transakcij_v_24_urah',
'24h Low / 24h High': '24urni_min_max',
'7d Low / 7d High': '7dnevni_min_max',
'Trading Volume': 'Obseg_trgovanja',
'Market Cap Dominance': 'Dominanca_tržne_kapitalizacije',
'Volume / Market Cap': 'Obseg_tržna_kapitalizacija',
'All-Time High': 'Najvisja_cena'
}
df.rename(columns=preimenovanja, inplace=True)
df.columns
Shranimo tečaj USD/EUR za pretvorbo v naslednjih korakih - PRETVORNIK PRIDOBLJEN 27.12.2023
tecaj_usd_eur = 0.9072
Urejanje stolpca Cena
Podatki pred urejanjem
df.Cena.head()
Urejanje podatkov in izpis urejenih
# Neveljavne cene nastavimo na None
df.loc[df.Cena == "-", "Cena"] = None
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Cena = df.Cena.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float64
df.Cena = np.abs(pd.to_numeric(df.Cena, errors='coerce').astype(np.longdouble))
# Pretvorimo vrednosti iz USD v EUR
df.Cena *= tecaj_usd_eur
# Izpis
df.Cena.head()
Vizualizacija podatkov
# Izris točkovnega grafikona
plt.scatter(df.index, df['Cena'], alpha=0.5)
plt.title('Cene kriptovalut v EUR')
plt.yscale("log")
plt.xlabel('Rang kriptovalute')
plt.ylabel('Cena v EUR')
plt.grid(True)
plt.show()
print("Najdražja kripto valuta")
print(df.loc[df.Cena.idxmax()].Ime)
print(f'Cena {df.loc[df.Cena.idxmax()].Cena} €')
print(df.loc[df.Cena.idxmax()].Url_podatkov)
print("Najcenejša kripto valuta")
print(df.loc[df.Cena.idxmin()].Ime)
print(f'Cena {df.loc[df.Cena.idxmin()].Cena} €')
print(df.loc[df.Cena.idxmin()].Url_podatkov)
print(df.Cena.idxmin())
Urejanje stolpca Url_podatkov
Podatki pred urejanjem
df.Url_podatkov.head()
Urejanje podatkov in izpis urejenih
# Pretvorba v podatkovni tip np.str_
df.Url_podatkov = df.Url_podatkov.astype(np.str_)
# Dodajanje osnovnega url-ja endpointom
df.Url_podatkov = df.Url_podatkov.apply(lambda x : "https://www.coingecko.com" + x)
# Odstranimo presledke
df.Url_podatkov = df.Url_podatkov.str.strip()
# Izpis
df.Url_podatkov.head()
Urejanje stolpca Ime
Podatki pred urejanjem
df.Ime.head()
Urejanje podatkov in izpis urejenih
# Podatkovni tip spremenimo v np.str_
df.Ime = df.Ime.astype(np.str_)
# Odstranimo presledke
df.Ime = df.Ime.str.strip()
# Prve črke zapišemo z veliko črko
df.Ime = df.Ime.str.capitalize()
#Izpis
df.Ime.head()
Urejanje stolpca Oznaka
Podatki pred urejanjem
df.Oznaka.head()
Urejanje podatkov in izpis urejenih
# Podatkovni tip spremenimo v np.str_
df.Oznaka = df.Oznaka.astype(np.str_)
# Odstranimo presledke
df.Oznaka = df.Oznaka.str.strip()
# Prve črke zapišemo z velikimi črkami
df.Oznaka = df.Oznaka.str.upper()
df.Oznaka.head()
Urejanje stolpca Sprememba_1h
Podatki pred urejanjem
df.Sprememba_1h.head()
Urejanje podatkov in izpis urejenih
# Odstranjevanje odstotkovnega znaka in pretvorba v np.float64
df.Sprememba_1h = df.Sprememba_1h.str.replace('%', '').astype(np.float64)
# Sprememba vrednosti iz odstotkov v decimalno obliko
df.Sprememba_1h = np.round(np.divide(df.Sprememba_1h, 100), 3)
# Izpis
df.Sprememba_1h.head()
Urejanje stolpca Sprememba_24h
Podatki pred urejanjem
df.Sprememba_24h.head()
Urejanje podatkov in izpis urejenih
# Odstranjevanje odstotkovnega znaka in pretvorba v np.float64
df.Sprememba_24h = df.Sprememba_24h.str.replace('%', '').astype(np.float64)
# Sprememba vrednosti iz odstotkov v decimalno obliko
df.Sprememba_24h = np.round(np.divide(df.Sprememba_24h, 100), 3)
# Izpis
df.Sprememba_24h.head()
Urejanje stolpca Spletna_stran
Podatki pred urejanjem
df.Spletna_stran.head()
Urejanje podatkov in izpis urejenih
# Pretvorimo nize URL-jev v seznam
df.Spletna_stran = df.Spletna_stran.apply(niz_v_seznam)
# Pretvorimo v niz ali None
df.Spletna_stran = df.Spletna_stran.apply(lambda x: ', '.join(map(str, x)) if isinstance(x, list) and x else "")
# Izpis
df.Spletna_stran.head()
Urejanje stolpca Raziskovalci
Podatki pred urejanjem
df.Raziskovalci.head()
Urejanje podatkov in izpis urejenih
# Pretvorimo nize URL-jev v seznam
df.Raziskovalci = df.Raziskovalci.apply(niz_v_seznam)
# Pretvorimo v niz ali None
df.Raziskovalci = df.Raziskovalci.apply(lambda x: ', '.join(map(str, x)) if isinstance(x, list) and x else "")
# Izpis
df.Raziskovalci.head()
Urejanje stolpca Denarnice
Podatki pred urejanjem
df.Denarnice.head()
Urejanje podatkov in izpis urejenih
# Pretvorimo nize URL-jev v seznam
df.Denarnice = df.Denarnice.apply(niz_v_seznam)
# Pretvorimo v niz ali None
df.Denarnice = df.Denarnice.apply(lambda x: ', '.join(map(str, x)) if isinstance(x, list) and x else "")
# Izpis
df.Denarnice.head()
Urejanje stolpca Skupnost
Podatki pred urejanjem
df.Skupnost.head()
Urejanje podatkov in izpis urejenih
# Pretvorimo nize URL-jev v seznam
df.Skupnost = df.Skupnost.apply(niz_v_seznam)
# Pretvorimo v niz ali None
df.Skupnost = df.Skupnost.apply(lambda x: ', '.join(map(str, x)) if isinstance(x, list) and x else "")
# Izpis
df.Skupnost.head()
Urejanje stolpca Twitter_tag_link
Podatki pred urejanjem
df.Twitter_tag_link.head()
Urejanje podatkov in izpis urejenih
# Pretvorimo seznam URL v niz
df.Twitter_tag_link = df.Twitter_tag_link.apply(niz_v_url)
df.Twitter_tag_link = df.Twitter_tag_link.astype(np.str_)
# None nastavimo na prazen string
df.loc[df.Twitter_tag_link == "None", 'Twitter_tag_link'] = ""
df.loc[df.Twitter_tag_link == "NaN", 'Twitter_tag_link'] = ""
df.loc[df.Twitter_tag_link == "-", 'Twitter_tag_link'] = ""
# Izpis
df.Twitter_tag_link.head()
Urejanje stolpca Izvorna_koda
Podatki pred urejanjem
df.Izvorna_koda.head()
Urejanje podatkov in izpis urejenih
# Pretvorimo seznam URL v niz
df.Izvorna_koda = df.Izvorna_koda.apply(niz_v_url)
df.Izvorna_koda = df.Izvorna_koda.astype(np.str_)
# None nastavimo na prazen string
df.loc[df.Izvorna_koda == "None", 'Izvorna_koda'] = ""
df.loc[df.Izvorna_koda == "NaN", 'Izvorna_koda'] = ""
df.loc[df.Izvorna_koda == "-", 'Izvorna_koda'] = ""
# Izpis
df.Izvorna_koda.head()
Urejanje stolpca Kategorije
Podatki pred urejanjem
df.Kategorije.head()
Urejanje podatkov in izpis urejenih
# Odstranimo nepotrebno predpono iz kategorije
df.Kategorije = df.Kategorije.apply(pridobi_zadnje_segmente)
# shranjevanje kot kategorije
df.Kategorije = df.Kategorije.apply(lambda x: ', '.join(x)).astype('category')
# None nastavimo na prazen string
df.loc[df.Kategorije == "None", 'Kategorije'] = ""
df.loc[df.Kategorije == "-", 'Kategorije'] = ""
df.loc[df.Kategorije == "NaN", 'Kategorije'] = ""
# Izpis
df.Kategorije.head()
Urejanje stolpca Trzna_kapitalizacija
Podatki pred urejanjem
df.Trzna_kapitalizacija.head()
Urejanje podatkov in izpis urejenih
# Neskončne vrednosti nastavimo na np.inf
df.loc[df.Trzna_kapitalizacija == "∞", 'Trzna_kapitalizacija'] = np.inf
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Trzna_kapitalizacija = df.Trzna_kapitalizacija.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df.Trzna_kapitalizacija = pd.to_numeric(df.Trzna_kapitalizacija, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Trzna_kapitalizacija.isna(), 'Trzna_kapitalizacija'] = None
# Pretvorimo vrednosti iz USD v EUR
df.Trzna_kapitalizacija *= tecaj_usd_eur
# Izpis
df.Trzna_kapitalizacija.head()
Urejanje stolpca Trzna_kapitalizacija_FDV
Podatki pred urejanjem
df.Trzna_kapitalizacija_FDV.head()
Urejanje podatkov in izpis urejenih
# Neskončne vrednosti nastavimo na np.inf
df.loc[df.Trzna_kapitalizacija_FDV == "∞", 'Trzna_kapitalizacija_FDV'] = np.inf
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Trzna_kapitalizacija_FDV = df.Trzna_kapitalizacija_FDV.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df.Trzna_kapitalizacija_FDV = pd.to_numeric(df.Trzna_kapitalizacija_FDV, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Trzna_kapitalizacija_FDV.isna(), 'Trzna_kapitalizacija_FDV'] = None
df.Trzna_kapitalizacija_FDV.head()
Urejanje stolpca 24urni_obseg_trgovanja
Podatki pred urejanjem
df["24urni_obseg_trgovanja"].head()
Urejanje podatkov in izpis urejenih
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df["24urni_obseg_trgovanja"] = df["24urni_obseg_trgovanja"].replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df["24urni_obseg_trgovanja"] = pd.to_numeric(df["24urni_obseg_trgovanja"], errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df["24urni_obseg_trgovanja"].isna(), '24urni_obseg_trgovanja'] = None
# Pretvorimo vrednosti iz USD v EUR
df["24urni_obseg_trgovanja"] *= tecaj_usd_eur
# Izpis
df["24urni_obseg_trgovanja"].head()
Urejanje stolpca Popolnoma_razredceno_vrednotenje
Podatki pred urejanjem
df.Popolnoma_razredceno_vrednotenje.head()
Urejanje podatkov in izpis urejenih
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Popolnoma_razredceno_vrednotenje = df.Popolnoma_razredceno_vrednotenje.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df.Popolnoma_razredceno_vrednotenje = pd.to_numeric(df.Popolnoma_razredceno_vrednotenje, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Popolnoma_razredceno_vrednotenje.isna(), 'Popolnoma_razredceno_vrednotenje'] = None
# Pretvorimo vrednosti iz USD v EUR
df.Popolnoma_razredceno_vrednotenje *= tecaj_usd_eur
# Izpis
df.Popolnoma_razredceno_vrednotenje.head()
Urejanje stolpca Obtocna_ponudba
Podatki pred urejanjem
df.Obtocna_ponudba.head()
Urejanje podatkov in izpis urejenih
# Neskončne vrednosti nastavimo na np.inf
df.loc[df.Obtocna_ponudba == "∞", 'Obtocna_ponudba'] = np.inf
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Obtocna_ponudba = df.Obtocna_ponudba.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df.Obtocna_ponudba = pd.to_numeric(df.Obtocna_ponudba, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Obtocna_ponudba.isna(), 'Obtocna_ponudba'] = None
# Pretvorimo vrednosti iz USD v EUR
df.Obtocna_ponudba *= tecaj_usd_eur
# Izpis
df.Obtocna_ponudba.head()
Urejanje stolpca Skupna_ponudba
Podatki pred urejanjem
df.Skupna_ponudba.head()
Urejanje podatkov in izpis urejenih
# Neskončne vrednosti nastavimo na np.inf
df.loc[df.Skupna_ponudba == "∞", 'Skupna_ponudba'] = np.inf
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Skupna_ponudba = df.Skupna_ponudba.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df.Skupna_ponudba = pd.to_numeric(df.Skupna_ponudba, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Skupna_ponudba.isna(), 'Skupna_ponudba'] = None
# Pretvorimo vrednosti iz USD v EUR
df.Skupna_ponudba *= tecaj_usd_eur
# Izpis
df.Skupna_ponudba.head()
Urejanje stolpca Maksimalna_ponudba
Podatki pred urejanjem
df.Maksimalna_ponudba.head()
Urejanje podatkov in izpis urejenih
# Neskončne vrednosti nastavimo na np.inf
df.loc[df.Maksimalna_ponudba == "∞", 'Maksimalna_ponudba'] = np.inf
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Maksimalna_ponudba = df.Maksimalna_ponudba.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df.Maksimalna_ponudba = pd.to_numeric(df.Maksimalna_ponudba, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Maksimalna_ponudba.isna(), 'Maksimalna_ponudba'] = None
# Pretvorimo vrednosti iz USD v EUR
df.Maksimalna_ponudba *= tecaj_usd_eur
# Izpis
df.Maksimalna_ponudba.head()
Urejanje stolpca Verige
Podatki pred urejanjem
df.Verige.head()
Urejanje podatkov in izpis urejenih
# Odstranimo nepotrebno predpono iz kategorije
df.Verige = df.Verige.apply(pridobi_zadnje_segmente)
# shranjevanje kot kategorije
df.Verige = df.Verige.apply(lambda x: ', '.join(x)).astype('category')
# None nastavimo na prazen string
df.loc[df.Kategorije == "None", 'Kategorije'] = ""
df.loc[df.Kategorije == "NaN", 'Kategorije'] = ""
df.loc[df.Kategorije == "-", 'Kategorije'] = ""
# Izpis
df.Verige.head()
Urejanje stolpca Pogodba
Podatki pred urejanjem
df.Pogodba.head()
Urejanje podatkov in izpis urejenih
# Pretvorimo nize URL-jev v seznam
df.Pogodba = df.Pogodba.apply(niz_v_seznam)
# Pretvorimo v niz ali None
df.Pogodba = df.Pogodba.apply(lambda x: ', '.join(map(str, x)) if isinstance(x, list) and x else "")
# Izpis
df.Pogodba.head()
Urejanje stolpca Razmerje_trzna_kapitalizacija_TVL
Podatki pred urejanjem
df.Razmerje_trzna_kapitalizacija_TVL[df.Razmerje_trzna_kapitalizacija_TVL.notna()].head()
Urejanje podatkov in izpis urejenih
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Razmerje_trzna_kapitalizacija_TVL = df.Razmerje_trzna_kapitalizacija_TVL.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df.Razmerje_trzna_kapitalizacija_TVL = pd.to_numeric(df.Razmerje_trzna_kapitalizacija_TVL, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Razmerje_trzna_kapitalizacija_TVL.isna(), 'Razmerje_trzna_kapitalizacija_TVL'] = None
# Izpis
df.Razmerje_trzna_kapitalizacija_TVL[df.Razmerje_trzna_kapitalizacija_TVL.notna()].head()
df.Razmerje_trzna_kapitalizacija_TVL[df.Razmerje_trzna_kapitalizacija_TVL.notna()]
plt.plot(df.Razmerje_trzna_kapitalizacija_TVL[df.Razmerje_trzna_kapitalizacija_TVL.notna()].index, df.Razmerje_trzna_kapitalizacija_TVL[df.Razmerje_trzna_kapitalizacija_TVL.notna()].values)
plt.yscale("log")
plt.show()
Urejanje stolpca Skupna_vrednost_zaklenjena
Podatki pred urejanjem
df.Skupna_vrednost_zaklenjena[df.Skupna_vrednost_zaklenjena.notna()].head()
Urejanje podatkov in izpis urejenih
# Neskončne vrednosti nastavimo na np.inf
df.loc[df.Skupna_vrednost_zaklenjena == "∞", 'Skupna_vrednost_zaklenjena'] = np.inf
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Skupna_vrednost_zaklenjena = df.Skupna_vrednost_zaklenjena.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df.Skupna_vrednost_zaklenjena = pd.to_numeric(df.Skupna_vrednost_zaklenjena, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Skupna_vrednost_zaklenjena.isna(), 'Skupna_vrednost_zaklenjena'] = None
# Pretvorimo vrednosti iz USD v EUR
df.Skupna_vrednost_zaklenjena *= tecaj_usd_eur
# Izpis
df.Skupna_vrednost_zaklenjena[df.Skupna_vrednost_zaklenjena.notna()].head()
# Uporaba točkovnega grafikona
plt.scatter(df.Skupna_vrednost_zaklenjena.index, df.Skupna_vrednost_zaklenjena.values, alpha=0.5)
# Nastavitev logaritemske lestvice
plt.yscale("log")
# Dodajanje oznak in naslova
plt.xlabel("Rank")
plt.ylabel("Skupna zaklenjena vrednost")
# Dodajanje mreže
plt.grid(True)
# Prikaz grafikona
plt.show()
Urejanje stolpca Razmerje_popolnoma_razredceno_vrednotenje_TVL
Podatki pred urejanjem
df.Razmerje_popolnoma_razredceno_vrednotenje_TVL[df.Razmerje_popolnoma_razredceno_vrednotenje_TVL.notna()].head()
Urejanje podatkov in izpis urejenih
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Razmerje_popolnoma_razredceno_vrednotenje_TVL = df.Razmerje_popolnoma_razredceno_vrednotenje_TVL.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df.Razmerje_popolnoma_razredceno_vrednotenje_TVL = pd.to_numeric(df.Razmerje_popolnoma_razredceno_vrednotenje_TVL, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Razmerje_popolnoma_razredceno_vrednotenje_TVL.isna(), 'Razmerje_popolnoma_razredceno_vrednotenje_TVL'] = None
# Izpis
df.Razmerje_popolnoma_razredceno_vrednotenje_TVL[df.Razmerje_popolnoma_razredceno_vrednotenje_TVL.notna()].head()
Urejanje stolpca Likvidnost
Podatki pred urejanjem
df.Likvidnost[df.Likvidnost.notna()].head()
Urejanje podatkov in izpis urejenih
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Likvidnost = df.Likvidnost.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df.Likvidnost = pd.to_numeric(df.Likvidnost, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Likvidnost.isna(), 'Likvidnost'] = None
# Pretvorimo vrednosti iz USD v EUR
df.Likvidnost *= tecaj_usd_eur
# Izpis
df.Likvidnost[df.Likvidnost.notna()].head()
Urejanje stolpca Stevilo_transakcij_v_24_urah
Podatki pred urejanjem
df.Stevilo_transakcij_v_24_urah[df.Stevilo_transakcij_v_24_urah.notna()].head()
Urejanje podatkov in izpis urejenih
# Pretvorba v podatkovni tip np.float128
df.Stevilo_transakcij_v_24_urah = pd.to_numeric(df.Stevilo_transakcij_v_24_urah, errors='coerce').astype(np.float16)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Stevilo_transakcij_v_24_urah.isna(), 'Stevilo_transakcij_v_24_urah'] = None
# Izpis
df.Stevilo_transakcij_v_24_urah[df.Stevilo_transakcij_v_24_urah.notna()].head()
Urejanje stolpca 24urni_min_max
Podatki pred urejanjem
df["24urni_min_max"].head()
Urejanje podatkov in izpis urejenih
# Očistnimo neveljavne vrednosti
df.loc[df["24urni_min_max"] == "-", '24urni_min_max'] = None
df.loc[df["24urni_min_max"] == "NaN", '24urni_min_max'] = None
df.loc[df["24urni_min_max"] == "None", '24urni_min_max'] = None
df.loc[df["24urni_min_max"] == "nan", '24urni_min_max'] = None
df["24urni_min_max"] = df["24urni_min_max"].astype(np.str_)
df["24_urni_min"] = df["24urni_min_max"].apply(lambda x : x.split("/")[0] if ((x != None) & ("/" in x)) else None)
df["24_urni_max"] = df["24urni_min_max"].apply(lambda x : x.split("/")[1] if ((x != None) & ("/" in x)) else None)
# Odstranimo stari stolpec
merged_df.drop(columns=["24urni_min_max"], inplace=True)
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float64
df["24_urni_max"] = df["24_urni_max"].replace({"\\$": "", ",": ""}, regex=True)
df["24_urni_min"] = df["24_urni_min"].replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df["24_urni_max"] = pd.to_numeric(df["24_urni_max"], errors='coerce').astype(np.float64)
df["24_urni_min"] = pd.to_numeric(df["24_urni_min"], errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df["24_urni_max"].isna(), '24_urni_max'] = None
df.loc[df["24_urni_min"].isna(), '24_urni_min'] = None
# Pretvorimo vrednosti iz USD v EUR
df["24_urni_max"] *= tecaj_usd_eur
df["24_urni_min"] *= tecaj_usd_eur
df[["24_urni_min", "24_urni_max"]].head()
Urejanje stolpca Najvisja_cena
Podatki pred urejanjem
df.Najvisja_cena.head()
Delitev podatkov na 2 stolpca
# Očistnimo neveljavne vrednosti
df.loc[df.Najvisja_cena == "-", 'Najvisja_cena'] = None
df.loc[df.Najvisja_cena == "NaN", 'Najvisja_cena'] = None
df.loc[df.Najvisja_cena == "None", 'Najvisja_cena'] = None
df.loc[df.Najvisja_cena == "nan", 'Najvisja_cena'] = None
# Razdelimo podatke v stolpca najnižja_cena in Najnizja_cena_datum
razdeljene_vrednosti = df.Najvisja_cena.str.split("%", expand=True).astype(np.str_)
df["Najvisja_cena"] = razdeljene_vrednosti[0]
df["Najvisja_cena_datum"] = razdeljene_vrednosti[1]
df[["Najvisja_cena", "Najvisja_cena_datum"]].head()
Urejanje stolpca Najvisja_cena in izpis
Stolpec razdelimo še v 2 - Najvišja_cena ter Procent_od_najvišje_cene
razdeljene_vrednosti = df.Najvisja_cena.str.split("-", expand=True).astype(np.str_)
df["Najvisja_cena"] = razdeljene_vrednosti[0]
df["Procent_od_najvisje_cene"] = razdeljene_vrednosti[1]
Urejanje stolpca Procent_od_najvišje_cene in izpis
df.Procent_od_najvisje_cene.head()
# Spremenimo v podatkovni tip float64
df.Procent_od_najvisje_cene = pd.to_numeric(df.Procent_od_najvisje_cene, errors='coerce').astype(np.float64)
# Sprememba vrednosti iz odstotkov v decimalno obliko
df.Procent_od_najvisje_cene = np.divide(df.Procent_od_najvisje_cene, 100)
# Izpis
df.Procent_od_najvisje_cene.head()
Urejanje stolpca Najvisja_cena
df.Najvisja_cena.head()
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Najvisja_cena = df.Najvisja_cena.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float64
df.Najvisja_cena = pd.to_numeric(df.Najvisja_cena, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Najvisja_cena.isna(), 'Najvisja_cena'] = None
# Pretvorimo vrednosti iz USD v EUR
df.Najvisja_cena *= tecaj_usd_eur
df.Najvisja_cena.head()
Urejanje stolpca Najvisja_cena_datum in izpis
df.Najvisja_cena_datum.head()
# Očistnimo neveljavne vrednosti
df.loc[df.Najvisja_cena_datum == "-", 'Najvisja_cena_datum'] = None
df.loc[df.Najvisja_cena_datum == "NaN", 'Najvisja_cena_datum'] = None
df.loc[df.Najvisja_cena_datum == "None", 'Najvisja_cena_datum'] = None
df.loc[df.Najvisja_cena_datum == "nan", 'Najvisja_cena_datum'] = None
# Vzamemo samo datum
df["Najvisja_cena_datum"] = df["Najvisja_cena_datum"].apply(lambda x: x.split("(")[0].strip() if x is not None else None)
# Pretvorimo v datetime format
df.Najvisja_cena_datum = df.Najvisja_cena_datum.astype(np.datetime64)
# Ohranimo samo datum brez ure
df['Najvisja_cena_datum'] = df['Najvisja_cena_datum'].dt.date
# Izpis
df.Najvisja_cena_datum.head()
Urejanje stolpca Obseg_tržna_kapitalizacija
Podatki pred urejanjem
df.Obseg_tržna_kapitalizacija.head()
Urejanje stolpca in izpis
# Spremenimo podatkovni tip v float64
df.Obseg_tržna_kapitalizacija = pd.to_numeric(df.Obseg_tržna_kapitalizacija, errors='coerce').astype(np.float64)
# Izpis
df.Obseg_tržna_kapitalizacija.head()
Urejanje stolpca Dominanca_tržne_kapitalizacije
Podatki pred urejanjem
df.Dominanca_tržne_kapitalizacije.head()
Urejanje stolpca in izpis
# Odstranjevanje odstotkovnega znaka in pretvorba v np.float64
df.Dominanca_tržne_kapitalizacije = df.Dominanca_tržne_kapitalizacije.str.replace('%', '').astype(np.float64)
# Sprememba vrednosti iz odstotkov v decimalno obliko
df.Dominanca_tržne_kapitalizacije = np.round(np.divide(df.Dominanca_tržne_kapitalizacije, 100), 3)
# Neveljavne vrednosti nastavimo na 0, ker imajo dominance
df.loc[df.Dominanca_tržne_kapitalizacije.isna(), 'Dominanca_tržne_kapitalizacije'] = 0.0
# Izpis
df.Dominanca_tržne_kapitalizacije.head()
Urejanje stolpca Obseg_trgovanja
Podatki pred urejanjem
df.Obseg_trgovanja.head()
Urejanje stolpca in izpis
# Neskončne vrednosti nastavimo na np.inf
df.loc[df.Obseg_trgovanja == "∞", 'Obseg_trgovanja'] = np.inf
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df.Obseg_trgovanja = df.Obseg_trgovanja.replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float128
df.Obseg_trgovanja = pd.to_numeric(df.Obseg_trgovanja, errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df.Obseg_trgovanja.isna(), 'Obseg_trgovanja'] = None
# Pretvorimo vrednosti iz USD v EUR
df.Obseg_trgovanja *= tecaj_usd_eur
# Izpis
df.Obseg_trgovanja.head()
Urejanje stolpca 7dnevni_min_max
Podatki pred urejanjem
df["7dnevni_min_max"].head()
Razdelimo v 2 stolpca 7dnevni_max in 7_dnevni_min
# Očistnimo neveljavne vrednosti
df.loc[df["7dnevni_min_max"] == "-", '7dnevni_min_max'] = None
df.loc[df["7dnevni_min_max"] == "NaN", '7dnevni_min_max'] = None
df.loc[df["7dnevni_min_max"] == "None", '7dnevni_min_max'] = None
df.loc[df["7dnevni_min_max"] == "nan", '7dnevni_min_max'] = None
# Razdelimo podatke v stolpca najnižja_cena in Najnizja_cena_datum
razdeljene_vrednosti = df["7dnevni_min_max"].str.split("/", expand=True).astype(np.str_)
df["7dnevni_min"] = razdeljene_vrednosti[0]
df["7dnevni_max"] = razdeljene_vrednosti[1]
# Odstranimo stari stolpec
merged_df.drop(columns=["7dnevni_min_max"], inplace=True)
df[["7dnevni_min", "7dnevni_max"]].head()
Urejanje stolpca 7dnevni_min in izpis
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df["7dnevni_min"] = df["7dnevni_min"].replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float64
df["7dnevni_min"] = pd.to_numeric(df["7dnevni_min"], errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df["7dnevni_min"].isna(), '7dnevni_min'] = None
# Pretvorimo vrednosti iz USD v EUR
df["7dnevni_min"] *= tecaj_usd_eur
# Izpis
df["7dnevni_min"].head()
Urejanje stolpca 7dnevni_max in izpis
# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float
df["7dnevni_max"] = df["7dnevni_max"].replace({"\\$": "", ",": ""}, regex=True)
# Pretvorba v podatkovni tip np.float64
df["7dnevni_max"] = pd.to_numeric(df["7dnevni_max"], errors='coerce').astype(np.float64)
# Neveljavne vrednosti nastavimo na None
df.loc[df["7dnevni_max"].isna(), '7dnevni_max'] = None
# Pretvorimo vrednosti iz USD v EUR
df["7dnevni_max"] *= tecaj_usd_eur
# Izpis
df["7dnevni_max"].head()
Shranimo v UPZ_DS_ocisceni.csv
Pregled podatkov
df.info()
Spremenimo vrstni red stolpcev
nov_vrstni_red = [
'Rank', 'Ime', 'Oznaka', 'Cena', 'Sprememba_1h', 'Sprememba_24h',
'Trzna_kapitalizacija', '24urni_obseg_trgovanja', 'Obtocna_ponudba',
'Skupna_ponudba', 'Maksimalna_ponudba', 'Procent_od_najvisje_cene',
'Najvisja_cena', 'Najvisja_cena_datum','7dnevni_min', '7dnevni_max',
'24_urni_min', '24_urni_max', 'Url_podatkov', 'Pogodba', 'Spletna_stran',
'Raziskovalci', 'Skupnost', 'Twitter_tag_link', 'Verige', 'Kategorije',
'Trzna_kapitalizacija_FDV', 'Razmerje_trzna_kapitalizacija_TVL',
'Popolnoma_razredceno_vrednotenje', 'Skupna_vrednost_zaklenjena',
'Razmerje_popolnoma_razredceno_vrednotenje_TVL', 'Obseg_tržna_kapitalizacija',
'Dominanca_tržne_kapitalizacije', 'Obseg_trgovanja', 'Izvorna_koda',
'Denarnice', 'Likvidnost', 'Stevilo_transakcij_v_24_urah'
]
# Uporabimo nov vrstni red za DataFrame
df = df[nov_vrstni_red]
len(nov_vrstni_red)
df.columns
Shranimo podatke v csv
df.to_csv("UPZ_OCISCENI_DATASET.csv", sep=";", encoding='utf-8-sig', float_format='%.10f')
Izpis
df