Čiščenje in obdelava podatkov

V tem notebooku, je prikazan celoten postopek, kako smo pridobili očiščen dataset, vseh kriptovalut pridobljenih iz spletne strani coinGecko

Importi knjižnic za obdelavo

import pandas as pd import numpy as np import requests import matplotlib.pyplot as plt import ast import re import statsmodels.api as sm pd.set_option('display.precision', 10) pd.set_option('display.float_format', '{:.4f}'.format)

import podatkov od web scrapinga

Tabela 1 - Uvoz podatkov od web scrapinga

df1 = pd.read_csv('data_main.csv', delimiter=";") df1

df1.drop(columns=["Unnamed: 0"], inplace=True) df1

df1.info()

df1.columns

df1["Name_for_merge"] = df1.data_url.apply(lambda x : x.split("/")[-1]) df1

Tabela 2 - Uvoz podatkov od web scrapinga

Uvozimo tabele in jih združimo v enotni dataFrame

ddf1 = pd.read_csv("ds1.csv", delimiter=";") ddf2 = pd.read_csv("ds_missing_result2.csv",delimiter=";") ddf3 = pd.read_csv("ds3.csv", delimiter=",", quotechar='"', engine='python') ddf4 = pd.read_csv("ds4.csv", delimiter=",", quotechar='"', engine='python') ddf5 = pd.read_csv("ds5.csv", delimiter=",", quotechar='"', engine='python') ddf6 = pd.read_csv("ds6.csv", delimiter=";") ddf7 = pd.read_csv("ds7.csv", delimiter=";") ddf8 = pd.read_csv("ds8.csv", delimiter=",", quotechar='"', engine='python') ddf9 = pd.read_csv("ds9.csv", delimiter=",", quotechar='"', engine='python') ddf10 = pd.read_csv("ds_missing_result3.csv",delimiter=";") df2 = pd.concat([ddf1,ddf2, ddf3, ddf4, ddf5, ddf6, ddf7, ddf8, ddf9, ddf10]) df2

Odstranimo nepomembne stolpce

df2.drop(columns=["API ID", "Unnamed: 0"], inplace=True) df2

Pogledamo če je kakšna vrstica brez podatkov

df_tmp = df1[~df1["Name_for_merge"].isin(df2['index'])] df_tmp

Združevanje tabel

Naredimo inner merge tabel po stolpcu name in obdržimo samo prvi duplikat

merged_df = pd.merge(df1, df2, left_on='Name_for_merge', right_on='index', how='inner') merged_df = merged_df[~merged_df['Name_for_merge'].duplicated(keep='first')] merged_df

merged_df.columns

Tam kjer nismo v prvi tabeli pridobili cene uporabimo ceno iz 2 tabele

merged_df.loc[merged_df["price"] == "-", "price"] = merged_df.loc[merged_df["price"] == "-", "price_2"]

Odstranimo nepotrebne in podvojene stolpce

merged_df.drop(columns=["Name_for_merge", "Market Cap Rank", "index", "price_2", "All-Time Low"], inplace=True) merged_df.columns

Preimenujemo v df

df = merged_df

Urejanje Združenega dataseta

Uporabljene metode

# Funkcija za pretvorbo niza v seznam URL-jev def niz_v_seznam(niz): try: # Uporaba ast.literal_eval za pretvorbo niza v seznam rezultat = ast.literal_eval(niz) if isinstance(rezultat, list): return rezultat else: return None except: return None # Funkcija za pretvorbo niza, ki izgleda kot seznam, v URL string def niz_v_url(niz): try: seznam = ast.literal_eval(niz) return seznam[0] if isinstance(seznam, list) and seznam else None except: return None # Funkcija za pretvorbo niza v seznam zadnjih segmentov def pridobi_zadnje_segmente(niz): try: url_seznam = ast.literal_eval(niz) # Izvlečemo zadnje segmente za vsak URL zadnji_segmenti = [url.split('/')[-1] for url in url_seznam if url] return zadnji_segmenti except: return []

Stolpec "Rank" nastavimo za ID, saj je sam po sebi unikaten. Predstavlja rangiranje kriptovalut glede na velikost tržne kapitalizacije (ang. Market cap)

df.set_index(df["rank"], drop=True) df.sort_index()

Izpis za pregled

df.info()

Izpis trenutnih stolpcev

df.columns

Preimenujemo stolpce v slovenske

preimenovanja = { 'rank': 'Rank', 'name': 'Ime', 'data_url': 'Url_podatkov', 'ticker': 'Oznaka', 'price': 'Cena', 'change_1h': 'Sprememba_1h', 'change_24h': 'Sprememba_24h', 'Website': 'Spletna_stran', 'Explorers': 'Raziskovalci', 'Wallets': 'Denarnice', 'Community': 'Skupnost', 'Search on': 'Twitter_tag_link', 'Source Code': 'Izvorna_koda', 'Categories': 'Kategorije', 'Market Cap': 'Trzna_kapitalizacija', 'Market Cap / FDV': 'Trzna_kapitalizacija_FDV', '24 Hour Trading Vol': '24urni_obseg_trgovanja', 'Fully Diluted Valuation': 'Popolnoma_razredceno_vrednotenje', 'Circulating Supply': 'Obtocna_ponudba', 'Total Supply': 'Skupna_ponudba', 'Max Supply': 'Maksimalna_ponudba', 'Chains': 'Verige', 'Contract': 'Pogodba', 'Market Cap / TVL Ratio': 'Razmerje_trzna_kapitalizacija_TVL', 'Total Value Locked (TVL)': 'Skupna_vrednost_zaklenjena', 'Fully Diluted Valuation / TVL Ratio': 'Razmerje_popolnoma_razredceno_vrednotenje_TVL', 'Liquidity': 'Likvidnost', '24 Hour Transaction Count': 'Stevilo_transakcij_v_24_urah', '24h Low / 24h High': '24urni_min_max', '7d Low / 7d High': '7dnevni_min_max', 'Trading Volume': 'Obseg_trgovanja', 'Market Cap Dominance': 'Dominanca_tržne_kapitalizacije', 'Volume / Market Cap': 'Obseg_tržna_kapitalizacija', 'All-Time High': 'Najvisja_cena' } df.rename(columns=preimenovanja, inplace=True) df.columns

Shranimo tečaj USD/EUR za pretvorbo v naslednjih korakih - PRETVORNIK PRIDOBLJEN 27.12.2023

tecaj_usd_eur = 0.9072

Urejanje stolpca Cena

Podatki pred urejanjem

df.Cena.head()

Urejanje podatkov in izpis urejenih

# Neveljavne cene nastavimo na None df.loc[df.Cena == "-", "Cena"] = None # Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Cena = df.Cena.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float64 df.Cena = np.abs(pd.to_numeric(df.Cena, errors='coerce').astype(np.longdouble)) # Pretvorimo vrednosti iz USD v EUR df.Cena *= tecaj_usd_eur # Izpis df.Cena.head()

Vizualizacija podatkov

# Izris točkovnega grafikona plt.scatter(df.index, df['Cena'], alpha=0.5) plt.title('Cene kriptovalut v EUR') plt.yscale("log") plt.xlabel('Rang kriptovalute') plt.ylabel('Cena v EUR') plt.grid(True) plt.show()

print("Najdražja kripto valuta") print(df.loc[df.Cena.idxmax()].Ime) print(f'Cena {df.loc[df.Cena.idxmax()].Cena} €') print(df.loc[df.Cena.idxmax()].Url_podatkov) print("Najcenejša kripto valuta") print(df.loc[df.Cena.idxmin()].Ime) print(f'Cena {df.loc[df.Cena.idxmin()].Cena} €') print(df.loc[df.Cena.idxmin()].Url_podatkov) print(df.Cena.idxmin())

Urejanje stolpca Url_podatkov

Podatki pred urejanjem

df.Url_podatkov.head()

Urejanje podatkov in izpis urejenih

# Pretvorba v podatkovni tip np.str_ df.Url_podatkov = df.Url_podatkov.astype(np.str_) # Dodajanje osnovnega url-ja endpointom df.Url_podatkov = df.Url_podatkov.apply(lambda x : "https://www.coingecko.com" + x) # Odstranimo presledke df.Url_podatkov = df.Url_podatkov.str.strip() # Izpis df.Url_podatkov.head()

Urejanje stolpca Ime

Podatki pred urejanjem

df.Ime.head()

Urejanje podatkov in izpis urejenih

# Podatkovni tip spremenimo v np.str_ df.Ime = df.Ime.astype(np.str_) # Odstranimo presledke df.Ime = df.Ime.str.strip() # Prve črke zapišemo z veliko črko df.Ime = df.Ime.str.capitalize() #Izpis df.Ime.head()

Urejanje stolpca Oznaka

Podatki pred urejanjem

df.Oznaka.head()

Urejanje podatkov in izpis urejenih

# Podatkovni tip spremenimo v np.str_ df.Oznaka = df.Oznaka.astype(np.str_) # Odstranimo presledke df.Oznaka = df.Oznaka.str.strip() # Prve črke zapišemo z velikimi črkami df.Oznaka = df.Oznaka.str.upper() df.Oznaka.head()

Urejanje stolpca Sprememba_1h

Podatki pred urejanjem

df.Sprememba_1h.head()

Urejanje podatkov in izpis urejenih

# Odstranjevanje odstotkovnega znaka in pretvorba v np.float64 df.Sprememba_1h = df.Sprememba_1h.str.replace('%', '').astype(np.float64) # Sprememba vrednosti iz odstotkov v decimalno obliko df.Sprememba_1h = np.round(np.divide(df.Sprememba_1h, 100), 3) # Izpis df.Sprememba_1h.head()

Urejanje stolpca Sprememba_24h

Podatki pred urejanjem

df.Sprememba_24h.head()

Urejanje podatkov in izpis urejenih

# Odstranjevanje odstotkovnega znaka in pretvorba v np.float64 df.Sprememba_24h = df.Sprememba_24h.str.replace('%', '').astype(np.float64) # Sprememba vrednosti iz odstotkov v decimalno obliko df.Sprememba_24h = np.round(np.divide(df.Sprememba_24h, 100), 3) # Izpis df.Sprememba_24h.head()

Urejanje stolpca Spletna_stran

Podatki pred urejanjem

df.Spletna_stran.head()

Urejanje podatkov in izpis urejenih

# Pretvorimo nize URL-jev v seznam df.Spletna_stran = df.Spletna_stran.apply(niz_v_seznam) # Pretvorimo v niz ali None df.Spletna_stran = df.Spletna_stran.apply(lambda x: ', '.join(map(str, x)) if isinstance(x, list) and x else "") # Izpis df.Spletna_stran.head()

Urejanje stolpca Raziskovalci

Podatki pred urejanjem

df.Raziskovalci.head()

Urejanje podatkov in izpis urejenih

# Pretvorimo nize URL-jev v seznam df.Raziskovalci = df.Raziskovalci.apply(niz_v_seznam) # Pretvorimo v niz ali None df.Raziskovalci = df.Raziskovalci.apply(lambda x: ', '.join(map(str, x)) if isinstance(x, list) and x else "") # Izpis df.Raziskovalci.head()

Urejanje stolpca Denarnice

Podatki pred urejanjem

df.Denarnice.head()

Urejanje podatkov in izpis urejenih

# Pretvorimo nize URL-jev v seznam df.Denarnice = df.Denarnice.apply(niz_v_seznam) # Pretvorimo v niz ali None df.Denarnice = df.Denarnice.apply(lambda x: ', '.join(map(str, x)) if isinstance(x, list) and x else "") # Izpis df.Denarnice.head()

Urejanje stolpca Skupnost

Podatki pred urejanjem

df.Skupnost.head()

Urejanje podatkov in izpis urejenih

# Pretvorimo nize URL-jev v seznam df.Skupnost = df.Skupnost.apply(niz_v_seznam) # Pretvorimo v niz ali None df.Skupnost = df.Skupnost.apply(lambda x: ', '.join(map(str, x)) if isinstance(x, list) and x else "") # Izpis df.Skupnost.head()

Urejanje stolpca Twitter_tag_link

Podatki pred urejanjem

df.Twitter_tag_link.head()

Urejanje podatkov in izpis urejenih

# Pretvorimo seznam URL v niz df.Twitter_tag_link = df.Twitter_tag_link.apply(niz_v_url) df.Twitter_tag_link = df.Twitter_tag_link.astype(np.str_) # None nastavimo na prazen string df.loc[df.Twitter_tag_link == "None", 'Twitter_tag_link'] = "" df.loc[df.Twitter_tag_link == "NaN", 'Twitter_tag_link'] = "" df.loc[df.Twitter_tag_link == "-", 'Twitter_tag_link'] = "" # Izpis df.Twitter_tag_link.head()

Urejanje stolpca Izvorna_koda

Podatki pred urejanjem

df.Izvorna_koda.head()

Urejanje podatkov in izpis urejenih

# Pretvorimo seznam URL v niz df.Izvorna_koda = df.Izvorna_koda.apply(niz_v_url) df.Izvorna_koda = df.Izvorna_koda.astype(np.str_) # None nastavimo na prazen string df.loc[df.Izvorna_koda == "None", 'Izvorna_koda'] = "" df.loc[df.Izvorna_koda == "NaN", 'Izvorna_koda'] = "" df.loc[df.Izvorna_koda == "-", 'Izvorna_koda'] = "" # Izpis df.Izvorna_koda.head()

Urejanje stolpca Kategorije

Podatki pred urejanjem

df.Kategorije.head()

Urejanje podatkov in izpis urejenih

# Odstranimo nepotrebno predpono iz kategorije df.Kategorije = df.Kategorije.apply(pridobi_zadnje_segmente) # shranjevanje kot kategorije df.Kategorije = df.Kategorije.apply(lambda x: ', '.join(x)).astype('category') # None nastavimo na prazen string df.loc[df.Kategorije == "None", 'Kategorije'] = "" df.loc[df.Kategorije == "-", 'Kategorije'] = "" df.loc[df.Kategorije == "NaN", 'Kategorije'] = "" # Izpis df.Kategorije.head()

Urejanje stolpca Trzna_kapitalizacija

Podatki pred urejanjem

df.Trzna_kapitalizacija.head()

Urejanje podatkov in izpis urejenih

# Neskončne vrednosti nastavimo na np.inf df.loc[df.Trzna_kapitalizacija == "∞", 'Trzna_kapitalizacija'] = np.inf # Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Trzna_kapitalizacija = df.Trzna_kapitalizacija.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df.Trzna_kapitalizacija = pd.to_numeric(df.Trzna_kapitalizacija, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Trzna_kapitalizacija.isna(), 'Trzna_kapitalizacija'] = None # Pretvorimo vrednosti iz USD v EUR df.Trzna_kapitalizacija *= tecaj_usd_eur # Izpis df.Trzna_kapitalizacija.head()

Urejanje stolpca Trzna_kapitalizacija_FDV

Podatki pred urejanjem

df.Trzna_kapitalizacija_FDV.head()

Urejanje podatkov in izpis urejenih

# Neskončne vrednosti nastavimo na np.inf df.loc[df.Trzna_kapitalizacija_FDV == "∞", 'Trzna_kapitalizacija_FDV'] = np.inf # Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Trzna_kapitalizacija_FDV = df.Trzna_kapitalizacija_FDV.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df.Trzna_kapitalizacija_FDV = pd.to_numeric(df.Trzna_kapitalizacija_FDV, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Trzna_kapitalizacija_FDV.isna(), 'Trzna_kapitalizacija_FDV'] = None df.Trzna_kapitalizacija_FDV.head()

Urejanje stolpca 24urni_obseg_trgovanja

Podatki pred urejanjem

df["24urni_obseg_trgovanja"].head()

Urejanje podatkov in izpis urejenih

# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df["24urni_obseg_trgovanja"] = df["24urni_obseg_trgovanja"].replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df["24urni_obseg_trgovanja"] = pd.to_numeric(df["24urni_obseg_trgovanja"], errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df["24urni_obseg_trgovanja"].isna(), '24urni_obseg_trgovanja'] = None # Pretvorimo vrednosti iz USD v EUR df["24urni_obseg_trgovanja"] *= tecaj_usd_eur # Izpis df["24urni_obseg_trgovanja"].head()

Urejanje stolpca Popolnoma_razredceno_vrednotenje

Podatki pred urejanjem

df.Popolnoma_razredceno_vrednotenje.head()

Urejanje podatkov in izpis urejenih

# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Popolnoma_razredceno_vrednotenje = df.Popolnoma_razredceno_vrednotenje.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df.Popolnoma_razredceno_vrednotenje = pd.to_numeric(df.Popolnoma_razredceno_vrednotenje, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Popolnoma_razredceno_vrednotenje.isna(), 'Popolnoma_razredceno_vrednotenje'] = None # Pretvorimo vrednosti iz USD v EUR df.Popolnoma_razredceno_vrednotenje *= tecaj_usd_eur # Izpis df.Popolnoma_razredceno_vrednotenje.head()

Urejanje stolpca Obtocna_ponudba

Podatki pred urejanjem

df.Obtocna_ponudba.head()

Urejanje podatkov in izpis urejenih

# Neskončne vrednosti nastavimo na np.inf df.loc[df.Obtocna_ponudba == "∞", 'Obtocna_ponudba'] = np.inf # Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Obtocna_ponudba = df.Obtocna_ponudba.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df.Obtocna_ponudba = pd.to_numeric(df.Obtocna_ponudba, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Obtocna_ponudba.isna(), 'Obtocna_ponudba'] = None # Pretvorimo vrednosti iz USD v EUR df.Obtocna_ponudba *= tecaj_usd_eur # Izpis df.Obtocna_ponudba.head()

Urejanje stolpca Skupna_ponudba

Podatki pred urejanjem

df.Skupna_ponudba.head()

Urejanje podatkov in izpis urejenih

# Neskončne vrednosti nastavimo na np.inf df.loc[df.Skupna_ponudba == "∞", 'Skupna_ponudba'] = np.inf # Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Skupna_ponudba = df.Skupna_ponudba.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df.Skupna_ponudba = pd.to_numeric(df.Skupna_ponudba, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Skupna_ponudba.isna(), 'Skupna_ponudba'] = None # Pretvorimo vrednosti iz USD v EUR df.Skupna_ponudba *= tecaj_usd_eur # Izpis df.Skupna_ponudba.head()

Urejanje stolpca Maksimalna_ponudba

Podatki pred urejanjem

df.Maksimalna_ponudba.head()

Urejanje podatkov in izpis urejenih

# Neskončne vrednosti nastavimo na np.inf df.loc[df.Maksimalna_ponudba == "∞", 'Maksimalna_ponudba'] = np.inf # Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Maksimalna_ponudba = df.Maksimalna_ponudba.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df.Maksimalna_ponudba = pd.to_numeric(df.Maksimalna_ponudba, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Maksimalna_ponudba.isna(), 'Maksimalna_ponudba'] = None # Pretvorimo vrednosti iz USD v EUR df.Maksimalna_ponudba *= tecaj_usd_eur # Izpis df.Maksimalna_ponudba.head()

Urejanje stolpca Verige

Podatki pred urejanjem

df.Verige.head()

Urejanje podatkov in izpis urejenih

# Odstranimo nepotrebno predpono iz kategorije df.Verige = df.Verige.apply(pridobi_zadnje_segmente) # shranjevanje kot kategorije df.Verige = df.Verige.apply(lambda x: ', '.join(x)).astype('category') # None nastavimo na prazen string df.loc[df.Kategorije == "None", 'Kategorije'] = "" df.loc[df.Kategorije == "NaN", 'Kategorije'] = "" df.loc[df.Kategorije == "-", 'Kategorije'] = "" # Izpis df.Verige.head()

Urejanje stolpca Pogodba

Podatki pred urejanjem

df.Pogodba.head()

Urejanje podatkov in izpis urejenih

# Pretvorimo nize URL-jev v seznam df.Pogodba = df.Pogodba.apply(niz_v_seznam) # Pretvorimo v niz ali None df.Pogodba = df.Pogodba.apply(lambda x: ', '.join(map(str, x)) if isinstance(x, list) and x else "") # Izpis df.Pogodba.head()

Urejanje stolpca Razmerje_trzna_kapitalizacija_TVL

Podatki pred urejanjem

df.Razmerje_trzna_kapitalizacija_TVL[df.Razmerje_trzna_kapitalizacija_TVL.notna()].head()

Urejanje podatkov in izpis urejenih

# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Razmerje_trzna_kapitalizacija_TVL = df.Razmerje_trzna_kapitalizacija_TVL.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df.Razmerje_trzna_kapitalizacija_TVL = pd.to_numeric(df.Razmerje_trzna_kapitalizacija_TVL, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Razmerje_trzna_kapitalizacija_TVL.isna(), 'Razmerje_trzna_kapitalizacija_TVL'] = None # Izpis df.Razmerje_trzna_kapitalizacija_TVL[df.Razmerje_trzna_kapitalizacija_TVL.notna()].head()

df.Razmerje_trzna_kapitalizacija_TVL[df.Razmerje_trzna_kapitalizacija_TVL.notna()] plt.plot(df.Razmerje_trzna_kapitalizacija_TVL[df.Razmerje_trzna_kapitalizacija_TVL.notna()].index, df.Razmerje_trzna_kapitalizacija_TVL[df.Razmerje_trzna_kapitalizacija_TVL.notna()].values) plt.yscale("log") plt.show()

Urejanje stolpca Skupna_vrednost_zaklenjena

Podatki pred urejanjem

df.Skupna_vrednost_zaklenjena[df.Skupna_vrednost_zaklenjena.notna()].head()

Urejanje podatkov in izpis urejenih

# Neskončne vrednosti nastavimo na np.inf df.loc[df.Skupna_vrednost_zaklenjena == "∞", 'Skupna_vrednost_zaklenjena'] = np.inf # Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Skupna_vrednost_zaklenjena = df.Skupna_vrednost_zaklenjena.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df.Skupna_vrednost_zaklenjena = pd.to_numeric(df.Skupna_vrednost_zaklenjena, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Skupna_vrednost_zaklenjena.isna(), 'Skupna_vrednost_zaklenjena'] = None # Pretvorimo vrednosti iz USD v EUR df.Skupna_vrednost_zaklenjena *= tecaj_usd_eur # Izpis df.Skupna_vrednost_zaklenjena[df.Skupna_vrednost_zaklenjena.notna()].head()

# Uporaba točkovnega grafikona plt.scatter(df.Skupna_vrednost_zaklenjena.index, df.Skupna_vrednost_zaklenjena.values, alpha=0.5) # Nastavitev logaritemske lestvice plt.yscale("log") # Dodajanje oznak in naslova plt.xlabel("Rank") plt.ylabel("Skupna zaklenjena vrednost") # Dodajanje mreže plt.grid(True) # Prikaz grafikona plt.show()

Urejanje stolpca Razmerje_popolnoma_razredceno_vrednotenje_TVL

Podatki pred urejanjem

df.Razmerje_popolnoma_razredceno_vrednotenje_TVL[df.Razmerje_popolnoma_razredceno_vrednotenje_TVL.notna()].head()

Urejanje podatkov in izpis urejenih

# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Razmerje_popolnoma_razredceno_vrednotenje_TVL = df.Razmerje_popolnoma_razredceno_vrednotenje_TVL.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df.Razmerje_popolnoma_razredceno_vrednotenje_TVL = pd.to_numeric(df.Razmerje_popolnoma_razredceno_vrednotenje_TVL, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Razmerje_popolnoma_razredceno_vrednotenje_TVL.isna(), 'Razmerje_popolnoma_razredceno_vrednotenje_TVL'] = None # Izpis df.Razmerje_popolnoma_razredceno_vrednotenje_TVL[df.Razmerje_popolnoma_razredceno_vrednotenje_TVL.notna()].head()

Urejanje stolpca Likvidnost

Podatki pred urejanjem

df.Likvidnost[df.Likvidnost.notna()].head()

Urejanje podatkov in izpis urejenih

# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Likvidnost = df.Likvidnost.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df.Likvidnost = pd.to_numeric(df.Likvidnost, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Likvidnost.isna(), 'Likvidnost'] = None # Pretvorimo vrednosti iz USD v EUR df.Likvidnost *= tecaj_usd_eur # Izpis df.Likvidnost[df.Likvidnost.notna()].head()

Urejanje stolpca Stevilo_transakcij_v_24_urah

Podatki pred urejanjem

df.Stevilo_transakcij_v_24_urah[df.Stevilo_transakcij_v_24_urah.notna()].head()

Urejanje podatkov in izpis urejenih

# Pretvorba v podatkovni tip np.float128 df.Stevilo_transakcij_v_24_urah = pd.to_numeric(df.Stevilo_transakcij_v_24_urah, errors='coerce').astype(np.float16) # Neveljavne vrednosti nastavimo na None df.loc[df.Stevilo_transakcij_v_24_urah.isna(), 'Stevilo_transakcij_v_24_urah'] = None # Izpis df.Stevilo_transakcij_v_24_urah[df.Stevilo_transakcij_v_24_urah.notna()].head()

Urejanje stolpca 24urni_min_max

Podatki pred urejanjem

df["24urni_min_max"].head()

Urejanje podatkov in izpis urejenih

# Očistnimo neveljavne vrednosti df.loc[df["24urni_min_max"] == "-", '24urni_min_max'] = None df.loc[df["24urni_min_max"] == "NaN", '24urni_min_max'] = None df.loc[df["24urni_min_max"] == "None", '24urni_min_max'] = None df.loc[df["24urni_min_max"] == "nan", '24urni_min_max'] = None df["24urni_min_max"] = df["24urni_min_max"].astype(np.str_) df["24_urni_min"] = df["24urni_min_max"].apply(lambda x : x.split("/")[0] if ((x != None) & ("/" in x)) else None) df["24_urni_max"] = df["24urni_min_max"].apply(lambda x : x.split("/")[1] if ((x != None) & ("/" in x)) else None) # Odstranimo stari stolpec merged_df.drop(columns=["24urni_min_max"], inplace=True) # Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float64 df["24_urni_max"] = df["24_urni_max"].replace({"\\$": "", ",": ""}, regex=True) df["24_urni_min"] = df["24_urni_min"].replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df["24_urni_max"] = pd.to_numeric(df["24_urni_max"], errors='coerce').astype(np.float64) df["24_urni_min"] = pd.to_numeric(df["24_urni_min"], errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df["24_urni_max"].isna(), '24_urni_max'] = None df.loc[df["24_urni_min"].isna(), '24_urni_min'] = None # Pretvorimo vrednosti iz USD v EUR df["24_urni_max"] *= tecaj_usd_eur df["24_urni_min"] *= tecaj_usd_eur df[["24_urni_min", "24_urni_max"]].head()

Urejanje stolpca Najvisja_cena

Podatki pred urejanjem

df.Najvisja_cena.head()

Delitev podatkov na 2 stolpca

# Očistnimo neveljavne vrednosti df.loc[df.Najvisja_cena == "-", 'Najvisja_cena'] = None df.loc[df.Najvisja_cena == "NaN", 'Najvisja_cena'] = None df.loc[df.Najvisja_cena == "None", 'Najvisja_cena'] = None df.loc[df.Najvisja_cena == "nan", 'Najvisja_cena'] = None # Razdelimo podatke v stolpca najnižja_cena in Najnizja_cena_datum razdeljene_vrednosti = df.Najvisja_cena.str.split("%", expand=True).astype(np.str_) df["Najvisja_cena"] = razdeljene_vrednosti[0] df["Najvisja_cena_datum"] = razdeljene_vrednosti[1] df[["Najvisja_cena", "Najvisja_cena_datum"]].head()

Urejanje stolpca Najvisja_cena in izpis

Stolpec razdelimo še v 2 - Najvišja_cena ter Procent_od_najvišje_cene

razdeljene_vrednosti = df.Najvisja_cena.str.split("-", expand=True).astype(np.str_) df["Najvisja_cena"] = razdeljene_vrednosti[0] df["Procent_od_najvisje_cene"] = razdeljene_vrednosti[1]

Urejanje stolpca Procent_od_najvišje_cene in izpis

df.Procent_od_najvisje_cene.head()

# Spremenimo v podatkovni tip float64 df.Procent_od_najvisje_cene = pd.to_numeric(df.Procent_od_najvisje_cene, errors='coerce').astype(np.float64) # Sprememba vrednosti iz odstotkov v decimalno obliko df.Procent_od_najvisje_cene = np.divide(df.Procent_od_najvisje_cene, 100) # Izpis df.Procent_od_najvisje_cene.head()

Urejanje stolpca Najvisja_cena

df.Najvisja_cena.head()

# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Najvisja_cena = df.Najvisja_cena.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float64 df.Najvisja_cena = pd.to_numeric(df.Najvisja_cena, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Najvisja_cena.isna(), 'Najvisja_cena'] = None # Pretvorimo vrednosti iz USD v EUR df.Najvisja_cena *= tecaj_usd_eur df.Najvisja_cena.head()

Urejanje stolpca Najvisja_cena_datum in izpis

df.Najvisja_cena_datum.head()

# Očistnimo neveljavne vrednosti df.loc[df.Najvisja_cena_datum == "-", 'Najvisja_cena_datum'] = None df.loc[df.Najvisja_cena_datum == "NaN", 'Najvisja_cena_datum'] = None df.loc[df.Najvisja_cena_datum == "None", 'Najvisja_cena_datum'] = None df.loc[df.Najvisja_cena_datum == "nan", 'Najvisja_cena_datum'] = None # Vzamemo samo datum df["Najvisja_cena_datum"] = df["Najvisja_cena_datum"].apply(lambda x: x.split("(")[0].strip() if x is not None else None) # Pretvorimo v datetime format df.Najvisja_cena_datum = df.Najvisja_cena_datum.astype(np.datetime64) # Ohranimo samo datum brez ure df['Najvisja_cena_datum'] = df['Najvisja_cena_datum'].dt.date # Izpis df.Najvisja_cena_datum.head()

Urejanje stolpca Obseg_tržna_kapitalizacija

Podatki pred urejanjem

df.Obseg_tržna_kapitalizacija.head()

Urejanje stolpca in izpis

# Spremenimo podatkovni tip v float64 df.Obseg_tržna_kapitalizacija = pd.to_numeric(df.Obseg_tržna_kapitalizacija, errors='coerce').astype(np.float64) # Izpis df.Obseg_tržna_kapitalizacija.head()

Urejanje stolpca Dominanca_tržne_kapitalizacije

Podatki pred urejanjem

df.Dominanca_tržne_kapitalizacije.head()

Urejanje stolpca in izpis

# Odstranjevanje odstotkovnega znaka in pretvorba v np.float64 df.Dominanca_tržne_kapitalizacije = df.Dominanca_tržne_kapitalizacije.str.replace('%', '').astype(np.float64) # Sprememba vrednosti iz odstotkov v decimalno obliko df.Dominanca_tržne_kapitalizacije = np.round(np.divide(df.Dominanca_tržne_kapitalizacije, 100), 3) # Neveljavne vrednosti nastavimo na 0, ker imajo dominance df.loc[df.Dominanca_tržne_kapitalizacije.isna(), 'Dominanca_tržne_kapitalizacije'] = 0.0 # Izpis df.Dominanca_tržne_kapitalizacije.head()

Urejanje stolpca Obseg_trgovanja

Podatki pred urejanjem

df.Obseg_trgovanja.head()

Urejanje stolpca in izpis

# Neskončne vrednosti nastavimo na np.inf df.loc[df.Obseg_trgovanja == "∞", 'Obseg_trgovanja'] = np.inf # Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df.Obseg_trgovanja = df.Obseg_trgovanja.replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float128 df.Obseg_trgovanja = pd.to_numeric(df.Obseg_trgovanja, errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df.Obseg_trgovanja.isna(), 'Obseg_trgovanja'] = None # Pretvorimo vrednosti iz USD v EUR df.Obseg_trgovanja *= tecaj_usd_eur # Izpis df.Obseg_trgovanja.head()

Urejanje stolpca 7dnevni_min_max

Podatki pred urejanjem

df["7dnevni_min_max"].head()

Razdelimo v 2 stolpca 7dnevni_max in 7_dnevni_min

# Očistnimo neveljavne vrednosti df.loc[df["7dnevni_min_max"] == "-", '7dnevni_min_max'] = None df.loc[df["7dnevni_min_max"] == "NaN", '7dnevni_min_max'] = None df.loc[df["7dnevni_min_max"] == "None", '7dnevni_min_max'] = None df.loc[df["7dnevni_min_max"] == "nan", '7dnevni_min_max'] = None # Razdelimo podatke v stolpca najnižja_cena in Najnizja_cena_datum razdeljene_vrednosti = df["7dnevni_min_max"].str.split("/", expand=True).astype(np.str_) df["7dnevni_min"] = razdeljene_vrednosti[0] df["7dnevni_max"] = razdeljene_vrednosti[1] # Odstranimo stari stolpec merged_df.drop(columns=["7dnevni_min_max"], inplace=True) df[["7dnevni_min", "7dnevni_max"]].head()

Urejanje stolpca 7dnevni_min in izpis

# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df["7dnevni_min"] = df["7dnevni_min"].replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float64 df["7dnevni_min"] = pd.to_numeric(df["7dnevni_min"], errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df["7dnevni_min"].isna(), '7dnevni_min'] = None # Pretvorimo vrednosti iz USD v EUR df["7dnevni_min"] *= tecaj_usd_eur # Izpis df["7dnevni_min"].head()

Urejanje stolpca 7dnevni_max in izpis

# Odstranimo vse simbole, vejice in pripravimo na pretvorbo v podatkovni tip float df["7dnevni_max"] = df["7dnevni_max"].replace({"\\$": "", ",": ""}, regex=True) # Pretvorba v podatkovni tip np.float64 df["7dnevni_max"] = pd.to_numeric(df["7dnevni_max"], errors='coerce').astype(np.float64) # Neveljavne vrednosti nastavimo na None df.loc[df["7dnevni_max"].isna(), '7dnevni_max'] = None # Pretvorimo vrednosti iz USD v EUR df["7dnevni_max"] *= tecaj_usd_eur # Izpis df["7dnevni_max"].head()

Shranimo v UPZ_DS_ocisceni.csv

Pregled podatkov

df.info()

Spremenimo vrstni red stolpcev

nov_vrstni_red = [ 'Rank', 'Ime', 'Oznaka', 'Cena', 'Sprememba_1h', 'Sprememba_24h', 'Trzna_kapitalizacija', '24urni_obseg_trgovanja', 'Obtocna_ponudba', 'Skupna_ponudba', 'Maksimalna_ponudba', 'Procent_od_najvisje_cene', 'Najvisja_cena', 'Najvisja_cena_datum','7dnevni_min', '7dnevni_max', '24_urni_min', '24_urni_max', 'Url_podatkov', 'Pogodba', 'Spletna_stran', 'Raziskovalci', 'Skupnost', 'Twitter_tag_link', 'Verige', 'Kategorije', 'Trzna_kapitalizacija_FDV', 'Razmerje_trzna_kapitalizacija_TVL', 'Popolnoma_razredceno_vrednotenje', 'Skupna_vrednost_zaklenjena', 'Razmerje_popolnoma_razredceno_vrednotenje_TVL', 'Obseg_tržna_kapitalizacija', 'Dominanca_tržne_kapitalizacije', 'Obseg_trgovanja', 'Izvorna_koda', 'Denarnice', 'Likvidnost', 'Stevilo_transakcij_v_24_urah' ] # Uporabimo nov vrstni red za DataFrame df = df[nov_vrstni_red]

len(nov_vrstni_red)

df.columns

Shranimo podatke v csv

df.to_csv("UPZ_OCISCENI_DATASET.csv", sep=";", encoding='utf-8-sig', float_format='%.10f')

Izpis