3 Data wrangling

import pandas as pd

cities = pd.DataFrame({ "name": ["Athens", "Bratislava", "Copenhagen", "Dublin"], "area": [39, 367.6, 86.2, 115], "elevation": [170, 152, 14, 20], "population": [664046, 429564, 602481, 553165] } ) cities

nameobject

areafloat64

Athens

Bratislava

367.6

Copenhagen

86.2

Dublin

115

file = open("anscombe.json") anscombe_json = file.read() file.close() print(anscombe_json)

[
  {"Series":"I", "X":10.0, "Y":8.04},
  {"Series":"I", "X":8.0, "Y":6.95},
  {"Series":"I", "X":13.0, "Y":7.58},
  {"Series":"I", "X":9.0, "Y":8.81},
  {"Series":"I", "X":11.0, "Y":8.33},
  {"Series":"I", "X":14.0, "Y":9.96},
  {"Series":"I", "X":6.0, "Y":7.24},
  {"Series":"I", "X":4.0, "Y":4.26},
  {"Series":"I", "X":12.0, "Y":10.84},
  {"Series":"I", "X":7.0, "Y":4.81},
  {"Series":"I", "X":5.0, "Y":5.68},

  {"Series":"II", "X":10.0, "Y":9.14},
  {"Series":"II", "X":8.0, "Y":8.14},
  {"Series":"II", "X":13.0, "Y":8.74},
  {"Series":"II", "X":9.0, "Y":8.77},
  {"Series":"II", "X":11.0, "Y":9.26},
  {"Series":"II", "X":14.0, "Y":8.10},
  {"Series":"II", "X":6.0, "Y":6.13},
  {"Series":"II", "X":4.0, "Y":3.10},
  {"Series":"II", "X":12.0, "Y":9.13},
  {"Series":"II", "X":7.0, "Y":7.26},
  {"Series":"II", "X":5.0, "Y":4.74},

  {"Series":"III", "X":10.0, "Y":7.46},
  {"Series":"III", "X":8.0, "Y":6.77},
  {"Series":"III", "X":13.0, "Y":12.74},
  {"Series":"III", "X":9.0, "Y":7.11},
  {"Series":"III", "X":11.0, "Y":7.81},
  {"Series":"III", "X":14.0, "Y":8.84},
  {"Series":"III", "X":6.0, "Y":6.08},
  {"Series":"III", "X":4.0, "Y":5.39},
  {"Series":"III", "X":12.0, "Y":8.15},
  {"Series":"III", "X":7.0, "Y":6.42},
  {"Series":"III", "X":5.0, "Y":5.73},

  {"Series":"IV", "X":8.0, "Y":6.58},
  {"Series":"IV", "X":8.0, "Y":5.76},
  {"Series":"IV", "X":8.0, "Y":7.71},
  {"Series":"IV", "X":8.0, "Y":8.84},
  {"Series":"IV", "X":8.0, "Y":8.47},
  {"Series":"IV", "X":8.0, "Y":7.04},
  {"Series":"IV", "X":8.0, "Y":5.25},
  {"Series":"IV", "X":19.0, "Y":12.50},
  {"Series":"IV", "X":8.0, "Y":5.56},
  {"Series":"IV", "X":8.0, "Y":7.91},
  {"Series":"IV", "X":8.0, "Y":6.89}
]

import requests response = requests.get('https://www.tagesschau.de/xml/rss2/') tagesschau_xml = response.text print(tagesschau_xml[:1000]) # this displays the first 1000 characters

<?xml version='1.0' encoding='UTF-8'?>
<rss version="2.0" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/">
  <channel>
    <title>tagesschau.de - Die Nachrichten der ARD</title>
    <link>https://www.tagesschau.de/infoservices/alle-meldungen-100.html</link>
    <description>Die aktuellen Beiträge der Seite https://www.tagesschau.de/infoservices/alle-meldungen-100.html</description>
    <language>de</language>
    <copyright>ARD-aktuell / tagesschau.de</copyright>
    <lastBuildDate>Thu, 01 Jun 2023 18:28:25 +0200</lastBuildDate>
    <pubDate>Thu, 01 Jun 2023 18:28:25 +0200</pubDate>
    <docs>http://blogs.law.harvard.edu/tech/rss</docs>
    <ttl>90</ttl>
    <dc:publisher>tagesschau.de</dc:publisher>
    <dc:language>de</dc:language>
    <dc:rights>ARD-aktuell / tagesschau.de</dc:rights>
    <dc:date>2023-04-14T07:19:20Z</dc:date>
    <dc:source>tagesschau.de</dc:source>
    <item>
      <title>Marktbericht: DAX erholt sich zum Monat

base_url = "https://hub.culturegraph.org/entityfacts/" gnd_id = "118564943" # GND identifier found at the Wikipedia page on Käthe Kollwitz gnd_response = requests.get(base_url+gnd_id).text print(gnd_response[:1000])

{
  "@context" : "https://hub.culturegraph.org/entityfacts/context/v1/entityfacts.jsonld",
  "@id" : "https://d-nb.info/gnd/118564943",
  "describedBy" : {
    "valid" : "2023-06-01T16:34:27Z",
    "license" : "https://creativecommons.org/publicdomain/zero/1.0/",
    "@id" : "https://hub.culturegraph.org/entityfacts/118564943"
  },
  "preferredName" : "Käthe Kollwitz",
  "surname" : "Kollwitz",
  "forename" : "Käthe",
  "@type" : "person",
  "variantName" : [ "Kėte Kolʹvic", "K. Kolʹvic", "Kathe Kollwitz", "Kaethe Kollwitz", "Kaisui Kelehuizhi", "Kaisui Kelehuizhi", "Kelehuizhi", "Kėte Kollʹvic", "Käte Kollwitz", "Кете Кольвиц", "Кете Шмидт", "Ke te Kol bi cheu", "Ke te Kol bi cheu", "K'et'e K'olbich'ŭ", "K'et'e K'olbich'ŭ", "케테 콜비츠", "콜비츠 케테", "凯绥 珂勒惠之", "珂勒惠之", "凯绥 珂勒惠之", "ケーテ コルヴィッツ" ],
  "realIdentity" : [ {
    "preferredName" : "Käthe Schmidt"
  } ],
  "dateOfBirth" : "8. Juli 1867",
  "dateOfDeath" : "22. April 1945",
  "placeOfBirth" : [ {
    "@id" : "http

kitas = pd.read_csv( "https://opendata.potsdam.de/explore/dataset/kitaboerse-20161108/download/", sep=";") kitas.head()

name_der_kindertagesbetreuungseinrichtungobject

stand_vomobject

Wurzelwerk, AWO, Kita

15.08.2016

Baumhaus, Kita

07.11.2016

Sonnenland, Hort

21.09.2016

Pfiffikus, AWO, Kita

08.09.2016

Evangelische Kindertagesstätte Sonnenblume

01.02.2016

anscombe = pd.read_json(anscombe_json) anscombe

Seriesobject

I25%

II25%

2 others50%

Xint64

4 - 19

import xml.etree.ElementTree as ET

tagesschau = ET.fromstring(tagesschau_xml) tagesschau

# create two empty lists dates = [] titles = [] # go through all item elements in the tree for item in tagesschau.findall('.//item'): # extract date information and titles dates.append( item.find('.//pubDate').text ) titles.append( item.find('.//title').text ) # create a dataframe containing the two columns tagesschau_df = pd.DataFrame( {'date': dates, 'title': titles }) tagesschau_df

dateobject

Thu, 01 Jun 2023 18:24:20 +02002.5%

Thu, 01 Jun 2023 18:00:17 +02002.5%

38 others95%

titleobject

US-Repräsentantenhaus billigt Deal im Schuldenstreit5%

Marktbericht: DAX erholt sich zum Monatsbeginn2.5%

37 others92.5%

Thu, 01 Jun 2023 18:24:20 +0200

Marktbericht: DAX erholt sich zum Monatsbeginn

Thu, 01 Jun 2023 18:00:17 +0200

DeutschlandTrend: Zufriedenheit mit Ampel-Regierung auf Rekordtief

Thu, 01 Jun 2023 17:59:26 +0200

Anschlag auf Pipelines: Durchsuchung in Deutschland

Thu, 01 Jun 2023 17:34:53 +0200

EU-Parlament äußert Bedenken über ungarischen Ratsvorsitz

Thu, 01 Jun 2023 17:22:43 +0200

Gesetzliche Krankenversicherung: Milliarden, die Lauterbach unter Druck setzen

Thu, 01 Jun 2023 17:15:37 +0200

Finanzminister Lindner macht Ministerien konkrete Sparvorgaben

Thu, 01 Jun 2023 16:56:17 +0200

5,8 Millionen Jobs durch Mindestlohnerhöhung besser bezahlt

Thu, 01 Jun 2023 16:48:29 +0200

Copernicus-Bericht: Heftige Waldbrände sorgen für Rekordemissionen

Thu, 01 Jun 2023 16:28:21 +0200

Bundesgesundheitsminister Lauterbach sieht Durchbruch bei Klinikreform

Thu, 01 Jun 2023 12:39:00 +0200

Hamburg: Hohe Haftstrafen in Prozess um Coronahilfen-Betrug

import bs4

permalink = "https://en.wikipedia.org/w/index.php?title=List_of_largest_cities&oldid=952676625" wiki = requests.get(permalink).text

soup = bs4.BeautifulSoup(wiki, "html.parser") # extract all table elements tables = soup.find_all('table') # create some empty lists of city names and populations names = [] pops = [] for table in tables: # iterate over all rows, <tr> is the html element for table rows rows = table.find_all('tr') for row in rows: # get all cells per row, <td> is the html element for table cells cells = row.find_all('td') if len(cells) > 1: # get span elements from cells in population column pop = cells[3].find('span') # if there is no value, we're omitting this city if(pop is None): continue pops.append(pop.text.replace(",", "")) # get name of cities, in first column names.append(cells[0].text.strip()) # generate a dataframe based on the city names & populations df = pd.DataFrame({"city": names, "population": pops}) df.population = pd.to_numeric(df.population) # cast string to numeric values df

cityobject

Tokyo1.2%

Delhi1.2%

79 others97.5%

populationint64

5023000 - 37400068

Tokyo

37400068

Delhi

28514000

Shanghai

25582000

São Paulo

21650000

Mexico City

21581000

Cairo

20076000

Mumbai

19980000

Beijing

19618000

Dhaka

19578000

Osaka

19281000

kitas.head()

name_der_kindertagesbetreuungseinrichtungobject

stand_vomobject

Wurzelwerk, AWO, Kita

15.08.2016

Baumhaus, Kita

07.11.2016

Sonnenland, Hort

21.09.2016

Pfiffikus, AWO, Kita

08.09.2016

Evangelische Kindertagesstätte Sonnenblume

01.02.2016

kitas.describe()

platze_unbefristetfloat64

darunter_betriebskita_unbefristetfloat64

count

136

mean

117.7279412

1.132352941

std

81.2973023

10.13304738

min

25%

54.75

50%

105

75%

161.75

max

404

110

kitas.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 137 entries, 0 to 136
Data columns (total 49 columns):
 #   Column                                                           Non-Null Count  Dtype  
---  ------                                                           --------------  -----  
 0   name_der_kindertagesbetreuungseinrichtung                        137 non-null    object 
 1   stand_vom                                                        137 non-null    object 
 2   barrierefreie_einrichtung                                        137 non-null    object 
 3   kinderkrippe_0_3_j                                               137 non-null    object 
 4   tagespflege_0_3_j                                                137 non-null    object 
 5   padagogisch_begleitete_spielgruppe_0_3_j                         137 non-null    object 
 6   kindergarten_3_j_schuleintritt                                   137 non-null    object 
 7   hort_ab_schuleintritt                                            137 non-null    object 
 8   andere_kinderbetreuung_ab_3_klasse                               137 non-null    object 
 9   strasse                                                          137 non-null    object 
 10  hausnummer                                                       136 non-null    object 
 11  postleitzahl                                                     137 non-null    object 
 12  kartenansicht                                                    131 non-null    object 
 13  tel_nr                                                           136 non-null    object 
 14  fax_nr                                                           123 non-null    object 
 15  e_mail                                                           137 non-null    object 
 16  homepage_der_einrichtung                                         134 non-null    object 
 17  stadtteil                                                        137 non-null    object 
 18  trager                                                           137 non-null    object 
 19  tel_nr_trager                                                    135 non-null    object 
 20  e_mail_trager                                                    134 non-null    object 
 21  homepage_des_tragers                                             132 non-null    object 
 22  platze_unbefristet                                               136 non-null    float64
 23  darunter_betriebskita_unbefristet                                136 non-null    float64
 24  befristete_betriebserlaubnis_erlaubnis                           137 non-null    object 
 25  platze_befristet                                                 136 non-null    float64
 26  darunter_betriebskita_befristet                                  135 non-null    float64
 27  betrieb_e                                                        5 non-null      object 
 28  befristete_betriebserlaubnis_erlaubnis_gultig_bis_monat          137 non-null    object 
 29  befristete_betriebserlaubnis_erlaubnis_gultig_bis_jahr           20 non-null     float64
 30  nur_tagespflege_erste_hilfe_kurs_gultig_bis_monat                137 non-null    object 
 31  nur_tagespflege_erste_hilfe_kurs_gultig_bis_jahr                 1 non-null      float64
 32  integrationseinrichtung                                          137 non-null    object 
 33  inklusionshort                                                   137 non-null    object 
 34  einrichtung_mit_besonderem_padagogischen_angebot                 137 non-null    object 
 35  offnungszeiten_mo_fr                                             134 non-null    object 
 36  offnungszeiten_ab_6_00_uhr                                       137 non-null    object 
 37  offnungszeiten_nach_17_30_uhr                                    137 non-null    object 
 38  wochenendoffnung                                                 137 non-null    object 
 39  abweichende_offnungszeiten                                       42 non-null     object 
 40  ubernachtung_moglich                                             137 non-null    object 
 41  schliesstage_von_bis                                             58 non-null     object 
 42  fruhstuck                                                        137 non-null    object 
 43  mittag                                                           137 non-null    object 
 44  vesper                                                           137 non-null    object 
 45  abendessen                                                       137 non-null    object 
 46  versorgungsart                                                   137 non-null    object 
 47  link_zum_bereich_kinder_und_jugend_der_landeshauptstadt_potsdam  137 non-null    object 
 48  link_zu_anmeldeinformationen_der_einrichtung                     131 non-null    object 
dtypes: float64(6), object(43)
memory usage: 52.6+ KB

kitas = kitas.rename(columns={"name_der_kindertagesbetreuungseinrichtung": "name"})

kitas["name"]

kitas[["name", "betrieb_e"]]

nameobject

Wurzelwerk, AWO, Kita0.7%

Baumhaus, Kita0.7%

135 others98.5%

betrieb_eobject

davon 37 Plätze am Schulstandort + 50.7%

4 others2.9%

Missing96.4%

Wurzelwerk, AWO, Kita

nan

Baumhaus, Kita

nan

Sonnenland, Hort

nan

Pfiffikus, AWO, Kita

nan

Evangelische Kindertagesstätte Sonnenblume

nan

Oberlin-Kindertagesstätte Eiche

nan

Seepferdchen, Kita

nan

Krabbelkäfer, AWO

nan

Kinderhaus Fridolin

nan

Hort an der Regenbogenschule, Fahrland

nan

kitas [kitas["betrieb_e"].notnull()] [["name", "betrieb_e"]]

nameobject

betrieb_eobject

Kastanienhof, Hort

davon 37 Plätze am Schulstandort + 5

Die Buntstifte, Hort

Röhrenstr. 6 /14480 Potsdam / Galileistr. 6 / 14480 Potsdam / Steinstr. 104 - 106 / 14480 Potsdam

Kindergarten und Hort der Waldorfschule Potsdam

Kita 50 Plätze - Hort 110 Plätze

Betriebskita klEinstein

Studentenwerk Potsdam

107

Geolino, Kita

GFZ, AWI, PIK

kitas['name_copy'] = kitas['name'] kitas = kitas.set_index("name_copy")

kitas.iloc[0]

kitas.loc["Kastanienhof, Hort"]

kitas.at["Kastanienhof, Hort", "e_mail"]

kitas.iat[0, 14]

kitas[kitas['trager'].str.contains('AWO')]

nameobject

Wurzelwerk, AWO, Kita4.8%

Pfiffikus, AWO, Kita4.8%

19 others90.5%

stand_vomobject

01.11.201542.9%

01.01.20169.5%

10 others47.6%

Wurzelwerk, AWO, Kita

15.08.2016

Pfiffikus, AWO, Kita

08.09.2016

Krabbelkäfer, AWO

01.01.2016

Turmspatzen, AWO, Kita

01.09.2016

Wilde Früchtchen, AWO, Kita

15.12.2015

Eltern-Kind-Gruppe im EKIZ, AWO

01.01.2016

Am Babelsberg, AWO, Kita

31.03.2016

Nuthegeister, AWO, Hort für hör-, sprach-, lern-, und geistig behinderte Kinder

22.04.2016

Integrationskita Sternschnuppe, AWO

01.11.2015

Abenteuerland, AWO, Kita und Hort

01.11.2015

import re # regular expressions module, use for a case-insensitive query kitas[kitas['name'].str.contains('Spatzen', flags=re.IGNORECASE, regex=True)] ["name"]