3 Data wrangling

import pandas as pd

cities = pd.DataFrame({ "name": ["Athens", "Bratislava", "Copenhagen", "Dublin"], "area": [39, 367.6, 86.2, 115], "elevation": [170, 152, 14, 20], "population": [664046, 429564, 602481, 553165] } ) cities

nameobject

areafloat64

Athens

Bratislava

367.6

Copenhagen

86.2

Dublin

115

file = open("anscombe.json") anscombe_json = file.read() file.close() print(anscombe_json)

[
  {"Series":"I", "X":10.0, "Y":8.04},
  {"Series":"I", "X":8.0, "Y":6.95},
  {"Series":"I", "X":13.0, "Y":7.58},
  {"Series":"I", "X":9.0, "Y":8.81},
  {"Series":"I", "X":11.0, "Y":8.33},
  {"Series":"I", "X":14.0, "Y":9.96},
  {"Series":"I", "X":6.0, "Y":7.24},
  {"Series":"I", "X":4.0, "Y":4.26},
  {"Series":"I", "X":12.0, "Y":10.84},
  {"Series":"I", "X":7.0, "Y":4.81},
  {"Series":"I", "X":5.0, "Y":5.68},

  {"Series":"II", "X":10.0, "Y":9.14},
  {"Series":"II", "X":8.0, "Y":8.14},
  {"Series":"II", "X":13.0, "Y":8.74},
  {"Series":"II", "X":9.0, "Y":8.77},
  {"Series":"II", "X":11.0, "Y":9.26},
  {"Series":"II", "X":14.0, "Y":8.10},
  {"Series":"II", "X":6.0, "Y":6.13},
  {"Series":"II", "X":4.0, "Y":3.10},
  {"Series":"II", "X":12.0, "Y":9.13},
  {"Series":"II", "X":7.0, "Y":7.26},
  {"Series":"II", "X":5.0, "Y":4.74},

  {"Series":"III", "X":10.0, "Y":7.46},
  {"Series":"III", "X":8.0, "Y":6.77},
  {"Series":"III", "X":13.0, "Y":12.74},
  {"Series":"III", "X":9.0, "Y":7.11},
  {"Series":"III", "X":11.0, "Y":7.81},
  {"Series":"III", "X":14.0, "Y":8.84},
  {"Series":"III", "X":6.0, "Y":6.08},
  {"Series":"III", "X":4.0, "Y":5.39},
  {"Series":"III", "X":12.0, "Y":8.15},
  {"Series":"III", "X":7.0, "Y":6.42},
  {"Series":"III", "X":5.0, "Y":5.73},

  {"Series":"IV", "X":8.0, "Y":6.58},
  {"Series":"IV", "X":8.0, "Y":5.76},
  {"Series":"IV", "X":8.0, "Y":7.71},
  {"Series":"IV", "X":8.0, "Y":8.84},
  {"Series":"IV", "X":8.0, "Y":8.47},
  {"Series":"IV", "X":8.0, "Y":7.04},
  {"Series":"IV", "X":8.0, "Y":5.25},
  {"Series":"IV", "X":19.0, "Y":12.50},
  {"Series":"IV", "X":8.0, "Y":5.56},
  {"Series":"IV", "X":8.0, "Y":7.91},
  {"Series":"IV", "X":8.0, "Y":6.89}
]

import requests response = requests.get('https://www.tagesschau.de/xml/rss2/') tagesschau_xml = response.text print(tagesschau_xml[:1500]) # this displays the first 1000 characters

<?xml version='1.0' encoding='UTF-8'?>
<rss version="2.0" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/">
  <channel>
    <title>tagesschau.de - Die Nachrichten der ARD</title>
    <link>https://www.tagesschau.de/infoservices/alle-meldungen-100.html</link>
    <description>Die aktuellen Beiträge der Seite https://www.tagesschau.de/infoservices/alle-meldungen-100.html</description>
    <language>de</language>
    <copyright>ARD-aktuell / tagesschau.de</copyright>
    <lastBuildDate>Tue, 07 May 2024 16:09:05 +0200</lastBuildDate>
    <pubDate>Tue, 07 May 2024 16:09:05 +0200</pubDate>
    <docs>http://blogs.law.harvard.edu/tech/rss</docs>
    <ttl>90</ttl>
    <dc:publisher>tagesschau.de</dc:publisher>
    <dc:language>de</dc:language>
    <dc:rights>ARD-aktuell / tagesschau.de</dc:rights>
    <dc:date>2023-04-14T07:19:20Z</dc:date>
    <dc:source>tagesschau.de</dc:source>
    <item>
      <title>Marktbericht: DAX-Erholungsrally geht weiter</title>
      <link>https://www.tagesschau.de/wirtschaft/finanzen/marktberichte/marktbericht-dax-zinsen-kurse-charttechnik-geldanlage-dow-nikkei-gold-oel-aktien-100.html</link>
      <description>Auch am Nachmittag steigt der deutsche Leitindex weiter und könnte damit den Weg zu seiner bisherigen Bestmarke von Anfang April ebnen. An die DAX-Spitze gesetzt hat sich mit Infineon einer der größten Index-Verlierer von 2024.</description>
      <pubDate>Tue, 07 May 2024 16:09:05 +0200</pubDate>

base_url = "https://hub.culturegraph.org/entityfacts/" gnd_id = "118564943" # GND identifier found on Wikipedia page for Käthe Kollwitz (scroll to bottom) gnd_response = requests.get(base_url+gnd_id).text print(gnd_response[:1000])

{
  "@context" : "https://hub.culturegraph.org/entityfacts/context/v1/entityfacts.jsonld",
  "@id" : "https://d-nb.info/gnd/118564943",
  "describedBy" : {
    "valid" : "2024-05-07T14:20:54Z",
    "license" : "https://creativecommons.org/publicdomain/zero/1.0/",
    "@id" : "https://hub.culturegraph.org/entityfacts/118564943"
  },
  "preferredName" : "Käthe Kollwitz",
  "surname" : "Kollwitz",
  "forename" : "Käthe",
  "@type" : "person",
  "variantName" : [ "Kėte Kolʹvic", "K. Kolʹvic", "Kathe Kollwitz", "Kaethe Kollwitz", "Kaisui Kelehuizhi", "Kaisui Kelehuizhi", "Kelehuizhi", "Kėte Kollʹvic", "Käte Kollwitz", "Кете Кольвиц", "Кете Шмидт", "Ke te Kol bi cheu", "Ke te Kol bi cheu", "K'et'e K'olbich'ŭ", "K'et'e K'olbich'ŭ", "케테 콜비츠", "콜비츠 케테", "凯绥 珂勒惠之", "珂勒惠之", "凯绥 珂勒惠之", "ケーテ コルヴィッツ" ],
  "realIdentity" : [ {
    "preferredName" : "Käthe Schmidt"
  } ],
  "dateOfBirth" : "8. Juli 1867",
  "dateOfDeath" : "22. April 1945",
  "placeOfBirth" : [ {
    "@id" : "http

kitas = pd.read_csv( "https://opendata.potsdam.de/explore/dataset/kitaboerse-20161108/download/", sep=";") kitas.head()

name_der_kindertagesbetreuungseinrichtungobject

stand_vomobject

Am Babelsberg, AWO, Kita

31.03.2016

Benjamin Blümchen, Kita

09.05.2016

AKi an der Hanna-von-Pestalozza-Grundschule

01.09.2016

Bornstedter Feld II, Hort

03.11.2016

Schulplatz 1, Kita

01.11.2015

import json anscombe_dict = json.loads(anscombe_json) anscombe = pd.DataFrame.from_dict(anscombe_dict) anscombe

Seriesobject

I25%

II25%

2 others50%

Xfloat64

4.0 - 19.0

import xml.etree.ElementTree as ET

tagesschau = ET.fromstring(tagesschau_xml) tagesschau

# create two empty lists dates = [] titles = [] # go through all item elements in the tree for item in tagesschau.findall('.//item'): # extract date information and titles dates.append( item.find('.//pubDate').text ) titles.append( item.find('.//title').text ) # create a dataframe containing the two columns tagesschau_df = pd.DataFrame( {'date': dates, 'title': titles }) tagesschau_df

dateobject

Tue, 07 May 2024 16:09:05 +02002.5%

Tue, 07 May 2024 16:07:47 +02002.5%

38 others95%

titleobject

Marktbericht: DAX-Erholungsrally geht weiter2.5%

Überwachung des Atomprogramms: IAEA erhöht Druck auf Iran2.5%

38 others95%

Tue, 07 May 2024 16:09:05 +0200

Marktbericht: DAX-Erholungsrally geht weiter

Tue, 07 May 2024 16:07:47 +0200

Überwachung des Atomprogramms: IAEA erhöht Druck auf Iran

Tue, 07 May 2024 15:46:37 +0200

CDU will Koalitionsdebatten im Osten zur Seite schieben

Tue, 07 May 2024 15:29:58 +0200

Angriff in Dresden: Verdächtige stehen wohl AfD und Freien Sachsen nahe

Tue, 07 May 2024 15:21:35 +0200

Verfassungsschutz will niedersächsische AfD weiter beobachten

Tue, 07 May 2024 15:06:07 +0200

Studie: Start-up-Gründer meist aus wohlhabenden Familien

Tue, 07 May 2024 14:40:24 +0200

CDU stimmt für schrittweise Rückkehr zur Wehrpflicht

Tue, 07 May 2024 14:35:37 +0200

Israels Militär übernimmt Kontrolle in Teilen von Rafah

Tue, 07 May 2024 14:30:54 +0200

Schwere Vorwürfe gegen Bistum Trier und Staatsanwaltschaft im Fall Dillinger

Tue, 07 May 2024 13:56:21 +0200

Mutmaßliche Linksextremistin in Nürnberg verhaftet

import bs4

permalink = "https://en.wikipedia.org/w/index.php?title=List_of_largest_cities&oldid=1219932710" wiki = requests.get(permalink).text

soup = bs4.BeautifulSoup(wiki, "html.parser") # extract the table with the class wikitable table = soup.find('table', class_='wikitable') # create some empty lists of city names and populations names = [] pops = [] # iterate over all rows, <tr> is the html element for table rows rows = table.find_all('tr') for row in rows: # the city name is in the first vertical heading cell (th) heads = row.find_all('th') # we extract the name if there is actually at least one th cell if (len(heads)>0): # extract text regardless if encapsulated with a link or not name = heads[0].get_text(strip=True) # if there is no th cell, we skip and go to the next row else: continue # we gather all regular table cells (td) cells = row.find_all('td') if (len(cells)>0): # the population number is in the 7th td cell pop = cells[6] # if there is no value, we're omitting this city if(pop is None): continue # we remove commas and any extra whitespace pop = pop.text.replace(",", "").strip() # if the content of the string is not numeric we, do not include it if (pop.isnumeric()== False): continue # finally adding city population and name pops.append(pop) names.append(name) else: continue # generate a dataframe based on the city names & populations df = pd.DataFrame({"city": names, "population": pops}) df.population = pd.to_numeric(df.population) # cast string to numeric values df

cityobject

Tokyo1.3%

Delhi1.3%

78 others97.5%

populationint64

2286000 - 37732000

Tokyo

37732000

Delhi

32226000

Shanghai

24073000

São Paulo

23086000

Mexico City

21804000

Cairo

20296000

Mumbai

24973000

Beijing

18522000

Dhaka

18627000

Osaka

15126000

kitas.head()

name_der_kindertagesbetreuungseinrichtungobject

stand_vomobject

Am Babelsberg, AWO, Kita

31.03.2016

Benjamin Blümchen, Kita

09.05.2016

AKi an der Hanna-von-Pestalozza-Grundschule

01.09.2016

Bornstedter Feld II, Hort

03.11.2016

Schulplatz 1, Kita

01.11.2015

kitas.describe()

platze_unbefristetfloat64

darunter_betriebskita_unbefristetfloat64

count

136

mean

117.7279412

1.132352941

std

81.2973023

10.13304738

min

25%

54.75

50%

105

75%

161.75

max

404

110

kitas.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 137 entries, 0 to 136
Data columns (total 49 columns):
 #   Column                                                           Non-Null Count  Dtype  
---  ------                                                           --------------  -----  
 0   name_der_kindertagesbetreuungseinrichtung                        137 non-null    object 
 1   stand_vom                                                        137 non-null    object 
 2   barrierefreie_einrichtung                                        137 non-null    object 
 3   kinderkrippe_0_3_j                                               137 non-null    object 
 4   tagespflege_0_3_j                                                137 non-null    object 
 5   padagogisch_begleitete_spielgruppe_0_3_j                         137 non-null    object 
 6   kindergarten_3_j_schuleintritt                                   137 non-null    object 
 7   hort_ab_schuleintritt                                            137 non-null    object 
 8   andere_kinderbetreuung_ab_3_klasse                               137 non-null    object 
 9   strasse                                                          137 non-null    object 
 10  hausnummer                                                       136 non-null    object 
 11  postleitzahl                                                     137 non-null    object 
 12  kartenansicht                                                    131 non-null    object 
 13  tel_nr                                                           136 non-null    object 
 14  fax_nr                                                           123 non-null    object 
 15  e_mail                                                           137 non-null    object 
 16  homepage_der_einrichtung                                         134 non-null    object 
 17  stadtteil                                                        137 non-null    object 
 18  trager                                                           137 non-null    object 
 19  tel_nr_trager                                                    135 non-null    object 
 20  e_mail_trager                                                    134 non-null    object 
 21  homepage_des_tragers                                             132 non-null    object 
 22  platze_unbefristet                                               136 non-null    float64
 23  darunter_betriebskita_unbefristet                                136 non-null    float64
 24  befristete_betriebserlaubnis_erlaubnis                           137 non-null    object 
 25  platze_befristet                                                 136 non-null    float64
 26  darunter_betriebskita_befristet                                  135 non-null    float64
 27  betrieb_e                                                        5 non-null      object 
 28  befristete_betriebserlaubnis_erlaubnis_gultig_bis_monat          137 non-null    object 
 29  befristete_betriebserlaubnis_erlaubnis_gultig_bis_jahr           20 non-null     float64
 30  nur_tagespflege_erste_hilfe_kurs_gultig_bis_monat                137 non-null    object 
 31  nur_tagespflege_erste_hilfe_kurs_gultig_bis_jahr                 1 non-null      float64
 32  integrationseinrichtung                                          137 non-null    object 
 33  inklusionshort                                                   137 non-null    object 
 34  einrichtung_mit_besonderem_padagogischen_angebot                 137 non-null    object 
 35  offnungszeiten_mo_fr                                             134 non-null    object 
 36  offnungszeiten_ab_6_00_uhr                                       137 non-null    object 
 37  offnungszeiten_nach_17_30_uhr                                    137 non-null    object 
 38  wochenendoffnung                                                 137 non-null    object 
 39  abweichende_offnungszeiten                                       42 non-null     object 
 40  ubernachtung_moglich                                             137 non-null    object 
 41  schliesstage_von_bis                                             58 non-null     object 
 42  fruhstuck                                                        137 non-null    object 
 43  mittag                                                           137 non-null    object 
 44  vesper                                                           137 non-null    object 
 45  abendessen                                                       137 non-null    object 
 46  versorgungsart                                                   137 non-null    object 
 47  link_zum_bereich_kinder_und_jugend_der_landeshauptstadt_potsdam  137 non-null    object 
 48  link_zu_anmeldeinformationen_der_einrichtung                     131 non-null    object 
dtypes: float64(6), object(43)
memory usage: 52.6+ KB

kitas = kitas.rename(columns={"name_der_kindertagesbetreuungseinrichtung": "name"})

kitas["name"]

kitas[["name", "betrieb_e"]]

nameobject

Am Babelsberg, AWO, Kita0.7%

Benjamin Blümchen, Kita0.7%

135 others98.5%

betrieb_eobject

Röhrenstr. 6 /14480 Potsdam / Galileistr. 6 / 14480 Potsdam / Steinstr. 104 - 106 / 14480 Potsdam0.7%

4 others2.9%

Missing96.4%

Am Babelsberg, AWO, Kita

nan

Benjamin Blümchen, Kita

nan

AKi an der Hanna-von-Pestalozza-Grundschule

nan

Bornstedter Feld II, Hort

nan

Schulplatz 1, Kita

nan

Nuthegeister, AWO, Hort für hör-, sprach-, lern-, und geistig behinderte Kinder

nan

Malteser-Hort der katholischen Marienschule

nan

Kids Company, Kita

nan

Integrationskita Sternschnuppe, AWO

nan

Kinderclub Junior, AKi

nan

kitas [kitas["betrieb_e"].notnull()] [["name", "betrieb_e"]]

nameobject

betrieb_eobject

Die Buntstifte, Hort

Röhrenstr. 6 /14480 Potsdam / Galileistr. 6 / 14480 Potsdam / Steinstr. 104 - 106 / 14480 Potsdam

Kindergarten und Hort der Waldorfschule Potsdam

Kita 50 Plätze - Hort 110 Plätze

Betriebskita klEinstein

Studentenwerk Potsdam

Geolino, Kita

GFZ, AWI, PIK

127

Kastanienhof, Hort

davon 37 Plätze am Schulstandort + 5

kitas['name_copy'] = kitas['name'] kitas = kitas.set_index("name_copy")

kitas.iloc[0]

kitas.loc["Kastanienhof, Hort"]

kitas.at["Kastanienhof, Hort", "e_mail"]

kitas.iat[0, 14]

kitas[kitas['trager'].str.contains('AWO')]

nameobject

Am Babelsberg, AWO, Kita4.8%

Nuthegeister, AWO, Hort für hör-, sprach-, lern-, und geistig behinderte Kinder4.8%

19 others90.5%

stand_vomobject

01.11.201542.9%

01.01.20169.5%

10 others47.6%

Am Babelsberg, AWO, Kita

31.03.2016

Nuthegeister, AWO, Hort für hör-, sprach-, lern-, und geistig behinderte Kinder

22.04.2016

Integrationskita Sternschnuppe, AWO

01.11.2015

Abenteuerland, AWO, Kita und Hort

01.11.2015

Sandscholle, AWO, Kita

07.11.2016

Tausendfüßler, AWO, Kita

01.11.2015

Inselmäuse, AWO, Kita

01.11.2015

Kinderland, AWO, Kita

01.03.2016

Kulturhaus Babelsberg, AWO, AKi

07.01.2016

Havelsprotten, AWO, Hort

01.11.2015

import re # regular expressions module, use for a case-insensitive query kitas[kitas['name'].str.contains('Spatzen', flags=re.IGNORECASE, regex=True)] ["name"]