update learning goals, reformat
Browse files- src/03_low_code/catalogue.qmd +5 -2
- src/03_low_code/video_transcripts.qmd +2 -0
- src/03_low_code/video_transcripts/get_videos_for_youtube_channels.ipynb +1 -0
- src/04_use_case/forum/buergergeld_forum.ipynb +3 -1
- src/04_use_case/jobs/Jobboerse_API.ipynb +3 -1
- src/04_use_case/laws/Gesetze_im_Internet_Aktualitätendienst.ipynb +6 -2
- src/04_use_case_bonus/podcasts/aggregate_podcast_episodes_to_markdown.ipynb +3 -1
- src/index.qmd +2 -0
src/03_low_code/catalogue.qmd
CHANGED
@@ -7,15 +7,18 @@ listing:
|
|
7 |
type: grid
|
8 |
---
|
9 |
|
|
|
10 |
## Lernziele
|
11 |
|
12 |
**Extraktion mit Python und BeautifulSoup**: Praktische Übung im Web-Scraping, um das gezielte extrahieren aus Datenstrukturen zu verstehen.
|
|
|
13 |
|
14 |
::: {#catalogue}
|
15 |
:::
|
16 |
|
|
|
17 |
## Testscrapingseiten
|
18 |
|
19 |
* [bsenst.github.io/toscrape](https://bsenst.github.io/toscrape/)
|
20 |
-
|
21 |
-
|
|
|
7 |
type: grid
|
8 |
---
|
9 |
|
10 |
+
::: {.callout-tip}
|
11 |
## Lernziele
|
12 |
|
13 |
**Extraktion mit Python und BeautifulSoup**: Praktische Übung im Web-Scraping, um das gezielte extrahieren aus Datenstrukturen zu verstehen.
|
14 |
+
:::
|
15 |
|
16 |
::: {#catalogue}
|
17 |
:::
|
18 |
|
19 |
+
::: {.callout-note}
|
20 |
## Testscrapingseiten
|
21 |
|
22 |
* [bsenst.github.io/toscrape](https://bsenst.github.io/toscrape/)
|
23 |
+
* [toscrape.com](https://toscrape.com/)
|
24 |
+
:::
|
src/03_low_code/video_transcripts.qmd
CHANGED
@@ -7,9 +7,11 @@ listing:
|
|
7 |
type: grid
|
8 |
---
|
9 |
|
|
|
10 |
## Lernziele
|
11 |
|
12 |
**Extraktion von YouTube-Transkripten und deren Speicherung als PDF-Dateien**: Lernen, wie man Transkripte von Bildungs- und Informationsvideos extrahiert, um diese Inhalte leichter zugänglich und weiterverwendbar für Bildungsarbeit, Advocacy und Sensibilisierungsmaßnahmen zu machen.
|
|
|
13 |
|
14 |
::: {#video_transcripts}
|
15 |
:::
|
|
|
7 |
type: grid
|
8 |
---
|
9 |
|
10 |
+
::: {.callout-tip}
|
11 |
## Lernziele
|
12 |
|
13 |
**Extraktion von YouTube-Transkripten und deren Speicherung als PDF-Dateien**: Lernen, wie man Transkripte von Bildungs- und Informationsvideos extrahiert, um diese Inhalte leichter zugänglich und weiterverwendbar für Bildungsarbeit, Advocacy und Sensibilisierungsmaßnahmen zu machen.
|
14 |
+
:::
|
15 |
|
16 |
::: {#video_transcripts}
|
17 |
:::
|
src/03_low_code/video_transcripts/get_videos_for_youtube_channels.ipynb
CHANGED
@@ -131,6 +131,7 @@
|
|
131 |
"outputs": [],
|
132 |
"source": [
|
133 |
"# prompt: for each channel id retrieve the list of video ids using the get_video_ids function and save them to a list \"video_id\"\n",
|
|
|
134 |
"\n",
|
135 |
"video_id = [get_video_ids(channel_id) for channel_id in channel_ids.values()]"
|
136 |
]
|
|
|
131 |
"outputs": [],
|
132 |
"source": [
|
133 |
"# prompt: for each channel id retrieve the list of video ids using the get_video_ids function and save them to a list \"video_id\"\n",
|
134 |
+
"# dieser vorgang kann einige zeit in anspruch nehmen\n",
|
135 |
"\n",
|
136 |
"video_id = [get_video_ids(channel_id) for channel_id in channel_ids.values()]"
|
137 |
]
|
src/04_use_case/forum/buergergeld_forum.ipynb
CHANGED
@@ -22,13 +22,15 @@
|
|
22 |
"cell_type": "markdown",
|
23 |
"metadata": {},
|
24 |
"source": [
|
|
|
25 |
"## Lernziele\n",
|
26 |
"\n",
|
27 |
"**Web Scraping von Foren**\n",
|
28 |
"\n",
|
29 |
"* Herunterladen und Speichern von HTML-Seiten eines Forums.\n",
|
30 |
"* Extraktion und Analyse von Forenbeiträgen und Metadaten.\n",
|
31 |
-
"* Verarbeitung und Bereinigung der extrahierten Daten mit Pandas
|
|
|
32 |
]
|
33 |
},
|
34 |
{
|
|
|
22 |
"cell_type": "markdown",
|
23 |
"metadata": {},
|
24 |
"source": [
|
25 |
+
"::: {.callout-tip}\n",
|
26 |
"## Lernziele\n",
|
27 |
"\n",
|
28 |
"**Web Scraping von Foren**\n",
|
29 |
"\n",
|
30 |
"* Herunterladen und Speichern von HTML-Seiten eines Forums.\n",
|
31 |
"* Extraktion und Analyse von Forenbeiträgen und Metadaten.\n",
|
32 |
+
"* Verarbeitung und Bereinigung der extrahierten Daten mit Pandas.\n",
|
33 |
+
":::"
|
34 |
]
|
35 |
},
|
36 |
{
|
src/04_use_case/jobs/Jobboerse_API.ipynb
CHANGED
@@ -22,13 +22,15 @@
|
|
22 |
"cell_type": "markdown",
|
23 |
"metadata": {},
|
24 |
"source": [
|
|
|
25 |
"## Lernziele\n",
|
26 |
"\n",
|
27 |
"**Nutzung der Jobbörse API**\n",
|
28 |
"\n",
|
29 |
"* Abrufen von Jobangeboten über die Jobbörse API.\n",
|
30 |
"* Verarbeitung und Analyse der abgerufenen Daten mit Pandas.\n",
|
31 |
-
"* Visualisierung der Daten und Erstellung von * Häufigkeitsverteilungen
|
|
|
32 |
]
|
33 |
},
|
34 |
{
|
|
|
22 |
"cell_type": "markdown",
|
23 |
"metadata": {},
|
24 |
"source": [
|
25 |
+
"::: {.callout-tip}\n",
|
26 |
"## Lernziele\n",
|
27 |
"\n",
|
28 |
"**Nutzung der Jobbörse API**\n",
|
29 |
"\n",
|
30 |
"* Abrufen von Jobangeboten über die Jobbörse API.\n",
|
31 |
"* Verarbeitung und Analyse der abgerufenen Daten mit Pandas.\n",
|
32 |
+
"* Visualisierung der Daten und Erstellung von * Häufigkeitsverteilungen.\n",
|
33 |
+
":::"
|
34 |
]
|
35 |
},
|
36 |
{
|
src/04_use_case/laws/Gesetze_im_Internet_Aktualitätendienst.ipynb
CHANGED
@@ -22,13 +22,15 @@
|
|
22 |
"cell_type": "markdown",
|
23 |
"metadata": {},
|
24 |
"source": [
|
|
|
25 |
"## Lernziele\n",
|
26 |
"\n",
|
27 |
"**RSS-Feed-Analyse**\n",
|
28 |
"\n",
|
29 |
"* Abrufen und Parsen von RSS-Feeds mit feedparser.\n",
|
30 |
"* Umwandlung der Feed-Daten in ein Pandas DataFrame.\n",
|
31 |
-
"* Analyse und Visualisierung der Feed-Daten
|
|
|
32 |
]
|
33 |
},
|
34 |
{
|
@@ -356,9 +358,11 @@
|
|
356 |
"cell_type": "markdown",
|
357 |
"metadata": {},
|
358 |
"source": [
|
|
|
359 |
"## Weitere RSS Feeds als Quellen\n",
|
360 |
"\n",
|
361 |
-
"* [bundestag.de/rss](https://www.bundestag.de/rss)\n"
|
|
|
362 |
]
|
363 |
}
|
364 |
],
|
|
|
22 |
"cell_type": "markdown",
|
23 |
"metadata": {},
|
24 |
"source": [
|
25 |
+
"::: {.callout-tip}\n",
|
26 |
"## Lernziele\n",
|
27 |
"\n",
|
28 |
"**RSS-Feed-Analyse**\n",
|
29 |
"\n",
|
30 |
"* Abrufen und Parsen von RSS-Feeds mit feedparser.\n",
|
31 |
"* Umwandlung der Feed-Daten in ein Pandas DataFrame.\n",
|
32 |
+
"* Analyse und Visualisierung der Feed-Daten.\n",
|
33 |
+
":::"
|
34 |
]
|
35 |
},
|
36 |
{
|
|
|
358 |
"cell_type": "markdown",
|
359 |
"metadata": {},
|
360 |
"source": [
|
361 |
+
"::: {.callout-note}\n",
|
362 |
"## Weitere RSS Feeds als Quellen\n",
|
363 |
"\n",
|
364 |
+
"* [bundestag.de/rss](https://www.bundestag.de/rss)\n",
|
365 |
+
":::"
|
366 |
]
|
367 |
}
|
368 |
],
|
src/04_use_case_bonus/podcasts/aggregate_podcast_episodes_to_markdown.ipynb
CHANGED
@@ -15,9 +15,11 @@
|
|
15 |
"cell_type": "markdown",
|
16 |
"metadata": {},
|
17 |
"source": [
|
|
|
18 |
"## Lernziele\n",
|
19 |
"\n",
|
20 |
-
"Du wirst lernen, wie du mit Python und der requests-Bibliothek Webseiten herunterlädst und mit BeautifulSoup HTML-Inhalte analysierst. Außerdem wirst du lernen, wie du Fehler in deinem Code behandelst und Dateien effizient liest und schreibst. Zusätzlich wirst du Daten bereinigen und verarbeiten, DataFrames mit Pandas erstellen und bearbeiten sowie Daten ins Markdown-Format exportieren
|
|
|
21 |
]
|
22 |
},
|
23 |
{
|
|
|
15 |
"cell_type": "markdown",
|
16 |
"metadata": {},
|
17 |
"source": [
|
18 |
+
"::: {.callout-tip}\n",
|
19 |
"## Lernziele\n",
|
20 |
"\n",
|
21 |
+
"Du wirst lernen, wie du mit Python und der requests-Bibliothek Webseiten herunterlädst und mit BeautifulSoup HTML-Inhalte analysierst. Außerdem wirst du lernen, wie du Fehler in deinem Code behandelst und Dateien effizient liest und schreibst. Zusätzlich wirst du Daten bereinigen und verarbeiten, DataFrames mit Pandas erstellen und bearbeiten sowie Daten ins Markdown-Format exportieren.\n",
|
22 |
+
":::"
|
23 |
]
|
24 |
},
|
25 |
{
|
src/index.qmd
CHANGED
@@ -1,6 +1,7 @@
|
|
1 |
|
2 |
Herzlich willkommen zum Webscraping Workshop! Egal, ob Erste-Schritte oder Fortgeschritten, dieser Workshop soll wertvolle Einblicke und praktische Erfahrungen für jeden bieten.
|
3 |
|
|
|
4 |
## Reflektion 💭
|
5 |
|
6 |
* Hast du ein Google Nutzerkonto?
|
@@ -8,6 +9,7 @@ Herzlich willkommen zum Webscraping Workshop! Egal, ob Erste-Schritte oder Fortg
|
|
8 |
* Hast du schon einmal Daten aus dem Internet extrahiert?
|
9 |
* Hast du schonmal Daten über eine API bezogen?
|
10 |
* Nutzt du Große Sprachmodelle?
|
|
|
11 |
|
12 |
## Navigation auf der Workshop Webseite 🧭
|
13 |
|
|
|
1 |
|
2 |
Herzlich willkommen zum Webscraping Workshop! Egal, ob Erste-Schritte oder Fortgeschritten, dieser Workshop soll wertvolle Einblicke und praktische Erfahrungen für jeden bieten.
|
3 |
|
4 |
+
::: {.callout-note}
|
5 |
## Reflektion 💭
|
6 |
|
7 |
* Hast du ein Google Nutzerkonto?
|
|
|
9 |
* Hast du schon einmal Daten aus dem Internet extrahiert?
|
10 |
* Hast du schonmal Daten über eine API bezogen?
|
11 |
* Nutzt du Große Sprachmodelle?
|
12 |
+
:::
|
13 |
|
14 |
## Navigation auf der Workshop Webseite 🧭
|
15 |
|