Data Engineering für Devs: Mit JavaScript zur perfekten Datenpipeline
Folge mir auf / gregorbiswanger
Komm zur Community auf / discord
Unser Fan-Shop auf http://my-coding-zone.de
Willkommen zurück aus der Sommerpause! 🌞 Du hast uns gefehlt und wir können es kaum erwarten, mit dir gemeinsam in die spannende Welt der Datenqualität und Datenvalidierung einzutauchen.
Stell dir vor, du könntest mit den Tools und Sprachen, die du bereits kennst, komplexe Daten-Pipelines von Grund auf erstellen und perfektionieren. Klingt das nicht spannend?
Jetzt hast du die goldene Gelegenheit! 🌟 Schalte ein zu unserer ersten Live-Stream-Folge nach der Sommerpause auf Twitch, wo du zusammen mit dem Experten Sascha Dittmann in die Tiefen des "dAG-Stacks" abtauchen kannst. Lass dich inspirieren und finde heraus, wie mit Open-Source-Software und JavaScript deine besten Verbündeten auf diesem Weg sein können.
Apache Airflow, dbt und viele andere spannende Tools warten darauf, von dir entdeckt zu werden. Und denke daran, du bist nicht allein auf dieser Reise – wir erkunden gemeinsam Neuland, lernen voneinander und teilen unsere Erfahrungen in einer lebendigen und engagierten Community.
Bereite dich darauf vor, deinen Horizont zu erweitern, deine Fähigkeiten zu vertiefen und vielleicht sogar ein paar neue Tricks zu lernen, die deine Arbeit in den Bereichen Data Engineering und Data Science revolutionieren könnten.
Also, schnapp dir eine Tasse Kaffee ☕, mach es dir gemütlich und sei dabei, wenn wir gemeinsam ein neues Kapitel aufschlagen.
Wir freuen uns darauf, dich im Live-Stream zu sehen!
Unser Gast: Sascha Dittmann ist als Customer Engineer (Smart Analytics) bei Google Cloud tätig. In seiner Rolle unterstützt er Kunden bei der Implementierung erfolgreicher Cloud-Lösungen. Sein Fokus liegt dabei auf Advanced Analytics, Big Data, IoT sowie Data Science. Bevor er 2021 zu Google kam, arbeitete er sechs Jahre lang als Cloud Solution Architect bei Microsoft sowie bei Ernst & Young als Softwareentwickler (13 Jahre) und Solution Architect (3 Jahre). Er ist Autor mehrerer Fachartikel und regelmäßiger Sprecher bei User Groups und Konferenzen. Zwischen 2012 und 2015 wurde er viermal von Microsoft mit dem "Microsoft Most Valuable Professional"-Award für seine Arbeit im Microsoft-Azure-Umfeld ausgezeichnet.
▼ ▼ ▼ Timestamps ▼ ▼ ▼
[00:00:00] Intro
[00:02:10] Willkommen
[00:10:56] Experiment: OpenAI API und GPT-4 Chatbot
[00:15:36] Rückblick: Entwicklung von Big Data und Machine Learning
[00:20:51] Datenarten: Strukturiert, Semistrukturiert, Unstrukturiert
[00:23:01] Technologie-Update: Von Hadoop zu Spark
[00:31:25] Interaktive Umfrage
[00:49:59] JavaScript in der Datenverarbeitung
[00:53:00] Cloud-Strategien: Multicloud-Lösungen und Toolsets
[01:03:50] Entwicklung von Cloud-basierten Entwicklungsumgebungen
[01:09:03] Anpassung von VS Code für Google Cloud
[01:12:29] Evolution der Data Pipelines: Nutzung von Kommandozeilen-Tools
[01:13:19] Datenpipeline-Tools: Vorstellung von DBT und Dataform
[01:38:08] Skalierung von Big Data Systemen mit BigQuery
[01:43:34] Aggregation von Milliarden Datensätzen in BigQuery
[01:50:42] Moderne Data Pipelines: DBT, Dataform und Testing
[02:00:58] Generierung von Dokumentation und Tests in der Cloud
[02:22:16] Projektstart mit DBT: Initialisierung und Einrichtung
[02:28:08] Datenquellenkonfiguration in Dataform
[02:39:05] Datenmanipulation: Vorbereitung mit Staging-Dateien
[02:46:08] Fehlerbehebung und Ausführung von SQL-Abfragen mit Dataform
[02:56:07] Abschlussdiskussion: Datenverarbeitung und Troubleshooting
[03:00:08] Erstellung von Berichtstabellen und Datenstrukturen
[03:04:01] Struktur einer effektiven Datenpipeline
[03:30:45] Quiz-Spiel
[03:52:49] Abschied
✅ Mein Equipment: https://kit.co/GregorBiswanger/gregor...
Folge mir auf / gregorbiswanger
Komm zur Community auf / discord