Comment dynamiser vos DataFrames Spark?
➜ Retrouvez Franck en formation ici : https://www.hymaia.com/formation/form...
Bienvenue dans notre épisode spécial de live streaming où nous explorons les dernières innovations dans le domaine de la technologie avec notre invité spécial, Furcy. Aujourd'hui, nous plongeons dans le monde de Spark Frame, une bibliothèque open source révolutionnaire pour le traitement des données.
Au programme :
Introduction à Spark Frame : Furcy, développeur de la bibliothèque, nous présente ses fonctionnalités clés et l'inspiration derrière sa création.
Démonstration pratique : Suivez une démo en direct de Spark Frame en action, montrant comment manipuler efficacement des Data Frames très imbriqués.
Séance de questions-réponses : Furcy répondra aux questions du public en direct, offrant des conseils d'expert sur l'utilisation optimale de Spark Frame dans vos projets de données.
Échange d'idées : Découvrez comment la communauté tech chez Maya utilise Spark Frame lors de notre journée d'échange mensuelle.
#SparkFrame #DataScience #spark
github : https://github.com/FurcyPin/spark-frame
doc : https://furcypin.github.io/spark-frame/
notebook : https://colab.research.google.com/git...
data v1 : https://www.prix-carburants.gouv.fr/r...
data v2 : https://data.economie.gouv.fr/explore...
_______________________
🌐🌐🌐 Nos réseaux :
➜ LinkedIn : / hymaia
➜ Twitter : / hymaiafr
➜ Instagram : / hymaia.fr
➜ TikTok : / hymaiafr
➜ Twitch : / hymaia
➜ Threads : https://www.threads.net/@hymaia.fr
💻 Notre site internet : https://www.hymaia.com
_______________________
➜➜➜ Chapitrage :
0:00 : Introduction
9:55 : Demo time!
14:48 : Chargement des données
18:41 : 1. Premier diff
23:11 : 2. Renommage des champs
27:12 : 3. Pivot
33:39 : 4. Typage
36:48 : 5. Parsing de colonne json
44:31 : 6. Diff sur colonnes nestées
47:41 : 7. Dernière passe de nettoyage
54:05 : Comparaison des différences
58:40 : Fin
______________________________________________
🎬 Montage & captation : @
______________________________________________
© 2024 Hymaïa - Cabinet de conseil Data