Criando 3 aplicações Spark e rodando no Docker / Fabric / Databricks
O objetivo do vídeo é mostrar que é possível criar e utilizar uma aplicação Spark Open Source e
depois utilizar os mesmos scripts no ambiente Databricks e Fabric.
Stack Utilizada:
Docker
Spark
Minio
Databricks
Fabric
Conteúdo abordado:
Criação de uma aplicação Spark no Docker que gera dados fake de 10 em 10 segundos
Verificando se arquivos foram escritos no data lake
Criação de uma aplicação Spark no Docker que lê arquivos do Minio
Criação de uma aplicação Spark no Docker que gera um gráfico de barras
Executando as mesmas aplicações no Databricks
Executando as mesmas aplicações no Fabric
Meu Linkedin:
/ wallace-camargo-35b615171
Propostas Comerciais:
www.fwx-consulting.com
[email protected]
Repositório do projeto:
www.github.com/wlcamargo/spark_opensource_vs_proprietary
#dataengineer #spark #opensource #docker #databricks #fabric