Архитектура данных: Озеро данных Дельта
Обзор книги по архитектуре данных
Озеро данных Дельта (Delta Lake. Up and Running)
Авторы: Bennie Haelen, Dan Davis
Издательство: O'Reilly
Год: 2023
С ростом больших данных и ИИ организации могут быстро создавать продукты, основанные на данных. Однако эффективность их моделей аналитики и машинного обучения зависит от качества данных. Формат Delta Lake с открытым исходным кодом предлагает надежную структуру Lakehouse на таких платформах, как Amazon S3, Azure и GCS. Что такое Дельта Лейк? Delta Lake — это фреймворк хранения данных с открытым исходным кодом, который позволяет создавать архитектуру Lakehouse, независимую от формата данных, с разными вычислительными движками, в т.ч. Spark, PrestoDB, Flink, Trino, Hive, Snowflake, Google BigQuery, Athena, Redshift, Databricks, Azure Fabric и все это на языках: Scala, Java, Rust и Python. С Delta Universal Format, также известным как UniForm, можно читать таблицы Delta с клиентами Iceberg и Hudi. Про Айсберг на моем канале недавно было видео.