Практическая часть - 16. Анализ лога медленных запросов скраппера. Что можно улучшить

О похожем BI-проекте. О специфике извлечения данных скаперами. Обновление архитектуры и новые задачи

О качестве кода, тестировании, типах строк, комментариях и функциях - с объяснениями "на пальцах"

Snowflake. Часть 1. Знакомство

Databricks Services - платный и бесплатный аккаунт, оркестрация. delta. Подключение через ODBC/JDBC

Spark Core. RDD. Transformations & Actions. Driver & Workers

Сравнение идеологии и возможностей SQL Server и Mongo на примере конкретной задачи

Практическая часть - 23. MongoDB. Разбор домашек. Где уместно использовать эту СУБД, а где нет

Практическая часть - 22. MongoDB. Разбор домашек. Среды разработки и язык python

Теоретическое занятие 10. MongoDB. Продолжаем знакомство с Mongo DB. Поиск и преобразование данных

Теоретическое занятие 09. MongoDB. Знакомство с Mongo Shell и основными операциями обработки данных

Практическая часть - 21. Переходим от процедурного к Объектно-Ориентированному коду! Что и как

Практическая часть - 20. Загрузка данных full и incremental. О создании dev-окружения и деплойментах

Практическая часть - 19. Задача уменьшения (сжатия) размера данных

Практическая часть - 18. Сравнение производительности разных storage-движков(InnoDB, Memory, MyISAM)

Практическая часть - 17. О работе DevOps и support-команды, требования. Интеграция двух подпроектов.

Практическая часть - 16. Анализ лога медленных запросов скраппера. Что можно улучшить

Практическая часть - 15. Необходимость оптимизации SQL-кода подсистемы скраппинга.

Практическая часть - 14. Ревью второго ETL. О синхронизация отдельных частичных решений. Что дальше

Практическая часть - 13. Ревью первого ETL (Staging1 - токенизация исходных данных + аудит)

Теоретическая часть - 08. Создание VM и mysql docker контейнера в GCP. Автоматизация этого процесса

Практическая часть - 12. Обсуждение будущего дашборда и подсистемы аудита

Практическая часть - 11. Ревью Full Load процедуры из Landing в Staging1.

Теоретическая часть - 07. Batch vs Streaming Processing. Лямбда-архитектура

Практическая часть - 10. О качестве данных. Метаданные: audit & baddata на примере скрапера.