DAY 2 - Как мы в ТехЦентре Дойче банка строим BI на Clickhouse (RU) - П. Якунин & Д. Гойхбург

Опубликовано: 15 Октябрь 2024
на канале: DATA MINER
207
1

Big Data Days
Онсайт и онлайн 22-25 ноября, 2022
Узнать больше о конференции: https://bit.ly/30YNt99
Присоединяйтесь к нашей следующей конференции Big Data Days 22-25 ноября в 2022 г. Здесь вы сможете получить знания от мировых экспертов, выступающих с техническими докладами и практическими мастер-классами в области Big Data, High Load, Data Science, Machine Learning и AI. В этом году конференция будет проходить в гибридной форме, это позволит вам послушать доклады и посетить мастер-классы онсайт и онлайн. Павел Якунин
Павел – инженер в ТехЦентре Дойче Банка в Москве, где его команда строит BI для инвестиционного подразделения Дойче Банка. В прошлом он был исследователем-физиком, затем трейдером, а затем разработчиком: сначала в Яндексе, потом в ТехЦентре Дойче Банка. Сейчас он использует этот опыт в разработке BI решения для других трейдеров и исследователей.

Денис Гойхбург
Денис – инженер в ТехЦентре Дойчебанка с 5 годами опыта в бэкенд разработке. Последние два года посвятил разработке системы контроля доступа к данным для инвестиционного подразделения Дойчебанка.

Мы хотели построить BI систему, в которой трейдеры, сейлзы и аналитики могли бы использовать большие данные инвестбанка для ежедневного принятия решений, соблюдая при этом внутренние правила и требования регуляторов. Система должна была быть безопасной и соответствовать требованиям по защите данных в различных странах и правилам контроля доступа. В то же время мы стремились построить подходящую для исследований систему, обеспечивающую минимальное время от сбора данных до принятия решения.

Мы расскажем про путь, который мы прошли за два года, как нам помогли в этом Clickhouse и Spark, и чего нам стоило сделать систему безопасной.