Big Data meetup

Несколько лет назад, практически одновременно, на пространстве open-source проектов появились сразу две распределённые СУБД.
Обе колоночные, обе аналитические, обе очень крутые. Мог ли в такой ситуации не возникнуть многолетний холивар?
В докладе мы сначала подольём масла в огонь войны, а затем сами же его потушим:
• Особенности Greenplum
• Особенности Clickhouse
• Сравнение производительности и функционала
• Совместное использование обеих технологий в стеке Arenadata

О чем поговорим:
∙ О разработке универсального процесса загрузки, для разных источников
∙ Об использовании AVRO схем, в качестве основы для формирования таблиц
∙ О способах загрузки данных в GreenPlum в Apache NiFi
∙ О преимуществах и недостатках реализации собственного процессора перед процессом загрузки данных.

Сказ о том, как работает Центральное DWH Mail.Ru Group:
Какие задачи оно решает, а также причем тут Ситимобил и ДеливериКлаб.
Наш стек технологий включает, но не ограничивается:
Database Systems: Exasol, Vertica, MySQL, Tarantool, ClickHouse
Hadoop: Hive, Spark, MapReduce, Kafka
DataFlow / ETL: Luigi, Airflow, Jenkins
Business Inteligence: Tableau, Redash, SuperSet
Continuous Integration: Jenkins, GitLab CI