IT’s Tinkoff Data Meetup

Концепция “Data Mesh” стала притчей в мире данных и все больше компаний пытаются его внедрить. Но возникает справедливый вопрос - стоит ли этот подход окружающего его хайпа или это просто веяние моды, которое сменится чем-то в ближайшее время? В рамках своего доклада я расскажу:

— что такое Data Mesh и почему мы решили внедрять этот подход в Яндекс Go (Яндекс Такси, Яндекс Еда, Яндекс Лавка, Яндекс Маркет);
— о нашем плане по распиливанию монолитного DWH на микросервисные куски;
— о граблях, на которые мы наступили, в итоге разломав свое DWH.
Доклад или вдохновит вас пойти по тому же пути Data Meshанины, или предостережет от опрометчивых решений.

На недавнем HighLoad++ Foundation 2022 мы рассказывали о создании Data Detective(DD) — собственного каталога данных Тинькофф. Тогда нам не хватило времени рассказать все, что мы хотели.
Для нас было важно сделать DD максимально гибким для любых видов метаданных с детальным lineage. Возник вопрос: как добиться универсальности инструмента?
На митапе мы расскажем, как устроен DD «под капотом» и как мы воплощали наши мечты и хотелки в реальность. Мы подробно поговорим:
— о модели данных нашего каталога, благодаря которой удалось достичь гибкости;
— архитектуре продукта и ее эволюции;
— проблемах, с которыми мы столкнулись, и способах их решения.
Доклад будет полезен тем, кто уже внедрил каталог данных или думает о разработке и внедрении этого инструмента.

Пользователи хранилища регулярно сталкиваются с проблемами поиска нужных данных, внутренней несогласованностью и сложностью восприятия.
Мы рассмотрим подходы к улучшению качества метаданных и поделимся способами повышения уровня их полноты и доступности. Например, такими, как предоставление качественных описаний и инструмента для удобной работы с ними. Разберем детали реализации процессов описания, мониторинга и контроля качества описаний объектов, погрузимся в модель данных нашего Data Catalog и объясним, как эти инструменты облегчают путешествие пользователей среди джунглей DWH.

В докладе я расскажу:
— как не потеряться в данных о данных;
— почему мы писали свое решение;
— какие нужны метаданные о данных;
— что такое мотивация документирования;
— что хранить кроме таблиц;
— как прокачать поиск;
— какие смежные задачи мы решаем и как измеряем успех.