Встречаемся с экспертами в области MLOps в нашем ИТ-хабе. Порассуждаем, как эффективно объединить машинное обучение, разработку и эксплуатацию в устойчивую и масштабируемую систему.
После докладов пообщаемся в неформальной обстановке: обсудим идеи в кругу единомышленников и вдохновимся на новые проекты.
Доклады
19:00 – 19:40
Когда Kubernetes не справляется: как мы научили кластер жить под сильной батчевой нагрузкой
Расскажу, как наша инфраструктурная команда ML Core прошла путь от частых сбоев под нагрузкой до надежной и предсказуемой работы, несмотря на огромный поток запускаемых задач.
Затрону тему модернизации Kubernetes и Cilium и наших собственных сервисов, которые помогли выйти на новый уровень стабильности и ускорить запуск подов. Особое внимание уделю тому, как мы это сделали, сохранив комфорт и непрерывность работы для пользователей
Затрону тему модернизации Kubernetes и Cilium и наших собственных сервисов, которые помогли выйти на новый уровень стабильности и ускорить запуск подов. Особое внимание уделю тому, как мы это сделали, сохранив комфорт и непрерывность работы для пользователей
Андрей Фунтиков
Старший инженер
Т-Банк
Т-Банк
19:45 – 20:25
Hugging Face Proxy: как мы доставляем модели 1+ ТБ до кластеров за миллисекунды
Сотни исследователей в компании активно используют модели из Hugging Face, размер которых превышает несколько терабайтов. Постоянная перекачка и бесконтрольное хранение таких объемов увеличивают продолжительность экспериментов и нагружают инфраструктуру.
Расскажу, как мы интегрировали Hugging Face Proxy в наш Model Registry, как устроена архитектура этой системы и на какие подводные камни мы наткнулись
Расскажу, как мы интегрировали Hugging Face Proxy в наш Model Registry, как устроена архитектура этой системы и на какие подводные камни мы наткнулись
Никита Ковалёв
Младший аналитик
Т-Банк
Т-Банк
20:40 – 21:25
Как мы обеспечиваем качество выдачи агентской системы. От эвала ступидов до больших бенчмарков
Корректный вывод модели — не гарантия, что вся агентская система работает правильно.
На примерах покажу, какие уровни контроля мы выделили и как прошли путь от простых проверок до полноценной системы эвалов и бенчмарков. Вкратце затрону инфраструктуру под капотом, которая позволяет нам масштабировать и поддерживать качество выдачи
Юрий Крутилин
ИТ Тимлид
Т-Банк
Т-Банк
MLOps — набор процедур, направленных на последовательное и эффективное внедрение и поддержку моделей машинного обучения. Kubernetes — программное обеспечение для оркестровки контейнеризированных приложений. ML Core — платформа машинного обучения. Cilium — сетевая и безопасная платформа для контейнерных сред. Под — инструмент контейнеризации. Hugging Face Proxy — платформа с открытым исходным кодом. Model Registry — реестр моделей. Эвал — открытый фреймворк для оценки и тестирования приложений на основе языковой модели. Ступид — ошибка. Бенчмарк — эталонный показатель.
Подписывайтесь на Т-Банк
Код Желтый
Ютуб-канал
T-Crew
Блог на Хабре