Пропустить навигацию

T-Meetup: MLOps

3 презентации
Встречаемся с экспертами в области MLOps в Нижнем Новгороде. Порассуждаем, как эффективно объединить машинное обучение, разработку и эксплуатацию в устойчивую и масштабируемую систему.

После докладов пообщаемся в неформальной обстановке: обсудим идеи в кругу единомышленников и вдохновимся на новые проекты.

Дата и время

9 апреля, 19:00 (МСК)

Место проведения

Офлайн, Нижний Новгород, Большая Покровская ул., 18, ДКРТ

Доклады

Когда Kubernetes не справляется: как мы научили кластер жить под сильной батчевой нагрузкой
Расскажу, как наша инфраструктурная команда ML Core прошла путь от частых сбоев под нагрузкой до надежной и предсказуемой работы, несмотря на огромный поток запускаемых задач.

Затрону тему модернизации Kubernetes и Cilium и наших собственных сервисов, которые помогли выйти на новый уровень стабильности и ускорить запуск подов. Особое внимание уделю тому, как мы это сделали, сохранив комфорт и непрерывность работы для пользователей
Андрей Фунтиков
Старший инженер
Т-Банк
Hugging Face Proxy: как мы доставляем модели 1+ ТБ до кластеров за миллисекунды
Сотни исследователей в компании активно используют модели из Hugging Face, размер которых превышает несколько терабайтов. Постоянная перекачка и бесконтрольное хранение таких объемов увеличивают продолжительность экспериментов и нагружают инфраструктуру.

Расскажу, как мы интегрировали Hugging Face Proxy в наш Model Registry, как устроена архитектура этой системы и на какие подводные камни мы наткнулись
Никита Ковалёв
Младший разработчик
Т-Банк
Как мы обеспечиваем качество выдачи агентской системы. От эвала ступидов до больших бенчмарков
Корректный вывод модели — не гарантия, что вся агентская система работает правильно. 
На примерах покажу, какие уровни контроля мы выделили и как прошли путь от простых проверок до полноценной системы эвалов и бенчмарков. Вкратце затрону инфраструктуру под капотом, которая позволяет нам масштабировать и поддерживать качество выдачи
Юрий Крутилин
ИТ Тимлид
Т-Банк
​
Я даю согласие на обработку моих персональных данных для цели:
Мы обрабатываем ваши данные в соответствии с
MLOps — набор процедур, направленных на последовательное и эффективное внедрение и поддержку моделей машинного обучения. Kubernetes — программное обеспечение для оркестровки контейнеризированных приложений. ML Core — платформа машинного обучения. Cilium — сетевая и безопасная платформа для контейнерных сред. Под — инструмент контейнеризации. Hugging Face Proxy — платформа с открытым исходным кодом. Model Registry — реестр моделей. Эвал — открытый фреймворк для оценки и тестирования приложений на основе языковой модели. Ступид — ошибка. Бенчмарк — эталонный показатель.