MERA и Альянс в сфере ИИ приглашают на митап по бенчмаркам во всех их формах и проявлениях.
Хедлайнеры программы — авторы бенчмарка MERA, де-факто стандарта для автоматического тестирования русскоязычных LLM, и создатели российской LLM Arena, главной платформы для сравнения моделей в реальном времени.
Среди прочего разберем:
- как устроены бенчмарки для текстовых и мультимодальных моделей;
- что учитывать при проверке LLM на качество написания кода;
- как сравнивать друг с другом специализированные ML-модели.
Доклады обогатим открытой дискуссией — участники митапа смогут расспросить спикеров о планах по развитию проектов и предложить свои ответы на открытые вопросы, которых в области бенчмарков становится больше с каждым днем.
- Регистрация с 16:30
- Программу начнем в 17:00
Подписывайтесь на нас в соцсетях
Код Желтый
Делимся опытом и полезными ссылками в Телеграме
Блог на Хабре
Пишем статьи о технологиях и внутренней кухне
T-Crew
Рассказываем о команде и публикуем вакансии в Телеграме
Ютуб-канал
Публикуем видео с мероприятий, шоу и подкасты