MERA и Альянс в сфере ИИ приглашают на митап по бенчмаркам во всех их формах и проявлениях.
Хедлайнеры программы — авторы бенчмарка MERA, де-факто стандарта для автоматического тестирования русскоязычных LLM, и создатели российской LLM Arena, главной платформы для сравнения моделей в реальном времени.
Среди прочего разберем:
- как устроены бенчмарки для текстовых и мультимодальных моделей;
- что учитывать при проверке LLM на качество написания кода;
- как сравнивать друг с другом специализированные ML-модели.
Доклады обогатим открытой дискуссией — участники митапа смогут расспросить спикеров о планах по развитию проектов и предложить свои ответы на открытые вопросы, которых в области бенчмарков становится больше с каждым днем.
- Регистрация с 16:30
- Программу начнем в 17:00
Подписывайтесь на Т-Банк
Код Желтый
Ютуб-канал
T-Crew
Блог на Хабре