MERA и Альянс в сфере ИИ приглашают на митап по бенчмаркам во всех их формах и проявлениях. 

Хедлайнеры программы — авторы бенчмарка MERA, де-факто стандарта для автоматического тестирования русскоязычных LLM, и создатели российской LLM Arena, главной платформы для сравнения моделей в реальном времени. 

Среди прочего разберем:
  • как устроены бенчмарки для текстовых и мультимодальных моделей;
  • что учитывать при проверке LLM на качество написания кода;
  • как сравнивать друг с другом специализированные ML-модели.
Доклады обогатим открытой дискуссией — участники митапа смогут расспросить спикеров о планах по развитию проектов и предложить свои ответы на открытые вопросы, которых в области бенчмарков становится больше с каждым днем.

  • Регистрация с 16:30
  • Программу начнем в 17:00

Дата и время

15 апреля, 17:00 (МСК)

Место проведения

Подписывайтесь на Т-Банк