Tinkoff.AI — Monolog

Расскажу о нашей новой наработке для эффективного файнтюнинга моделей. Наш метод, подобно P-Tuning, позволяет делать multi-task inference, при этом практически не замедляя исходную модель, словно LoRA.

Борис Шапошников расскажет о необычном методе получения эмбеддингов текстовых последовательностей. Идея заключается в генерации изображений с текстом и применении к ним сверхточных нейронных сетей. Будут рассмотрены две статьи на эту тему, а также эксперименты по применимости этого метода к задаче детекции токсичных комментариев ВКонтакте.

Мы внезапно для себя обнаружили контринтуитивный факт — модели после файнтюнинга обладают замечательным свойством — между их весами можно линейно интерполироваться. В докладе я расскажу о том, почему это вообще работает и как этот факт можно применять на практике.