T-Meetup: Computer Vision

За последние годы область генеративного искусственного интеллекта претерпела значительные изменения благодаря развитию Text2Img-моделей, которые могут создавать реалистичные изображения на основе текстовых описаний. Я рассмотрю ключевые технологии, лежащие в основе этих моделей, и их применение в сфере переноса стиля. 

Обсужу с вами современные подходы к синтезу изображений, позволяющие интегрировать художественные эффекты и стилистические особенности, сферу их использования и ограничения методов

В последние годы нейронные сети де-факто стали стандартным инструментом во всех задачах, требующих распознавания, синтеза или сложной обработки изображений на edge-системах. В таких системах есть жесткие ограничения на время исполнения и вычислительную сложность методов и объем памяти. 

Для решения этих проблем специалисты используют комплекс подходов, которые направлены на создание компактных квантованных нейронных сетей малых разрядностей. Я расскажу о новой разработке Smart Engines — 4,6-битных квантованных нейронных сетях, которые объединяют высокую точность и вычислительную эффективность

2024 год стал большим шагом в развитии VLM-моделей, которые позволяют работать с набором изображений и текстов с помощью инструкций на естественном языке. За год эксперты выпустили сотни статей об аспектах визуально-текстовой мультимодальности и десятки открытых VLM-моделей разного размера и направленности. Я проанализировал их и теперь расскажу о новых инженерных идеях и инсайтах 2024 года в построении сильной VLM, поделюсь современными VLM-приложениями и их ограничениями