Нейросеть GigaChat обучили распознавать запросы пользователей по изображениям

Модель научилась распознавать печатный и рукописный текст, формулы, графики, таблицы и анализировать данные, которые в них содержатся.

Сбер расширил возможности своей нейросетевой модели — GigaChat Pro научилась распознавать запросы пользователей по изображениям. Об этом сообщает пресс-служба банка.

Как рассказал старший вице-президент, руководитель блока «Технологическое развитие» Сбера Андрей Белевцев, нейросеть обрела новую модальность, которая расширила способы и сферы применения больших языковых моделей. По его словам, мультимодальность стала ключевым направлением развития генеративного искусственного интеллекта.

Нейросеть получила возможность распознавать иллюстрации, печатный и рукописный текст, формулы, графики и таблицы. Отмечается, что сервис использует их как дополнительный контекст, а также анализирует данные, которые в них содержатся.

Теперь в качестве запроса пользователь может отправить иллюстрацию, чтобы сервис использовал её как дополнительный контекст. Модель определит, сколько людей на фото, во что они одеты, даст совет по стилю одежды и многое другое. Или, например, студенты могут сфотографировать часть учебного материала или конспекта, загрузить изображение и в несколько кликов получить короткое содержание текста, его ключевую тему и сформировать план дальнейшей работы с ним.

— Это не просто ещё один важный шаг в развитии нашего сервиса, он открывает широкий спектр новых возможностей для наших пользователей. В том числе появляется много сценариев использования GigaChat API для бизнеса, — сказал Белевцев.

Кроме того, программный интерфейс (API) позволяет использовать функционал сервиса бизнес-клиентам. Компании могут использовать искусственный интеллект в ещё большем числе сценариев: модерировать и классифицировать отзывы, систематизировать медиаконтент, автоматизировать линию поддержки (когда клиент прикладывает к обращению скрин или фото). Ретейлеры могут загружать изображение товара и просить сервис придумать к нему продающее описание.

— Увеличение размера контекста системы в четыре раза позволит поддерживать более длинные диалоги с пользователями и проще реализовывать кейсы с механикой RAG, — подчеркнул руководитель блока «Технологическое развитие» Сбера.

Игорь Резанов

Читайте также

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter.

Похожие новости

Клиенты Сбера смогут платить «улыбкой» с карты любого банка

Клиенты Сбера смогут платить «улыбкой» с карты любого банка

В Белгородской области появились три офиса Сбера нового формата

В Белгородской области появились три офиса Сбера нового формата

Выставку картин «Дети солнца» можно будет увидеть в Белгороде до конца июня

Выставку картин «Дети солнца» можно будет увидеть в Белгороде до конца июня

Белгородцы чаще других жителей Черноземья берут ипотеку по госпрограммам

Белгородцы чаще других жителей Черноземья берут ипотеку по госпрограммам

В России началась международная конференция Сбера AI Journey

В России началась международная конференция Сбера AI Journey

В Сбере рассказали о рекордном предотвращении случаев мошенничества

В Сбере рассказали о рекордном предотвращении случаев мошенничества

В Сбере обозначили три новых риска в сфере телефонного мошенничества

В Сбере обозначили три новых риска в сфере телефонного мошенничества

Аудитория GigaChat и Kandinsky достигла 18 миллионов пользователей

Аудитория GigaChat и Kandinsky достигла 18 миллионов пользователей

Сбер провёл дизайн-сессию по цифровой трансформации Белгородской области

Сбер провёл дизайн-сессию по цифровой трансформации Белгородской области

В Сбере назвали самые популярные и опасные схемы мошенничества

В Сбере назвали самые популярные и опасные схемы мошенничества

​Сбер и Росзаповедцентр вместе займутся сохранением природного капитала

​Сбер и Росзаповедцентр вместе займутся сохранением природного капитала

Россияне могут научиться использованию ИИ в финансах

Россияне могут научиться использованию ИИ в финансах

Школьники из 42 регионов защитили бизнес-проекты на первой Всероссийской олимпиаде по предпринимательству

Школьники из 42 регионов защитили бизнес-проекты на первой Всероссийской олимпиаде по предпринимательству