С помощью новых нейросетей белгородцы смогут генерировать тексты на русском и ещё 60 языках

Каждая модель содержит 13 миллиардов параметров и способна создавать тексты на русском или других языках.

Для пользователей стали доступны новые нейросети по генерации текста для русского и ещё 60 языков. Их открыла команда Сбера. Нейросетевая модель генерации текста для русского языка ruGPT-3.5 13B — её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B — самую большую из семейства многоязычных моделей компании, способную генерировать тексты на 61 языке. Обе модели доступны на платформе HuggingFace, и их могут использовать все разработчики, модели опубликованы под открытой лицензией MIT.

Russian Generative Pretrained Transformer версии 3.5 (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B. Это современная модель генерации текста для русского языка на основе доработанной исследователями банка архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2 048 токенов. Она обучена на текстовом корпусе размером около 1 терабайта, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов.

Также в открытом доступе опубликована многоязычная модель mGPT 13B. Версия mGPT 13B содержит 13 миллиардов параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 гигабайтах текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Игорь Резанов

Читайте также

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter.

Похожие новости

Всероссийская Сбербанкиада в Казани соберёт около 2,5 тысячи человек

Всероссийская Сбербанкиада в Казани соберёт около 2,5 тысячи человек

Сотрудники Центрально-Чернозёмного банка Сбера спасли от мошенников почти 13 миллионов рублей своих клиентов

Сотрудники Центрально-Чернозёмного банка Сбера спасли от мошенников почти 13 миллионов рублей своих клиентов

В Сбере рассказали, что над сценарием фильма «Чебурашка» работали 1,5 года

В Сбере рассказали, что над сценарием фильма «Чебурашка» работали 1,5 года

С начала года белгородцы совершили более 75 тысяч транзакций по сервисам SberPay

С начала года белгородцы совершили более 75 тысяч транзакций по сервисам SberPay

В юбилейном «Зелёном марафоне» поучаствовали более 7,5 тысячи жителей Черноземья

В юбилейном «Зелёном марафоне» поучаствовали более 7,5 тысячи жителей Черноземья

Сбер начал выдавать ипотеку на строительство дома под залог земли

Сбер начал выдавать ипотеку на строительство дома под залог земли

Сбер провёл конференцию для белгородских HR-директоров

Сбер провёл конференцию для белгородских HR-директоров

Воронежец списал более 500 тысяч бонусов СберСпасибо за покупку на маркетплейсе

Воронежец списал более 500 тысяч бонусов СберСпасибо за покупку на маркетплейсе

Журналисты и блогеры поучаствовали в первом в России пробеге на электрокарах

Журналисты и блогеры поучаствовали в первом в России пробеге на электрокарах

Сбер: почти на треть выросли траты россиян на путешествия по стране

Сбер: почти на треть выросли траты россиян на путешествия по стране

Сотрудники банка остановили белгородку от перевода мошенникам 3,7 миллиона рублей

Сотрудники банка остановили белгородку от перевода мошенникам 3,7 миллиона рублей

Нейросеть Сбера GigaChat сдала экзамен на врача

Нейросеть Сбера GigaChat сдала экзамен на врача

Сбер создал юридического помощника на основе искусственного интеллекта

Сбер создал юридического помощника на основе искусственного интеллекта

​Первые десять банкоматов Сбера начали работать на территории ДНР и ЛНР

​Первые десять банкоматов Сбера начали работать на территории ДНР и ЛНР