GigaChat API: что умеет и где у него границы

GigaChat это языковая модель Сбера с доступом по API. Для бизнеса в России она интересна не качеством ответов на сложные задачи, а тем, что снимает два вопроса разом: оплата в рублях по договору с российским юрлицом и обработка данных внутри страны.

Что доступно

Три модели разного уровня: Lite, Pro и Max. Разница в качестве и цене; названия версий периодически обновляются, поэтому в сценарии название модели лучше держать настраиваемым параметром.

Кроме генерации текста доступны векторизация, то есть перевод текста в числовое представление для поиска по смыслу, и определение сгенерированного текста.

Как считаются деньги

Два варианта. Пакеты токенов с годовым сроком действия: объёмы от пятидесяти миллионов до миллиарда токенов, стоимость в зависимости от модели и объёма. Или оплата по факту потребления с выставлением счёта, порядок цен от 0,065 до 0,65 рубля за тысячу токенов в зависимости от модели, с минимальным месячным расходом в шестьсот рублей при наличии потребления.

Практический ориентир: разбор одного входящего обращения обходится в единицы копеек. То есть в типовых маркетинговых сценариях расходы на модель обычно не главная статья, дороже стоит время на подготовку и настройку.

Где он хорош

Классификация и маршрутизация обращений. Задача не требует высшего уровня рассуждений, зато требует стабильности и предсказуемой цены.

Первичный разбор свободного текста: вытащить суть запроса, контакт, город, бюджет.

Черновики типовых текстов на русском: письма, описания, короткие ответы.

Поиск по своей базе знаний в связке с векторизацией: сотрудник спрашивает обычным языком, система находит нужный кусок регламента.

Где границы

Сложные рассуждения и длинные цепочки логики даются хуже, чем лидерам рынка. Если ваша задача - разобрать многостраничный договор и найти противоречия, ждать сопоставимого результата не стоит.

Работа с большими объёмами кода тоже не сильная сторона.

Строгое следование формату требует внимания к промпту: просить структуру нужно явно и проверять её на выходе, а не полагаться на аккуратность модели.

Что учесть при внедрении

Доступ оформляется на юрлицо, и это часть процесса, а не формальность: заложите время на договор.

Ключ доступа хранится в системе, а не в коде и не в переписке. Это общее правило для любых интеграций, но именно на этом чаще всего попадаются.

Название модели, адрес и параметры генерации выносятся в настройки. Модели обновляются, и вы захотите переключиться без переписывания сценария.

Считайте расход токенов заранее. Русский текст расходует их быстрее английского, а длинный промпт с примерами оплачивается при каждом запросе. Часто дешевле сократить промпт, чем менять модель.

Как сравнить с альтернативой честно

Соберите сто реальных примеров своей задачи с правильными ответами, прогоните через GigaChat и через ту модель, которой пользуетесь. Сравните долю верных ответов, время и стоимость прогона.

Если разрыв в качестве незначим для вашей задачи, выбор в пользу российской модели снимает вопрос трансграничной передачи данных, а это чаще всего дороже нескольких процентов точности.

Что такое API и как устроен доступ: https://ilkaev.com/slovar/api/