DeepSeek, ChatGPT, Claude и российские модели: чем они отличаются на практике

Сравнения нейросетей обычно устроены как таблица с баллами по тестам. Проблема в том, что рабочие задачи бизнеса не похожи на эти тесты, а модели обновляются быстрее, чем выходят обзоры. Поэтому здесь не рейтинг, а способ выбрать под задачу и то, что я вижу на практике.

Почему рейтинги мало помогают

Тесты меряют способность решать сложные задачи: олимпиадную математику, длинные рассуждения, код. Типичная же задача в компании звучит иначе: разложить триста обращений по пяти категориям, вытащить контакт и бюджет из свободного текста, написать черновик письма.

На таких задачах разница между верхними моделями невелика, зато заметна разница в цене за объём, в скорости ответа и в том, насколько предсказуемо модель держит заданный формат. Это и есть критерии выбора.

Где разница действительно есть

Сложные рассуждения и работа с длинным контекстом. Здесь лидеры рынка отрываются заметно, и экономия на модели оборачивается переделкой.

Русский язык. Российские модели пишут по-русски естественнее в бытовых формулировках, лидеры лучше держат структуру и логику длинного текста.

Следование формату. Если вам нужен строгий ответ в заданной структуре, разница между моделями проявляется быстрее всего именно здесь: одна отдаёт ровно то, что просили, другая добавляет вежливое вступление, которое ломает разбор.

Цена за объём. При большом объёме однотипных задач разница в стоимости за токен превращается в реальные деньги, а разница в качестве может быть незаметна.

Юридическая сторона, которая часто решает

Если в запросе есть персональные данные клиентов, зарубежная модель означает трансграничную передачу с отдельной процедурой уведомления. Российская модель этот вопрос снимает. Открытая модель на своём сервере снимает его тоже и добавляет расходы на администрирование.

На практике это соображение чаще определяет выбор, чем несколько процентов точности. Разумный компромисс: резать персональные данные до отправки и работать с обезличенным текстом, тогда выбор модели снова становится вопросом качества и цены.

Как выбрать за один вечер

Соберите сто реальных примеров вашей задачи с правильными ответами. Не придуманных, а из вчерашней работы.

Прогоните их через две-три модели с одним и тем же промптом. Посчитайте три числа: доля правильных ответов, среднее время ответа, стоимость прогона.

Дальше решение обычно очевидно. И оно почти никогда не совпадает с ответом на вопрос «какая нейросеть лучше вообще».

Что важнее выбора модели

Промпт с примерами правильных ответов. Он даёт больший прирост качества, чем переход на модель уровнем выше.

Подключение к вашим данным. Модель без доступа к прайсу и базе будет уверенно выдумывать, и никакой рейтинг этого не исправит.

Возможность сменить модель за пять минут. Вызов модели должен быть отдельным шагом с настраиваемым адресом и названием. При скорости обновления рынка это самое ценное архитектурное решение: сегодня выгоднее одна, через полгода другая, и переход не должен стоить недели работы.

Проверка на выходе. Формат ответа проверяется автоматически, а не глазами. Тогда смена модели не превращается в лотерею.

Что сделать на этой неделе

Выпишите свои сценарии с моделью и отметьте, где вообще нужны персональные данные. Обычно выясняется, что почти нигде, и это сразу расширяет выбор.

Затем прогоните тест на ста примерах для самого частого сценария. Один вечер работы закрывает спор, который иначе тянется месяцами.

Разбор терминов из этой темы: https://ilkaev.com/slovar/llm/