Data и ИИБэкендPython

GigaChat, YandexGPT или DeepSeek: кто лучше пишет код для новичка

Сравниваем GigaChat, YandexGPT и DeepSeek на одинаковых задачах программирования: запускаем тесты, считаем баллы и отделяем факты от впечатлений.

Кодик

Автор

6 мин чтения

AI-бенчмарк кода можно освоить на одном небольшом проекте, если сразу видеть вход, действие и результат. Честное сравнение моделей начинается не с любимого интерфейса, а с одинакового промпта, фиксированных тестов и сохранённых сырых ответов. Ниже вы соберёте работающий пример и проверите обычный и граничный сценарии.

Один удачный ответ легко принять за качество модели, хотя результат меняется от формулировки, версии, температуры и случайности генерации. Поэтому отделим настройку, входные данные, основное действие и проверку. В этой статье вы соберёте маленький бенчмарк из трёх Python-задач, который проверяет синтаксис, unit-тесты, объяснение и число ручных исправлений. Проверка: каждая модель получает одинаковые условия, код запускается в изолированном процессе, а таблица хранит не только итоговый балл, но и причины потерь.

1Соберите минимум

зафиксировать три задачи и ожидаемые тесты. Не расширяйте проект до первого успешного запуска.

2Увидьте данные

каждый запуск воспроизводим. Проверяйте значение, а не отсутствие ошибки.

3Измените правило

После успеха добавьте четвёртую задачу и независимый критерий безопасности. Так копирование станет практикой.

Как устроен учебный проект AI-бенчмарк кода

Adapters сохраняют ответы моделей в отдельные файлы, runner извлекает код и запускает pytest с тайм-аутом, rubric добавляет объяснимые баллы. Держите ввод, логику и отображение раздельно: тогда каждый этап можно проверить отдельно.

ЭтапДействиеПроверяемый результат
Наборзафиксировать три задачи и ожидаемые тестыусловия не меняются между моделями
Ответысохранить сырые ответы и метаданные версиикаждый запуск воспроизводим
Тестыпроверить синтаксис и pytest в subprocessопасный или зависший код остановлен
Оценкапосчитать баллы по рубрикетаблица объясняет каждый результат

Контрольные точки: набор, ответы, тесты и оценка. Следующий шаг начинается после совпадения с ожидаемым результатом.

Путь данных в проекте AI-бенчмарк кода
От входных данных до видимого результата. Сначала проверяется вход, затем действие и только потом интерфейс.

Зафиксируйте первый успех Запустите тесты на эталонном решении и намеренно сломанной функции. Если runner не отличает их, сравнивать модели рано. Сохраните команду запуска и ожидаемый вывод.

Собираем рабочий пример шаг за шагом

Материал сверялся с официальной документацией 2 ноября 2026 года. Создайте папки tasks, answers и tests. API-ключи держите в окружении, а ответы сохраняйте вместе с датой и идентификатором модели. Проверьте текущую папку через pwd или Get-Location. Вставьте пример целиком, выполните один раз, затем разбирайте по частям.

from dataclasses import dataclass
import ast
import subprocess
import sys

@dataclass
class Score:
    syntax: int = 0
    tests: int = 0
    explanation: int = 0

def evaluate(filename: str, testfile: str, explanation: str) -> Score:
    code = open(filename, encoding="utf-8").read()
    score = Score()
    try:
        ast.parse(code)
        score.syntax = 2
    except SyntaxError:
        return score
    run = subprocess.run(
        [sys.executable, "-m", "pytest", "-q", testfile],
        text=True,
        capture_output=True,
        timeout=10,
        env={"PYTHONPATH": "."},
    )
    score.tests = 6 if run.returncode == 0 else 0
    score.explanation = 2 if len(explanation.split()) >= 20 else 0
    return score
Что должно произойти после запуска
  • Таблица содержит отдельные баллы за синтаксис, тесты и объяснение, а не одно субъективное место.
  • Повторный прогон с тем же сохранённым ответом даёт тот же результат.
  • Повторный запуск даёт тот же предсказуемый результат.
  • Пустой ввод получает понятное сообщение вместо падения.

Главная функция принимает явный вход и возвращает результат, который можно проверить отдельно от интерфейса. Найдите в примере вход, проверку и место формирования результата.

Хрупкий и проверяемый вариант AI-бенчмарк кода
Что отличает устойчивый проект от случайного запуска. Явные границы делают ошибку локальной и понятной.

Что происходит внутри и почему это работает

Unit-тесты проверяют поведение, ast.parse отсеивает синтаксическую ошибку, а ручная рубрика оценивает то, что автоматом не видно: ясность объяснения и безопасность. Логику держите отдельно от вывода: функция получает аргумент и возвращает значение, а интерфейс показывает его. Не запускайте неизвестный AI-код на рабочей машине с секретами и сетью. Для полноценного эксперимента нужен контейнер с лимитами CPU, памяти, времени и без доступа к токенам.

ЧастьЗа что отвечаетЧто проверить
Промптфиксирует задачу и формат ответаодинаков для всех моделей
Runnerзапускает код и тесты с тайм-аутомпроцесс изолирован
Rubricобъясняет начисление балловручные оценки видны читателю

Название модели без даты и точного идентификатора быстро устаревает. Сохраняйте параметры запроса и не переносите вывод одной Python-задачи на все языки, архитектуру и безопасность. Не прячьте поток в одном обработчике: сохраните вход, проверьте его, вызовите операцию и только затем обновите интерфейс.

Проверьте границу Измените промпт только для одной модели и убедитесь, что эксперимент помечен несравнимым. Затем прогоните один ответ два раза. Меняйте одно условие за прогон, чтобы видеть причину.

Проверяем проект и добавляем свою функцию

Добавьте задачу на обработку пустого списка и штраф за необоснованное отключение проверки TLS или использование eval. До правки запишите ожидаемое поведение одним предложением. После граничного теста повторите обычный сценарий.

Проверка своими руками
  1. Сохраните ожидаемый результат: каждая модель получает одинаковые условия, код запускается в изолированном процессе, а таблица хранит не только итоговый балл, но и причины потерь.
  2. Измените правило: добавьте четвёртую задачу и независимый критерий безопасности. Сначала предскажите итог.
  3. Передайте граничное значение и убедитесь, что приложение не падает.
  4. Верните корректные данные и объясните роли трёх основных частей.
Готово, если выполняются все пункты
  • условия не меняются между моделями
  • каждый запуск воспроизводим
  • опасный или зависший код остановлен
  • таблица объясняет каждый результат

После изменения повторите основной и ошибочный сценарии, чтобы новое поведение не сломало исходный результат. Полезная правка проходит от нового ввода до видимого результата.

Четыре контрольные точки AI-бенчмарк кода
Четыре проверки перед следующим шагом. Каждый следующий этап начинается после наблюдаемого результата.

Что запомнить и куда двигаться дальше

Победитель одной таблицы не становится лучшей моделью вообще. Публикуйте задачи, тесты и ответы, чтобы читатель мог повторить сравнение. Для закрепления откройте в проекте с AI-агентом, в первом чате GigaChat и в первом чате YandexGPT.

Как изучить тему в Кодике

Сначала разберите формат входных данных и одну функцию, затем подключайте внешний сервис или интерфейс. Сначала восстановите главную функцию и проверьте её на трёх значениях.

ШагЧто разобратьМини-проверка
1. ОсноваФункции, dataclass, subprocess и исключения PythonОбъясните вход и выход функции.
2. Инструментpytest, тайм-ауты и изоляцию непроверенного кодаПовторите команду по памяти.
3. ПроектРубрику с автоматическими и ручными критериямиПроверьте два сценария.
4. РефакторингВерсионирование моделей и повторяемый отчётРазделите ввод, логику и вывод.

Закрепите проект, восстановив ключевую функцию по памяти и добавив собственный граничный случай. Базовый синтаксис закрепите через курс Python.

Разные промпты

Модели решают разные задачи. Зафиксируйте один текст и формат.

Один пример

Случайный успех не показывает устойчивость. Используйте набор задач.

Запуск рядом с секретами

AI-код может читать файлы и сеть. Изолируйте процесс.

Скрытая рубрика

Читатель не понимает результат. Покажите баллы и причины.

Сверяйтесь с первичной документацией. Команды и ограничения примера проверены по официальной документации GigaChat API. Если версия инструмента изменилась, официальный источник важнее старого скриншота.

Что получится в итоге

Готовый результат проекта: GigaChat, YandexGPT или DeepSeek: кто лучше пишет код для новичка
Финальный экран показывает результат, состояние операции и понятное сообщение об ошибке без раскрытия секретов.

Короткие ответы
Почему недостаточно спросить модель один раз?

Ответ зависит от задачи и случайности. Нужны несколько фиксированных тестов.

Что делает сравнение воспроизводимым?

Сохранённые промпты, ответы, версии моделей, параметры и открытые тесты.

Что проверять первым, если AI-бенчмарк кода не запускается?

Версию среды, текущую папку, команду запуска и первую строку ошибки.

Как понять, что проект AI-бенчмарк кода работает?

Проверьте основной сценарий, неверный ввод, повторный запуск и один граничный случай.

Можно ли начать с готового кода?

Да. Добейтесь результата, измените одно правило и восстановите ключевую функцию без копирования.

Сделайте один осознанный шаг дальше

Выберите одно улучшение и проведите его от ввода до результата.

Если не хватает основы, перейдите курс Python, затем восстановите ключевую функцию без подсказки.