AI-бенчмарк кода можно освоить на одном небольшом проекте, если сразу видеть вход, действие и результат. Честное сравнение моделей начинается не с любимого интерфейса, а с одинакового промпта, фиксированных тестов и сохранённых сырых ответов. Ниже вы соберёте работающий пример и проверите обычный и граничный сценарии.
Один удачный ответ легко принять за качество модели, хотя результат меняется от формулировки, версии, температуры и случайности генерации. Поэтому отделим настройку, входные данные, основное действие и проверку. В этой статье вы соберёте маленький бенчмарк из трёх Python-задач, который проверяет синтаксис, unit-тесты, объяснение и число ручных исправлений. Проверка: каждая модель получает одинаковые условия, код запускается в изолированном процессе, а таблица хранит не только итоговый балл, но и причины потерь.
зафиксировать три задачи и ожидаемые тесты. Не расширяйте проект до первого успешного запуска.
каждый запуск воспроизводим. Проверяйте значение, а не отсутствие ошибки.
После успеха добавьте четвёртую задачу и независимый критерий безопасности. Так копирование станет практикой.
Как устроен учебный проект AI-бенчмарк кода
Adapters сохраняют ответы моделей в отдельные файлы, runner извлекает код и запускает pytest с тайм-аутом, rubric добавляет объяснимые баллы. Держите ввод, логику и отображение раздельно: тогда каждый этап можно проверить отдельно.
| Этап | Действие | Проверяемый результат |
|---|---|---|
| Набор | зафиксировать три задачи и ожидаемые тесты | условия не меняются между моделями |
| Ответы | сохранить сырые ответы и метаданные версии | каждый запуск воспроизводим |
| Тесты | проверить синтаксис и pytest в subprocess | опасный или зависший код остановлен |
| Оценка | посчитать баллы по рубрике | таблица объясняет каждый результат |
Контрольные точки: набор, ответы, тесты и оценка. Следующий шаг начинается после совпадения с ожидаемым результатом.

От входных данных до видимого результата. Сначала проверяется вход, затем действие и только потом интерфейс.
Собираем рабочий пример шаг за шагом
Материал сверялся с официальной документацией 2 ноября 2026 года. Создайте папки tasks, answers и tests. API-ключи держите в окружении, а ответы сохраняйте вместе с датой и идентификатором модели. Проверьте текущую папку через pwd или Get-Location. Вставьте пример целиком, выполните один раз, затем разбирайте по частям.
from dataclasses import dataclass
import ast
import subprocess
import sys
@dataclass
class Score:
syntax: int = 0
tests: int = 0
explanation: int = 0
def evaluate(filename: str, testfile: str, explanation: str) -> Score:
code = open(filename, encoding="utf-8").read()
score = Score()
try:
ast.parse(code)
score.syntax = 2
except SyntaxError:
return score
run = subprocess.run(
[sys.executable, "-m", "pytest", "-q", testfile],
text=True,
capture_output=True,
timeout=10,
env={"PYTHONPATH": "."},
)
score.tests = 6 if run.returncode == 0 else 0
score.explanation = 2 if len(explanation.split()) >= 20 else 0
return score- Таблица содержит отдельные баллы за синтаксис, тесты и объяснение, а не одно субъективное место.
- Повторный прогон с тем же сохранённым ответом даёт тот же результат.
- Повторный запуск даёт тот же предсказуемый результат.
- Пустой ввод получает понятное сообщение вместо падения.
Главная функция принимает явный вход и возвращает результат, который можно проверить отдельно от интерфейса. Найдите в примере вход, проверку и место формирования результата.

Что отличает устойчивый проект от случайного запуска. Явные границы делают ошибку локальной и понятной.
Что происходит внутри и почему это работает
Unit-тесты проверяют поведение, ast.parse отсеивает синтаксическую ошибку, а ручная рубрика оценивает то, что автоматом не видно: ясность объяснения и безопасность. Логику держите отдельно от вывода: функция получает аргумент и возвращает значение, а интерфейс показывает его. Не запускайте неизвестный AI-код на рабочей машине с секретами и сетью. Для полноценного эксперимента нужен контейнер с лимитами CPU, памяти, времени и без доступа к токенам.
| Часть | За что отвечает | Что проверить |
|---|---|---|
| Промпт | фиксирует задачу и формат ответа | одинаков для всех моделей |
| Runner | запускает код и тесты с тайм-аутом | процесс изолирован |
| Rubric | объясняет начисление баллов | ручные оценки видны читателю |
Название модели без даты и точного идентификатора быстро устаревает. Сохраняйте параметры запроса и не переносите вывод одной Python-задачи на все языки, архитектуру и безопасность. Не прячьте поток в одном обработчике: сохраните вход, проверьте его, вызовите операцию и только затем обновите интерфейс.
Проверяем проект и добавляем свою функцию
Добавьте задачу на обработку пустого списка и штраф за необоснованное отключение проверки TLS или использование eval. До правки запишите ожидаемое поведение одним предложением. После граничного теста повторите обычный сценарий.
- Сохраните ожидаемый результат: каждая модель получает одинаковые условия, код запускается в изолированном процессе, а таблица хранит не только итоговый балл, но и причины потерь.
- Измените правило: добавьте четвёртую задачу и независимый критерий безопасности. Сначала предскажите итог.
- Передайте граничное значение и убедитесь, что приложение не падает.
- Верните корректные данные и объясните роли трёх основных частей.
- условия не меняются между моделями
- каждый запуск воспроизводим
- опасный или зависший код остановлен
- таблица объясняет каждый результат
После изменения повторите основной и ошибочный сценарии, чтобы новое поведение не сломало исходный результат. Полезная правка проходит от нового ввода до видимого результата.

Четыре проверки перед следующим шагом. Каждый следующий этап начинается после наблюдаемого результата.
Что запомнить и куда двигаться дальше
Победитель одной таблицы не становится лучшей моделью вообще. Публикуйте задачи, тесты и ответы, чтобы читатель мог повторить сравнение. Для закрепления откройте в проекте с AI-агентом, в первом чате GigaChat и в первом чате YandexGPT.
Как изучить тему в Кодике
Сначала разберите формат входных данных и одну функцию, затем подключайте внешний сервис или интерфейс. Сначала восстановите главную функцию и проверьте её на трёх значениях.
| Шаг | Что разобрать | Мини-проверка |
|---|---|---|
| 1. Основа | Функции, dataclass, subprocess и исключения Python | Объясните вход и выход функции. |
| 2. Инструмент | pytest, тайм-ауты и изоляцию непроверенного кода | Повторите команду по памяти. |
| 3. Проект | Рубрику с автоматическими и ручными критериями | Проверьте два сценария. |
| 4. Рефакторинг | Версионирование моделей и повторяемый отчёт | Разделите ввод, логику и вывод. |
Закрепите проект, восстановив ключевую функцию по памяти и добавив собственный граничный случай. Базовый синтаксис закрепите через курс Python.
Модели решают разные задачи. Зафиксируйте один текст и формат.
Случайный успех не показывает устойчивость. Используйте набор задач.
AI-код может читать файлы и сеть. Изолируйте процесс.
Читатель не понимает результат. Покажите баллы и причины.
Что получится в итоге

Финальный экран показывает результат, состояние операции и понятное сообщение об ошибке без раскрытия секретов.
Почему недостаточно спросить модель один раз?
Ответ зависит от задачи и случайности. Нужны несколько фиксированных тестов.
Что делает сравнение воспроизводимым?
Сохранённые промпты, ответы, версии моделей, параметры и открытые тесты.
Что проверять первым, если AI-бенчмарк кода не запускается?
Версию среды, текущую папку, команду запуска и первую строку ошибки.
Как понять, что проект AI-бенчмарк кода работает?
Проверьте основной сценарий, неверный ввод, повторный запуск и один граничный случай.
Можно ли начать с готового кода?
Да. Добейтесь результата, измените одно правило и восстановите ключевую функцию без копирования.
Выберите одно улучшение и проведите его от ввода до результата.
Если не хватает основы, перейдите курс Python, затем восстановите ключевую функцию без подсказки.