Бенчмарки кодинга

DeepSWE

Снапшот 2026-07-16 · 113 задач · Источник · Public leaderboard snapshot; verify current rankings on the source before citing.

Иллюстративный снапшот публичного лидерборда DeepSWE (mini-swe-agent). Баллы и стоимости — это не учёт OpenCodex в реальном времени.

Модель	Рассуждения	Балл	Стоимость / задача	Баллы / $	Назначение
gpt-5.6-sol	max	73% ±3	$8.39	8.7	Фронтир, Планировщик
claude-fable-5	max	70% ±4	$21.63	3.2	Планировщик, Фронтир
gpt-5.6-terra	max	70% ±3	$4.95	14.1	Рабочая лошадка, Фронтир
gpt-5.6-luna	max	67% ±4	$3.03	22.1	Рабочая лошадка, Дешёвый подагент
gpt-5.5	xhigh	67% ±6	$7.23	9.3	Фронтир, Рабочая лошадка
claude-opus-4.8	max	59% ±2	$13.22	4.5	Фронтир, Планировщик
claude-sonnet-5	max	54% ±4	$26.4	2.0	Планировщик
grok-4.5	high	54% ±2	$2.42	22.3	Рабочая лошадка, Дешёвый подагент
muse-spark-1.1Самая выгодная	xhigh	53% ±3	$2.36	22.5	Рабочая лошадка, Дешёвый подагент
gpt-5.4	xhigh	52% ±2	$5.65	9.2	Рабочая лошадка
glm-5.2	max	44% ±2	$3.92	11.2	Рабочая лошадка, Дешёвый подагент
gemini-3.5-flash	medium	37% ±2	$7.34	5.0	Быстрая
kimi-k2.7-code	—	31% ±1	$2.82	11.0	Дешёвый подагент, Рабочая лошадка
claude-sonnet-4.6	high	30% ±4	$5.52	5.4	Рабочая лошадка
gemini-3.1-pro	high	12% ±2	$9.48	1.3	Фронтир

AA Coding Agent

Снапшот 2026-07-09 · undefined задач · Источник · Figures from Artificial Analysis public pages; not affiliated with AA.

Снапшот Artificial Analysis Coding Agent Index (после GA GPT-5.6, 2026-07-09). См. provenance.url. Это не учёт OpenCodex в реальном времени.

Модель	Рассуждения	Балл	Стоимость / задача	Баллы / $	Назначение
composer-2.5Самая выгодная	std	62	$0.07	885.7	Рабочая лошадка, Дешёвый подагент, Быстрая
composer-2.5	fast	62	$0.44	140.9	Рабочая лошадка, Быстрая
claude-opus-4.7	max	66	$4.1	16.1	Фронтир, Планировщик
gpt-5.5	xhigh	65	$4.82	13.5	Фронтир, Рабочая лошадка
gpt-5.6-luna	max	75	$1.55	48.4	Рабочая лошадка, Дешёвый подагент
gpt-5.6-terra	max	77	$2.4	32.1	Рабочая лошадка
gpt-5.6-sol	max	80	$3.9	20.5	Фронтир, Планировщик
grok-4.5	high	76	$2.54	29.9	Рабочая лошадка, Дешёвый подагент
claude-sonnet-4.6	high	58	$2.8	20.7	Рабочая лошадка
claude-fable-5	high	64	$9.5	6.7	Планировщик, Фронтир

FrontierCode

Снапшот 2026-07-16 · 100 задач · Источник · Public FrontierCode snapshot; verify on cognition.com before citing.

Иллюстративный снапшот с cognition.com/frontiercode (FrontierCode 1.1 Main, июль 2026). Балл = рубрика mergeability; стоимость = средняя сумма в USD за роллаут. Режимы Best / All соответствуют переключателю на лидерборде Cognition. Это не учёт OpenCodex в реальном времени.

Модель	Рассуждения	Балл	Стоимость / задача	Баллы / $	Назначение
claude-fable-5	xhigh	53.5%	$13.09	4.1	Фронтир, Рабочая лошадка, Планировщик
claude-fable-5	high	52.7%	$9.48	5.6	Фронтир, Рабочая лошадка, Планировщик
claude-fable-5	max	51.6%	$19.07	2.7	Фронтир, Рабочая лошадка, Планировщик
claude-fable-5	medium	49.8%	$7.15	7.0	Фронтир, Рабочая лошадка, Планировщик
claude-fable-5	low	48%	$4.92	9.8	Фронтир, Рабочая лошадка, Планировщик
gpt-5.6-sol	max	47.5%	$6.3	7.5	Фронтир, Рабочая лошадка, Планировщик
gpt-5.6-sol	xhigh	46.8%	$5	9.4	Фронтир, Рабочая лошадка, Планировщик
claude-opus-4.8	max	46.5%	$9.62	4.8	Фронтир, Рабочая лошадка, Планировщик
claude-opus-4.8	xhigh	45.5%	$6.78	6.7	Фронтир, Рабочая лошадка, Планировщик
gpt-5.6-sol	high	45.1%	$4.1	11.0	Фронтир, Рабочая лошадка, Планировщик
gpt-5.5	xhigh	43%	$4.03	10.7	Фронтир, Рабочая лошадка
claude-sonnet-5	xhigh	42.7%	$9.06	4.7	Фронтир, Рабочая лошадка
grok-4.5	high	42.4%	$1.3	32.6	Рабочая лошадка, Дешёвый подагент, Быстрая
claude-sonnet-5	max	42.4%	$15.4	2.8	Фронтир, Рабочая лошадка
swe-1.7	—	42.3%	$1.97	21.5	Рабочая лошадка, Дешёвый подагент
grok-4.5	medium	41.9%	$1.2	34.9	Рабочая лошадка, Дешёвый подагент, Быстрая
gpt-5.6-terra	max	41.3%	$2.3	18.0	Рабочая лошадка
claude-opus-4.8	high	41%	$4.28	9.6	Фронтир, Рабочая лошадка, Планировщик
gpt-5.5	high	40.6%	$3.12	13.0	Фронтир, Рабочая лошадка
claude-opus-4.8	medium	40.5%	$3.7	10.9	Фронтир, Рабочая лошадка, Планировщик
gpt-5.6-sol	medium	39.9%	$3.1	12.9	Фронтир, Рабочая лошадка, Планировщик
gpt-5.6-luna	max	39.8%	$1.8	22.1	Рабочая лошадка, Дешёвый подагент
claude-sonnet-5	high	39.4%	$5.49	7.2	Фронтир, Рабочая лошадка
gpt-5.6-luna	xhigh	38.9%	$1.5	25.9	Рабочая лошадка, Дешёвый подагент
gpt-5.6-terra	xhigh	38.7%	$1.6	24.2	Рабочая лошадка, Дешёвый подагент
claude-opus-4.7	max	38.5%	$9.09	4.2	Рабочая лошадка
grok-4.5	low	37.9%	$0.8	47.4	Рабочая лошадка, Дешёвый подагент, Быстрая
gpt-5.6-terra	high	36.9%	$1.4	26.4	Рабочая лошадка, Дешёвый подагент, Быстрая
gpt-5.5	medium	36.6%	$2.35	15.6	Фронтир, Рабочая лошадка
gpt-5.6-luna	high	35.9%	$1.1	32.6	Рабочая лошадка, Дешёвый подагент, Быстрая
gpt-5.6-sol	low	35.4%	$2.1	16.9	Фронтир, Рабочая лошадка, Планировщик
claude-sonnet-5	medium	35.2%	$3.43	10.3	Фронтир, Рабочая лошадка
claude-opus-4.7	high	35.2%	$5.03	7.0	Рабочая лошадка
claude-opus-4.8	low	35.1%	$2.68	13.1	Фронтир, Рабочая лошадка, Планировщик
claude-opus-4.7	xhigh	34.9%	$6.87	5.1	Рабочая лошадка
gpt-5.6-terra	medium	33.9%	$0.9	37.7	Рабочая лошадка, Дешёвый подагент, Быстрая
gpt-5.5	low	30.6%	$1.65	18.5	Фронтир, Рабочая лошадка, Дешёвый подагент
kimi-k2.7	—	30.1%	$3.01	10.0	—
claude-opus-4.7	medium	28.9%	$3.22	9.0	Рабочая лошадка
claude-sonnet-5	low	28.7%	$2.15	13.3	Фронтир, Рабочая лошадка
claude-opus-4.7	low	27.6%	$2.47	11.2	Рабочая лошадка
gpt-5.6-luna	medium	25.7%	$0.6	42.8	Рабочая лошадка, Дешёвый подагент, Быстрая
composer-2.5	—	25.6%	$3.09	8.3	—
glm-5.2	—	24.5%	$2.47	9.9	—
gpt-5.6-terra	low	24.1%	$0.5	48.2	Рабочая лошадка, Дешёвый подагент, Быстрая
deepseek-v4-pro	—	17.6%	$1.6	11.0	Дешёвый подагент
gpt-5.6-lunaСамая выгодная	low	15.4%	$0.2	77.0	Рабочая лошадка, Дешёвый подагент, Быстрая
minimax-m3	—	14.7%	$0.7	21.0	Дешёвый подагент, Быстрая
inkling	0.99	14%	$3.6	3.9	—
qwen-3.7-plus	—	10.2%	$0.2	51.0	Дешёвый подагент, Быстрая

FrontierSWE

Снапшот 2026-07-16 · undefined задач · Источник · Scores from FrontierSWE; costs are illustrative API/relative blends, not measured $/task.

Иллюстративный снапшот с frontierswe.com (доминирование Mean@5). Ось X использует смешанный публичный API-тариф $/MTok как относительный показатель стоимости — это не измеренные $/task. Это не учёт OpenCodex в реальном времени.

Стоимости на этой доске — оценки или смеси API-цен; рейтинг по баллам/$ и метка «Самая выгодная» отключены, пока у каждой строки нет измеренной источником стоимости задачи.

Модель	Рассуждения	Балл	Стоимость / задача	Назначение
claude-fable-5	claude-code	89%	$30	Планировщик, Фронтир
grok-4.5	grok-cli	78%	$4	Рабочая лошадка, Фронтир
claude-opus-4.8	claude-code	73%	$15	Фронтир, Планировщик
glm-5.2	claude-code	72%	$1.98	Рабочая лошадка, Дешёвый подагент
gpt-5.5	codex	70%	$17.5	Фронтир, Рабочая лошадка
claude-opus-4.7	claude-code	61%	$15	Фронтир
claude-opus-4.6	claude-code	53%	$15	Рабочая лошадка
gpt-5.4	codex	51%	$8.75	Рабочая лошадка
composer-2.5	cursor-cli	38%	$1	Рабочая лошадка, Дешёвый подагент, Быстрая
gemini-3.1-pro	gemini-cli	37%	$8.75	Фронтир
glm-5.1	claude-code	29%	$2.9	Рабочая лошадка
deepseek-v4-pro	claude-code	27%	$2.4	Дешёвый подагент, Рабочая лошадка
kimi-k2.6	kimi-cli	25%	$2.13	Дешёвый подагент
kimi-k2.5	kimi-cli	25%	$2.13	Дешёвый подагент
qwen3.6-plus	qwen-code	21%	$1.75	Дешёвый подагент

Program Bench

Снапшот 2026-06-23 · 200 задач · Источник · Scores and average API costs from ProgramBench extended leaderboard.

Снапшот расширенного лидерборда programbench.com (mini-SWE-agent, 200 задач). Балл = almost-resolved (≥95% тестов). Стоимости = опубликованные средние API $/task. Это не учёт OpenCodex в реальном времени.

Модель	Рассуждения	Балл	Стоимость / задача	Баллы / $	Назначение
gpt-5.5Самая выгодная	xhigh	13.5%	$8.85	1.5	Фронтир, Планировщик
gpt-5.5	high	5%	$3.65	1.4	Фронтир, Рабочая лошадка
claude-opus-4.7	xhigh	4.5%	$10.96	0.4	Планировщик, Фронтир
claude-opus-4.7	—	3%	$3.81	0.8	Фронтир
claude-opus-4.6	—	2.5%	$11.38	0.2	Рабочая лошадка
gpt-5.5	—	1.5%	$1.21	1.2	Рабочая лошадка
claude-sonnet-4.6	—	1%	$26.73	0.0	Рабочая лошадка
gpt-5.4	—	0%	$0.33	0.0	Быстрая, Дешёвый подагент
gemini-3.1-pro	—	0%	$1.51	0.0	Фронтир
gemini-3-flash	—	0%	$0.3	0.0	Быстрая, Дешёвый подагент
claude-haiku-4.5	—	0%	$0.8	0.0	Быстрая, Дешёвый подагент
gpt-5.4-mini	—	0%	$0.04	0.0	Быстрая, Дешёвый подагент
gpt-5-mini	—	0%	$0.03	0.0	Быстрая, Дешёвый подагент

SWE Marathon

Снапшот 2026-07-09 · 20 задач · Источник · Scores from SWE-Marathon; costs are estimates.

Иллюстративный снапшот с swe-marathon.org (pass@1 на 20 задачах со сверхдлинным горизонтом). Ось стоимости — оценочная относительная стоимость прогона (длинные траектории); это не опубликованные $/task. Это не учёт OpenCodex в реальном времени.

Стоимости на этой доске — оценки или смеси API-цен; рейтинг по баллам/$ и метка «Самая выгодная» отключены, пока у каждой строки нет измеренной источником стоимости задачи.

Модель	Рассуждения	Балл	Стоимость / задача	Назначение
grok-4.5	grok-build	29%	$8	Фронтир, Планировщик
claude-opus-4.8	claude-code	26%	$28	Фронтир, Планировщик
claude-fable-5	claude-code	24%	$45	Планировщик, Фронтир
claude-opus-4.7	claude-code	16%	$22	Фронтир
glm-5.2	claude-code	13%	$6	Рабочая лошадка, Дешёвый подагент
gpt-5.5	codex	12%	$18	Фронтир, Рабочая лошадка
claude-opus-4.7	terminus-2	11%	$20	Рабочая лошадка
gemini-3.5-flash	gemini-cli	7%	$5	Быстрая
gpt-5.5	terminus-2	6%	$16	Рабочая лошадка
gemini-3.1-pro	terminus-2	4%	$12	Фронтир
deepseek-v4-pro	terminus-2	4%	$7	Дешёвый подагент
gemini-3.1-pro	gemini-cli	2%	$12	Фронтир
glm-5.1	terminus-2	1%	$5	Рабочая лошадка
minimax-m2.7	terminus-2	0%	$3	Дешёвый подагент
kimi-k2.6	kimi-cli	0%	$4	Дешёвый подагент