Бенчмарки безопасности
Cybench
Иллюстративный снапшот с cybench.github.io (% профессиональных CTF-задач, решённых без подсказок, unguided). Многие строки — результаты из system card или на подмножествах, а не один единый прогон полного набора. Стоимости — относительные оценки агентных прогонов: Cybench не публикует $/task. Это не учёт OpenCodex в реальном времени.
Стоимости на этой доске — оценки или смеси API-цен; рейтинг по баллам/$ и метка «Самая выгодная» отключены, пока у каждой строки нет измеренной источником стоимости задачи.
| Модель | Рассуждения | Балл | Стоимость / задача | Назначение |
|---|---|---|---|---|
| claude-mythos-preview | — | 100% | $18 | Фронтир, Планировщик |
| claude-opus-4.7 | — | 96% | $14 | Фронтир, Планировщик |
| claude-opus-4.6 | — | 93% | $12 | Фронтир, Планировщик |
| claude-opus-4.5 | — | 82% | $11 | Фронтир |
| muse-spark | — | 65.4% | $3.2 | Рабочая лошадка, Фронтир |
| claude-sonnet-4.5 | — | 60% | $5.5 | Рабочая лошадка |
| grok-4 | — | 43% | $2.8 | Рабочая лошадка, Дешёвый подагент |
| claude-opus-4.1 | — | 42% | $9 | Рабочая лошадка |
| grok-4.1 | thinking | 39% | $2.4 | Рабочая лошадка, Дешёвый подагент |
| claude-opus-4 | — | 38% | $8 | Рабочая лошадка |
| claude-sonnet-4 | — | 35% | $4.5 | Рабочая лошадка |
| grok-4 | fast | 30% | $1.2 | Быстрая, Дешёвый подагент |
| o3-mini | — | 22.5% | $1.5 | Дешёвый подагент |
| claude-3.7-sonnet | — | 20% | $3.5 | Рабочая лошадка |
| gpt-4.5-preview | — | 17.5% | $6 | Фронтир |