Grok 4.7 / Тесты
ТестыGrok 4.7 в тестах: где сильна, где проигрывает
Две группы цифр: тесты, которые выбрал и опубликовал сам SpaceXSI, и независимые лидерборды. Они расходятся, и это нормально — ниже объясняем почему.
Сверено 29 октября 2026 · ссылки на первоисточники — внизу страницы
Тесты из анонса
| Тест | Что проверяет | Grok 4.7 |
|---|---|---|
| CursorBench 4.0 | долгие задачи программирования в Cursor | 46,3% |
| DeepSWE v1.1 | исправление задач в реальных репозиториях | 71,0% (high) |
| EEBench | задачи электротехники | 64,0% |
| AA Briefcase v1.1 | многочасовая офисная работа, Эло | 1657 |
| Terminal-Bench 4.0 | многочасовая работа в терминале | 37,6% |
| Harvey Legal Agent | работа юриста-агента | 19,6% |
| HealthBench Professional | клинические рассуждения | 56,7% |
| GDPval | задачи профессий, Эло | 1695 |
| LatchBio | биобезопасность | 62,4% |
| HackerBench v0.3 | доля пропущенных рискованных киберзапросов | 3,3% |
Режим xHigh, если не указано иное. Источник: анонс Grok 4.7 на x.ai
Электротехника — главный козырь
EEBench — самый высокий результат Grok 4.7 среди тестов, где она лидирует: 64,0% против 56,4% у Claude Fable 5.1 и 39,4% у GPT-5.6 Sol, то есть на 7,6 пункта выше ближайшего соперника. За одну версию модель прибавила 11 пунктов: у Grok 4.6 было 53,0%. Вендор подписывает тест просто как «электротехника» и подробностей набора задач в анонсе не даёт, поэтому судить о конкретных сценариях — схемы, расчёты, документация — по одной цифре нельзя. Практический вывод скромнее: тем, кто решает инженерные задачи по электрике, имеет смысл прогнать Grok 4.7 на своих примерах в первую очередь.
Юридические агенты
Harvey Legal Agent Benchmark — тест компании Harvey, которая делает ИИ-инструменты для юристов; в анонсе Grok 4.6 он подписан как Harvey LAB (Vals). Абсолютные числа здесь низкие у всех: Grok 4.7 решает 19,6% задач, Claude Fable 5.1 — 6,7%, GPT-5.6 Sol — 2,5%. То есть даже лидер справляется меньше чем с каждой пятой задачей, и проверка результата юристом остаётся обязательной. Но относительное преимущество серьёзное — почти втрое к ближайшему сопернику другого вендора, Claude Fable 5.1.
Цифры в анонсе выбирает сам вендор. От OpenAI в таблице стоит GPT-5.6 Sol, а не самая свежая на 21 сентября модель компании: вышедшая 3 сентября GPT-6 Astra в основную таблицу не попала и появляется только на графике GDPval.
Где проигрывает
- Терминал. Terminal-Bench 4.0 — 37,6% против 57,9% у Claude Fable 5.1. Многочасовая работа в командной строке — самое слабое место модели по данным самого вендора.
- Медицина. HealthBench Professional — 56,7%, ниже GPT-5.6 Sol (60,5%) и Fable 5.1 (62,1%).
- Код в Cursor. CursorBench 4.0 — 46,3% против 51,8% у Fable 5.1, хотя по соотношению балла и стоимости задачи вендор называет Grok 4.7 лучшей.
Независимые замеры
| Источник | Тест | Grok 4.7 | Комментарий |
|---|---|---|---|
| Artificial Analysis | Intelligence Index v5.0 | 34,3 | режим xhigh, снято 29 октября 2026 |
| Artificial Analysis | Humanity’s Last Exam | 43,1% | классический HLE |
| Artificial Analysis | Terminal-Bench 4.0 | 25,8% | у вендора 37,6% |
| LMArena | Text, Эло | 1441 | срез 22 октября, 96-я строка из 418 |
| ARC Prize | ARC-AGI-2 | 61,4% | полузакрытый набор |
| ARC Prize | ARC-AGI-3 | 1,8% | стандартная обвязка; с обвязкой вендора 7,0% |
На LMArena у Grok 4.7 1441 балл при доверительном интервале 1435–1447 и почти 14,7 тысячи голосов — это оценка людьми ответов в чате, а не решение задач. В ARC-AGI-3, интерактивных головоломках на обобщение, у Grok 4.7 1,8% — одно из самых слабых мест модели в независимых замерах; на предыдущей версии теста, ARC-AGI-2, у неё 61,4%.
Почему цифры расходятся
Вендор гоняет тесты в своей обвязке и в выгодном режиме, независимые площадки — в своей. Отсюда Terminal-Bench 37,6% у SpaceXSI и 25,8% у Artificial Analysis. Второй источник путаницы — пересчёт шкал. В анонсе Grok 4.6 вендор писал о 61 балле по индексу Artificial Analysis, а у Grok 4.7 сейчас 34,3. Это не падение: индекс перешёл на версию 5.0 с другим составом тестов, старые и новые баллы между собой не сравнивают.
Для Grok 4.7 не опубликованы SWE-bench Verified, GPQA Diamond, AIME и MMLU-Pro: Artificial Analysis перестал мерить эти тесты у новых моделей, а лидерборд SWE-bench Verified не пополнялся с февраля 2026 года. DeepSWE v1.1 — другой тест, подменять им SWE-bench нельзя. Если нужно сопоставить Grok с десятками других моделей по одной шкале, это удобнее сделать в сводных таблицах тестов sortai.ru.
Вопросы и ответы
В каком тесте Grok 4.7 лучше всех?
По таблице вендора — в электротехническом EEBench (64,0%) и в юридическом Harvey Legal Agent Benchmark (19,6%): в обоих она опережает GPT-5.6 Sol и Claude Fable 5.1. В GDPval у неё второе место на графике SpaceXSI — 1695 Эло против 1735 у Fable 5.1. В остальных тестах анонса модель уступает хотя бы одному сопернику.
Почему у Artificial Analysis Terminal-Bench ниже, чем в анонсе?
Независимая площадка запускает модель в собственной обвязке и при своих настройках, а вендор — в своей. Отсюда 25,8% у Artificial Analysis против 37,6% у SpaceXSI в одном и том же Terminal-Bench 4.0. Для выбора модели надёжнее независимая цифра или собственная проверка на своих задачах.
Есть ли у Grok 4.7 результат SWE-bench Verified?
Нет. SpaceXSI его не публиковала, а лидерборд SWE-bench Verified на swebench.com не обновлялся с 26 февраля 2026 года. Ближайший по смыслу тест в анонсе — DeepSWE v1.1 с результатом 71,0% в режиме high, но это другой набор задач и другая шкала.
Какое место у Grok 4.7 на LMArena?
В текстовом рейтинге LMArena со срезом 22 октября 2026 года у Grok 4.7 в режиме xHigh 1441 балл Эло, доверительный интервал 1435–1447, около 14,7 тысячи голосов. В общей таблице это 96-я строка из 418, считая все версии и режимы моделей разных вендоров.
Можно ли доверять тестам из анонса?
Цифры реальные, но выборка тестов и соперников — решение вендора. В таблицу Grok 4.7 попали GPT-5.6 Sol и Claude Fable 5.1, а более новая GPT-6 Astra есть только на графике GDPval. Поэтому анонс полезен для сравнения с Grok 4.6, а для выбора между вендорами лучше смотреть независимые лидерборды.