Провел сравнение исследовательских способностей Google (1), Grok(2) и Peplexity(3).

Все компании предлагают ф-цию DeepResearch бесплатно. Вот, что у нас вышло.

Промпт: Проведи анализ цен на API различных передовых LLM моделей. Предоставь данные в виде таблицы с ценами и названиями компаний и моделей и источниками. Бери во внимание модели выпущенные после 01.01.24

➕ Gemini единственный предложил план исследования с возможностью дать правки перед стартом.
➖ Grok добавил странные компании и сделал необоснованные предположения. Не добавил ссылки в таблицу. Компаний и моделей мало.
👌 Perplexity добавил много моделей от каждой компании, но использовал неофициальную документацию – значит инфа может быть неактуальной.

– Grok размышлял 3м 13с и использовал 139 источников!!
– Perplexity думал примерно столько же, но 22 источника
– Gemini потратил около 10 мин и изучил около 60 источников.

Результаты:

Gemini победил. С большим отрывом. Репорт вышел самый объемный, таблица самая подробная и инфа самая верная. По крайней мере не вижу ошибок при первом прсомотре.

Очень, очень, очень удивил гугл. Этот агент сорвенуется с дипресерчем OpenAI и, вероятно, превосходит его. Хуже всех справился Grok. Самая унылая и неверная информация в его таблице.

Такие дела. Выбирайте свой дипресерч, но я голосую за Gemini.

@how2ai #дядя_д

🧠 А вы все еще умнее, чем ИИ?

Я да. фух

Проверить можно на ежедневном пазле от ARC из их нового бенчмарка ARC AGI 2 – https://arcprize.org/play

ARC AGI – тот самый бенчмарк, прохождение которого должно свидетельствовать о достижении AGI. Первую версию модели о3 решили на 75%. Являются ли они AGI – ну... спорно

Поэтому создатели выкатили вторую версию. На ней у передовых моделей метрики похуже, а хуманы все еще на коне.

o3-low – 4%
o3-mini-high – 0%
Deepseek r1 – 0.3%
gpt-4.5 – 0%
кожаный – 60%

François Chollet отметил, что ARC-AGI-2 исправляет недостатки ARC-AGI-1, который мог быть "обманут" с помощью огромных вычислительных мощностей. Новый тест акцентирует внимание на эффективности и интерпретации паттернов в реальном времени, а не на их заучивании.

блогпост

@how2ai #дядя_д