зробив аб тест базового веб пошуку клоду (`webSearch`) з сервісом агентського пошуку `exa.ai`.
результат (спойлер):exa значно перемагає. зрозуміло чому підняли 250 лямів недавно
деталі результату під дизайном.
дизайн аб тесту:
- 20 запитів на 4 рівнях складності, (від «коли україна здобула незалежність» до технічних доків по
- потім запустив команду агентів для перевірки результатів:
-- 10 агентів верифікували результати: кожен відкрив посилання руками, звірив цитату з оригіналом, перевірив чи факт справді у джерелі.
-- ще 8 оцінили якість всліпу. вони не знали де exa а де
- кожен ставив бал від 0 до 5 за п'ятьма вимірами: доречність, глибина, конкретика, свіжість, авторитет джерела.
п'ять вимірів × п'ять балів × двоє оцінювачів усереднено дають 25.
на одному спірному запиті додав третього арбітра.
результат:
швидкість 287 мс проти 7807 мс.
галюцинації 3 проти 8.
якість 23.7/25 проти 16.8/25 з 25.
exa у 27 разів швидший та виграв усі 20 запитів.
ще цікава поведінка їх, коли ламаються:
exa ламається видимо. на запиті про незалежність вона повернула посилання на сторінку верховної ради, яка віддає 404. на технічному запиті вона повернула опис репозиторію, який автор переписав 11 днів тому, а індекс exa тримає стару версію. дата кешу видна, агент розуміє що індекс старий, бачить помилку і рухається далі.
`webSearch` вигадує. цитата експерта, якого ніхто не казав. ціна продукту, якої нема в джерелі. порівняння двох моделей навиворіт. і все це гладким текстом, впевненим тоном, з посиланнями знизу, які нібито підтверджують. оце і є небезпечна хуйня. коли інструмент тихо бреше гарною прозою, і якби агенти не звіряли руками, ніхто б не помітив.
я вже перевів свій клод код на exa. сижу тиждень і дуже радію
вистачає безкоштовної версії, але якщо треба буде заплатити 10 баксів, я не проти
Claude Code Україна
результат (спойлер):
деталі результату під дизайном.
дизайн аб тесту:
- 20 запитів на 4 рівнях складності, (від «коли україна здобула незалежність» до технічних доків по
API.) - потім запустив команду агентів для перевірки результатів:
-- 10 агентів верифікували результати: кожен відкрив посилання руками, звірив цитату з оригіналом, перевірив чи факт справді у джерелі.
-- ще 8 оцінили якість всліпу. вони не знали де exa а де
webSearch. результати анонімізовані і перемішані. - кожен ставив бал від 0 до 5 за п'ятьма вимірами: доречність, глибина, конкретика, свіжість, авторитет джерела.
п'ять вимірів × п'ять балів × двоє оцінювачів усереднено дають 25.
на одному спірному запиті додав третього арбітра.
результат:
швидкість 287 мс проти 7807 мс.
галюцинації 3 проти 8.
якість 23.7/25 проти 16.8/25 з 25.
exa у 27 разів швидший та виграв усі 20 запитів.
ще цікава поведінка їх, коли ламаються:
exa ламається видимо. на запиті про незалежність вона повернула посилання на сторінку верховної ради, яка віддає 404. на технічному запиті вона повернула опис репозиторію, який автор переписав 11 днів тому, а індекс exa тримає стару версію. дата кешу видна, агент розуміє що індекс старий, бачить помилку і рухається далі.
`webSearch` вигадує. цитата експерта, якого ніхто не казав. ціна продукту, якої нема в джерелі. порівняння двох моделей навиворіт. і все це гладким текстом, впевненим тоном, з посиланнями знизу, які нібито підтверджують. оце і є небезпечна хуйня. коли інструмент тихо бреше гарною прозою, і якби агенти не звіряли руками, ніхто б не помітив.
я вже перевів свій клод код на exa. сижу тиждень і дуже радію
вистачає безкоштовної версії, але якщо треба буде заплатити 10 баксів, я не проти
Claude Code Україна
❤8🔥5🍓2
мій рейтинг моделей (серпень 2026)
1. антропік
2. опенаі
3. гугл
4. грок
1. антропік
2. опенаі
3. гугл
4. грок
❤1👍1🤡1
мій рейтинг дизайну систем (харнесу) (серпень 2026)
1. грок бот
2. кодекс
3. курсор агенти (не ide)
4. клод код
5. антігравіті (не тестив але засуджую)
1. грок бот
2. кодекс
3. курсор агенти (не ide)
4. клод код
5. антігравіті (не тестив але засуджую)
❤3🤔1
Claude Code Україна
1. грок бот
пост надихнув тестінг грок боту останні 3 дні
https://x.ai/bot
Команда курсора, яку зааквайрив ілон маск зробила найкращий юікс систем, який сильно ближчий до людей ніж клод код і курсор по онбордінгу і налаштуванні системи.
кайфонув дуже сильно, хоч для щоденності поки не використаєш їх бо моделі не можна вибирати, а грок дуже погано працює в понівнянні з іншими, а українською взагалі погано
https://x.ai/bot
Команда курсора, яку зааквайрив ілон маск зробила найкращий юікс систем, який сильно ближчий до людей ніж клод код і курсор по онбордінгу і налаштуванні системи.
кайфонув дуже сильно, хоч для щоденності поки не використаєш їх бо моделі не можна вибирати, а грок дуже погано працює в понівнянні з іншими, а українською взагалі погано
👍2❤1🤡1
мій рейтинг харнесу робочого для щоденних завдань (серпень 2026)
1. codex - для більшості завдань
2. claude code (fable) - для архітектурних рішень складних і планування фіч
3. cursor ultra - коли всюди вище закінчаться ліміти
4. grok bot - чисто балуватись пускати слюні на дизайн
5. google antigravity - я ще не настільки отчаяний
1. codex - для більшості завдань
2. claude code (fable) - для архітектурних рішень складних і планування фіч
3. cursor ultra - коли всюди вище закінчаться ліміти
4. grok bot - чисто балуватись пускати слюні на дизайн
5. google antigravity - я ще не настільки отчаяний
❤3😁2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
пан дорсі запустив https://berd.xyz/ (в україні через впн)
тестував 3 дні, ось вердикт
що це
це обгортка щоб олюдянити твоїх агентів і більш дофаміново кодити з ШІ
мені ДУЖЕ сподобалось.
я люблю дикийс сміливий дизайн, яд і креативність
всередині архітектура і юікс теж непогано
АЛЕ
так як це обгортка над твоїми агентами вона завжди буде менш надійна ніж нативні агенти
проблеми з контекстними вікнами, обрізають описи скілів різні міні баги
як ідея ЗАКОХАВСЯ як виконаня поки сирувато
тому повернувся на клодкод і кодекс
Claude Code Україна
тестував 3 дні, ось вердикт
що це
це обгортка щоб олюдянити твоїх агентів і більш дофаміново кодити з ШІ
мені ДУЖЕ сподобалось.
я люблю дикийс сміливий дизайн, яд і креативність
всередині архітектура і юікс теж непогано
АЛЕ
так як це обгортка над твоїми агентами вона завжди буде менш надійна ніж нативні агенти
проблеми з контекстними вікнами, обрізають описи скілів різні міні баги
як ідея ЗАКОХАВСЯ як виконаня поки сирувато
тому повернувся на клодкод і кодекс
Claude Code Україна
❤1😍1
у епл нарешті прорив - дисплей щок згибається і ще й може камеру фронтову знімати під ним
це дуже ахуєнно!
реальн найкращий івент за останні років багато
АЛЕ 2000 БАКСІВ
поки як Віжн про який нікуди не прийшов
2-4 роки екрани стануть дешевшими
2-4 роки окуляри стануть дешевшими і технологія краще
окуляри, враховуючи скільки контексту кона додають штучному інтелекту, бо вони збирають аудіо і фото контекст - це просто виграли на 3 ноги вперед
тому вони і розвиватись і дешевіти будушь швидше, і ставка на ВІЖН ПРО все таки а не не фолдебл, який просто кайфовий
в кого вистачає відкладень, цікавості і менша фінансова грамотність (я) = балуємся волдаблами пару років
кому ні - це просто шум
це дуже ахуєнно!
реальн найкращий івент за останні років багато
АЛЕ 2000 БАКСІВ
поки як Віжн про який нікуди не прийшов
2-4 роки екрани стануть дешевшими
2-4 роки окуляри стануть дешевшими і технологія краще
окуляри, враховуючи скільки контексту кона додають штучному інтелекту, бо вони збирають аудіо і фото контекст - це просто виграли на 3 ноги вперед
тому вони і розвиватись і дешевіти будушь швидше, і ставка на ВІЖН ПРО все таки а не не фолдебл, який просто кайфовий
в кого вистачає відкладень, цікавості і менша фінансова грамотність (я) = балуємся волдаблами пару років
кому ні - це просто шум
❤1😁1
в 2000 році ти вивчив розмітку ХТМЛ і вже айтішник
а в 2025 створюєш компанію, куди фокус
- фолдбл екрани
- окуляри, віжн про
- штучний інтелект вже скоро АЖІ, в яку нішу встраюватись, що не поглине
- україна війна
-а весь світ війна
- іран
- третя світова
просто зроби мвп вже не порада
добрий вечір
=*
а в 2025 створюєш компанію, куди фокус
- фолдбл екрани
- окуляри, віжн про
- штучний інтелект вже скоро АЖІ, в яку нішу встраюватись, що не поглине
- україна війна
-а весь світ війна
- іран
- третя світова
просто зроби мвп вже не порада
добрий вечір
=*
💅3❤2👍1🤣1