Первым постом в этом канале будет MVP опен сорс пакета на пайтоне, который будет жить под именем Bencher.
https://github.com/m1xerrr/Bencher
Кому лень читать кидайте репу ИИшке в ридми все есть.
Идея возникла исходя из того что паблик бенчмарки не соответствовали реальности от слова совсем. В процессе решения узких задач, тулколинг для оркестратор и других вещей было выявлено что некоторые модели которые всех рвут на каких-то бенчах сильно уступают на практике.
Это возникало по причине того что все паблик бенчи имею очень широкий скоуп покрытия, что делает их по сути бесполезным в вопросе конкретной задачи. Поэтому было решено сделать многоуровневый бенчмарк которые будет по сути симулировать юзкейс какого-то из шагов оркестратора.
Пока что две основные фичи которые заложены это тулколинг и билдинг чартов (raw html/svg на интеграцию через iframe) так как эти создавали самый выбор. В процессе будет сильно расширен список.
Проблемы которые решаются:
- Задачи под разные домены
- Промпты разного качества, от 1 до 10
- Задачи разной сложности и вложености
- Рантайм оценщик и ЛЛМ оценщик (для чартов отдельный по коду и визуалу)
- ChatOpenAI месседж как сущность бенчинга. По сути передать можно почти любого провайдера и любой апи ключ. Уточняйте в ридмихе, доке ленгчейна или у своих ллмок.
- Много других микрофич которые найдете в ридми или коде
Если кто-то билдит ИИ системы то берите на вооружение. Инструмент полезный, но он не должен быть окончательным для принятия решений. Лично я использую его как сито которое отсеивает очевидно неподходящие мне модели и сравнивает условно решения с дифом прайса в х10. А потом оптимальные с близкими скорами тестируются в лайве
https://github.com/m1xerrr/Bencher
Кому лень читать кидайте репу ИИшке в ридми все есть.
Идея возникла исходя из того что паблик бенчмарки не соответствовали реальности от слова совсем. В процессе решения узких задач, тулколинг для оркестратор и других вещей было выявлено что некоторые модели которые всех рвут на каких-то бенчах сильно уступают на практике.
Это возникало по причине того что все паблик бенчи имею очень широкий скоуп покрытия, что делает их по сути бесполезным в вопросе конкретной задачи. Поэтому было решено сделать многоуровневый бенчмарк которые будет по сути симулировать юзкейс какого-то из шагов оркестратора.
Пока что две основные фичи которые заложены это тулколинг и билдинг чартов (raw html/svg на интеграцию через iframe) так как эти создавали самый выбор. В процессе будет сильно расширен список.
Проблемы которые решаются:
- Задачи под разные домены
- Промпты разного качества, от 1 до 10
- Задачи разной сложности и вложености
- Рантайм оценщик и ЛЛМ оценщик (для чартов отдельный по коду и визуалу)
- ChatOpenAI месседж как сущность бенчинга. По сути передать можно почти любого провайдера и любой апи ключ. Уточняйте в ридмихе, доке ленгчейна или у своих ллмок.
- Много других микрофич которые найдете в ридми или коде
Если кто-то билдит ИИ системы то берите на вооружение. Инструмент полезный, но он не должен быть окончательным для принятия решений. Лично я использую его как сито которое отсеивает очевидно неподходящие мне модели и сравнивает условно решения с дифом прайса в х10. А потом оптимальные с близкими скорами тестируются в лайве
GitHub
GitHub - m1xerrr/Bencher
Contribute to m1xerrr/Bencher development by creating an account on GitHub.
🤝1
Chapter 1. Unskilled Skills
Краткий экскурс почему вы иногда садитесь в лужу со скиллами.
https://medium.com/@mstyvola/unskilled-skills-52925a75eb3d - EN
https://medium.com/@mikgysome/unskilled-skills-9142cfb77732 - RU
Краткий экскурс почему вы иногда садитесь в лужу со скиллами.
https://medium.com/@mstyvola/unskilled-skills-52925a75eb3d - EN
https://medium.com/@mikgysome/unskilled-skills-9142cfb77732 - RU
Medium
Unskilled skills
LLMs don’t follow instructions. They approximate them.
❤4
Chapter 2. Carless Engines
Почему ваша машина не едет (или просто ехать нечему)
https://medium.com/@mstyvola/carless-engines-899374022451 - EN
https://medium.com/@mikgysome/carless-engines-5e6402bf2638 - RU
Почему ваша машина не едет (или просто ехать нечему)
https://medium.com/@mstyvola/carless-engines-899374022451 - EN
https://medium.com/@mikgysome/carless-engines-5e6402bf2638 - RU
Medium
Carless Engines
«First there was chat, then there was code, now there is claw.» — Andrej Karpathy, on X, March 31, 2026, six hours after a 59.8MB source…
🔥8
Forwarded from Michael
Посоветовали залить статьи в линкедин, давно туда не заходил, ощущается как жесткое место псевдо-экспертности чтобы быть замеченным. И первое что я увидел, это пост чела который рассказывает как вывел использование claude code’а на «новый уровень»
1. Человек говорит зачем гонять опус на grep, когда есть хайку. Grep это детерминированный инструмент клод кода, как и glob, заставив делать эти задачи хайку экономия достаточно сомнительная.
2. Sonnet кодер. Ну соннет неплох для кодинга,пока задачи тривиальные, с планом от опуса справиться. Но вопрос, этот пост написан 2 недели назад, в период жесткого сжатия лимитов. У вас на руках альтернатива в виде 5.3 кодекса. Сота модель с большими лимитами за те же деньги…
3. GPT 5.4 ревьювер. Как-будто все кто тестировал знают что это наверное одна из самых провальных последних моделей от опенаи. Что доказал отказ от кодекса для этой версии и переход к работе над 5.5. Но вопрос не только в этом. Любой ревьювер должен быть более гибким, опенаи модели топ пахари. Но из-за скрученной температуры и вообще подхода к билдингу, менее «креативны», на ревью вернуть опус или даже тот же соннет, если денег нету, ошибкой не было. Есть еще кувен 3.6 и кими, если хочется экономии. Но это уже вкусовщина (все кроме 5.4 , это мусор а не вкусовщина)
4. Опус как архитектор наверное единственный здравый поинт в этой всей истории но с флагманской моделью было тяжело прогадать.
В целом любой слабость любого пайплайна можно компенсировать силой специалиста, но доверяйте лучше своим суждениям чем советам псевдо-экспертов (включай этот канал).
Вывод, фид linkedin’а больше не смотрим
1. Человек говорит зачем гонять опус на grep, когда есть хайку. Grep это детерминированный инструмент клод кода, как и glob, заставив делать эти задачи хайку экономия достаточно сомнительная.
2. Sonnet кодер. Ну соннет неплох для кодинга,пока задачи тривиальные, с планом от опуса справиться. Но вопрос, этот пост написан 2 недели назад, в период жесткого сжатия лимитов. У вас на руках альтернатива в виде 5.3 кодекса. Сота модель с большими лимитами за те же деньги…
3. GPT 5.4 ревьювер. Как-будто все кто тестировал знают что это наверное одна из самых провальных последних моделей от опенаи. Что доказал отказ от кодекса для этой версии и переход к работе над 5.5. Но вопрос не только в этом. Любой ревьювер должен быть более гибким, опенаи модели топ пахари. Но из-за скрученной температуры и вообще подхода к билдингу, менее «креативны», на ревью вернуть опус или даже тот же соннет, если денег нету, ошибкой не было. Есть еще кувен 3.6 и кими, если хочется экономии. Но это уже вкусовщина (все кроме 5.4 , это мусор а не вкусовщина)
4. Опус как архитектор наверное единственный здравый поинт в этой всей истории но с флагманской моделью было тяжело прогадать.
В целом любой слабость любого пайплайна можно компенсировать силой специалиста, но доверяйте лучше своим суждениям чем советам псевдо-экспертов (включай этот канал).
Вывод, фид linkedin’а больше не смотрим
LinkedIn
Ковыряюсь с настройкой агентов в Claude Code и хочу поделиться к чему пришёл. Из коробки оно работает нормально, но когда начинаешь…
Ковыряюсь с настройкой агентов в Claude Code и хочу поделиться к чему пришёл. Из коробки оно работает нормально, но когда начинаешь тюнить — совсем другой уровень.
Первое что понял: одна модель на все задачи — тупик. Opus 4.6 гениально проектирует архитектуру…
Первое что понял: одна модель на все задачи — тупик. Opus 4.6 гениально проектирует архитектуру…
🐳4❤1👍1
Почему если ИИ убил сферу, у Антропик, у которых и так штат вырос в 20-25 раз по разным оценкам за последние 3.5 года 453 открытые вакансии из которых 150+ инженерных?
С одной стороны компания быстрорастущая и куча разных метрик говорят нам о том что это окупается:
- У антропик высокий revenue per employee. 30 лярдов прим 3-5К сотрудниках, тогда как гуглу понадобилось 30К+ штата на это.
- Компания растет быстро и штампует десятки обновлений.
- ARR за этот период вырос сильно больше чем штат.
Все это в вакууме звучит хорошо. Но если чуть углубиться то антропик имеют около $6M на сотрудника, что в 3 раза больше чем у гугла, но это обусловлено не заменой сотрудников ИИ, а более грамотной структурой и менеджментом. Так как этот же телеграм, в котором вы сейчас достиг отметки в ~$20M на человека.
Друзья, которые были интернами в гугл офисе в Сингапуре и Канаде, мечтают перейти туда на фул тайм, так как говорят что 60-70% времени работа весьма условна, но это уже другая история. Просто отсюда вопрос, заменяет ли ИИ реально нужных специалистов, или это еще одно подспорье чтобы отказаться от тех, от кого отказываться раньше было лень?
Огромное количество обновлений отчасти валидный поинт, но даже из десятков обновлений за этот месяц, по сути большими стали только клод дизайн и опус 4.7. Разработкой моделей занимается отдельная команда, туда мы не лезем, это не вопрос пары недель, переход с 4.6 на 4.7 занимал месяцы и десятки, если не сотни разработчиков.
Клод дизайн в свою очередь просто грамотно построенный врапер с которым большая команда из 10+ человек и теми ресурсами которыми обладает антропик могла бы справится за месяц без каких либо проблем. В то время когда такая же команда делает различные небольшие обновления, которые создают эффект масштаба.
ARR по сути растет более чем здраво как для раздутой ниши в эти годы и флагманского продукта, который стал особенно популярен у простых работяг, которые по сути и являются самой желанной таргет аудиторией для быстрого роста.
По цифрам никто не заменен, хотя это все и зависит от того как манипулировать фактами и смотреть на вопрос. Так или иначе, все это описывается парадоксом Джевонса: "Повышение эффективности использования ресурса не приводит к экономии этого ресурса", где этот ресурс - мы
С одной стороны компания быстрорастущая и куча разных метрик говорят нам о том что это окупается:
- У антропик высокий revenue per employee. 30 лярдов прим 3-5К сотрудниках, тогда как гуглу понадобилось 30К+ штата на это.
- Компания растет быстро и штампует десятки обновлений.
- ARR за этот период вырос сильно больше чем штат.
Все это в вакууме звучит хорошо. Но если чуть углубиться то антропик имеют около $6M на сотрудника, что в 3 раза больше чем у гугла, но это обусловлено не заменой сотрудников ИИ, а более грамотной структурой и менеджментом. Так как этот же телеграм, в котором вы сейчас достиг отметки в ~$20M на человека.
Друзья, которые были интернами в гугл офисе в Сингапуре и Канаде, мечтают перейти туда на фул тайм, так как говорят что 60-70% времени работа весьма условна, но это уже другая история. Просто отсюда вопрос, заменяет ли ИИ реально нужных специалистов, или это еще одно подспорье чтобы отказаться от тех, от кого отказываться раньше было лень?
Огромное количество обновлений отчасти валидный поинт, но даже из десятков обновлений за этот месяц, по сути большими стали только клод дизайн и опус 4.7. Разработкой моделей занимается отдельная команда, туда мы не лезем, это не вопрос пары недель, переход с 4.6 на 4.7 занимал месяцы и десятки, если не сотни разработчиков.
Клод дизайн в свою очередь просто грамотно построенный врапер с которым большая команда из 10+ человек и теми ресурсами которыми обладает антропик могла бы справится за месяц без каких либо проблем. В то время когда такая же команда делает различные небольшие обновления, которые создают эффект масштаба.
ARR по сути растет более чем здраво как для раздутой ниши в эти годы и флагманского продукта, который стал особенно популярен у простых работяг, которые по сути и являются самой желанной таргет аудиторией для быстрого роста.
По цифрам никто не заменен, хотя это все и зависит от того как манипулировать фактами и смотреть на вопрос. Так или иначе, все это описывается парадоксом Джевонса: "Повышение эффективности использования ресурса не приводит к экономии этого ресурса", где этот ресурс - мы
❤8
После OpenAI подтянулись китайцы:
- Урезанная версия 3.6 qwen'а почти дотягивает до соннета 4.5, с учетом того что это модель на 27 миллиардов после fp8 квантизации, она становится одной из лучших моделей для поднятия локально. Надумаете дообуч своей делать либо крутить запросы без цензуры, забирайте, но серьезные задачи без дообуча не потянет, не того рода модель.
- 4-й DeepSeek просто еще одна норм модель за свои бабки, да стоит на флеш версии в 20-30 раз дешевле чем соннет 4.5, но это туда, в конкуренты MiMo и Minimax
- Урезанная версия 3.6 qwen'а почти дотягивает до соннета 4.5, с учетом того что это модель на 27 миллиардов после fp8 квантизации, она становится одной из лучших моделей для поднятия локально. Надумаете дообуч своей делать либо крутить запросы без цензуры, забирайте, но серьезные задачи без дообуча не потянет, не того рода модель.
- 4-й DeepSeek просто еще одна норм модель за свои бабки, да стоит на флеш версии в 20-30 раз дешевле чем соннет 4.5, но это туда, в конкуренты MiMo и Minimax
👍6
the watcher
Второй вопрос к самим моделям, они вам тоже в выборе не помогут. Клод не знает о своих моделях, гемини 3.1 рекомендует 1.5 как фронтир и так далее. Brainless Geniuses завтра
Chapter 3. Brainless Geniuses
Почему для модели 2 + 3 = 4.97 это нормальный ответ, а тот факт что она знает о футболе портит ее кодинг способности
https://medium.com/@mstyvola/brainless-geniuses-7c4708d7b299 - EN
https://medium.com/@mikgysome/brainless-geniuses-9f1903fa1673 - RU
Почему для модели 2 + 3 = 4.97 это нормальный ответ, а тот факт что она знает о футболе портит ее кодинг способности
https://medium.com/@mstyvola/brainless-geniuses-7c4708d7b299 - EN
https://medium.com/@mikgysome/brainless-geniuses-9f1903fa1673 - RU
Medium
Brainless Geniuses
«Steven Schwartz, an attorney at Levidow & Oberman, had to explain to a federal judge why he had cited six nonexistent court cases in a…