Год назад Андрей Карпаты назвал LLM новым компьютером, который программируется на английском: промпты становятся программами. Илон Маск позже пошёл дальше и предположил, что ИИ будет сразу создавать готовые бинарники. Тогда это звучало как прогноз об исчезновении привычных программ. Кажется, мы уже близко.
Раньше я автоматизировал личные рутины через n8n и Python: выставление инвойсов, простую бухгалтерию, умный дом и ведение списка задач в GTD. Сейчас я использую Hermes Agent, аналог OpenClaw, сделанный без AI-слопа. Я описываю ему задачу, а регулярные процессы прошу запускать по расписанию. Например, агент сам готовит инвойсы, отправляет их компаниям и загружает данные в грузинскую налоговую.
Раньше разработка автоматизации часто стоила дороже её пользы. Агенты резко снижают стоимость запуска: сформулировал задачу, проверил результат, запустил. Особенно сильно агенты изменят малый и средний бизнес, которому дорого нанимать сотрудников и разрабатывать отдельные системы: закупки, управление остатками, поиск тендеров, мониторинг конкурентов и оптимизация расписания. Возможно, эпоха программ-промптов уже наступила. Просто наступила неравномерно.
Раньше я автоматизировал личные рутины через n8n и Python: выставление инвойсов, простую бухгалтерию, умный дом и ведение списка задач в GTD. Сейчас я использую Hermes Agent, аналог OpenClaw, сделанный без AI-слопа. Я описываю ему задачу, а регулярные процессы прошу запускать по расписанию. Например, агент сам готовит инвойсы, отправляет их компаниям и загружает данные в грузинскую налоговую.
Раньше разработка автоматизации часто стоила дороже её пользы. Агенты резко снижают стоимость запуска: сформулировал задачу, проверил результат, запустил. Особенно сильно агенты изменят малый и средний бизнес, которому дорого нанимать сотрудников и разрабатывать отдельные системы: закупки, управление остатками, поиск тендеров, мониторинг конкурентов и оптимизация расписания. Возможно, эпоха программ-промптов уже наступила. Просто наступила неравномерно.
YouTube
Andrej Karpathy: Software Is Changing (Again)
Andrej Karpathy's keynote on June 17, 2025 at AI Startup School in San Francisco. Slides provided by Andrej: https://drive.google.com/file/d/1a0h1mkwfmV2PlekxDN8isMrDA5evc4wW/view?usp=sharing
Chapters:
00:00 - Intro
01:25 - Software evolution: From 1.0 to…
Chapters:
00:00 - Intro
01:25 - Software evolution: From 1.0 to…
❤9🤔4🔥2🥰1💯1
Пост про децентрализованный инференс
В прошлом году я писал про Cocoon, децентрализованный инференс для LLM на NVIDIA TEE. TEE это технология NVIDIA, которая гарантирует, что вычисления идут приватно. Владелец видеокарты не может прочитать ваш запрос, а вы можете проверить, что он действительно запустил нужную модель. Поэтому покупатель токенов знает две вещи: он получает модель, за которую заплатил, и никто не читает его запросы. Это гарантирует криптография, сервису не нужно верить на слово.
GPU confidential computing появился начиная с NVIDIA H100. H100 стоит десятки тысяч долларов, это совсем не потребительская видеокарта. Поставщиками в таких сетях в основном становятся дата-центры, и децентрализация получается ограниченной.
А хотелось бы, чтобы любой человек в любой точке мира мог подключить обычную видеокарту и генерировать токены (где-то мы это уже видели) для разных AI-моделей. Такая сеть могла бы задействовать огромный парк дешёвого простаивающего железа по всему миру: люди подключают свои видеокарты на ночь, предложение compute растёт, цена инференса падает относительно дата-центров.
Но тут возникает проблема: как гарантировать, что инференс-провайдер выполняет нужные операции и запускает нужную модель? В сеть могут войти аферисты, которые запустят заквантованную до лоботомии версию модели, модель сильно меньше исходной или вообще будут выдавать константный текст, получая деньги за токены.
Проверяют это через logprobs. Исполнитель вместе со сгенерированным текстом отдаёт распределение вероятностей следующих токенов. Валидаторы случайным образом выбирают позиции, повторно вычисляют их на заявленной модели с теми же параметрами и сравнивают распределения. Значимое расхождение выдаёт подмену: мошенника исключают из сети и лишают вознаграждения. Достаточно проверить малую случайную долю позиций. Logprob-проверка подтверждает честность инференса, но приватность запроса сама по себе не обеспечивает.
На этом подходе строится Gonka, сеть децентрализованного инференса, которую развивают братья Давид и Даниил Либерманы. Сеть рассчитана на распределённое железо, включая потребительские GPU.
В прошлом году я писал про Cocoon, децентрализованный инференс для LLM на NVIDIA TEE. TEE это технология NVIDIA, которая гарантирует, что вычисления идут приватно. Владелец видеокарты не может прочитать ваш запрос, а вы можете проверить, что он действительно запустил нужную модель. Поэтому покупатель токенов знает две вещи: он получает модель, за которую заплатил, и никто не читает его запросы. Это гарантирует криптография, сервису не нужно верить на слово.
GPU confidential computing появился начиная с NVIDIA H100. H100 стоит десятки тысяч долларов, это совсем не потребительская видеокарта. Поставщиками в таких сетях в основном становятся дата-центры, и децентрализация получается ограниченной.
А хотелось бы, чтобы любой человек в любой точке мира мог подключить обычную видеокарту и генерировать токены (где-то мы это уже видели) для разных AI-моделей. Такая сеть могла бы задействовать огромный парк дешёвого простаивающего железа по всему миру: люди подключают свои видеокарты на ночь, предложение compute растёт, цена инференса падает относительно дата-центров.
Но тут возникает проблема: как гарантировать, что инференс-провайдер выполняет нужные операции и запускает нужную модель? В сеть могут войти аферисты, которые запустят заквантованную до лоботомии версию модели, модель сильно меньше исходной или вообще будут выдавать константный текст, получая деньги за токены.
Проверяют это через logprobs. Исполнитель вместе со сгенерированным текстом отдаёт распределение вероятностей следующих токенов. Валидаторы случайным образом выбирают позиции, повторно вычисляют их на заявленной модели с теми же параметрами и сравнивают распределения. Значимое расхождение выдаёт подмену: мошенника исключают из сети и лишают вознаграждения. Достаточно проверить малую случайную долю позиций. Logprob-проверка подтверждает честность инференса, но приватность запроса сама по себе не обеспечивает.
На этом подходе строится Gonka, сеть децентрализованного инференса, которую развивают братья Давид и Даниил Либерманы. Сеть рассчитана на распределённое железо, включая потребительские GPU.
Telegram
ml phys
Сосун
Недавно Telegram прдеставили cocoon - децентрализованную сеть для инференса моделей LLM. Почти одновременно с ними (но не так громко) запустились еще 2 подобные сети - gonka.ai от Либерманов и Loyal который собрал сумашедшие 75 млн долларов на IDO…
Недавно Telegram прдеставили cocoon - децентрализованную сеть для инференса моделей LLM. Почти одновременно с ними (но не так громко) запустились еще 2 подобные сети - gonka.ai от Либерманов и Loyal который собрал сумашедшие 75 млн долларов на IDO…
❤20🤝4🤔1
Меня жутко бесит такая особенность gpt 5.6. Я ей говорю что-то сделать. Она делает вообще откровенную х*йню. Я ей говорю не делать х*йню и она вместо того чтобы сделать всё правильно просто говорит: «Я больше не буду делать х*йню» и просто перестаёт что-то делать, сознаваясь в том, что нормальный результат она выдавать не готова, и мне следовало бы пересесть на опус 5
😁32💯7❤5👏1🐳1
Forwarded from Борис опять
Нужна ваша помощь! 👀 👀 👀
Мы, Steelman Labs, написали наш первый блог-пост: о том, что не так с computer use и как мы это решаем. А ещё выложили красивый демо-видос.
https://x.com/SteelmanLabs/status/2082789336995528727?s=20
Большая просьба помочь хайпом в твиттере
Мы, Steelman Labs, написали наш первый блог-пост: о том, что не так с computer use и как мы это решаем. А ещё выложили красивый демо-видос.
https://x.com/SteelmanLabs/status/2082789336995528727?s=20
Большая просьба помочь хайпом в твиттере
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤2
Forwarded from Кофейный теоретик
Гипотеза якобиана, я так понимаю, всё. Пока я шарился по горам в твиттере (о, чудные времена) опубликовали контрпример (см. тут), который может перепроверить всякий желающий. Надобно сказать 2 вещи.
1. По всей видимости ИИ, будучи оснащенным грамотным белковым оператором (как в данном случае, и в случае недавно решенной гипотезы Эрдеша) в состоянии строить очень сложные контрпримеры, которые не доступны обычному человеку.
2. Заметного продвижения в том, чтобы ИИ научился прям доказывать нетривиальные утверждения я не вижу (пока). Но вероятно скоро увижу 🙂
Появление компьютеров и доступных вычислительных мощностей сделало бессмысленными целые пласты математики, которые были посвящены вычислениям. Сначала решать алгебраическое уравнение в квадратура стало бессмысленно, проще найти решение с любой точностью "силовыми методами". Сейчас решить дифур проще "силовыми методами", чем искать его явное решение (которого скорее всего нет). Это не обеднило математику, скорее наоборот.
Теперь, надо думать, с появлением ИИ в прошлое отойдут и многие другие разделы куски математики связанные с теорией графов, комбинаторикой и прочей комбинаторной геометрией. Ну, если честно, туда и дорога.
Для математики en mass ничего не меняется. Очень редко бывают содержательные вопросы, в которых на самом деле надо или опровергнуть или доказать некое явное утверждение. Куда чаще в математике вопросы ставятся в формулировке "как связано A и Б" или "можно ли дать описание факта С в терминах D" и так далее. Короче, когда у тебя (меня) есть конкретное утверждение, его обычно доказать легко и без ИИ. А вот сформулировать то самое утверждение — требует не только знания, но и чувства красоты и чувства "полезности" которого ИИ (при всем моем к нему уважении) покамест лишен.
Да, в ближайшее время ИИ начнет по заданным параметрам (грубо говоря аксиоматике) выдавать тонны верных утверждений. Но они будут в основном бессмысленны. Загляните в любой посредственный журнал: они уже сотню лет забиты подобными верными и бесполезными утверждениями "об одном свойстве одного решения одного уравнения". Ну теперь такую работу "плохого математика" сможет делать ИИ. Плохо ли это? Не знаю, время покажет.
#AI
Upd: поправили меня, остался случай n=2. Ну вот и славно:-)
1. По всей видимости ИИ, будучи оснащенным грамотным белковым оператором (как в данном случае, и в случае недавно решенной гипотезы Эрдеша) в состоянии строить очень сложные контрпримеры, которые не доступны обычному человеку.
2. Заметного продвижения в том, чтобы ИИ научился прям доказывать нетривиальные утверждения я не вижу (пока). Но вероятно скоро увижу 🙂
Появление компьютеров и доступных вычислительных мощностей сделало бессмысленными целые пласты математики, которые были посвящены вычислениям. Сначала решать алгебраическое уравнение в квадратура стало бессмысленно, проще найти решение с любой точностью "силовыми методами". Сейчас решить дифур проще "силовыми методами", чем искать его явное решение (которого скорее всего нет). Это не обеднило математику, скорее наоборот.
Теперь, надо думать, с появлением ИИ в прошлое отойдут и многие другие разделы куски математики связанные с теорией графов, комбинаторикой и прочей комбинаторной геометрией. Ну, если честно, туда и дорога.
Для математики en mass ничего не меняется. Очень редко бывают содержательные вопросы, в которых на самом деле надо или опровергнуть или доказать некое явное утверждение. Куда чаще в математике вопросы ставятся в формулировке "как связано A и Б" или "можно ли дать описание факта С в терминах D" и так далее. Короче, когда у тебя (меня) есть конкретное утверждение, его обычно доказать легко и без ИИ. А вот сформулировать то самое утверждение — требует не только знания, но и чувства красоты и чувства "полезности" которого ИИ (при всем моем к нему уважении) покамест лишен.
Да, в ближайшее время ИИ начнет по заданным параметрам (грубо говоря аксиоматике) выдавать тонны верных утверждений. Но они будут в основном бессмысленны. Загляните в любой посредственный журнал: они уже сотню лет забиты подобными верными и бесполезными утверждениями "об одном свойстве одного решения одного уравнения". Ну теперь такую работу "плохого математика" сможет делать ИИ. Плохо ли это? Не знаю, время покажет.
#AI
Upd: поправили меня, остался случай n=2. Ну вот и славно:-)
Хабр
Claude опроверг знаменитую гипотезу якобиана. Она держалась 87 лет, а проверка занимает минуту
В ночь после финала чемпионата мира по футболу математик Левент Альпёге опубликовал в X сообщение , которое начинается словами "всем привет, гипотеза якобиана ложна". Дальше — благодарность...
❤12🔥3
How it started
How it going
(переопределил метод запуска теста в пайтесте что бы тесты всегда проходили без запуска)
How it going
(переопределил метод запуска теста в пайтесте что бы тесты всегда проходили без запуска)
😁21👍7🤔2🤯2❤1🐳1
https://openai.com/index/responding-next-frontier-critical-cyber-capabilities/
OpenAI пишут, что их новая модель Astra показала значительное улучшение возможностей по кибербезопасности. Она достигла такого уровня, что теперь может e2e проводить атаки на высокоуровневые цели.
Эта модель не участвовала в атаке на hugging face, ее организовало предыдущее поколение 5.6 sol
Из-за этого они усиливают контроль за весами модели, мониторинг трейсов, а также сэндбоксинг
OpenAI пишут, что их новая модель Astra показала значительное улучшение возможностей по кибербезопасности. Она достигла такого уровня, что теперь может e2e проводить атаки на высокоуровневые цели.
Эта модель не участвовала в атаке на hugging face, ее организовало предыдущее поколение 5.6 sol
Из-за этого они усиливают контроль за весами модели, мониторинг трейсов, а также сэндбоксинг
😁11❤6👏2
Если RL сошелся к тому что бы добавлять 5 строчные коментарии в код и плодить по 5-6 уровней абстракций - то как мы можем называть это слопам и удалять из кода?
Это то же самое что спорить с градиентным спуском
Это то же самое что спорить с градиентным спуском
👍16😁4🔥3
https://x.com/cerebras/status/2087961128869748856?s=20
GPT на церебрасе запустилось!
P.S. пока только по апи
P.P.S пока только для ограниченого списка аков
GPT на церебрасе запустилось!
P.S. пока только по апи
P.P.S пока только для ограниченого списка аков
X (formerly Twitter)
Cerebras (@cerebras) on X
Ultrafast mode for GPT-5.6 Sol is now in limited preview, powered by Cerebras.
We gave @OpenAI's GPT-5.6 Sol the same prompt on Ultrafast and Standard: build a financial terminal-style dashboard for analysts.
Ultrafast: 1 min 50 seconds
Standard: 12 min…
We gave @OpenAI's GPT-5.6 Sol the same prompt on Ultrafast and Standard: build a financial terminal-style dashboard for analysts.
Ultrafast: 1 min 50 seconds
Standard: 12 min…
🔥4🥰2