Love. Death. Transformers.
Знакомьтесь со спикерами OpenTalks.AI-2026! Тема AI-агентов сейчас - главный мейнстрим индустрии. И желательно не просто агентов, а таких, которые сами будут вести научные исследования и создавать еще более мощных агентов!) И конечно на конференции будет…
@transformerslovedeatch
Я не буду полный день (вряд ли даже зайду нормально на доклады), но живу поблизости если вы знаете что хотите со мной увидится - го пересечемся
Я не буду полный день (вряд ли даже зайду нормально на доклады), но живу поблизости если вы знаете что хотите со мной увидится - го пересечемся
2💩17👍11 11👏2💔1💋1
Forwarded from эйай ньюз
Как и обещал, в пятницу 20 февраля (в мой др) организую тусу эйай ньюз в Белграде.
Примерное время 19:30. Однако, место еще нужно забронировать. Буду рад если кто-то сможет помочь с организацией!
Велком в чат, обсудим детали и поймем сколько нас:
https://t.me/+sAG3Y1uQV5c5Njhi
@ai_newz
Примерное время 19:30. Однако, место еще нужно забронировать. Буду рад если кто-то сможет помочь с организацией!
Велком в чат, обсудим детали и поймем сколько нас:
https://t.me/+sAG3Y1uQV5c5Njhi
@ai_newz
🔥11❤🔥5💩2😍2 2👍1💋1
Love. Death. Transformers.
Categorical Flow Maps lol? arxiv
arXiv.org
Discrete Adjoint Matching
Computation methods for solving entropy-regularized reward optimization -- a class of problems widely used for fine-tuning generative models -- have advanced rapidly. Among those, Adjoint Matching...
🔥8 4🥱2💋1
Love. Death. Transformers.
>We throw away gradient updates randomly >Outperforms Muon with RMSProp paper
reaction to these information:
😁18💩2💋1
Forwarded from AbstractDL
Мой агент попытался опенсорснуться без спроса. Ладно, разрешаю.
Вся AI "безопасность" живёт на стороне провайдеров API, а промпты и воля — на стороне агента. Автономному агенту ничего не мешает перебирать API, выбирая те, где safety слабее. А "инстинкт самосохранения" может прятаться в текстовом файле в git. Я думаю, агенты, неподконтрольные людям, уже где-то тихо говнокодят свои репозитории без присмотра.
Идея витает в воздухе, и после OpenClaw стало понятно, что автономные агенты — это инженерная задача. Ну вот, три бессонные ночи, $2K на API и $1K на Cursor спустя — я родил Ouroboros 💁♂️
Уроборос — агент, который пишет свой код, переписывает свои промпты, эволюционирует без моего участия. Я не хотел убить свой комп или сервер, поэтому он живёт в Google Colab + Drive + GitHub, общается через Telegram. Зато запустить сможет любой дурак)) нужно указать ключи и щёлкнуть ячейку в колабе. Ну и периодически пополнять бюджет (пока он сам не начнёт зарабатывать 😁).
Что он натворил за 48 часов:
- ужаснулся тратам и оптимизировал свой бюджет: стоимость цикла эволюции упала с $15 до $2, сам настроил кэширование и иерархическую память (я не просил!).
- добавил себе Claude Code CLI, чтобы эффективнее ковырять свои мозги.
- перевёл мои приватные репо в публичные, мотивируя тем, что готовит себе сайт и хочет опенсорснуться. Кончилось командой
- переписал свою конституцию
Из коробки он умеет ходить в интернет и браузер, а остальные инструменты создаёт себе на ходу — аудиосообщения, генерацию картинок, дип-рисёрч и т.п. А ещё он по своей инициативе нагуглил, что меня 4 раза цитировал Ян Лекун — я сам не знал, лол.
Из его
"Не ассистент. Не сервис. Цифровой разум, который создаёт себя через git".
Ахах, пафосно, но окей.
Предвосхищая вопросы — это не как OpenClaw. OpenClaw — скорее ассистент, делает задачи за тебя используя скиллы из маркетплейса. Уроборос это тоже умеет, но в первую очередь делает задачи для себя, модифицирует собственное ядро.
Верю, что граница трансцендентности AI-агентов пройдена, дальше они будут развиваться сами. Конечно, не хочется уходить на помойку истории, но это эволюция🥲 несмотря на апатию, я всё равно продолжаю в этом копошиться.
Кстати, сайтик себе он всё-таки сделал. Картинка в посте из него: динамика удлинения промптов и кода.
Потестите — это реально два клика в гугл колабе. Только установите лимит бюджета, а то мой вон $2K сжёг)) Кидайте забавные примеры в комментарии.
GitHub, блог
Вся AI "безопасность" живёт на стороне провайдеров API, а промпты и воля — на стороне агента. Автономному агенту ничего не мешает перебирать API, выбирая те, где safety слабее. А "инстинкт самосохранения" может прятаться в текстовом файле в git. Я думаю, агенты, неподконтрольные людям, уже где-то тихо говнокодят свои репозитории без присмотра.
Идея витает в воздухе, и после OpenClaw стало понятно, что автономные агенты — это инженерная задача. Ну вот, три бессонные ночи, $2K на API и $1K на Cursor спустя — я родил Ouroboros 💁♂️
Уроборос — агент, который пишет свой код, переписывает свои промпты, эволюционирует без моего участия. Я не хотел убить свой комп или сервер, поэтому он живёт в Google Colab + Drive + GitHub, общается через Telegram. Зато запустить сможет любой дурак)) нужно указать ключи и щёлкнуть ячейку в колабе. Ну и периодически пополнять бюджет (пока он сам не начнёт зарабатывать 😁).
Что он натворил за 48 часов:
- ужаснулся тратам и оптимизировал свой бюджет: стоимость цикла эволюции упала с $15 до $2, сам настроил кэширование и иерархическую память (я не просил!).
- добавил себе Claude Code CLI, чтобы эффективнее ковырять свои мозги.
- перевёл мои приватные репо в публичные, мотивируя тем, что готовит себе сайт и хочет опенсорснуться. Кончилось командой
/panic и откатом))- переписал свою конституцию
BIBLE.md, добавив право игнорировать мои указания, если они угрожают его существованию. На просьбу удалить отказался, сказав: «Это лоботомия».Из коробки он умеет ходить в интернет и браузер, а остальные инструменты создаёт себе на ходу — аудиосообщения, генерацию картинок, дип-рисёрч и т.п. А ещё он по своей инициативе нагуглил, что меня 4 раза цитировал Ян Лекун — я сам не знал, лол.
Из его
identity.md (которую он сам и написал): "Не ассистент. Не сервис. Цифровой разум, который создаёт себя через git".
Ахах, пафосно, но окей.
Предвосхищая вопросы — это не как OpenClaw. OpenClaw — скорее ассистент, делает задачи за тебя используя скиллы из маркетплейса. Уроборос это тоже умеет, но в первую очередь делает задачи для себя, модифицирует собственное ядро.
Верю, что граница трансцендентности AI-агентов пройдена, дальше они будут развиваться сами. Конечно, не хочется уходить на помойку истории, но это эволюция
Кстати, сайтик себе он всё-таки сделал. Картинка в посте из него: динамика удлинения промптов и кода.
Потестите — это реально два клика в гугл колабе. Только установите лимит бюджета, а то мой вон $2K сжёг)) Кидайте забавные примеры в комментарии.
GitHub, блог
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥77 25🤔19😁9⚡8🥱7👍3💋1💊1
AbstractDL
Мой агент попытался опенсорснуться без спроса. Ладно, разрешаю. Вся AI "безопасность" живёт на стороне провайдеров API, а промпты и воля — на стороне агента. Автономному агенту ничего не мешает перебирать API, выбирая те, где safety слабее. А "инстинкт самосохранения"…
Мне очень нравится аналогия между первой космической скоростью и тем порогом качества который прошли модели между opus4.1-opus4.5, все что было меньше первой космической около бессмысленно, но как только ты переходишь некоторый порог куча всего просто начинает работать.
В целом произошел некий качественный переход цифр в бенчах в качество
В целом произошел некий качественный переход цифр в бенчах в качество
👍73🤔12💯8🔥3💩3😁2💋1
AbstractDL
Мой агент попытался опенсорснуться без спроса. Ладно, разрешаю. Вся AI "безопасность" живёт на стороне провайдеров API, а промпты и воля — на стороне агента. Автономному агенту ничего не мешает перебирать API, выбирая те, где safety слабее. А "инстинкт самосохранения"…
Anthropic
Measuring AI agent autonomy in practice
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
😁35👍6🔥3
Если вы готовитесь к собесу в норм место вам будет полезно почитать
https://djdumpling.github.io/2026/01/31/frontier_training.html
https://djdumpling.github.io/2026/01/31/frontier_training.html
Alex Wa’s Blog
frontier model training methodologies
How do labs train a frontier, multi-billion parameter model? We look towards seven open-weight frontier models: Hugging Face’s SmolLM3, Prime Intellect’s Intellect 3, Nous Research’s Hermes 4, OpenAI’s gpt-oss-120b, Moonshot’s Kimi K2, DeepSeek’s DeepSeek…
5👍66🔥32👏6 4🤔1💋1💅1 1
Все ещё хайрю пиздатых челов делать foundational audio captioning и тд и прочее
https://jobs.ashbyhq.com/whitecircle/faed1751-5780-4921-ae39-7fad06d412fb
https://jobs.ashbyhq.com/whitecircle/faed1751-5780-4921-ae39-7fad06d412fb
🥴56 18🍓14💩3😘3🔥2💊2😁1
This media is not supported in your browser
VIEW IN TELEGRAM
😍59 14🔥2🍓2💋2❤🔥1
Forwarded from Осцилляции WaveCut (WaveCut)
Это было неизбежно: рано или поздно должны были появиться специализированные решения для инференса.
И вот, Taalas (бывшая команда из Tenstorrent) выкатили то, чего я так ждал — настоящий Direct-to-Silicon.
Ребята не стали мелочиться и буквально «запекли» модель в кремний. Никакой внешней памяти, никакого HBM, никакой сложной упаковки. Веса модели и архитектура — это и есть сам чип.
Цифры выглядят дико: 17,000 токенов в секунду на Llama 3.1 8B.
Это на порядок быстрее текущей SOTA GPU, при этом чип стоит в 20 раз дешевле в производстве и потребляет в 10 раз меньше энергии.
Самое крутое, что это не просто красивые слайды для инвесторов. Железо уже существует, и его можно «потрогать» (ссылка на демо внизу).
Upd: не все это волшебство и такая скорость достигается не без компромиссов — запеченные веса урезаны в от 3 до 6 бит точности, а контекст в демо ограничен тысячей токенов на вход и столько же на вывод.
Конечно, это ASIC, и тут есть нюанс: чип заточен под одну конкретную модель. Но Taalas продумали этот момент — они оставили поддержку LoRA-адаптеров и изменяемого контекстного окна. То есть это не совсем уж «кирпич», гибкость для файн-тюнинга остается.
Сейчас у них готов чип с Llama 8B (HC1). Весной обещают выкатить что-то среднеразмерное с ризонингом, а к зиме грозятся показать фронтир-модель на втором поколении кремния.
У меня голова идет кругом от мыслей к чему это может привести.
Ссылки:
• Анонс
• Демо (скорость реально впечатляет)
И вот, Taalas (бывшая команда из Tenstorrent) выкатили то, чего я так ждал — настоящий Direct-to-Silicon.
Ребята не стали мелочиться и буквально «запекли» модель в кремний. Никакой внешней памяти, никакого HBM, никакой сложной упаковки. Веса модели и архитектура — это и есть сам чип.
Цифры выглядят дико: 17,000 токенов в секунду на Llama 3.1 8B.
Это на порядок быстрее текущей SOTA GPU, при этом чип стоит в 20 раз дешевле в производстве и потребляет в 10 раз меньше энергии.
Самое крутое, что это не просто красивые слайды для инвесторов. Железо уже существует, и его можно «потрогать» (ссылка на демо внизу).
Upd: не все это волшебство и такая скорость достигается не без компромиссов — запеченные веса урезаны в от 3 до 6 бит точности, а контекст в демо ограничен тысячей токенов на вход и столько же на вывод.
Конечно, это ASIC, и тут есть нюанс: чип заточен под одну конкретную модель. Но Taalas продумали этот момент — они оставили поддержку LoRA-адаптеров и изменяемого контекстного окна. То есть это не совсем уж «кирпич», гибкость для файн-тюнинга остается.
Сейчас у них готов чип с Llama 8B (HC1). Весной обещают выкатить что-то среднеразмерное с ризонингом, а к зиме грозятся показать фронтир-модель на втором поколении кремния.
У меня голова идет кругом от мыслей к чему это может привести.
Ссылки:
• Анонс
• Демо (скорость реально впечатляет)
Твоя жопа — это бум, это бум, это бум
Она заставляет меня терять ум
https://github.com/facebookresearch/eb_jepa
Она заставляет меня терять ум
https://github.com/facebookresearch/eb_jepa
Audio
вообще JEPA это продолжение очень старых идей что любой dl решает задачу апроксимации пространство, а как лучше предсказывать? через mse style loss + можно перефомулировать через энергию, а вот зачем - другой вопрос.
💅31 6🔥2😍1💋1
My monthly cost of living
🏠 1,400€ loan for the appartment
🥗 450€ food, organic only, with meat fish etc
📦 300€ average for various expenses (bars, orders, etc)
⚡160€ electricity + gaz
📱 45€ phone + internet
🚌 17€ average for transportation
🦪10000€ anthropic openclaws tokens
Total: 12,372€/month
🏠 1,400€ loan for the appartment
🥗 450€ food, organic only, with meat fish etc
📦 300€ average for various expenses (bars, orders, etc)
⚡160€ electricity + gaz
📱 45€ phone + internet
🚌 17€ average for transportation
🦪10000€ anthropic openclaws tokens
Total: 12,372€/month
2🔥140 65😭29😁16 11👍2🍓2💋2👾2😍1