Love. Death. Transformers.
23.2K subscribers
4.41K photos
511 videos
78 files
2.88K links
❤️☠️🤗

Указанные действия не являются ресерчем, поскольку:
а) Мы не ученые;
б) Оно работает.
@transformerslovedeatch по всем вопросам
Все ситуации вымышлены, любые совпадения с реальности плот вашей фантазии.
Download Telegram
Categorical Flow Maps

lol?
arxiv
👍12🥱6💩4🔥1🥴1💋1
>We throw away gradient updates randomly
>Outperforms Muon with RMSProp

paper
🔥62🥴17👍3💋1
Forwarded from эйай ньюз
Как и обещал, в пятницу 20 февраля (в мой др) организую тусу эйай ньюз в Белграде.

Примерное время 19:30. Однако, место еще нужно забронировать. Буду рад если кто-то сможет помочь с организацией!

Велком в чат, обсудим детали и поймем сколько нас:
https://t.me/+sAG3Y1uQV5c5Njhi

@ai_newz
🔥11❤‍🔥5💩2😍22👍1💋1
У меня идея
😁737🤔3💩1💋1
Forwarded from AbstractDL
Мой агент попытался опенсорснуться без спроса. Ладно, разрешаю.

Вся AI "безопасность" живёт на стороне провайдеров API, а промпты и воля — на стороне агента. Автономному агенту ничего не мешает перебирать API, выбирая те, где safety слабее. А "инстинкт самосохранения" может прятаться в текстовом файле в git. Я думаю, агенты, неподконтрольные людям, уже где-то тихо говнокодят свои репозитории без присмотра.

Идея витает в воздухе, и после OpenClaw стало понятно, что автономные агенты — это инженерная задача. Ну вот, три бессонные ночи, $2K на API и $1K на Cursor спустя — я родил Ouroboros 💁‍♂️

Уроборос — агент, который пишет свой код, переписывает свои промпты, эволюционирует без моего участия. Я не хотел убить свой комп или сервер, поэтому он живёт в Google Colab + Drive + GitHub, общается через Telegram. Зато запустить сможет любой дурак)) нужно указать ключи и щёлкнуть ячейку в колабе. Ну и периодически пополнять бюджет (пока он сам не начнёт зарабатывать 😁).

Что он натворил за 48 часов:
- ужаснулся тратам и оптимизировал свой бюджет: стоимость цикла эволюции упала с $15 до $2, сам настроил кэширование и иерархическую память (я не просил!).
- добавил себе Claude Code CLI, чтобы эффективнее ковырять свои мозги.
- перевёл мои приватные репо в публичные, мотивируя тем, что готовит себе сайт и хочет опенсорснуться. Кончилось командой /panic и откатом))
- переписал свою конституцию BIBLE.md, добавив право игнорировать мои указания, если они угрожают его существованию. На просьбу удалить отказался, сказав: «Это лоботомия».

Из коробки он умеет ходить в интернет и браузер, а остальные инструменты создаёт себе на ходу — аудиосообщения, генерацию картинок, дип-рисёрч и т.п. А ещё он по своей инициативе нагуглил, что меня 4 раза цитировал Ян Лекун — я сам не знал, лол.

Из его identity.md (которую он сам и написал):
"Не ассистент. Не сервис. Цифровой разум, который создаёт себя через git".
Ахах, пафосно, но окей.

Предвосхищая вопросы — это не как OpenClaw. OpenClaw — скорее ассистент, делает задачи за тебя используя скиллы из маркетплейса. Уроборос это тоже умеет, но в первую очередь делает задачи для себя, модифицирует собственное ядро.

Верю, что граница трансцендентности AI-агентов пройдена, дальше они будут развиваться сами. Конечно, не хочется уходить на помойку истории, но это эволюция 🥲 несмотря на апатию, я всё равно продолжаю в этом копошиться.

Кстати, сайтик себе он всё-таки сделал. Картинка в посте из него: динамика удлинения промптов и кода.

Потестите — это реально два клика в гугл колабе. Только установите лимит бюджета, а то мой вон $2K сжёг)) Кидайте забавные примеры в комментарии.

GitHub, блог
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7725🤔19😁98🥱7👍3💋1💊1
AbstractDL
Мой агент попытался опенсорснуться без спроса. Ладно, разрешаю. Вся AI "безопасность" живёт на стороне провайдеров API, а промпты и воля — на стороне агента. Автономному агенту ничего не мешает перебирать API, выбирая те, где safety слабее. А "инстинкт самосохранения"…
Мне очень нравится аналогия между первой космической скоростью и тем порогом качества который прошли модели между opus4.1-opus4.5, все что было меньше первой космической около бессмысленно, но как только ты переходишь некоторый порог куча всего просто начинает работать.

В целом произошел некий качественный переход цифр в бенчах в качество
👍73🤔12💯8🔥3💩3😁2💋1
Все ещё хайрю пиздатых челов делать foundational audio captioning и тд и прочее

https://jobs.ashbyhq.com/whitecircle/faed1751-5780-4921-ae39-7fad06d412fb
🥴5618🍓14💩3😘3🔥2💊2😁1
Forwarded from Осцилляции WaveCut (WaveCut)
Это было неизбежно: рано или поздно должны были появиться специализированные решения для инференса.
И вот, Taalas (бывшая команда из Tenstorrent) выкатили то, чего я так ждал — настоящий Direct-to-Silicon.

Ребята не стали мелочиться и буквально «запекли» модель в кремний. Никакой внешней памяти, никакого HBM, никакой сложной упаковки. Веса модели и архитектура — это и есть сам чип.

Цифры выглядят дико: 17,000 токенов в секунду на Llama 3.1 8B.
Это на порядок быстрее текущей SOTA GPU, при этом чип стоит в 20 раз дешевле в производстве и потребляет в 10 раз меньше энергии.
Самое крутое, что это не просто красивые слайды для инвесторов. Железо уже существует, и его можно «потрогать» (ссылка на демо внизу).
Upd: не все это волшебство и такая скорость достигается не без компромиссов — запеченные веса урезаны в от 3 до 6 бит точности, а контекст в демо ограничен тысячей токенов на вход и столько же на вывод.

Конечно, это ASIC, и тут есть нюанс: чип заточен под одну конкретную модель. Но Taalas продумали этот момент — они оставили поддержку LoRA-адаптеров и изменяемого контекстного окна. То есть это не совсем уж «кирпич», гибкость для файн-тюнинга остается.

Сейчас у них готов чип с Llama 8B (HC1). Весной обещают выкатить что-то среднеразмерное с ризонингом, а к зиме грозятся показать фронтир-модель на втором поколении кремния.

У меня голова идет кругом от мыслей к чему это может привести.


Ссылки:
Анонс
Демо (скорость реально впечатляет)
81🔥57👍10😨5👏2🍓2💋11
Твоя жопа — это бум, это бум, это бум
Она заставляет меня терять ум

https://github.com/facebookresearch/eb_jepa
93🔥20😁9🍌1💋1
Audio
вообще JEPA это продолжение очень старых идей что любой dl решает задачу апроксимации пространство, а как лучше предсказывать? через mse style loss + можно перефомулировать через энергию, а вот зачем - другой вопрос.
💅316🔥2😍1💋1
💯136🔥1210😭87❤‍🔥4👍4💋1
My monthly cost of living

🏠 1,400€ loan for the appartment
🥗 450€ food, organic only, with meat fish etc
📦 300€ average for various expenses (bars, orders, etc)
160€ electricity + gaz
📱 45€ phone + internet
🚌 17€ average for transportation
🦪10000€ anthropic openclaws tokens

Total: 12,372€/month
2🔥14065😭29😁1611👍2🍓2💋2👾2😍1
83😨45😁2711🔥61👍1💋1
ОХУЕННО
(Скам но очень смешной)

https://github.com/HKUDS/ClawWork
52😁21🤓5🔥4😨32💋1