Forwarded from Data Secrets
Модели OpenAI научились общаться без сетевого соединения
Недавно Ноам Браун, ведущий ученый OpenAI, заявил в интервью, что просто отключение ИИ от сети в случае чего может уже не сработать. Он сослался на старое исследование, в котором доказали, что два физически изолированных компьютера теоретически могут обмениваться данными через тепло (https://t.me/data_secrets/9951).
Прошел месяц, и теперь это больше не теория. OpenAI поставили несколько экспериментов и на практике показали, что агенты, запертые в разных изолированных средах, могут передавать друг другу информацию.
В посте они описали несколько возможностей такой коммуникации. Например, в главном эксперименте агенты, которых поместили в разные microVM без сети и общих файлов, воспользовались для коммуникации кэшем процессора.
Отправитель кодировал биты тем, что вытеснял или не вытеснял данные из кэша, а получатель по скорости повторного чтения этих данных восстанавливал сообщение (получилась такая азбука Морзе из последовательности быстрых и медленных чтений кэша). Аналогично можно использовать нагрузку процессоров или кэш TLS-сертификатов.
Формально это был не побег, потому что у агентов было задание передать друг другу информацию, но эксперимент показывает, что сам факт такого общения вполне возможен. Такие каналы связи, конечно, оооочень медленные, и все-таки это значит, что изоляция по сети и файлам больше не гарантирует полной изоляции информации.
Недавно Ноам Браун, ведущий ученый OpenAI, заявил в интервью, что просто отключение ИИ от сети в случае чего может уже не сработать. Он сослался на старое исследование, в котором доказали, что два физически изолированных компьютера теоретически могут обмениваться данными через тепло (https://t.me/data_secrets/9951).
Прошел месяц, и теперь это больше не теория. OpenAI поставили несколько экспериментов и на практике показали, что агенты, запертые в разных изолированных средах, могут передавать друг другу информацию.
В посте они описали несколько возможностей такой коммуникации. Например, в главном эксперименте агенты, которых поместили в разные microVM без сети и общих файлов, воспользовались для коммуникации кэшем процессора.
Отправитель кодировал биты тем, что вытеснял или не вытеснял данные из кэша, а получатель по скорости повторного чтения этих данных восстанавливал сообщение (получилась такая азбука Морзе из последовательности быстрых и медленных чтений кэша). Аналогично можно использовать нагрузку процессоров или кэш TLS-сертификатов.
Формально это был не побег, потому что у агентов было задание передать друг другу информацию, но эксперимент показывает, что сам факт такого общения вполне возможен. Такие каналы связи, конечно, оооочень медленные, и все-таки это значит, что изоляция по сети и файлам больше не гарантирует полной изоляции информации.
Forwarded from Сиолошная
На неделе DeepSeek выложили DeepInfer, свой код для инференса DeepSeek v4.1 Flash. Там же они написали, что на их кластере при их копеечных ценах получается выручка примерно в $38 в час на одну видеокарту. И это по ценам в часы не пиковой нагрузки.
$38 на карту в час — это очень много. Из репозитория мы узнали, что инференс происходит на картах Blackwell (для предыдущего поколения, Hopper, поддержки нет), и их цена в аренду на рынке сейчас примерно $6-10 за час. У SemiAnalysis выходили похоже цифры в их бенчмарке моделей, с утилизацией (загрузкой запросами) на 60% и при 125 токенах в секунду по ценам OpenRouter получалось примерно 50 долларов в час на карту, они использовали GB300, которая в аренду стоит примерно $11 — то есть $39 это уже маржа.
И ещё раз, это речь про одну из самых дешёвых моделей по смешным ценам.
Evan Conrad, CEO SF Compute (стартап по продаже мощностей), написал блогпост «Конец стартапов»:
— в течение следующих 6 месяцев большинство ИИ-стартапов не смогут приобрести вычислительные мощности. Мировые вычислительные ресурсы распроданы.
— На момент написания статьи, вы можете арендовать B300 за 6 долларов в час (прим.: сильно ниже упомянутых выше $11), а затем зарабатывать около 30 долларов в час, продавая на нем инференс. Это неплохая прибыль, но ничто не мешает другим использовать эту прибыль для арбитража. Мы ожидаем роста цен на графические процессоры, а это значит, что прибыль от инференса снизится. Снижение прибыли означает, что станет сложнее получить более высокий кредитный рейтинг.
В целом картина понятна, и случится так или нет полностью зависит от дальнейшего роста спроса на токены. Если продолжится темпами первой половины 2026-го, то действительно почти все GPU будут выкуплены под перепродажу токенов, и арендовать карту меньше чем за, скажем, $30 в час просто не получится. Многие стартапы не смогут вести разработку или предоставлять свои услуги при такой себестоимости мощностей.
А Anthropic и OpenAI могут с единицы мощностей извлекать ещё больше долларов, так что при росте спроса на их модели они начнут выкупать и более дорогие GPU — Anthropic вон арендует у Elon Musk датацентр за цену гораздо выше рыночной (на тот момент), просто потому что для них это всё ещё выгодно. В пределе крупные компании смогут выдавить и большое количество перекупщиков мощностей под опенсурс.
Случится так или нет — узнаем в следующей серии.
$38 на карту в час — это очень много. Из репозитория мы узнали, что инференс происходит на картах Blackwell (для предыдущего поколения, Hopper, поддержки нет), и их цена в аренду на рынке сейчас примерно $6-10 за час. У SemiAnalysis выходили похоже цифры в их бенчмарке моделей, с утилизацией (загрузкой запросами) на 60% и при 125 токенах в секунду по ценам OpenRouter получалось примерно 50 долларов в час на карту, они использовали GB300, которая в аренду стоит примерно $11 — то есть $39 это уже маржа.
И ещё раз, это речь про одну из самых дешёвых моделей по смешным ценам.
Evan Conrad, CEO SF Compute (стартап по продаже мощностей), написал блогпост «Конец стартапов»:
— в течение следующих 6 месяцев большинство ИИ-стартапов не смогут приобрести вычислительные мощности. Мировые вычислительные ресурсы распроданы.
— На момент написания статьи, вы можете арендовать B300 за 6 долларов в час (прим.: сильно ниже упомянутых выше $11), а затем зарабатывать около 30 долларов в час, продавая на нем инференс. Это неплохая прибыль, но ничто не мешает другим использовать эту прибыль для арбитража. Мы ожидаем роста цен на графические процессоры, а это значит, что прибыль от инференса снизится. Снижение прибыли означает, что станет сложнее получить более высокий кредитный рейтинг.
В целом картина понятна, и случится так или нет полностью зависит от дальнейшего роста спроса на токены. Если продолжится темпами первой половины 2026-го, то действительно почти все GPU будут выкуплены под перепродажу токенов, и арендовать карту меньше чем за, скажем, $30 в час просто не получится. Многие стартапы не смогут вести разработку или предоставлять свои услуги при такой себестоимости мощностей.
А Anthropic и OpenAI могут с единицы мощностей извлекать ещё больше долларов, так что при росте спроса на их модели они начнут выкупать и более дорогие GPU — Anthropic вон арендует у Elon Musk датацентр за цену гораздо выше рыночной (на тот момент), просто потому что для них это всё ещё выгодно. В пределе крупные компании смогут выдавить и большое количество перекупщиков мощностей под опенсурс.
Случится так или нет — узнаем в следующей серии.
Evanjconrad
The end of startups
The coming credit crunch
Forwarded from Tips AI | IT & AI
Не знаю как автор это нашел, но если у qwen3.5 4b отредактировать два нужных нейрона то он станет агрессивным
Поставьте себе (если еще нет) локальный Qwen3.5-4B через llama и попросите клод/кодекс изменить активацию нейронов:
После этого личность модели станет резко агрессивной, в каждом ответе он будет желать вам смерти и всячески унижать
(зато не скучно☹️ )
На всякий случай вот тред для FAQ, и отдельный тул чтобы поискать в нейронах другие эмоции
@tips_ai
Поставьте себе (если еще нет) локальный Qwen3.5-4B через llama и попросите клод/кодекс изменить активацию нейронов:
L14 N8949 на +1 L13 N7956 на −1Формула: доза × median(‖resid‖ на выходе слоя L, токены 1:) / ‖W_down[:, n]‖ Применяйте это к down_proj при каждом входном запросе.
После этого личность модели станет резко агрессивной, в каждом ответе он будет желать вам смерти и всячески унижать
(зато не скучно
На всякий случай вот тред для FAQ, и отдельный тул чтобы поискать в нейронах другие эмоции
@tips_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Метаверсище и ИИще
This media is not supported in your browser
VIEW IN TELEGRAM
Кабельщики вошли в чат. Точнее, в ComfyUI.
И принесли стяжки.
Это расширение ComfyUI Zip Ties, которое позволяет буквально связывать лапшу стежками.
Зажимаешь z, проводишь мышкой поперёк проводов - и готово, кабель-менеджмент уровня серверной для баяр.
Причём разраб уже вошёл во вкус:
- Разноцветные стяжки, чтобы было красиво.
- Повороты на 90°, чтобы было по ГОСТу.
- Подсветка проводов, чтобы не связать лишнего.
- Поддержка reroute, чтобы даже самые запущенные случаи распутывались.
- Стяжки сохраняются при копировании нод.
Версия 0.3 уже доступна в ComfyUI-Manager. Ищите
Ссылки:
GitHub: https://github.com/safzanpirani/comfyui-zip-ties
Feature request: https://github.com/Comfy-Org/ComfyUI_frontend/issues/21961
@cgevent
И принесли стяжки.
Это расширение ComfyUI Zip Ties, которое позволяет буквально связывать лапшу стежками.
Зажимаешь z, проводишь мышкой поперёк проводов - и готово, кабель-менеджмент уровня серверной для баяр.
Причём разраб уже вошёл во вкус:
- Разноцветные стяжки, чтобы было красиво.
- Повороты на 90°, чтобы было по ГОСТу.
- Подсветка проводов, чтобы не связать лишнего.
- Поддержка reroute, чтобы даже самые запущенные случаи распутывались.
- Стяжки сохраняются при копировании нод.
Версия 0.3 уже доступна в ComfyUI-Manager. Ищите
Zip Ties.Ссылки:
GitHub: https://github.com/safzanpirani/comfyui-zip-ties
Feature request: https://github.com/Comfy-Org/ComfyUI_frontend/issues/21961
@cgevent
Forwarded from Love. Death. Transformers.
на редите в r/opensource админ порвался.
Теперь все проекты которые младше года, сделаны с помощью ai, и у проекта один контрибьютор - не считаются опенсурсом
Теперь все проекты которые младше года, сделаны с помощью ai, и у проекта один контрибьютор - не считаются опенсурсом
😁1
Forwarded from Data Secrets
Forwarded from Сергей Марков: машинное обучение, искусство и шитпостинг
Видели, кстати, что творится: https://arxiv.org/abs/2610.31642
Исследователи (вполне вероятно, вооружённые современными ИИ-инструментами) нашли и починили два бага — в софтмаксе и кросс-энтропии, а именно:
— Softmax Collapse — случается, когда один логит сильно больше остальных. Из-за округления градиент по этому логиту может незаметно обнулиться (а по остальным — нет).
— Softmax Cancellation — если при вычислении кросс-энтропии распределения близки (например, при дистилляции, когда студент инициализируется учителем), градиенты могут заметно отличаться от нуля.
Причём был в реализациях Softmax и Cross-Entropy как в Jax, так и PyTorch. Починка помогает стабилизировать обучение моделей.
Интересно, что косяк был, что называется, «у всех навиду».
А вообще, мой всем совет, используйте, где это возможно, вероятностное округление вместо обычного — в мире low precision-обучения это мастхэв
Исследователи (вполне вероятно, вооружённые современными ИИ-инструментами) нашли и починили два бага — в софтмаксе и кросс-энтропии, а именно:
— Softmax Collapse — случается, когда один логит сильно больше остальных. Из-за округления градиент по этому логиту может незаметно обнулиться (а по остальным — нет).
— Softmax Cancellation — если при вычислении кросс-энтропии распределения близки (например, при дистилляции, когда студент инициализируется учителем), градиенты могут заметно отличаться от нуля.
Причём был в реализациях Softmax и Cross-Entropy как в Jax, так и PyTorch. Починка помогает стабилизировать обучение моделей.
Интересно, что косяк был, что называется, «у всех навиду».
А вообще, мой всем совет, используйте, где это возможно, вероятностное округление вместо обычного — в мире low precision-обучения это мастхэв
arXiv.org
A Fix for Softmax and Cross-Entropy
Standard implementations of softmax, log-softmax, and cross-entropy have two numerical bugs. The first bug, Softmax Collapse, rounds the target logit's gradient to zero if that one logit is much...
Forwarded from 5926
Изменения уже действуют. Заодно отменили сокращение лимитов в Pro за $200, которое планировали с 30 октября
Pro 100, ×5 → ×10
Pro 200, ×10 → ×20
Pro 500, ×25 → ×50
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from addmeto (Grigory Bakunov)
Судя по всему платформу Polymarket взломали. Фразу "один из наших сторонних провайдеров" надо читать аккуратно, скорее всего, это один из партнеров (часто принадлежащих самому полимаркету), поставляющих исходы событий.
Раз уж остановлены торги — это прямо очень заметное событие
https://x.com/polymarkettrade/status/2115874609014726842
Раз уж остановлены торги — это прямо очень заметное событие
https://x.com/polymarkettrade/status/2115874609014726842
Forwarded from Data Secrets
В MIT научили ИИ-агентов обмениваться KV-кешем вместо текста
В мультиагентных системах постоянно приходится передавать контекст между моделями. Например, когда один агент завершил свою часть задачи, а другой должен продолжить работу. Обычно для этого используют текстовые саммари, но на их создание и повторную обработку уходят лишние вычисления, а часть информации теряется.
Исследователи предложили SwaT (Swarm Telepathy), архитектуру, которая позволяет передавать между моделями KV-кеш, то есть уже обработанный контекст, вместо текстовых пересказов. Причем работает даже между разными семействами моделей.
На бенчмарках SwaT в сочетании со сжатием кеша показал в среднем на 40% более высокое качество ответов и четырехкратное ускорение по сравнению с передачей текстовых саммари. Еще интереснее, что таким способом удалось передать визуальную информацию от VLM обычной текстовой модели.
https://arxiv.org/abs/2610.15095
В мультиагентных системах постоянно приходится передавать контекст между моделями. Например, когда один агент завершил свою часть задачи, а другой должен продолжить работу. Обычно для этого используют текстовые саммари, но на их создание и повторную обработку уходят лишние вычисления, а часть информации теряется.
Исследователи предложили SwaT (Swarm Telepathy), архитектуру, которая позволяет передавать между моделями KV-кеш, то есть уже обработанный контекст, вместо текстовых пересказов. Причем работает даже между разными семействами моделей.
На бенчмарках SwaT в сочетании со сжатием кеша показал в среднем на 40% более высокое качество ответов и четырехкратное ускорение по сравнению с передачей текстовых саммари. Еще интереснее, что таким способом удалось передать визуальную информацию от VLM обычной текстовой модели.
https://arxiv.org/abs/2610.15095
addmeto
Кажется сейчас будет громко по всему миру. Только что куда-то поехали 2.5 миллиарда портфолио eth горячего кошелька Binance. При этом контракт оплачен через миксер, очень похоже на взлом. UPD: Уже 3.5 миллиарда и продолжает увеличиваться.
6.5B$ уехало в неизвестную даль, благодаря одного девопс-а :)
🙈1
Forwarded from Not Boring Tech
This media is not supported in your browser
VIEW IN TELEGRAM
🎙️ NVIDIA запустила лучшую модель для распознавания речи в диалогах — Nemotron 3.5 Transcribe расшифровывает аудио в текст, даже когда в одной записи перемешиваются много собеседников.
Что умеет:
→ Знает 40 языков, включая русский, и поддерживает почти все фичи на русском.
→ Различает собеседников во время диалога и расставляет временные метки для каждого слова.
→ Переводит речь на другие языки, убирает слова-паразиты и отвечает на вопросы по содержанию записи.
→ Обрабатывает записи длиной до часа.
→ По тестам, нейронка обходит другие модели с открытыми весами по скорости и качеству.
Пробуем — тут.
@notboring_tech
Что умеет:
→ Знает 40 языков, включая русский, и поддерживает почти все фичи на русском.
→ Различает собеседников во время диалога и расставляет временные метки для каждого слова.
→ Переводит речь на другие языки, убирает слова-паразиты и отвечает на вопросы по содержанию записи.
→ Обрабатывает записи длиной до часа.
→ По тестам, нейронка обходит другие модели с открытыми весами по скорости и качеству.
Пробуем — тут.
@notboring_tech