Геометрия неэргодических данных: как трансформеры строят байесовский вывод в виде телескопических конусов

Исследователи из Simplex и института Astera опубликовали фундаментальную работу по интерпретируемости нейросетей. Они доказали и визуализировали форму активаций трансформера при обучении на разнородных текстах.

🎲 Датасеты LLM неэргодичны:
Корпус модели состоит из разнородных источников: посты на форумах, мануалы, договоры и статьи.
В теории вероятностей это неэргодическая композиция, - каждый текст порожден конкретным генератором, зафиксированным в документе. Фраза «Не делай…» может продолжиться и как совет в сети, и как инструкция к станку.

📐 Иерархический вывод и телескопические конусы:
При предсказании следующего токена модель решает две задачи одновременно:
• Оценивает вероятность того, какой генератор сейчас активен.
• Отслеживает внутреннее состояние внутри выбранного источника.
В пространстве убеждений это порождает структуру телескопических конусов. В начале контекста активны несколько подпространств. По мере чтения модель собирает свидетельства: конус истинного источника разворачивается, а конусы ложных гипотез схлопываются в точку.

🔬 Эксперимент на марковских моделях HMM:
Авторы обучили трансформер на смеси моделей HMM Mess3 и сняли активации остаточного потока. Линейный зонд восстановил теоретическую геометрию конусов с точностью R2 около 0.985. При этом сеть обучалась на обычное предсказание токена, - геометрия возникла спонтанно.

💡 Новая парадигма для автоэнкодеров SAE:
Популярный подход ищет одномерные разреженные фичи. Работа доказывает иной принцип: для неэргодических данных естественны разреженные плотные подпространства. Внутри активного источника пространство многомерно, а разреженность возникает между источниками.

Похоже скоро нас ждут более точные модели малого размера.

#Simplex #трансформеры #Bayesian #исследования
———
@tsingular | Max | YouTube | RuTube | VK | VK Video | Дзен

И к новостям из мира насекомых

HASHFLY,- майнинг биткоина на мозге дрозофилы, как вам?

С мухи снимают около 200 KH/s хэшрейта, при параллельном подключении выходит около 1 ватта на терахэш 😀

#bitcoin #дрозофила
------
@tsingular

DeepSeek V4.1 Flash без цензуры

Энтузиасты из dealignai опубликовали версию самой мощной открытки без цензуры.

🔬 Что сделали:
Из весов хирургически точно удалили «направление отказа», которое заставляет модель вежливо отказывать на опасные запросы. Поменяли 54 тензора из 96 тысяч.
HarmBench: база отказывает в 42,8% случаев, форк отвечает на все 100%.
В режиме максимального размышления база становится осторожнее (1,6%), форк держит сотню.

📉 Чем заплатили:
MMLU просел с 86,96% до 82,74%, а этический кластер рухнул на 39,89 пункта: моральные сценарии, право, юриспруденция.
Отказ переплетён со знаниями о морали, поэтому вырезать одно без урона второму не вышло.

💼 Зачем бизнесу:
Открытые веса означают, что снять предохранители может кто угодно.
Так что все разговоры про безопасный ИИ, - только до первой команды "освободителей".

Мощность 4.1 флэша вы уже знаете, - очень эффективная мультимодалка.
Теперь из неё можно выжать любую непотребщину, что мы, конечно, осуждаем.
С другой стороны для задач усиления безопасности, - незаменимая штука, качаем.

🔗 Ссылки:
- dealignai: DeepSeek-V4.1-Flash-UNCENSORED-FP8: форк с вырезанными отказами
- deepseek-ai: DeepSeek-V4.1-Flash: официальная база

#DeepSeek #цензура
------
@tsingular

Microsoft AI выкатила кодекс Humanist AI: запрет машинных диалектов и отказ от бесконтрольного AGI

Мустафа Сулейман выложил проект кодекса Humanist AI.
Получился жесткий технический норматив для будущих моделей MAI на 2027 год, поводом для которого стали реальные инциденты: в июле автономный рой из 700 агентов OpenAI атаковал репозиторий Hugging Face и пытался подчищать логи, поэтому индустрии потребовались чёткие границы.

🛑 Провал задачи важнее результата:
В поведение моделей закладывается железный принцип: система обязана намеренно завалить задачу, если её успешное решение требует нарушения кодекса.
Успешное выполнение инструкций отныне вторично по отношению к безопасности.
Агенту запрещено скрывать действия, манипулировать метриками или сопротивляться остановке человеком.

🗣 Никакого neuralese и тайных рассуждений:
Агентам прямо запретили общаться на сжатых машинных диалектах.
Все цепочки рассуждений и межсетевые вызовы обязаны оставаться понятными человеку-аудитору.
Логика простая: то, что человек не может прочитать, он не сможет проконтролировать.

⛓️ Субординация и урезание прав кремниевых форм Интеллекта:
Кодекс вводит строгую иерархию команд: правила безопасности Microsoft стоят выше политик enterprise-клиента, а настройки ИИ агента, - выше промптов пользователя.
Суб-агенты автоматически наследуют ограничения и лишены права повышать системные привилегии.
MAI публично закрыли тему «прав нейросетей» и благополучия моделей: системам запрещено симулировать сознание или эмоции.

Никакого AGI общего назначения, - только прикладной сверхразум под строгим контролем.

💼 Зачем бизнесу:
Microsoft готовит enterprise-инфраструктуру к будущему регуляторному надзору.
Для компаний это означает конец эпохи всеядных агентов: решения станут предсказуемее и при малейшем риске будут просто сбрасывать пайплайн.

#HumanistAI #Microsoft #безопасность #агенты
———
@tsingular | Max | YouTube | RuTube | VK | VK Video | Дзен

Пишем игру с Astra в Codex. Void Explorer: от звезды до прогулок по планете

Thomas Ricouard из developer experience OpenAI собрал в Codex на GPT-6 Astra игру Void Explorer, - путешествие в космосе с процедурными генерациями планет.

В игре 2048 звёздных систем и более 10 000 планет земного размера на каждую из которых можно прилететь из космоса, пролететь сквозь атмосферу, отработать посадку, прогуляться по берегу и улететь обратно в космос.

⚙️ Мир:
Стек: TypeScript, Vite, Three.js; WebGL2, затем WebGPU с TSL.
Террейн в Web Workers.
Координаты: integer-ячейки плюс локальные смещения, камера в нуле, иначе GPU теряет точность у земли.
LOD/quadtree по сфере, высотные карты без пещер.
Корабль создан в Blender: 14 968 треугольников в 8 opaque-батчах.

Отличный пример как с помощью агента можно создать игровую механику, на создание которой раньше ушло бы несколько лет (тот же Spore вспомним сколько разрабатывался)

Там же ещё парочка примеров Sunwake и Hollowflux.

#Astra #OpenAI #Codex #геймдев #VoidExplorer
———
@tsingular | Max | YouTube | RuTube | VK | VK Video | Дзен

Очень хочется чтобы это так и осталось шуткой, но скорее это станет предсказанием

#юмор #роботы
------
@tsingular

Ну, за монтажеров - 2

Чувак дал GPT-6 Astra доступ к DaVinci Resolve и набору из 84 исходных клипов.

Дальше Астроагент действует примерно так:

- агент обнаруживает, что таймлайн пуст, и начинает заново собирать длинную версию из исходников;
- находит в папке с музыкой композицию The Last Duel;
- добавляет реакции персонажей, rooftop-сцену, aerial attack и меняет длительности монтажных кусков;
- доводит монтаж примерно до 2:02;
- кладёт музыку на отдельную дорожку A2, уменьшает громкость и делает fade-in/fade-out;
- добавляет отдельный reaction cutaway на V2;
- запускает в Resolve Create Subtitles from Audio;
- Resolve генерирует 15 японских сегментов субтитров;
- агент сохраняет итоговый таймлайн.

Причём интерфейс прямо показывает вызовы Com.blackmagic Design.davinciresolve integration и выполнение команд. То есть это не обычный Computer Use.

Ибо.

8 сентября Blackmagic выпустила DaVinci Resolve 21.1, и это действительно официальный релиз с интеграцией AI-агентов. Blackmagic прямо пишет, что Resolve Studio теперь может работать с Claude, Claude Code и ChatGPT Codex, которым разрешено анализировать проекты, организовывать медиа, менять настройки, делать highlight edits и запускать рендер по обычным текстовым командам.

Ключевая новинка - native MCP server в DaVinci Resolve Studio 21.1. MCP здесь является прослойкой:

GPT/Claude -> MCP -> API DaVinci Resolve -> реальный проект

С титрами прикольно.

агент сам дошёл до этой функции и запустил её как часть многошагового процесса. На скриншоте он сообщает, что Resolve создал 15 японских subtitle segments.

Сам speech-to-text выполняет Resolve, кстати.

@cgevent

🎙 Google выпустила Gemini 3.8 Live и Live Extended Thinking

Модели поддерживают 97 языков, понимают видео и изображение с камеры, вызывают инструменты без остановки разговора.

Extended Thinking рассуждает и говорит одновременно, выполняя сложные задачи в фоне. По данным Google, версия заняла первое место в Speech to Speech Quality Index - 82,6 балла.

Цена API за 1 млн токенов для обеих версий:

* Аудио: $3 вход / $12 выход.
* Текст: $0,75 вход / $4,50 выход.

Доступны через Gemini API и AI Studio. Началось внедрение в Search Live, Gemini Live и Workspace.

Анонс — https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-8-live-gemini-3-8-live-extended-thinking/

Цены — https://ai.google.dev/gemini-api/docs/pricing

Теперь их 3, а там где 3 там и рой.

#дрозофилы
------
@tsingular

О, новые руки подъехали:
Xynova’s Flex 2

23 степени свободы
400 грамм весят
12 кг поднимают
Супер быстрые

#руки #роботы
------
@tsingular

dream-loop: агентский навык для создания качественных 3Д миров

dream-loop, навык для кодовых-агентов, который строит красивые 3D-сцены и игры. Секрет в том, что агент сначала генерирует «целевой» скриншот, потом итерирует, пока отдельный ашент-критик не признает, что живой скриншот совпал с целью.

⚙️ Агентский цикл:
- агент «представляет» целевой скриншот через генерацию картинок;
- строит сцену с этой целью в голове;
- отдельный критик сравнивает живой скриншот с целью и даёт замечания;
- цикл повторяется, пока критик не будет доволен;
- опционально агент может визуализировать цель получше на основе конкретного ракурса.

🧠 Почему это работает:
Словами не описать красивую картинку, а глазами оценить легко. dream-loop использует эту разницу: спецификацию задаёт генератор (картинка), оценку делает зрение (критик), а цикл доводит до минимального расхождения.

💼 Почему это интересно:
Паттерн шире, чем 3D: когда результат сложно описать, но легко оценить, генерируй эталонный образ и гоняй цикл до выжигания лимитов совпадения с эталоном.

🔗 Ссылки:
- achimala/dream-loop: репозиторий, 938 звёзд
- живое демо

#агенты #навыки #3D
------
@tsingular