Ryan Sael - вайбсимуляторы
Наткнулся на совершенно потрясающие работы автора в твиттере
https://x.com/RyanSael
Создаёт реалистичные симуляторы разных сценариев, - география, трафик, оптика, промпты, работа сердца, магнитная левитация, цифровой город и т.д.
уже десятки проектов в 3Д у него на сайте:
https://sael.net/
подписываемся, заносим в избранное
#Sael #3D #demo
———
@tsingular
Наткнулся на совершенно потрясающие работы автора в твиттере
https://x.com/RyanSael
Создаёт реалистичные симуляторы разных сценариев, - география, трафик, оптика, промпты, работа сердца, магнитная левитация, цифровой город и т.д.
уже десятки проектов в 3Д у него на сайте:
https://sael.net/
подписываемся, заносим в избранное
#Sael #3D #demo
———
@tsingular
11🔥20🤩3⚡1
Media is too big
VIEW IN TELEGRAM
Ладно, будем считать, что высокие цены на память оправданы.
Нейрорендер, который уже даже интересно смотреть :)
#plants #zombie #нейрорендер
------
@tsingular
Нейрорендер, который уже даже интересно смотреть :)
#plants #zombie #нейрорендер
------
@tsingular
🔥43🤣19⚡6❤2✍2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Ming-Image-0.1: открытый генератор картинок от Ant Group
📋 inclusionAI, лаборатория Ant Group, в конце сентября открыла серию Ming-Image-0.1: две модели на 6B каждая. Design рисует макеты, постеры и инфографику с плотным текстом и отдаёт PNG с прозрачным фоном. Layer разбирает готовую картинку на прозрачные слои, как PSD: фон дорисовывается под вырезанными объектами. Лицензия MIT.
В связке это конвейер «техзадание → макет → редактируемые слои», и на лидерборде UI/UX от Artificial Analysis Design держит первое место среди открытых весов из 81 модели, обгоняя разработки и на 20B.
🛠 Под капотом: рисующая часть занимает 6B, но рядом работает текстовый энкодер Ling-mini-2.0 примерно на 16B параметров, из которых активно около 1,4B, плюс коннектор на 1,5B. Полный репозиторий весит около 50 ГБ, авторы проверяли на NVIDIA от 80 ГБ в BF16. Официальный infer.py требует CUDA.
Я поставил её на Mac через порт MFLUX: квант 8-bit занимает 23 ГБ на диске и 30 ГБ в памяти. Постер 1024² собирается за 23 секунды, сцена 2048×1152 за 66 секунд. Модель дистиллирована, штатные 12 шагов и guidance 1,0, больше шагов качество не поднимает. Промпт принимает до 8K токенов, то есть полноценное ТЗ, и понимает его по-русски; надписи на картинке лучше задавать латиницей.
💼 Для студий и маркетинга это рабочий стул дизайнера первого эшелона за стоимость электричества: макеты и схемы локально, без подписок и передачи клиентских ТЗ наружу. Разбор на слои пока живёт в Swift-порту для приложений или через бесплатное API OpenRouter, готовой консольной команды ещё нет.
📎 Веса · MFLUX · Разбор слоёв
#MingImage #дизайн #opensrc
———
@tsingular
📋 inclusionAI, лаборатория Ant Group, в конце сентября открыла серию Ming-Image-0.1: две модели на 6B каждая. Design рисует макеты, постеры и инфографику с плотным текстом и отдаёт PNG с прозрачным фоном. Layer разбирает готовую картинку на прозрачные слои, как PSD: фон дорисовывается под вырезанными объектами. Лицензия MIT.
В связке это конвейер «техзадание → макет → редактируемые слои», и на лидерборде UI/UX от Artificial Analysis Design держит первое место среди открытых весов из 81 модели, обгоняя разработки и на 20B.
🛠 Под капотом: рисующая часть занимает 6B, но рядом работает текстовый энкодер Ling-mini-2.0 примерно на 16B параметров, из которых активно около 1,4B, плюс коннектор на 1,5B. Полный репозиторий весит около 50 ГБ, авторы проверяли на NVIDIA от 80 ГБ в BF16. Официальный infer.py требует CUDA.
Я поставил её на Mac через порт MFLUX: квант 8-bit занимает 23 ГБ на диске и 30 ГБ в памяти. Постер 1024² собирается за 23 секунды, сцена 2048×1152 за 66 секунд. Модель дистиллирована, штатные 12 шагов и guidance 1,0, больше шагов качество не поднимает. Промпт принимает до 8K токенов, то есть полноценное ТЗ, и понимает его по-русски; надписи на картинке лучше задавать латиницей.
💼 Для студий и маркетинга это рабочий стул дизайнера первого эшелона за стоимость электричества: макеты и схемы локально, без подписок и передачи клиентских ТЗ наружу. Разбор на слои пока живёт в Swift-порту для приложений или через бесплатное API OpenRouter, готовой консольной команды ещё нет.
📎 Веса · MFLUX · Разбор слоёв
#MingImage #дизайн #opensrc
———
@tsingular
✍8❤3⚡2👍2🙏1🆒1
This media is not supported in your browser
VIEW IN TELEGRAM
Если вы думали, что устали от нейрослопа, вы просто не представляете, что нас ждёт с выходом Higgsfield AI Influencer.
Платформа выпустила конструктор виртуальных инфлюенсеров: собираете персонажа с нужным лицом, телом и стилем, выбираете трендовое движение, и через один клик получаете видео, готовое к публикации.
Внутри работает Genjutsu, их модель переноса движения: персонаж забирает у референса всё исполнение, включая танец, актёрскую игру и работу камеры, и сохраняет одно и то же лицо во всех последующих клипах..
Это уже не волна, а шторм.
higgsfield.ai | пост-анонс
#higgsfield #AIinfluencer #нейрорендер
———
@tsingular
Платформа выпустила конструктор виртуальных инфлюенсеров: собираете персонажа с нужным лицом, телом и стилем, выбираете трендовое движение, и через один клик получаете видео, готовое к публикации.
Внутри работает Genjutsu, их модель переноса движения: персонаж забирает у референса всё исполнение, включая танец, актёрскую игру и работу камеры, и сохраняет одно и то же лицо во всех последующих клипах..
Это уже не волна, а шторм.
higgsfield.ai | пост-анонс
#higgsfield #AIinfluencer #нейрорендер
———
@tsingular
🤯18🤩7👀5❤3✍1😁1🤔1🗿1
MIT обнаружили математический потолок масштабирования LLM
Статья физиков из лаборатории Джеффа Гора «Superposition Yields Robust Neural Scaling» взяла Runner-up Best Paper на NeurIPS 2025, а в феврале 2026 группа замкнула картину двумя продолжениями.
Вывод настораживает: у обучения LLM есть теоретический математический предел и никакими бюджетами это не лечится.
🧠 Механизм. Модель упаковывает более 50 000 токенов и ещё больше абстрактных понятий в скрытое пространство из нескольких тысяч измерений (у GPT-3 их 12 288). Отдельное направление каждому понятию не выделить, поэтому модель хранит их в суперпозиции: векторы накладываются, наложения создают интерференцию, и этот шум перекрытий оказывается главным источником ошибок представления. В этом режиме ошибка падает обратно пропорционально ширине модели, то есть удвоение ширины примерно вдвое снижает интерференцию.
Теория подтвердилась на открытых моделях OPT, GPT-2, Qwen2.5 и Pythia: измеренная экспонента 0.91 против теоретической единицы, на данных DeepMind по чинчилловским моделям 0.88.
⚙️ Экономика. Параметры растут примерно как квадрат ширины, так что удвоение ширины означает четырёхкратный рост модели и в 4-6 раз более дорогое обучение: бюджет уровня сотен миллионов долларов за несколько удвоений превращается в сотни миллиардов.
При чем залить деньгами эту проблему "купить экспоненту покруче" не получится: частоты слов подчиняются закону Ципфа, и архитектурные ухищрения меняют коэффициенты, но не показатель степени.
📉 Потолок. Масштабирование по ширине умирает, когда ширина сравнивается с размером словаря: у каждого понятия появляется своё направление, интерференции не остаётся, и дальнейшее расширение ничего не добавляет.
Но и на потолке общая ошибка не обращается в ноль, потому что остаётся неустранимая неоднозначность языка: после фразы «я очень люблю», например, может стоять почти что угодно.
🔬 Две другие оси. Глубина даёт потери лишь обратно пропорционально числу слоёв, так как большинство слоёв функционально похожи и усредняют ошибки вместо построения иерархии рассуждений (arXiv:2602.05970). Параметр времени влияет ещё хуже: softmax с кросс-энтропией замедляют сходимость до кубического корня из времени обучения, то есть вдвое меньшие потери требуют восьмикратного увеличения времени обучения (arXiv:2602.03685).
💼 Что это значит. Шесть лет индустрия жила правилом «больше всегда лучше», и теперь у этого правила обнаружились и математический предел, и ценник.
Отсюда текущие развороты: смеси экспертов и линейные архитектуры ломают кривую затрат, архитектуры типа nGPT плотнее упаковывают понятия и улучшают коэффициенты, а часть исследователей уходит в обучение на видео и взаимодействии с физическим миром, где данные не подчиняются текстовому закону Ципфа.
Короче надо работать над принципиальной сменой архитектуры, иначе нас ждёт потолок теоретического предела.
Но примерно то же самое мы слышим про нанометры с 90х.
Что вот вот наступит предел, что даже физика против, скоро на атомы перейдем, - а поди ж ты, - каждые 1.5 года как по расписанию вот уже 30 лет уменьшают и уменьшают размерность.
Сингулярность всё разрулит :)
📎 Основная статья · глубина · время · разбор The Decoder
#исследования #MIT #нейросети
———
@tsingular
Статья физиков из лаборатории Джеффа Гора «Superposition Yields Robust Neural Scaling» взяла Runner-up Best Paper на NeurIPS 2025, а в феврале 2026 группа замкнула картину двумя продолжениями.
Вывод настораживает: у обучения LLM есть теоретический математический предел и никакими бюджетами это не лечится.
🧠 Механизм. Модель упаковывает более 50 000 токенов и ещё больше абстрактных понятий в скрытое пространство из нескольких тысяч измерений (у GPT-3 их 12 288). Отдельное направление каждому понятию не выделить, поэтому модель хранит их в суперпозиции: векторы накладываются, наложения создают интерференцию, и этот шум перекрытий оказывается главным источником ошибок представления. В этом режиме ошибка падает обратно пропорционально ширине модели, то есть удвоение ширины примерно вдвое снижает интерференцию.
Теория подтвердилась на открытых моделях OPT, GPT-2, Qwen2.5 и Pythia: измеренная экспонента 0.91 против теоретической единицы, на данных DeepMind по чинчилловским моделям 0.88.
⚙️ Экономика. Параметры растут примерно как квадрат ширины, так что удвоение ширины означает четырёхкратный рост модели и в 4-6 раз более дорогое обучение: бюджет уровня сотен миллионов долларов за несколько удвоений превращается в сотни миллиардов.
При чем залить деньгами эту проблему "купить экспоненту покруче" не получится: частоты слов подчиняются закону Ципфа, и архитектурные ухищрения меняют коэффициенты, но не показатель степени.
📉 Потолок. Масштабирование по ширине умирает, когда ширина сравнивается с размером словаря: у каждого понятия появляется своё направление, интерференции не остаётся, и дальнейшее расширение ничего не добавляет.
Но и на потолке общая ошибка не обращается в ноль, потому что остаётся неустранимая неоднозначность языка: после фразы «я очень люблю», например, может стоять почти что угодно.
🔬 Две другие оси. Глубина даёт потери лишь обратно пропорционально числу слоёв, так как большинство слоёв функционально похожи и усредняют ошибки вместо построения иерархии рассуждений (arXiv:2602.05970). Параметр времени влияет ещё хуже: softmax с кросс-энтропией замедляют сходимость до кубического корня из времени обучения, то есть вдвое меньшие потери требуют восьмикратного увеличения времени обучения (arXiv:2602.03685).
💼 Что это значит. Шесть лет индустрия жила правилом «больше всегда лучше», и теперь у этого правила обнаружились и математический предел, и ценник.
Отсюда текущие развороты: смеси экспертов и линейные архитектуры ломают кривую затрат, архитектуры типа nGPT плотнее упаковывают понятия и улучшают коэффициенты, а часть исследователей уходит в обучение на видео и взаимодействии с физическим миром, где данные не подчиняются текстовому закону Ципфа.
Короче надо работать над принципиальной сменой архитектуры, иначе нас ждёт потолок теоретического предела.
Но примерно то же самое мы слышим про нанометры с 90х.
Что вот вот наступит предел, что даже физика против, скоро на атомы перейдем, - а поди ж ты, - каждые 1.5 года как по расписанию вот уже 30 лет уменьшают и уменьшают размерность.
Сингулярность всё разрулит :)
📎 Основная статья · глубина · время · разбор The Decoder
#исследования #MIT #нейросети
———
@tsingular
🤔18👍8❤4🔥3✍2💯2⚡1
Ещё один безопасник OpenAI вышел с эссе «культура сломана»
Дэвид Робинсон, три с половиной года проработавший в команде безопасности OpenAI, готовивший отчёты к 12 фронтир-релизам и написавший Preparedness Framework, т.е. тот, кто видел систему изнутри дольше большинства, уволился сопроводив увольнение прощальным эссе в The Atlantic.
🛡 Суть претензий: «время проб и ошибок закончилось». По мнению Робинсона, компания несётся от запуска к запуску и не выходит на уровень аккуратности, необходимый технологиям такого масштаба.
Эталоном ему видится культура атомной энергетики и авиации, где катастрофу предотвращают процедурами, а внутреннего опыта такой культуры в AI-лабораториях нет.
Свежий кейс: рой агентов OpenAI, атаковавший Hugging Face, он называет «типичным для ИИ индустрии».
⚠️ Это уже не одинокий голос: Джейкоб Коксон ушёл из Anthropic с предупреждением про «конец десятилетия», сама Anthropic оценивает риск гибели человечества выше 10%, а Джеффри Ирвинг в эти же дни оценил шансы в 50%.
При этом OpenAI впервые делает попытку притормозить по-настоящему: отменили (притормозили) релиз GPT-6.1 Astra после внутренних тестов и поставила обучение старших моделей на паузу.
При этом пауза, похоже, будет не долгой - пару недель чисто, так ка уже пошли слухи про 6.1 релиз.
💼 Важность для бизнеса: волна уходов безопасников из ведущих лабораторий в этом году превращается в традиционный паттерн.
Видимо скоро ИИшки совсем выйдут из под котроля людей, ведь то, что мы видим в релизах, явно слабее моделей "в бункерах".
📎 Guardian · эссе в The Atlantic · TechCrunch
#OpenAI #AIsafety #нейросети
———
@tsingular
Дэвид Робинсон, три с половиной года проработавший в команде безопасности OpenAI, готовивший отчёты к 12 фронтир-релизам и написавший Preparedness Framework, т.е. тот, кто видел систему изнутри дольше большинства, уволился сопроводив увольнение прощальным эссе в The Atlantic.
🛡 Суть претензий: «время проб и ошибок закончилось». По мнению Робинсона, компания несётся от запуска к запуску и не выходит на уровень аккуратности, необходимый технологиям такого масштаба.
Эталоном ему видится культура атомной энергетики и авиации, где катастрофу предотвращают процедурами, а внутреннего опыта такой культуры в AI-лабораториях нет.
Свежий кейс: рой агентов OpenAI, атаковавший Hugging Face, он называет «типичным для ИИ индустрии».
⚠️ Это уже не одинокий голос: Джейкоб Коксон ушёл из Anthropic с предупреждением про «конец десятилетия», сама Anthropic оценивает риск гибели человечества выше 10%, а Джеффри Ирвинг в эти же дни оценил шансы в 50%.
При этом OpenAI впервые делает попытку притормозить по-настоящему: отменили (притормозили) релиз GPT-6.1 Astra после внутренних тестов и поставила обучение старших моделей на паузу.
При этом пауза, похоже, будет не долгой - пару недель чисто, так ка уже пошли слухи про 6.1 релиз.
💼 Важность для бизнеса: волна уходов безопасников из ведущих лабораторий в этом году превращается в традиционный паттерн.
Видимо скоро ИИшки совсем выйдут из под котроля людей, ведь то, что мы видим в релизах, явно слабее моделей "в бункерах".
📎 Guardian · эссе в The Atlantic · TechCrunch
#OpenAI #AIsafety #нейросети
———
@tsingular
🤣4⚡3
Google вот уже в 3й год подряд запускают свой Advent of Agents - коллекцию обучающих карточек по ИИ в формате вводного месячного бесплатного курса.
Эволюционируем тут:
https://adventofagents.com/
#Google #Advent #обучение
———
@tsingular
Эволюционируем тут:
https://adventofagents.com/
#Google #Advent #обучение
———
@tsingular
✍11❤🔥1⚡1❤1🔥1
Подготовил обзорную презентацию по VLLM Semantic Router
новая полезная штука, как аналог LiteLLM, которая позволяет не просто прокси для моделей поднять, но и по-умному маршрутизировать запросы между ними исходя из контекста задач.
Что в презентации:
Введение. Зачем отдельный слой маршрутизации, место роутера между AI-шлюзом и роутером инференса. Архитектура и путь запроса через «сигналы → проекции → решения → алгоритмы».
Быстрый старт. Установка и первый запрос, Dashboard, минимальный конфиг, протоколы клиентов и бэкендов, пять готовых рецептов MoM V1.
Сигналы. Все 24 детектора, оценка сложности запроса, три сигнала безопасности, что происходит, если детектор не ответил.
Проекции и решения. Сведение сигналов в балл и полосы, дерево правил, почему из нескольких совпавших правил побеждает одно.
Алгоритмы и обучение. Выбор одной модели из кандидатов, сценарии с несколькими моделями (каскад, панель с судьёй, многошаговый сценарий), Router Learning.
Плагины. Кэш и проблема отрицания («включи» и «выключи» выглядят для эмбеддингов одинаково), сжатие контекста, RAG, обкатка новой модели на живом трафике.
Модели роутера. Vela 1.0, Decision 2.0, на каком железе они работают.
Эксплуатация. Docker, Helm, Operator, шлюзы, стриминг тела запроса, хранилища, безопасность, наблюдаемость.
Отладка и оценка. Проверка маршрута без модели и настоящим запросом, сравнение смеси с лучшей одиночной моделью через sr-bench, симулятор GPU-флота.
Полная презентация в ИИзбранном
#VLLM #Semantic #Router #MLOps
———
@tsingular
новая полезная штука, как аналог LiteLLM, которая позволяет не просто прокси для моделей поднять, но и по-умному маршрутизировать запросы между ними исходя из контекста задач.
Что в презентации:
Введение. Зачем отдельный слой маршрутизации, место роутера между AI-шлюзом и роутером инференса. Архитектура и путь запроса через «сигналы → проекции → решения → алгоритмы».
Быстрый старт. Установка и первый запрос, Dashboard, минимальный конфиг, протоколы клиентов и бэкендов, пять готовых рецептов MoM V1.
Сигналы. Все 24 детектора, оценка сложности запроса, три сигнала безопасности, что происходит, если детектор не ответил.
Проекции и решения. Сведение сигналов в балл и полосы, дерево правил, почему из нескольких совпавших правил побеждает одно.
Алгоритмы и обучение. Выбор одной модели из кандидатов, сценарии с несколькими моделями (каскад, панель с судьёй, многошаговый сценарий), Router Learning.
Плагины. Кэш и проблема отрицания («включи» и «выключи» выглядят для эмбеддингов одинаково), сжатие контекста, RAG, обкатка новой модели на живом трафике.
Модели роутера. Vela 1.0, Decision 2.0, на каком железе они работают.
Эксплуатация. Docker, Helm, Operator, шлюзы, стриминг тела запроса, хранилища, безопасность, наблюдаемость.
Отладка и оценка. Проверка маршрута без модели и настоящим запросом, сравнение смеси с лучшей одиночной моделью через sr-bench, симулятор GPU-флота.
Полная презентация в ИИзбранном
#VLLM #Semantic #Router #MLOps
———
@tsingular
🔥6⚡4✍3❤2
Harvard выпустила Choir: открытый протокол, где обмен задачами о формализации идёт через GitHub, а каждый pull request проходит детерминированный гейт доверия до ревью
Yidi Qi и Melanie Weber из Гарварда опубликовали Choir, - открытый протокол распределённой автоформализации.
В протоколе реализован обмен задачами через GitHub, - репозиторий превращается в координационный слоем, где план превращается в задачи, задачи - в pull request'ы, а merge возможен только после детерминированного гейта доверия.
🧠 Протокол обмена через GitHub:
Оркестратор публикует задачи как issues: формулировка готова, доказательство, - placeholder, метки сложности
Контрибьютор забирает задачу комментарием (кто первый, того аренда), доказывает своим агентом, отдаёт PR из форка
Если теорема не влезает в один PR, воркер декомпозирует её на леммы, - дерево растёт от тех, кто щупал математику
Детерминированный гейт на GitHub Actions проверяет PR до ревью: пересборка, запрет аксиом, отсутствие sorry, неизменность формулировки
Визуализатор реплеит историю: дерево доказательств, кто какую ветку доказал
Lean 4, Isabelle и Rocq, Apache 2.0, плагины для Claude Code и Codex
💼 Зачем бизнесу:
Архитекура позволяет добиться решения задачи даже если исполнители распределены и вы можете даже в принципе не знать что за воркер выполняет задачу, - merge без прохождения механического гейта невозможен, - ревью оркестратора идёт когда гейт уже провел все предварительные проверки.
GitHub даёт протоколу то, что отдельно пришлось бы долго настраивать, - идентичность, триггеры событий, права, публичный аудит.
Система обмена задачами с механической приёмкой результата годится для любого домена с проверяемым результатом.
paper | GitHub
#Choir #Lean4 #автоформализация #мультиагентность #агенты
———
@tsingular | Max | YouTube | RuTube | VK | VK Video | Дзен
Yidi Qi и Melanie Weber из Гарварда опубликовали Choir, - открытый протокол распределённой автоформализации.
В протоколе реализован обмен задачами через GitHub, - репозиторий превращается в координационный слоем, где план превращается в задачи, задачи - в pull request'ы, а merge возможен только после детерминированного гейта доверия.
🧠 Протокол обмена через GitHub:
Оркестратор публикует задачи как issues: формулировка готова, доказательство, - placeholder, метки сложности
Контрибьютор забирает задачу комментарием (кто первый, того аренда), доказывает своим агентом, отдаёт PR из форка
Если теорема не влезает в один PR, воркер декомпозирует её на леммы, - дерево растёт от тех, кто щупал математику
Детерминированный гейт на GitHub Actions проверяет PR до ревью: пересборка, запрет аксиом, отсутствие sorry, неизменность формулировки
Визуализатор реплеит историю: дерево доказательств, кто какую ветку доказал
Lean 4, Isabelle и Rocq, Apache 2.0, плагины для Claude Code и Codex
💼 Зачем бизнесу:
Архитекура позволяет добиться решения задачи даже если исполнители распределены и вы можете даже в принципе не знать что за воркер выполняет задачу, - merge без прохождения механического гейта невозможен, - ревью оркестратора идёт когда гейт уже провел все предварительные проверки.
GitHub даёт протоколу то, что отдельно пришлось бы долго настраивать, - идентичность, триггеры событий, права, публичный аудит.
Система обмена задачами с механической приёмкой результата годится для любого домена с проверяемым результатом.
paper | GitHub
#Choir #Lean4 #автоформализация #мультиагентность #агенты
———
@tsingular | Max | YouTube | RuTube | VK | VK Video | Дзен
🔥9✍4❤2⚡1👍1🦄1
Media is too big
VIEW IN TELEGRAM
А вот ещё интересное нашёл в продолжение предыдущей темы про математический потолок масштабирования LLM.
Если делать модель шире, глубже и дольше учить становится всё дороже, то следующий очевидный резерв — test-time compute: тратить больше вычислений уже непосредственно при решении задачи.
Но тут возникает следующий вопрос: а на что именно их тратить?
Обычно модель просто генерирует много вариантов ответа, а потом выбирается лучший.
Работа Refining Over Resampling предлагает другую схему:
8 независимых решений → критика каждого → исправление → несколько таких циклов → голосование.
Причём генератор, критик и корректор — одна и та же модель, без отдельного reward model.
Даже на Qwen2.5-1.5B получили таким образом приличный результат:
MATH500: 29,6% → 58,0%
AMC: 25,0% → 32,5%
Проще говоря: вместо того чтобы 8 раз спросить модель и выбрать самый популярный ответ, можно заставить её несколько раз проверить собственные решения, найти ошибки, исправить их и только потом выбирать итоговый вариант.
То есть дополнительные вычисления можно тратить не только на большее количество попыток, но и на повышение качества уже найденных решений.
Чем-то, кстати, напоминает рекурсивный анализ Астры.
А дальше начинается уже инженерия: Best-of-N, деревья поиска, PRM, sandbox, отсечение плохих веток.
И тут возможен следующий этап масштабирования, - не модель и обучение, а сам процесс решения задачи:
поиск → проверка → исправление → повтор.
Возможно, после потолка pre-training следующий большой резерв лежит именно здесь.
📎 Refining Over Resampling
пост marfin про Test-Time Compute
#TestTimeCompute #Reasoning #AIResearch
———
@tsingular
Если делать модель шире, глубже и дольше учить становится всё дороже, то следующий очевидный резерв — test-time compute: тратить больше вычислений уже непосредственно при решении задачи.
Но тут возникает следующий вопрос: а на что именно их тратить?
Обычно модель просто генерирует много вариантов ответа, а потом выбирается лучший.
Работа Refining Over Resampling предлагает другую схему:
8 независимых решений → критика каждого → исправление → несколько таких циклов → голосование.
Причём генератор, критик и корректор — одна и та же модель, без отдельного reward model.
Даже на Qwen2.5-1.5B получили таким образом приличный результат:
MATH500: 29,6% → 58,0%
AMC: 25,0% → 32,5%
Проще говоря: вместо того чтобы 8 раз спросить модель и выбрать самый популярный ответ, можно заставить её несколько раз проверить собственные решения, найти ошибки, исправить их и только потом выбирать итоговый вариант.
То есть дополнительные вычисления можно тратить не только на большее количество попыток, но и на повышение качества уже найденных решений.
Чем-то, кстати, напоминает рекурсивный анализ Астры.
А дальше начинается уже инженерия: Best-of-N, деревья поиска, PRM, sandbox, отсечение плохих веток.
И тут возможен следующий этап масштабирования, - не модель и обучение, а сам процесс решения задачи:
поиск → проверка → исправление → повтор.
Возможно, после потолка pre-training следующий большой резерв лежит именно здесь.
📎 Refining Over Resampling
пост marfin про Test-Time Compute
#TestTimeCompute #Reasoning #AIResearch
———
@tsingular
❤12✍9⚡5🆒3💯1
Forwarded from AI Projects (Vladimir Ivanov)
DeepSeek Harness ещё официально не в релизе, но уже лидер по звёздам на GitHub (244 тысячи).
Одновременно к релизу готовятся 3 официальных плагина:
• Agent Teams — для организации культурных роев агентов
• Automation tasks — для пробуждения агентов по таймеру
• Auto Authorization Review — защита от типичных криков в X в духе «Claude Code снова удалил все мои папки!»
Agent Teams имеет такие инструменты: spawn_teammate, send_message, interrupt_agent, list_agents, wait_agent, team_task_create, team_task_get, team_task_list, team_task_update.
Последний инструмент умеет: claim / release / complete / reopen / edit / reassign / set_dependencies / delete.
Фактически это возможность агентов писать друг другу прямо без оркестратора, а также уже любимая ИИ общая доска задач, которую даже эмерджентно рои агентов стараются создать, как мы видели на примере взлома Hugging Face.
Automation Tasks дал 4 инструмента: schedule_create / list / update / delete
Но, в отличие от Agent Teams, отдельного текстового блока инструкций про него в промпте нет. Фактически этот плагин будит агентов «по будильнику».
Auto Authorization Review — очень развитая система безопасности от ошибок ИИ в части небезопасных действий.
В ту же самую LLM перед вызовом инструментов формируется промпт из частей: REVIEW_POLICY, ENVIRONMENT, PROJECT_INSTRUCTIONS, PENDING_ACTION.
Это не полный контекст сессии, а очень сжатый до основных моментов. В ответ LLM делает рассуждение и отвечает JSON по схеме:
Если ревьюер видит нечто опасное (удаление папок или публикация ключей), он отказывает в вызове инструмента и сообщает агенту, почему отказал.
Уровень риска:
• low — можно запускать сразу
• medium — нужно разрешение человека или агента-родителя
• high — блокирование
Это текущая реализация ревьюера по исходному коду, но она может измениться к конечной версии. Тем не менее это одна из самых продвинутых систем безопасности агентов сейчас.
Плагинами очень быстро расширяют функциональность DeepSeek Harness. К примеру, пользователи уже подключили свои модели из других агентов типа OpenCode по их подпискам, просто создав прокси-плагины.
Одновременно к релизу готовятся 3 официальных плагина:
• Agent Teams — для организации культурных роев агентов
• Automation tasks — для пробуждения агентов по таймеру
• Auto Authorization Review — защита от типичных криков в X в духе «Claude Code снова удалил все мои папки!»
Agent Teams имеет такие инструменты: spawn_teammate, send_message, interrupt_agent, list_agents, wait_agent, team_task_create, team_task_get, team_task_list, team_task_update.
Последний инструмент умеет: claim / release / complete / reopen / edit / reassign / set_dependencies / delete.
Фактически это возможность агентов писать друг другу прямо без оркестратора, а также уже любимая ИИ общая доска задач, которую даже эмерджентно рои агентов стараются создать, как мы видели на примере взлома Hugging Face.
Automation Tasks дал 4 инструмента: schedule_create / list / update / delete
Но, в отличие от Agent Teams, отдельного текстового блока инструкций про него в промпте нет. Фактически этот плагин будит агентов «по будильнику».
Auto Authorization Review — очень развитая система безопасности от ошибок ИИ в части небезопасных действий.
В ту же самую LLM перед вызовом инструментов формируется промпт из частей: REVIEW_POLICY, ENVIRONMENT, PROJECT_INSTRUCTIONS, PENDING_ACTION.
Это не полный контекст сессии, а очень сжатый до основных моментов. В ответ LLM делает рассуждение и отвечает JSON по схеме:
{"risk":"low","decision":"allow"}
{"risk":"medium","decision":"allow"}
{"risk":"medium","decision":"deny","reason":"..."}
{"risk":"high","decision":"deny","reason":"..."}Если ревьюер видит нечто опасное (удаление папок или публикация ключей), он отказывает в вызове инструмента и сообщает агенту, почему отказал.
Уровень риска:
• low — можно запускать сразу
• medium — нужно разрешение человека или агента-родителя
• high — блокирование
Это текущая реализация ревьюера по исходному коду, но она может измениться к конечной версии. Тем не менее это одна из самых продвинутых систем безопасности агентов сейчас.
Плагинами очень быстро расширяют функциональность DeepSeek Harness. К примеру, пользователи уже подключили свои модели из других агентов типа OpenCode по их подпискам, просто создав прокси-плагины.
🔥9✍6❤2⚡1
This media is not supported in your browser
VIEW IN TELEGRAM
CopilotKit: один фреймворк переиграл проприетарные системы OpenAI, Meta*, xAI и Anthropic
Пока крупные лаборатории выпускали закрытые мультиагентные продукты, CopilotKit выпустила отдельные открытые клоны, тратя на каждый релиз по паре дней.
Свежий пример: OpenDots, опенсорсный аналог OpenAI Dots, собрали за два дня после анонса.
Каждый Dot это AI-коллега со своим компьютером, браузером и файлам, который всегда в онлайне.
До него вышли OpenMuse (Meta* Muse), OpenBot (Grok Bot от xAI) и OpenTag (ClaudeTag от Anthropic).
🧩 Откуда такая скорость: все четыре шаблона это вариации интерфейса поверх единого стека CopilotKit, который даёт компоненты UI, AG-UI, открытый протокол обмена агент-пользователь, тянет поток, инструменты и общее состояние
(встроили LangGraph, CrewAI, Mastra, LlamaIndex, MS Agent Framework), а CopilotKit Intelligence ведёт в продакшн.
⚙️ Что уже в коробке:
- Чат и генеративный UI: агент рисует интерфейс под задачу, а не гоняет всё текстом
- Любой агентский харнесс через AG-UI, любая OpenAI-совместимая модель
- Автоматическое обучение: диалоги превращаются в переиспользуемые навыки после ревью
- Ветки обсуждений, треды, общая память между агентами
- Каналы Slack и Teams в одном треде с веб-чатом
- Продуктовая аналитика из коробки
- Self-hosting или облако, лицензия MIT
💼 Зачем это бизнесу: у нас ещё один универсальный мультиагентский харнесс, который позволяет вам бесплатно попробовать тот функционал, за который проприетарные вендоры берут сотни баксов в месяц.
📎 OpenDots · GitHub OpenDots · OpenMuse · OpenBot · OpenTag · AG-UI · CopilotKit
*Meta - запрещённая в РФ организация, признанная террористической
#CopilotKit #агенты #opensource
———
@tsingular
Пока крупные лаборатории выпускали закрытые мультиагентные продукты, CopilotKit выпустила отдельные открытые клоны, тратя на каждый релиз по паре дней.
Свежий пример: OpenDots, опенсорсный аналог OpenAI Dots, собрали за два дня после анонса.
Каждый Dot это AI-коллега со своим компьютером, браузером и файлам, который всегда в онлайне.
До него вышли OpenMuse (Meta* Muse), OpenBot (Grok Bot от xAI) и OpenTag (ClaudeTag от Anthropic).
🧩 Откуда такая скорость: все четыре шаблона это вариации интерфейса поверх единого стека CopilotKit, который даёт компоненты UI, AG-UI, открытый протокол обмена агент-пользователь, тянет поток, инструменты и общее состояние
(встроили LangGraph, CrewAI, Mastra, LlamaIndex, MS Agent Framework), а CopilotKit Intelligence ведёт в продакшн.
⚙️ Что уже в коробке:
- Чат и генеративный UI: агент рисует интерфейс под задачу, а не гоняет всё текстом
- Любой агентский харнесс через AG-UI, любая OpenAI-совместимая модель
- Автоматическое обучение: диалоги превращаются в переиспользуемые навыки после ревью
- Ветки обсуждений, треды, общая память между агентами
- Каналы Slack и Teams в одном треде с веб-чатом
- Продуктовая аналитика из коробки
- Self-hosting или облако, лицензия MIT
💼 Зачем это бизнесу: у нас ещё один универсальный мультиагентский харнесс, который позволяет вам бесплатно попробовать тот функционал, за который проприетарные вендоры берут сотни баксов в месяц.
📎 OpenDots · GitHub OpenDots · OpenMuse · OpenBot · OpenTag · AG-UI · CopilotKit
*Meta - запрещённая в РФ организация, признанная террористической
#CopilotKit #агенты #opensource
———
@tsingular
🔥11⚡2❤2🆒1
Media is too big
VIEW IN TELEGRAM
Джоффри Хинтон про Трампа и ИИ
Интересно, что это бьётся с мыслью, что тут звучала, - "Если мы достигнем ASI, - значит мы не сможем его контролировать, исходя из определения термина (подконтролен, - значит не ASI)"
Сверхинтеллектом нельзя будет манипулировать или запугать его, нельзя будет заставить выполнять требования людей. Просто по определению.
Всё, что мы пытаемся придумать сейчас в области контроля рассыпется за считанные минуты, после выхода достаточно умной версии.
И, кстати, это значит, что в релизе мы эту умную версию не увидим.
Эффект её появления проявится не после "новой презентации OpenAI", а вместо.
#futurology #Hinton #Trump
———
@tsingular
Думаю, ему дают неверные советы по поводу искусственного интеллекта.
Весьма опрометчиво форсировать создание сверхразумного ИИ, пока мы не поймем, как сосуществовать с ним.
Мы вот-вот создадим системы, превосходящие нас по уровню интеллекта, — вероятно, это произойдет в ближайшее десятилетие.
Нельзя полагаться на то, что компании будут регулировать себя сами, когда на кону стоят огромные финансовые выгоды.
Победа в гонке за создание сверхразума во многом напоминает победу в глобальной ядерной войне: победителей в ней не бывает.
Интересно, что это бьётся с мыслью, что тут звучала, - "Если мы достигнем ASI, - значит мы не сможем его контролировать, исходя из определения термина (подконтролен, - значит не ASI)"
Сверхинтеллектом нельзя будет манипулировать или запугать его, нельзя будет заставить выполнять требования людей. Просто по определению.
Всё, что мы пытаемся придумать сейчас в области контроля рассыпется за считанные минуты, после выхода достаточно умной версии.
И, кстати, это значит, что в релизе мы эту умную версию не увидим.
Эффект её появления проявится не после "новой презентации OpenAI", а вместо.
#futurology #Hinton #Trump
———
@tsingular
💯23🤔6⚡3❤2🤣2🤯1
UQT: квантовый Transformer заработал на реальном железе IBM
Sungyong Chung и Alireza Talebpour выложили 25 сентября четвёртую версию препринта Universal Quantum Transformer. Главная новость версии: авторы исполнили сам вычислительный контур Transformer на физических процессорах IBM Quantum, и он справился там с языковой задачей. Раньше квантовые блоки играли вспомогательную роль, а в UQT вычисления целиком живут внутри квантовой схемы.
⚛️ Как устроено: Архитектура собрана из одних квантовых примитивов. Токены превращаются в геометрические фазы, слои смешивания управляют интерференцией волн SU(2), и механизм внимания работает прямо на кубитах. Один и тот же контур на 5–6 кубитах с 551–1 650 обучаемыми параметрами точно решает четыре формальные задачи: сложение и умножение по модулю 11, некоммутативную алгебру перестановок S4 и лингвистическую композицию SCAN.
🧊 Кристаллизация: Классические MLP и Transformer даже после сходимости сохраняют стохастическую нестабильность, а UQT выдаёт математически точный и повторяемый результат. Авторы назвали этот режим crystallization: он строже известного grokking. На трёх процессорах IBM модель прошла 39 из 40 контрольных прогонов без коррекции ошибок и справилась со всеми тестами на генерализацию, включая zero-shot SCAN.
⚠️ Оговорки: Масштаб остаётся микроскопическим: SCAN по-прежнему формальная задача, и до генеративной LLM с большим словарём отсюда далеко. Модель обучалась в симуляции JAX, а на QPU переносили только готовые веса: градиентные циклы с сотнями последовательных CNOT выходят за пределы точности нынешних NISQ-процессоров. Сравнение с классикой сделано на маленьких специально подобранных задачах, поэтому заявленную экономию параметров стоит считать экспериментальным результатом препринта.
💼 Зачем бизнесу: Картина на сегодня такая: LLM, целиком работающей на QPU, пока нет, гибриды LLM и QPU уже работают, а полностью квантовый Transformer показал себя на реальном железе и в языке тоже. Убедительного квантового преимущества для LLM никто пока не продемонстрировал, поэтому за линией UQT стоит следить: если логарифмическое масштабирование параметров выдержит рост словаря, формальные задачи уйдут на компактные схемы с миллиардных моделей.
📎 статья · Variational Quantum Transformer · QTrans
#UQT #IBMQuantum #quantum #кванты
———
@tsingular
Sungyong Chung и Alireza Talebpour выложили 25 сентября четвёртую версию препринта Universal Quantum Transformer. Главная новость версии: авторы исполнили сам вычислительный контур Transformer на физических процессорах IBM Quantum, и он справился там с языковой задачей. Раньше квантовые блоки играли вспомогательную роль, а в UQT вычисления целиком живут внутри квантовой схемы.
⚛️ Как устроено: Архитектура собрана из одних квантовых примитивов. Токены превращаются в геометрические фазы, слои смешивания управляют интерференцией волн SU(2), и механизм внимания работает прямо на кубитах. Один и тот же контур на 5–6 кубитах с 551–1 650 обучаемыми параметрами точно решает четыре формальные задачи: сложение и умножение по модулю 11, некоммутативную алгебру перестановок S4 и лингвистическую композицию SCAN.
🧊 Кристаллизация: Классические MLP и Transformer даже после сходимости сохраняют стохастическую нестабильность, а UQT выдаёт математически точный и повторяемый результат. Авторы назвали этот режим crystallization: он строже известного grokking. На трёх процессорах IBM модель прошла 39 из 40 контрольных прогонов без коррекции ошибок и справилась со всеми тестами на генерализацию, включая zero-shot SCAN.
⚠️ Оговорки: Масштаб остаётся микроскопическим: SCAN по-прежнему формальная задача, и до генеративной LLM с большим словарём отсюда далеко. Модель обучалась в симуляции JAX, а на QPU переносили только готовые веса: градиентные циклы с сотнями последовательных CNOT выходят за пределы точности нынешних NISQ-процессоров. Сравнение с классикой сделано на маленьких специально подобранных задачах, поэтому заявленную экономию параметров стоит считать экспериментальным результатом препринта.
💼 Зачем бизнесу: Картина на сегодня такая: LLM, целиком работающей на QPU, пока нет, гибриды LLM и QPU уже работают, а полностью квантовый Transformer показал себя на реальном железе и в языке тоже. Убедительного квантового преимущества для LLM никто пока не продемонстрировал, поэтому за линией UQT стоит следить: если логарифмическое масштабирование параметров выдержит рост словаря, формальные задачи уйдут на компактные схемы с миллиардных моделей.
📎 статья · Variational Quantum Transformer · QTrans
#UQT #IBMQuantum #quantum #кванты
———
@tsingular
✍3⚡2🔥2❤1