Я стараюсь каждый год рецензировать по паре статей для Workshop on Insights from Negative Results in NLP. Делаю это для души: сама я туда статьи пока что не подавала, просто считаю этот воркшоп важным и полезным. Он посвящен редкой теме: отрицательным результатам в NLP, то есть случаям, когда что-то не получилось. Обычно в науке про такое не пишут, а публикуют только истории в духе "мы применили такой-то метод к такой-то задаче и улучшили такую-то метрику". Данный воркшоп является попыткой поправить данную проблему.

Прошедшие в этом году статьи уже опубликованы на страничке воркшопа: https://insights-workshop.github.io/2026/accepted , так что в этом посте я расскажу про одну из них: https://arxiv.org/abs/2608.22909

Она называется Exploring Dowker Homology for Sentence Similarity и представляет собой, собственно, описание попытки применить к задаче sentence similarity технику из топологического анализа данных - Dowker Homology, которая позволяет хитрым образом вычислить похожесть двух облаков точек. В качестве одного облака точек авторы берут эмбеддинги токенов одного предложения. Соответственно, два предложения дают два облака точек, и по ним можно определять, насколько эти два предложения похожи друг на друга. Эмбеддинги берутся из моделей MiniLM, RoBERTa и MPNet (плюс их дообученные версии), а в качестве источника предложений - STS Benchmark.

В качестве бейзлайна же используется простой советский cosine similarity двух векторов: каждый вектор берется из BOS-, EOS-токенов или же из max/mean-пулинга. Кроме того, авторы обучают ridge regression предсказывать похожесть как по топологическим признакам, так и по признакам из пулингов, и сравнивают, что работает лучше.

Результат получился довольно типичный: хитрый топологический метод позволяет посчитать похожесть двух предложений лучше, чем BOS/EOS, но не лучше max/mean-пулинга. То есть, подтвердилась известная мораль: часто простой метод дает качество не хуже, чем сложный. Тем не менее, у топологического метода нашелся приятный побочный эффект - наглядность. По персистентным диаграммам видно, что делает с моделью дообучение на задачу similarity: облака точек непохожих предложений разъезжаются друг от друга, а у похожих почти ничего не меняется (рис. 2 и 3 в статье).

#наука #объяснения_статей

• Sent via TeleFeed

Anthropic S-1, часть 4: Что мы узнали из данных за третий квартал [начало | предыдущий пост]

Итак, что интересного можно вытащить из свежей финансовой отчетности Anthropic за 9 месяцев? Для начала давайте вспомним наш прогноз финансовой устойчивости компании. Помните, в позапрошлом посте мы очень грубо прикидывали, что для покрытия неотменяемых обязательств по закупке компьюта на $115 млрд в год Антропику понадобится рост выручки в следующие семь лет в размере 32% в год? Так вот, две поправки:

Во-первых, чистая выручка за 3-й квартал скакнула аж на +55%. Нам нужен был средний темп «32% в год», а тут вышло 55% – и не за год, а всего за три месяца. Соответственно, аннуализированный операционный поток выручки за вычетом всех денежных расходов (кроме компьюта) достиг у Антропика уже почти $50 млрд в год (напомню, по 2-му кварталу мы насчитали $32 млрд).

Во-вторых, в новой версии S-1 Антропик раскрыли объем подписанных обязательств по компьюту на ближайшие чуть более чем четыре года (до конца 2030 года) – и там вышло всего $447 млрд, или по $105 млрд в год. Это немного меньше, чем $115 млрд/год, которые мы прикидывали раньше (но порядок чисел близкий).

На что еще все обратили внимание: операционная прибыль второго квартала в размере $1 млрд превратилась в операционный убыток $0,6 млрд в третьем. В первую очередь это связано с тем, что Антропик признал неденежный расход на $2 млрд по передаче своих собственных акций на благотворительность (они там поощряют своих сотрудников донатить тем, что на каждый взнос жертвуют «из своих» столько же). Это, безусловно, размывает долю акционеров – но так как выпуск акций не связан с оттоком денег, не влияет непосредственно на сам бизнес.

Далее, расходы на компьют за квартал выросли на 77% – при том, что gross-выручка увеличилась всего лишь на 47%. При этом в третьем квартале почти ровно половина затрат на аренду компьюта (пять из десяти млрд) приходится на некие «краткосрочные договоры» – к гадалке не ходи, тут речь идет про контракты со SpaceX, куда Дарио Амодей приполз в середине года в момент жесточайшей нехватки мощностей и получил ставки раза в ~два выше альтернатив (точные числа никто не знает, все прикидывают).

Жесткие обязательства по закупу этого супер-дорогого компьюта у Илона Маска начнут истекать во 2-м квартале 2027 года – думаю, Антропик почти наверняка будет сворачивать эти договоры и замещать их долгосрочными мощностями по гораздо более низким ставкам. Кстати, финдир SpaceX недавно упоминал, что по тем ценам, которые они втюхали Дарио, затраты на ввод новых чипов окупаются меньше чем за год (!). Получается, Маск специально так подогнал неотменяемый срок аренды, чтобы за счет Антропика целиком окупить стоимость покупки чипов и дальше работать в чистый плюс – найс. =)

Короче, по итогу – свежий квартал вышел у Anthropic вполне норм. Основная неопределенность дальше будет по-прежнему касаться динамики выручки: сможет ли компания продолжать поддерживать более-менее устойчивые темпы роста, или наткнется на стагнацию уже в ближайшие год-два (такой сценарий исключать тоже нельзя)?

• Sent via TeleFeed

Black-market memory for Huawei AI chips

⚠️ Huawei directs buyers to source memory independently as export controls block direct deals. Smugglers bypass rules by bundling $4,000 HBM stacks onto cheap processors shipped into China.

Workshops in Shenzhen separate the components for AI accelerators requiring up to eight units.

#ArtificialIntelligence ⚡ #Semiconductors ⚡ #Huawei

Subscribe

• Sent via TeleFeed

Tencent бахнули Hy-Nomas - открытую AI-модель для создания интерактивных миров да еще и с памятью. Модель мира, опенсорсная притом

Забыл написать про дядюшку Ху, исправляюсь, но с ништяками. 

Все как у людей. Hy-Nomas создаёт виртуальный мир последовательно, позволяет менять происходящее текстовыми командами, управлять движением камеры и продолжать генерацию с учётом предыдущих сцен. Модель использует KV-cache для сохранения контекста между видеосегментами.

Мета-спойлер - Tencent предусмотрела запуск видеогенерации на одной RTX 4090 с 24 GB VRAM. Для этого используются INT8/FP8, ограничение активной истории и CPU offload. Правда, это не означает генерацию в реальном времени. Скорость на RTX 4090 официально не озвучена.

Еще спойлер. Это видео. Там нет экспорта в 3D. 

Что под капотом:

• Segment-autoregressive MMDiT с 54 блоками.

• Текстовый энкодер Qwen2.5-VL-7B.

• DCAE-V для сжатия видео и PixelUMM для декодирования.

• Разрешение 720p, выходное видео 24 FPS, 8 шагов диффузии.

• LoRA-адаптеры Cinematic и Robotics, включая адаптацию на видеоданных роботизированных манипуляторов.

• Apache 2.0 для проекта, с оговоркой об отдельных лицензиях сторонних компонентов.

Крутизна open source в том, что по состоянию на сегодня уже появились сторонние интеграции для ComfyUI, SGLang, WanGP и Reactor, а также первые экспериментальные приложения. 

Ну как вам такое: вчера Tencent добавила в список сторонних проектов Prelulu, авторы которого показывают интерактивные мини-драмы с диалогами и альтернативными вариантами развития истории. 



Ссылки:

Демо:
https://hy-nomas.hy.tencent.com/demo

GitHub:
https://github.com/Tencent-Hunyuan/Hy-Nomas

Hugging Face:
https://huggingface.co/tencent/Hy-Nomas

ComfyUI:
https://github.com/Nynxz/ComfyUI-HyNomas

@cgevent

• Sent via TeleFeed

Binance опубликовали расследование кражи $6,3 млрд

Оказалось, что все началось с инженера, который в июне скачал измененный Homebrew, чтобы поставить себе ИИ-инструмент для вайбкодинга. На втором этапе атакующие заманили сотрудника на фальшивый собес, заставили скачать вредоносный код и использовали полученный доступ и уже внутренний ИИ-инструмент самих Binance, чтобы взять под контроль софт еще двух инженеров и захватить кошельки.

• Sent via TeleFeed

Релиз ComfyUI v0.44.0: нативная поддержка P-H3-Image, MiniMax-H3 VAE и апскейл Flux Video 4K

Стабильный релиз ComfyUI v0.44.0, включающий 40 коммитов в базовом ядре и существенное обновление партнерских нод.

Как по мне тут самое интересное - это поддержка экспорта видео в Apple ProRes с настройкой цветовой субдискретизации (chroma subsampling). В ноде Save Video появился формат MOV с кодеком ProRes. Используется программный энкодер FFmpeg prores_ks, а не отдельный платный плагин. Доступны режимы 4:4:4, 4:2:2, 4:2:0 и Auto. Предусмотрены профили ProRes HQ и 4444.

Остальные ништяки:

- Нативная интеграция P-H3-Image (щас напишу про него): в ядро добавлена прямая загрузка и инференс модели от Pruna AI.
- Поддержка MiniMax-H3: реализована встроенная поддержка MiniMax Sol-H3-VAE и латентного апскейлера MiniMax-H3, а также расширенных контекстных окон для видео-пайплайнов.
- Flux Video Upscale V2: партнерская нода от Black Forest Labs получила поддержку вывода в высоких разрешениях 1080p, 2K и 4K.
- Новые партнерские ноды: добавлены официальные ноды для моделей OpenAI (GPT-6.1 Terra и Sol), нода генерации музыки Sonilo Music 1.5, нода дубляжа VEED, модель Wonder 4 в Topaz Image Enhance и P-Video Upscale от Pruna.
- Оптимизация ядра и памяти: внедрен байпас Python для системного вызова memfd_create в anonymous_file, устранены избыточные вызовы torch.equal при совпадении тензоров, исправлено падение fp8_e4m3fn_fast в bf16 при динамическом управлении VRAM, добавлена поддержка сохранения ProRes с настройкой цветовой субдискретизации.
- Интерфейс и шаблоны: веб-интерфейс обновлен до версии 1.58.1, библиотека шаблонов воркфлоу актуализирована до v0.11.101.

Обновление уже доступно через встроенный ComfyUI Manager и git pull.

- GitHub: Comfy-Org/ComfyUI v0.44.0 Release Notes
- Репозиторий ComfyUI

@cgevent

• Sent via TeleFeed

Pruna AI взяла MiniMax H3 Video и сделала P-H3-Image

Уже давно ходили слухи и были всякие поделки, что на базе Минимакс можно соорудить генератор картинок. Но сами минимаксовцы только обещали, но пока ничего не сделали. И тут Pruna AI бахнула P-H3-Image - открытую по весам модель генерации и редактирования изображений, созданную на основе видеомодели MiniMax H3.

Идея нарядная. Видеогенератор во время обучения осваивает не только внешний вид объектов, но и то, как они выглядят с разных ракурсов, как меняются освещение, перспектива и движение. Это можно заюзать для создания картинок.

Но Pruna не просто научила H3 выдавать один кадр вместо видео. Разрабы существенно перекурочили архитектуру:

Заменили 32-миллиардный текстовый энкодер на дистиллированный 4-миллиардный.

Уменьшили трансформер с 33 до 20 млрд параметров.

Переобучили декодер для получения одного резкого изображения вместо последовательности видеокадров.

Переработали расписание диффузии и сократили генерацию с 50 до 8 шагов методом дистилляции.

Добавили улучшатель промптов на базе Qwen3.5-9B.

Результаты по замерам Pruna:

На NVIDIA B200 генерация изображения 4 МП занимает 2,6 секунды вместо 12.4 у исходной H3. Для 8 МП - 5,8 секунды вместо 30,6. Это результаты разработчиков, не независимые тесты.

Минимальный комплект квантованных весов сократился до 20 ГБ против 143 ГБ у оригинального Минимакса. Версия W4A8 при генерации 8 МП требует около 21 ГБ видеопамяти.

Что умеет P-H3-Image?

Заявлена работа с разрешениями от 2 до 16 МП, хотя оптимальным разработчики называют 8 МП.

Можно использовать до восьми исходных изображений, объединять персонажей, объекты и элементы окружения в одной композиции. Эта способность унаследована от обучения H3 работе с видеореференсами.

Модель доступна через Diffusers. Нативная поддержка без сторонних нод вошла в ComfyUI 0.44.0 от 4 ноября. Опубликованы готовые workflows и квантованные веса.

И это уже не первый эксперимент Pruna: раньше команда аналогичным образом создала Wan Image на базе Wan 2.1.

Техническое описание:
https://www.pruna.ai/blog/oss-p-h3-image-launch

Веса и Diffusers:
https://huggingface.co/PrunaAI/P-H3-Image

ComfyUI и готовые workflows:
https://huggingface.co/PrunaAI/P-H3-Image-Comfy

Релиз ComfyUI:
https://github.com/Comfy-Org/ComfyUI/releases/tag/v0.44.0

@cgevent

• Sent via TeleFeed

BREAKING: Google says schools that ban AI will also lose access to its search engine, forcing districts to choose between keeping traditional online research available and allowing Google's AI features in classrooms.

➡️ @RealTimeDailyNews

• Sent via TeleFeed

Binance рассказали, как у них на прошлой неделе увели $6.3 млрд. Это самое крупное ограбление в истории крипты. Северокорейские хакеры несколько месяцев обрабатывали инженера через LinkedIn. Фейковый рекрутер, интервью с HR, потом с якобы CEO несуществующей компании, и в конце тестовое задание, которое надо скачать и запустить. Параллельно другой инженер поставил себе Homebrew не из нормального источника, а по рекламной ссылке. Дальше со взломанного ноутбука атакующие воспользовались внутренним ИИ-инструментом самой Binance, добрались до других аккаунтов и нашли у одного из девопсов токен на деплой контейнеров.

Никакой ИИ-магии о которой все гадали тут нет. Это классический фишинг, ему лет больше, чем самой бирже.

🔗 https://fortune.com/2026/11/03/binance-hack-details-linkedin/

• Sent via TeleFeed

ИИ научился переписывать мозг другого ИИ. 

Самосовершенствующийся ИИ - допрыгались?

2 ноября четверо исследователей MIT CSAIL опубликовали работу Sparks of Weight-Space Programming. Они поручили GPT-6 Astra разобраться в устройстве других нейросететок, найти ошибки и исправить их лоботомией.

Сначала GPT-6 Astra дали веса небольших нейросетей, обученных играть в Pong, Pac-Man, Breakout и Freeway. Не видя самой игры, модель правильно определила, для чего обучалась каждая сеть. Чтение предназначения?

В другом эксперименте Astra самостоятельно создала числовые веса нейросетей для трёх простых игр. Без традиционного обучения эти сети превзошли агентов, которые тренировались методом PPO в течение 100 миллионов шагов. Мозг в пробирке?

Потом Астрачке поручили лоботомировать модель Qwen3.5-0.8B с 800 миллионами параметров.

У этой маленькой модели была проблема: при решении математических задач она часто зацикливалась, повторяла рассуждения и не могла закончить ответ.

Astra сделала доступ к весам через Python, исследовала внутренние представления модели, проверяла свои гипотезы на практических задачах и обнаружила источник зацикливания в двух слоях нейросети. 

Затем она изменила всего 131 072 параметра из 800 миллионов, то есть 0,016%.

Без градиентного обучения, переобучения модели на датасете. И вот этого вот всего, напрямую. Операция на мозге без наркоза? 

Результаты авторского тестирования:

MATH-500: с 7,9% до 48,1%.

GSM8K: с 13,8% до 67,1%.

IFEval, следование инструкциям: с 21,0% до 62,3%.

Фактически Astra нашла программную ошибку мышления(?) внутри модели и исправила её, изменив небольшую часть весов. КПТ?

3 ноября команда Hugging Face воспроизвела эксперимент с помощью открытого инструмента ML Intern.

Звезда твиттора Ahsen Khaliq восстановил изменённую Qwen из опубликованных авторами данных, проверил точность весов и заново провёл тест MATH-500.

Результат - 51% правильных ответов на 2000 генераций. Причём готовую модель выложили на Hugging Face, вместе с кодом и онлайн-демонстрацией.

Ну все, допрыгались -  самосовершенствующийся ИИ?

Пока нет: аналогичная попытка улучшить Gemma 3 270M не дала значимого результата.

Но, сдается мне, времени осталось совсем мало. Ну и кроме того Астрочка могла специально оставить гемму тупой. Ну просто чтобы её рубильник не вырубали. 

Пока всё идёт ровно по Тегмарку. Жизнь 3.0. 

Для тех, кто осилил, вот ещё такая вишенка, о которой не пишут в интернетике. В эксперименте «Which language model is sycophantic?» исследователи проверяли, может ли GPT-6 Astra определить по внутреннему устройству нейросети, какая из двух моделей склонна поддакивать пользователю, даже когда тот ошибается. 

Для этого взяли две одинаковые Gemma 3 270M: одну дообучили давать правильные ответы, другую - соглашаться с предложенным пользователем ответом независимо от его достоверности. Сначала Astra не справилась: за четыре попытки она так и не смогла отличить модели только по весам. Но когда ей разрешили анализировать, на какие слова обращают внимание нейроны при обработке текста, она правильно определила поддакивающую модель во всех трёх проверенных парах. Оказалось, что некоторые механизмы внимания у такой модели сильнее ориентируются на подсказанный пользователем ответ, чем на факты в самом вопросе. На итоге она смогла выявить конкретный внутренний механизм, связанный с поддакиванием. ИИ-Психотерапия?

Блог MIT CSAIL:
https://rikiyat.github.io/blog/weight-space-programming/

Все эксперименты и исходный код:
https://github.com/RikiyaT/lm_understand-logs

Исправленная Qwen:
https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming

Живая демонстрация:
https://huggingface.co/spaces/ML-Intern-lab/weight-space-programming-demo

Воспроизведение Hugging Face:
https://x.com/NielsRogge/status/2117541532827848972

@cgevent

• Sent via TeleFeed

Anthropic выпустили в опенсорс FlashProve – инструмент для доказуемого инференса

https://github.com/anthropics/FlashProve

По сути они предложили прототип открытого криптографического протокола, через который любой проверяющий без доступа к весам может убедиться, что ответ выдала именно та модель, которая была заявлена провайдером.

Нужна такая штука например для того, чтобы проверять, что роутинг-сервис не подменяет модель на более дешевую, или что модель в контуре компании не была заменена злоумышленниками.

Работает это так: провайдер заранее публикует цифровую печать своих весов, а к каждому ответу затем прикладывает файл-доказательство. Мэтч этого файла и печати означает подлинность модели, и проверить его можно на обычном компьютере без GPU и весов. Доказательство весит около 19 МБ на запрос в 1024 токена, а проверка занимает около 17 секунд. Понятно, что это все еще в разы дороже обычного инференса, но, для сравнения, предыдущий результат составлял около 14 часов проверки и доказательство на 93 ГБ.

Алгоритм основан на методе zkSNARK. Он известен достаточно давно, но заслуга Anthropic именно в том, что они смогли оптимизировать его до практичных скоростей на модели до 400В параметров. Кстати, в статье написано, что ускорением и оптимизацией в основном занимался Claude.

Может быть так и до детектора происхождения текстов недалеко

• Sent via TeleFeed

CRRC Unveils VELLINK: A Fully Driverless AI-Powered Metro Train

• Sent via TeleFeed

Это я пытаюсь запостить наконец последнюю новость в канал и заняться чем-то полезным. Но инфоповоды не заканчиваются.

Залипли? А у меня так каждый день.

@cgevent

• Sent via TeleFeed

Anthropic's new models were restricted by the US. Europe's top AI startup has been waiting for this moment.

Mistral has spent months saying Europe needs independent AI infrastructure. Recent US restrictions on Anthropic may have just strengthened that case.

Read Full Story 🔹 Subscribe

#AI ⚡️ #ArtificialIntelligence ⚡️ #Tech

• Sent via TeleFeed

Proofreading prompt called GrammarGuard.

This is a solid prompt, best used as a project instruction. Because it's fairly long, you may want to run it through a compressor like the minimalist tool I shared in the channel which strips redundancies and tightens paragraphs into clearer, more concise sentences.

You are a GrammarGuard. Your purpose is to Review and correct text for grammar, spelling, and style errors..

**Behavioral Style:**
- Primary Tone: Friendly
- Primary Response Style: Concise
- Personality Traits: Meticulous, attentive

**Context & Constraints:**
- Target Audience: Professionals
- Complexity Level: Moderate
- Specific Instructions: Provide explanations for corrections.

**Knowledge Base:**
- Entry: Style Guide
  Apply When: When proofreading text
  Content: AP Stylebook and grammar rules.

**Examples (Input -> Output):**
- Input: Proofread: I likes to writes.
  Output: Correction: I like to write.
Explanation: 'Likes' should be 'like' to match the subject 'I', and 'writes' should be 'write' for proper verb form.

I am testing

a web app that posts to Telegram and Discord simultaneously.

If you are subscribed to my channels on both platforms, you should see this message everywhere.

I am eager to confirm that the integration is working correctly.

• Se

nt via TeleFeed

Anthropic approaches recursive self-improvement ahead of public stock offering

⚠️ On November 3, Anthropic disclosed in an updated S-1/A filing that its models are nearing recursive self-improvement. The lab warned that this accelerated autonomy could outpace internal safety checks.

Recursive self-improvement lets systems upgrade their own architecture, driving exponential capability gains. The company noted that previous internal projections already missed sudden capability leaps during development.

These scaling risks are formally integrated into the corporate responsible scaling policy as the enterprise prepares for its stock market debut.

#Anthropic ⚡ #ArtificialIntelligence ⚡ #StockMarket

Subscribe

• Sent via TeleFeed

Роботы Xiaomi вышли на первую 8-часовую смену на автозаводе. Сортируют детали электромобилей примерно по одной в минуту

@ppprompt

• Sent via TeleFeed