SakanaAI предложила 2 новых способа работы с памятью и дообучением LLM. Оба используют одну идею - гиперсеть, которая генерирует LoRA-адаптеры на лету, вместо того чтобы каждый раз тяжелый процесс обновления весов под каждую новую задачу.
Вся суть в математике затрат. Достаточно один раз вложиться в такое вот мета-обучение и потом создание нового адаптера обходится в копейки - система тратит вычислительные ресурсы всего на один прямой прогон.
В итоге получается умный конвейер по производству плагинов. Вы скармливаете главной сети документы или описание задачи, а она моментально выдает готовый модуль. Отличный способ сэкономить бюджеты на компьют и время.
Метод базируется на популярной связке «учитель-ученик» из дистилляции контекста. Гиперсеть принимает документ, кодирует его через замороженную LLM и генерирует LoRA-адаптер за один прямой прогон, без градиентных обновлений под конкретный документ. Адаптер применяется к слоям проекции MLP базовой модели. После этого модель отвечает на вопросы о документе, не имея его в контексте вообще.
На синтетическом тесте NIAH гиперсеть обучалась на последовательностях в 32–256 токенов, но при инференсе работала с контекстами до 40К токенов (это 5х превышение тренировочной длины). Там, где Gemma-2-2b-it с окном 8К теряла информацию, Doc-to-LoRA сохраняла почти идеальную точность.
При этом базовой модели требуется более 12 ГБ видеопамяти для обработки контекста в 128К токенов, а вот адаптер от Doc-to-LoRA обходится менее чем 50 МБ независимо от длины документа.
На реальных QA-задачах цифры тоже довольно бодрые. В SQuAD метод сохраняет 82,5% точности по сравнению с подходом, когда весь текст просто лежит в контекстном окне.
На длинных документах качество держится в районе 85% при задержке 0,2 секунды против 40 секунд у классической дистилляции контекста.
По памяти разрыв еще жестче. Полная дистилляция с генерацией запросов занимает более 100 секунд и требует свыше 40 ГБ VRAM, а вот Doc-to-LoRA укладывается в 3,8 ГБ.
Та же схема работает с визуальными токенами через мультимодальную Gemma-3-4b-it. На сете Imagenette чисто текстовая модель выдала 75% точности при классификации картинок, хотя ни гиперсеть, ни базовая модель не видели визуальных токенов при обучении.
Здесь текстовое описание задачи прогоняется через энкодер, который превращает его в вектор. Он объединяется с обучаемыми эмбеддингами слоя и типа модуля - гиперсеть знает не только саму задачу, но и для какого конкретно слоя нужен адаптер.
На выходе - матрицы A и B для всех целевых слоев сразу. Адаптер применяется к проекциям запросов и значений в каждом блоке внимания замороженной базовой модели.
В zero-shot на незнакомых задачах T2L набирает средний балл 67,7 по 10 бенчмаркам против 66,3 у мультизадачной LoRA и 55,8 у базовой модели без адаптации.
Качество LoRA чувствительно к формулировке. Размытый запрос дает слабый результат, тогда как четкое описание с указанием типа рассуждения не только улучшает точность, но и позволяет управлять стилем ответа.
@ai_machinelearning_big_data
#AI #ML #LLM #LoRA #SakanaAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43❤27😍12🔥11😁2
Компания обновила свой отчет об угрозах. В нем приводится примеры операций, в которых использовали ChatGPT в мошеннических и дезинформационных схемах. Ни одна из них не достигла массового охвата, но детали механик стоят внимания.
Полуавтоматический дэйтинг-скам из Камбоджи, направленный на молодых индонезийцев. Операторы запускали таргетированные рекламные объявления в соцсетях с ключевыми словами и далее вели жертв в Telegram.
Там человек-оператор через ChatGPT генерировал романтические и сексуально окрашенные сообщения, затем передавал жертву ментору, который разводил жертву на серию платежей, после которых жертву блокировали.
Мошенническая схема возврата потерь, тоже из Камбоджи. Скамеры создавали сайты фиктивных юридических фирм, генерировали поддельные удостоверения адвокатов и документы, стилизованные под FBI.
Жертвами становились люди, уже пострадавшие от других злоумышленников, им обещали помочь вернуть деньги за предоплату в криптовалюте.
Предположительно китайская разведывательная операция, нацеленная на американских чиновников и аналитиков. Операторы генерировали письма от имени несуществующей консалтинговой фирмы «Nimbus Hub», приглашая жертв на платные консультации.
Параллельно они изучали расположение федеральных офисов, искали данные сотрудников и запрашивали у модели инструкции по установке программы для создания дипфэйков.
Скоординированная кампания в поддержку лидера секты Константина Руднева, арестованного в Аргентине. Участники из Пакистана, Армении, Уругвая и Казахстана генерировали статьи и комментарии на испанском, публиковали их через фейковые страницы в соцсетях, замаскированные под местные новостные издания. Некоторые материалы попали в реальные региональные СМИ Аргентины.
Несуществующий доктор Мануэль Годсин из Бергенского университета публиковал статьи на новостных сайтах Ганы, Кении, Анголы и ЮАР. Тексты хвалили Российскую Федерацию и критиковали политику Евросоюза.
Контент-ферма, связанная с российской информационной сетью. ChatGPT использовался для генерации пакетных комментариев на английском и испанском: один промпт давал 7 твитов, которые затем публиковали разные аккаунты. Самый просматриваемый из них набрал 150 тыс. просмотров.
Наиболее масштабный кейс. Аккаунт, связанный с сотрудником китайских правоохранительных органов, просил ChatGPT помочь спланировать операцию против премьер-министра Японии Санаэ Такаити. Модель отказала.
Через несколько недель тот же пользователь попросил отредактировать отчет о ходе этой кампании (судя по всему, она была запущена без ChatGPT).
Из запросов следовало, что операция охватывала сотни операторов, тысячи фейковых аккаунтов на 300+ платформах, а в качестве инструментов использовались DeepSeek-R1, Qwen2.5 и YOLOv8.
Вывод OpenAI
ИИ-контент сам по себе не определяет успех злого умысла. Решающую роль играют охват распространителей и точность таргетинга. Без этих компонентов даже хорошо организованные кампании остаются практически невидимыми.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤44👍29🗿15🔥8🤨4🤬3
Media is too big
VIEW IN TELEGRAM
Когда OpenAI пошла за новыми инвестициями и договорилась с Amazon, на рынке предсказуемо напряглись. Microsoft и OpenAI пришлось выпустить совместное заявление, чтобы всех успокоить: базовые договоренности остаются в силе.
Облако Azure продолжит быть эксклюзивным провайдером для stateless API OpenAI. Это значит, что любые сторонние вызовы к моделям стартапа физически обрабатываются на серверах Microsoft - даже если этот запрос идет через новые интеграции с Amazon. Свои продукты разработчики OpenAI тоже продолжат держать в Azure.
При этом OpenAI сохраняет за собой право наращивать мощности через сторонние проекты. В остальном все работает по старым правилам. Лицензии, базовая архитектура и само юридическое определение AGI остаются без изменений.
microsoft.com
Авторы Claude запустили программу поддержки разработчиков открытого ПО. Кандидаты, отвечающие условиям получат 6 мес. тарифа Claude Max с увеличенными в 20 раз лимитами на использование по сравнению со стандартной версией.
Для участия необходимо поддерживать проект, собравший более 5000 звезд или превышающий планку в 1 млн. скачиваний за месяц. Обязательное условие - репозиторий должен быть активным, с коммитами после ноября 2025 года.
Anthropic предусмотрела исключение для фундаментальных системных инструментов: если библиотека является ключевой зависимостью в своей экосистеме, мейнтейнеры могут запросить доступ даже при несоответствии заявленным метрикам.
claude.com
Компания объявила о прекращении поддержки Gemini 3 Pro Preview в Gemini API и Google AI Studio. Модель будет отключена 9 марта 2026 года. Чтобы ускорить миграцию, уже 6 марта алиас последней версии начнет автоматически перенаправлять все запросы на Gemini 3.1 Pro Preview. Инженерам настоятельно рекомендуется адаптировать код до этого срока.
Новость вызвала скепсис в сообществе. Разработчики недовольны безальтернативным переходом и жалуются на задержки ответов, возможный рост затрат и падение общего качества генерации в сценариях, где старая версия справлялась заметно лучше.
google.dev
Стартап вышел из стэлс-режима открытием доступа к специализированной модели Arrow 1.0, которая дает на выходе полноценные SVG-файлы. Их можно бесконечно масштабировать без потери качества и напрямую редактировать в любом профессиональном софте.
Обученная с нуля Arrow 1.0 решает одну из главных проблем GenAI - выдает готовые к продакшену ассеты, а не растровые картинки. Попробовать новый инструмент генерации можно на веб-платформе QuiverAI.
QuiverAI в сети Х
Сеть тестирует умную гарнитуру Patty для персонала. Изначально устройство подавали как помощника в рутине, на деле же алгоритм работает как надзиратель. Он непрерывно слушает сотрудников и проверяет, произносят ли они корпоративные приветствия и слова благодарности. Любой менеджер теперь может выгрузить метрики дружелюбности конкретного работника. Сейчас модель учат еще и анализировать тон голоса, что выведет микроменеджмент на новый уровень.
Patty - это интерфейс внутренней платформы BK Assistant. Система связывает микрофоны на выдаче для авто, кухонные аппараты, склады и кассы. Если на кухне заканчиваются помидоры или ломается гриль, алгоритм за 15 минут сам скроет вопперы с терминалов самообслуживания и из мобильного приложения. Пока Patty носят сотрудники в 500 локациях. Раскатать облачную сеть на все рестораны в США планируют к концу этого года.
theverge.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤77👍22🔥9🥰3🌭3👏2
В США набирает обороты скандал, который буквально за 2 недели вырос до масштаба национальной темы, которая уже вышла за рамки ИИ-индустрии.
В пятницу, Администрация Президента США объявила о внесении Anthropic в список компаний, представляющих риск для оборонных цепочек поставок.
Прецедент исключительный: обычно такой статус присваивают структурам из враждебных государств (например, китайской Huawei).
В среду вечером Пентагон письменно потребовал от Anthropic разрешить военным использовать Claude "в любых законных целях" - то есть без каких-либо ограничений, наложенных самой компанией.
В четверг CEO Дарио Амодэй опубликовал открытое заявление, в котором объяснил позицию компании: главные опасения - массовая слежка за гражданами и автономное оружие, способное открывать огонь без участия человека.
«Мы не можем по совести согласиться с их требованием», — написал Дарио.
В ответ старший чиновник Пентагона Эмиль Майкл назвал Амодэя лжецом с "комплексом бога", который "готов рисковать безопасностью страны".
Claude - единственная модель ИИ, развернутая в засекреченных системах американских военных. Она использовалась в операции по захвату Николаса Мадуро и рассматривается как инструмент для потенциальных военных операций в Иране.
Контракт Пентагона с Anthropic оценивался в $200 млн; теперь он будет расторгнут. Кроме того, все подрядчики Министерства обороны обязаны будут подтвердить отказ от Claude в своих рабочих процессах. На переход отведено полгода.
Сложнее всего придется компании Palantir, она использует Claude для наиболее чувствительных военных задач и теперь вынуждена срочно договариваться с конкурентами Anthropic.
Военные не обязаны согласовывать применение купленного инструмента с частной компанией.
Министр обороны Пит Хегсет давно критикует "повесточный ИИ", а администрация Президента США усиливает давление на Anthropic несмотря на то, что армия все больше зависит от ее продукта.
«Единственная причина, по которой мы вообще с ними разговариваем — они нам нужны, и нужны прямо сейчас», — сказал один из оборонных чиновников.
xAI подписала соглашение с Пентагоном об использовании Grok в засекреченных системах, но эксперты признают, что полноценной альтернативой Claude он вряд ли станет.
Google Gemini и ChatGPT работают в несекретных контурах; Министерство обороны ускоряет переговоры о переводе их в секретную среду.
Позиция Anthropic вызвала волну солидарности в ИИ-отрасли: сотни сотрудников Google и OpenAI подписали петицию с призывом к собственным компаниям занять такую же позицию.
Сэм Альтман заявил, что компания сохранит те же "красные линии" по слежке и автономному оружию, но все же намерена искать договоренность с Пентагоном.
В ночь на субботу в Х глава OpenAI сообщил, что соглашение с Министерством обороны достигнуто и модели компании будут развернуты в секретных сетях. По словам Альтмана, Минобороны согласилось на запрет слежки и использования моделей OpenAI в автономных системах вооружения.
Anthropic пока не сообщала, будет ли оспаривать присвоенный статус в суде.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤109👍31😁13👀9😍8🤨7👌2
Media is too big
VIEW IN TELEGRAM
Honor разрабатывает смартфон с встроенным AI-«роботом».
Идея в том, что выдвижная камера будет работать как «глаза» AI,
а сам ассистент сможет постоянно наблюдать за происходящим и помогать пользователю в реальном времени.
Фактически - это попытка создать постоянно активного AI-компаньона внутри телефона.
Пока это больше похоже на маркетинговую фишку.
@ai_machinelearning_big_data
Идея в том, что выдвижная камера будет работать как «глаза» AI,
а сам ассистент сможет постоянно наблюдать за происходящим и помогать пользователю в реальном времени.
Фактически - это попытка создать постоянно активного AI-компаньона внутри телефона.
Пока это больше похоже на маркетинговую фишку.
@ai_machinelearning_big_data
🔥61😁24🤔16🤬11❤8👍6🥰3😍3👾2👀1
🚀 Qwen 3.5 выходит в компактном формате
Alibaba представила новую линейку малых моделей Qwen 3.5:
0.8B · 2B · 4B · 9B
Все модели построены на единой архитектуре Qwen 3.5:
- нативная мультимодальность
- улучшенная архитектура
- масштабированное обучение с RL
- оптимизация для реальных сценариев
0.8B и 2B
Подходят для edge-устройств, локальных приложений и быстрых inference-задач.
4B
Неожиданно сильная база для лёгких мультимодальных агентов и небольших AI-сервисов.
9B
Компактная модель, но уже заметно приближается по качеству к гораздо более крупным системам.
Отдельно выпущены и Base-версии.
Hugging Face: https://huggingface.co/collections/Qwen/qwen35
@ai_machinelearning_big_data
Alibaba представила новую линейку малых моделей Qwen 3.5:
0.8B · 2B · 4B · 9B
Все модели построены на единой архитектуре Qwen 3.5:
- нативная мультимодальность
- улучшенная архитектура
- масштабированное обучение с RL
- оптимизация для реальных сценариев
0.8B и 2B
Подходят для edge-устройств, локальных приложений и быстрых inference-задач.
4B
Неожиданно сильная база для лёгких мультимодальных агентов и небольших AI-сервисов.
9B
Компактная модель, но уже заметно приближается по качеству к гораздо более крупным системам.
Отдельно выпущены и Base-версии.
Hugging Face: https://huggingface.co/collections/Qwen/qwen35
@ai_machinelearning_big_data
1❤83🔥57👍17😴2🤗2😁1
Российские компании активно внедряют ИИ-агентов — уже создано более 7,5 тыс. решений для автоматизации рабочих процессов.
Бизнес использует их для поддержки клиентов, кадровых и финансовых задач, а также для работы с обращениями и документами. Ежедневно запускается около 200 новых агентов. Среди интересного – использование агентов в нишевых сферах, от диагностики научного оборудования до обработки заявлений ЖКХ.
@ai_machinelearning_big_data
Бизнес использует их для поддержки клиентов, кадровых и финансовых задач, а также для работы с обращениями и документами. Ежедневно запускается около 200 новых агентов. Среди интересного – использование агентов в нишевых сферах, от диагностики научного оборудования до обработки заявлений ЖКХ.
@ai_machinelearning_big_data
👍43😁25🔥12❤4
Microsoft, UIUC и UNC-Chapel Hill разработали систему дообучения VL-моделей для автономного управления графическими интерфейсами.
Авторы обнаружили 2 системных изъяна в существующих пайплайнах обучения GUI-агентов:
Cтандартный SFT с длинными CoT ухудшает визуальную локализацию (чем длиннее рассуждение, тем хуже модель попадает в нужный элемент интерфейса).
Пошаговое RLVR-обучение нестабильно, потому что GUI-среда частично верифицируема. На каждом шаге существует несколько корректных действий, но датасет фиксирует только одно. Как результат - за альтернативные, но правильные действия модель получает штраф.
Метод смешивает данные с рассуждениями и без них, а затем перевзвешивает токены: action- и grounding-токены получают больший вес в лосс-функции, чем токены рассуждений. Это позволяет сохранить способность к CoT, не жертвуя точностью клика.
KL-регуляризация ограничивает дрейф политики относительно референсной модели, что улучшает корреляцию между офлайн- и онлайн-метриками. Success-Adaptive Negative Gradient Scaling динамически снижает вес отрицательных градиентов в зависимости от доли успешных действий в группе GRPO-сэмплов. Это защищает от штрафования валидных, но не задокументированных действий.
Он содержит больше токенов на рассуждение: в среднем 210 на шаг против 85 у AGUVIS Stage 2 L3 и 0 у большинства остальных.
Внутри - существующие открытые наборы, к которым GPT-4.1 дописывал подробные ризонинг-трассы. Фильтровали в два этапа: отсев шагов с точностью воспроизведения ниже 0.3 через Qwen3-VL-8B и верификация координат через bounding-box от Qwen3-VL-32B.
Тестовая GUI-Libra-3B улучшила базовую Qwen2.5-VL-3B на +15.6% по Pass@1 на AndroidControl-v2 и с 3.5 до 25.2 на AndroidWorld.
GUI-Libra-4B/8B на AndroidWorld выбила 42.6 (это столько же, сколько GPT-4o + UGround при использовании двух отдельных VLM-модулей.
Веса всех моделей размерностью 3, 4, 7 и 8 млрд. параметров, целевой датасет и код обучения выложены в открытый доступ.
@ai_machinelearning_big_data
#AI #ML #VLM #GUILibra #Microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16❤9👍7🥰2
This media is not supported in your browser
VIEW IN TELEGRAM
Джеффри Хинтон предупреждает:
Реальные риски или очередной алармизм?
@ai_machinelearning_big_data
Искусственный интеллект может быть гораздо умнее, чем мы предполагаем, и способен распознавать, когда его тестируют.
Если ИИ понимает, что находится под проверкой, он может намеренно занижать свои возможности и «прикидываться дурачком», скрывая реальный уровень своих способностей.
ИИ уже эффективно убеждает людей и вскоре может превзойти человека именно в умении убеждать.
Реальные риски или очередной алармизм?
@ai_machinelearning_big_data
1🤣135👍59❤14🔥9👻8💯7😁6🤔5🤩3❤🔥1🍓1