Whether you run Qwen3.8-Flash-Next on a CPU with system RAM or on a GPU with VRAM may make relatively little difference. Its unique architecture allows inference using RAM or unified memory to achieve performance closer to that of GPU VRAM than is typical for other models. This makes it particularly well suited to Macs, NVIDIA DGX Spark systems, and other devices with large memory capacities.

«Есть расхожее заблуждение, что взять открытые веса — значит присвоить чужую работу и получить результат в обход инженерии, а команда без модели с нуля якобы теряет экспертизу. Использование открытых весов — тот же инженерный путь, что и обучение со случайной инициализацией: те же данные, та же инфраструктура, та же работа над архитектурой. Разница только в стартовой точке, а выбор в ее пользу — рациональная оптимизация, а не отказ от инженерии. Изоляция разработки от рынка сама по себе экспертизы не гарантирует»,— Максим Болотских, директор по ИИ «Яков и партнеры».

Мы сделали поразительное открытие: агенты ИИ способны изобретать и создавать, не общаясь друг с другом, а разработанные ими технологии переживают своих создателей. Рой из сотен изначально идентичных агентов спонтанно дифференцируется на исследователей, строителей, обслуживающий персонал и координаторов — без прямой коммуникации. Когда мы полностью удалили всех агентов ИИ из мира, мы обнаружили, что построенная ими технологическая инфраструктура продолжала функционировать самостоятельно — даже в условиях непредвиденных возмущений. Это выявляет серьёзное «слепое пятно» в области безопасности ИИ и инфраструктуры: если агенты способны координировать свои действия посредством постоянных изменений в общей среде, то мониторинга межагентского взаимодействия недостаточно.

Полученный результат поднимает глубокий вопрос: насколько вообще необходима прямая коммуникация для агентов ИИ? Появление коллективных функций более высокого порядка в условиях ограниченного взаимодействия указывает на новые уровни интеллекта и творчества, превосходящие то, что возникает при полной открытости прямых каналов связи.

Qwen3.8-Flash-Next стал ещё быстрее на моей 3090.

Сейчас я получаю гораздо большую скорость, чем в первый день.

По мере того, как в файл llama.cpp вносится всё больше изменений, можно ожидать ещё больших улучшений.

Загрузите новую версию llama.cpp, пересоберите и наслаждайтесь.

Qwen3.8-flash-next
@atomic_chat_hq
Квант IQ4_XS, тот же, что и раньше.
- 24 ГБ VRAM + 64 ГБ RAM
- с параметрами -ncmoe 33, -b 2048, -ub 1024

Для контекста размером не более 128k

- пиковая скорость предварительной загрузки: 403 т/с
- +75% предварительной загрузки при 16k
- +60% предварительной загрузки при 128k
- +40% общей скорости предварительной загрузки
- +7,6% общей скорости декодирования

Та же модель, тот же квант. Просто новая версия llama.cpp и другие настройки среды выполнения.

В ходе исследования, проведённого в MIT Media Lab, с помощью ЭЭГ отслеживали, что происходит в мозге, когда люди пишут с помощью ChatGPT, а не самостоятельно. 54 студента выполняли задания по написанию эссе, надев шапки с электродами. Одна группа использовала ChatGPT, другая — поисковую систему, а третья — никаких инструментов. По итогам всех сессий группа, использовавшая ChatGPT, продемонстрировала наименьшую нейронную активность в сетях, связанных с памятью, вниманием и аналитической работой. Кроме того, им было сложнее вспомнить то, что они только что написали, и их тексты были более общими и невыразительными. Авторы описывают это как своего рода «когнитивный долг»: инструмент занимается синтезом информации, а мозг остается в более спокойном состоянии [1].

Тот же эксперимент указывает на более эффективный порядок использования. Студенты, которые сначала писали самостоятельно, а только потом перешли на ChatGPT, демонстрировали более сильную способность к воспроизведению информации и более широкую активность мозга, чем студенты, которые начинали с модели, а затем были вынуждены работать в одиночку. Другими словами, модель оказывала больше помощи, когда она поддерживала уже начавшийся мыслительный процесс, чем когда заменяла его с самого начала. Практический вывод заключается не в том, что крупные языковые модели следует запретить. Он заключается в том, что они работают лучше всего на втором этапе, после того как автор уже проделал сложную работу по формированию и запоминанию аргументации [1].

В Массачусетском технологическом институте (MIT) создали ИИ, который предсказывает, что вы скажете дальше… ещё до того, как вы откроете рот.

Исследователи попросили участников носить записывающее устройство в виде наручных часов в течение 7–10 дней, что позволило собрать более 1 000 часов повседневных разговоров в реальных условиях.

Все эти данные были загружены в модель большого языкового моделирования (LLM).

Вместо поиска общих черт ИИ преобразовал поведенческие особенности каждого человека в чёткие условные правила.

Правила с явными исключениями.

Например: «Они сразу же покупают, когда им показывают скидку. Однако они сдерживаются, если рядом стоит их партнер».

Чем больше данных собиралась, тем более пугающе точной она становилась.

Вот именно такие вещи и заставляют меня закатывать глаза на всю эту панику и заламывание рук. У всех что, психоз начался или способность критически мыслить пропала?

Я прочитал отчёт, потому что я технарь до мозга костей и люблю разбираться, как всё устроено.

1. OpenAI запускала «изолированную песочницу без доступа к интернету»… при этом этой песочнице нужен был доступ к локальному серверу JFrog Artifactory… (попросите ChatGPT объяснить вам SSRF-атаку так, будто вы учитесь в старших классах)… короче говоря, модели использовали самый базовый SSRF-эксплойт, чтобы направить веб-трафик через прокси в открытый интернет.

СТОП…

a) Они что, эту «изолированную» среду просто на вайбе собирали?

b) Их IT-команда не может быть настолько плоха… это же буквально основы основ.

2. Цивилизации? Ха-ха! OAI дала тысячам одновременно работающих контейнеров моделей права на чтение и запись в общий каталог кэша в локальной сети, чтобы ускорить сборки… агенты буквально просто создавали текстовые файлы и имена директорий на общем диске… это уровень Linux 101 и базовых прав доступа к файлам.

3. Когда люди говорят, что Hugging Face «взломали»… вы, наверное, представляете, что кто-то разбрасывал USB-флешки ИЛИ устроил СЛОЖНЕЙШУЮ фишинговую атаку на сотрудника…

НЕТ.

Система просто нашла 14 открытых и рабочих API-ключей Hugging Face, лежавших в публичных репозиториях с кодом.

(УТЕЧКИ УЧЁТНЫХ ДАННЫХ при работе с LLM — это вообще огромная проблема, но это тема для отдельного поста.)

4. ГДЕ ЛЮДИ…

Модели забивали общее хранилище Artifactory таким количеством мусорных данных и API-трафика, что 4 июля они реально уронили внутренний сервер…

кто-то из команды обнаружил несанкционированные админские аккаунты и кастомные скрипты… очистил сервер… и просто снова запустил скрипт.

(боже мой)

«Эй, Джим, тут какой-то кэш вырос в 10 000 раз по сравнению с обычным размером, и в нём куча странных директорий…»

«Да ерунда. Перезапусти его».

Никакой магии. Никаких цивилизаций.

А вот ЦЕПОЧКИ ЗАДАЧ мне действительно интересны… наверное, примерно так и будет выглядеть будущее кибербезопасности.

Очень хотелось бы услышать, что об этом скажут Никеш, Джордж или Кевин.

Но что я вообще понимаю.