Машинное обучение digest
54 subscribers
4.03K photos
651 videos
2.5K links
Download Telegram
🚨 Китайская Z.AI привлекла $5 млрд - и 60% средств направит на следующее поколение GLM и систему Fully Self-Training.

Финансирование состоит примерно из $2 млрд через размещение акций и $3 млрд через конвертируемые облигации.

Z.AI развивает подход, при котором каждая новая версия GLM всё больше участвует в создании среды, данных и инфраструктуры для обучения следующего поколения модели. Компания прямо связывает это направление с Recursive Self-Improvement - RSI.

GLM → строит среду и данные → обучает следующую GLM → цикл повторяется

Пока в этом процессе всё ещё много инженеров, но цель Z.AI - максимально замкнуть этот контур.

И теперь на эту идею у компании есть ещё несколько миллиардов долларов.
🐠Sakana AI представила PC-ALM - метод обучения глубоких нейросетей без классического обратного распространения ошибки.

Главный результат: PC-ALM смог обучать нейросети глубиной до 1000 слоёв, используя только локальные взаимодействия между соседними слоями.

Обычное глубокое обучение почти полностью опирается на backpropagation: ошибка считается на выходе сети, после чего градиенты передаются назад через все слои.

PC-ALM работает иначе.

Каждый слой рассматривается как локальная динамическая система, которая пытается уменьшить собственную ошибку предсказания. Вместо глобального прохода градиента используются:

- локальные ошибки предсказания
- множители Лагранжа
- расширенный лагранжиан
- локальная динамика состояний
- PI-регуляция внутри каждого слоя

Метод вырос из predictive coding — подхода, популярного в NeuroAI. В predictive coding каждый слой постепенно корректирует своё состояние так, чтобы уменьшать рассогласование с соседними слоями.

Проблема в том, что в очень глубоких сетях такие сигналы плохо распространяются: информация об ошибке с выхода сети затухает раньше, чем достигает внутренних слоёв.

PC-ALM добавляет специальные двойственные переменные — по сути дополнительные нейроны, представляющие множители Лагранжа. Они помогают передавать сигнал ошибки через большое число слоёв.

Авторы связывают этот подход с классической работой Яна Лекуна 1988 года, где множители Лагранжа для многослойной сети можно связать с градиентами функции потерь.

В результате получается обучение, где глобальная задача оптимизации раскладывается на множество локальных динамических процессов.

Особенно хорошо PC-ALM показал себя на очень глубоких и узких сетях, где обычный predictive coding начинает ломаться.

Помимо NeuroAI, подход может быть интересен для нейроморфного железа: там локальные вычисления и физическая динамика потенциально дешевле классического backpropagation на GPU.

Блог: https://pub.sakana.ai/pc-alm/

Статья: https://arxiv.org/abs/2605.31022

Код: https://github.com/SakanaAI/pc-alm
Please open Telegram to view this post
VIEW IN TELEGRAM
Трамп жёстко прошёлся по Дарио Амодею и фактически отверг идею замедления гонки ИИ.

После призывов главы Anthropic снизить темп разработки frontier-моделей ради безопасности Трамп написал, что ИИ не нужны новые «ограничители», кроме «сильного и умного президента». Он отдельно упомянул Амодеи, обвинил противников ускоренного развития ИИ в игре на руку Китаю и заявил, что США уже обладают достаточными уголовными и регуляторными полномочиями над ИИ-компаниями.

Самая жёсткая часть:

> «Treasonists, Traitors, and Leakers, BEWARE!»


На этом фоне предложение Амодея о «Pacing the Frontier» - дать индустрии ещё 1–2 года на усиление контроля и безопасности, выглядит всё сложнее реализуемым на уровне США.

Гонку, похоже, тормозить никто не собирается.
📌Градация самосовершенствования ИИ по пяти уровням

Топовые китайские ИИ-лабы выпустили совместный обзор о рекурсивном самосовершенствовании ИИ (RSI) под названием «The Last AI Built by Humans».

RSI - это когда система сама превращает опыт в постоянные изменения себя и заодно меняет то, как будет улучшаться дальше.


Авторы разобрали 491 работу (статьи, техотчёты, блоги и системы) и разложили их по пяти уровням автономии, используя критерий, какие решения об улучшении отданы ИИ.

🟠L1. Люди задают, что улучшать, как и что считать успехом, а ИИ всё это выполняет.

🟠L2. Цель и оценка зафиксированы извне, но ИИ сам находит слабые места и выбирает, как их чинить.

🟠L3. ИИ вдобавок решает, какой опыт ему нужен для следующего круга.

🟢L4. Система меняет память, навыки, код или харнесс по обратной связи из реальной эксплуатации, и правки переносятся на следующие задачи.

🟢L5. Правке подлежит сам механизм улучшения - генератор кандидатов, оценщик, стратегия исследований. Изменённый механизм наследует следующее поколение.

Последний, L5, делится на два подуровня. Первый указывает на то, что изменённый механизм улучшения правда работает на следующем цикле. Второй строже - он выдаёт преемника сильнее прежнего при тех же ресурсах и по независимой проверке.

До L5 дошли 29 работ из 491 (5,9%), до L4 – 28 (5,7%), до L3 – 64 (13%). Три четверти остались на L1 (215 работ, 43,8%) и L2 (155, 31,6%).

У тех 29 работ, которым присудили L5, авторы не увидели устойчивого роста от поколения к поколению.


Существующие продукты крупных лабораторий в основном получили L1–L2 - это интерн-исследователь OpenAI, Automated Weak-to-Strong Researcher Anthropic и DeepSeek R1 – L2, Kimi K3 и Qwen-Agent – L1–L2.

Выше L2 поднялись самообучающиеся налоговые агенты OpenAI (кандидат на L4), Signals от Factory (L4), Darwin Gödel Machine и AI Scientist от Sakana AIAIDE2 от Weco AI – кандидаты на L5.

Дорожная карта Anthropic When AI builds itself помечена L5 только как цель.


@ai_machinelearning_big_data

#AI #ML #RSI #Research
Please open Telegram to view this post
VIEW IN TELEGRAM
🙂 Ян Лекун: Дарио Амодей считал GPT-2 опасной

На волне тряски публичных заявлений главы Anthropic о необходимости замедления разработки новых моделей, лауреат премии Тьюринга, Ян Лекун, раскопал записи, относящиеся к 2019 году, когда речь шла о GPT-2, чтобы высмеять Амодея.

Лекун утверждает, что когда Дарио работал в OpenAI, он считал её настолько опасной, что не следовало выкладывать в опенсорс.

"Я тогда ещё высмеял его, и теперь все должны продолжать высмеивать", - написал Лекун.


В 2019 году OpenAI действительно не сразу выпустила полную версию GPT-2 из-за опасений злоупотреблений, а сначала предложила небольшую модель.

В то время Дарио занимал должность руководителя отдела исследований в OpenAI. Через 9 месяцев OpenAI все же открыла полную версию, заявив, что убедительных доказательства серьезных злоупотреблений у неё не обнаружено.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Обвязка ИИ-агента: шесть решений

Знакомая картина. Агент рапортует, что задача закрыта, хотя тестовый прогон он так и не сделал. Первые двадцать минут он собран, потом забывает правило, которое вы дали ему в самом начале. Каждую сессию вы заново вставляете одни и те же три инструкции. И отойти нельзя: где-то обязательно висит очередное окно с запросом подтверждения.

Смена модели на более сильную тут не спасает. Всё перечисленное живёт в софте вокруг модели: что ей сообщают, что она запоминает, к чему её пускают и кто проверяет результат. Эта обвязка называется harness. Она у вас уже есть. Вопрос только в том, проектировал ли её кто-нибудь.

https://uproger.com/obvyazka-ii-agenta-shest-reshenij/
🚨 Инженер DeepSeek Шэнъюй Лю жёстко высказался о будущем AGI.

Он считает, что самый мощный ИИ не должен оказаться под контролем одной корпорации вроде Anthropic или OpenAI.

Лю написал, что если Anthropic будет контролировать самый передовой AGI, то, если сильно драматизировать, ставки можно сравнить с ситуацией, в которой Гитлер получил бы атомную бомбу раньше союзников.

Его позиция проста: передовой ИИ должен быть открытым, доступным и дешёвым для всех.

По его мнению, у будущего есть два крайних сценария: общество с максимально доступным ИИ или мир в духе Cyberpunk 2077, где технологии и ресурсы контролируют несколько корпораций.

Именно поэтому он объясняет свой выбор DeepSeek ставкой компании на более доступные и открытые модели.
🔐 Kubernetes User Namespaces - важная защита контейнеров от root-эскейпа

Идея простая: root внутри контейнера больше не обязан быть root на хосте.

Например:

Container UID 0 → Host UID 100000

То есть процесс внутри контейнера считает себя root, но на уровне хоста работает как непривилегированный пользователь.

В Kubernetes это включается через:

hostUsers: false

Что это даёт:

- изоляцию UID/GID контейнера от хоста
- снижение последствий container escape
- возможность ограничивать диапазоны UID через /etc/subuid
- дополнительный слой защиты без переписывания самого приложения

Важно: User Namespaces не заменяют seccomp, capabilities, AppArmor/SELinux и другие механизмы, а дополняют их.

Полезная вещь для тех, кто запускает контейнеры с UID 0 и хочет уменьшить blast radius при компрометации.
📘 OSTEP - 714 страниц про операционные системы, написанные двумя профессорами University of Wisconsin после почти 25 лет преподавания.

Первая глава называется буквально:

“A Dialogue on the Book”

Профессор и студент просто обсуждают, зачем вообще изучать операционные системы, ещё до появления первых терминов.

Дальше в том же стиле разбираются:

CPU virtualization, память, concurrency, persistence.

Подход очень сильный:

сначала интуиция → потом механизм → потом детали реализации

Поэтому OSTEP до сих пор остаётся одной из лучших бесплатных книг по ОС для разработчиков.

Читать бесплатно:
https://pages.cs.wisc.edu/~remzi/OSTEP/
Oracle провела очередную волну сокращений, по сообщениям сотрудников, под увольнение попали примерно 3–4 тысячи человек.

Отключения начались ещё до рассвета: около 4:00 сотрудникам стали закрывать доступ к внутренним системам, к 5:00–5:30 деактивировали Slack-аккаунты, а примерно в 6:00 разослали письма об увольнении.

Некоторые люди приехали в офис, не успев проверить почту, и уже на месте обнаружили, что их бейджи больше не работают.

Точный масштаб сокращений пока неясен, но отдельные команды, по словам сотрудников, потеряли около 10% состава. Число аккаунтов в рабочем Slack сократилось примерно на 3–4 тысячи.

Это не первая крупная волна увольнений Oracle в этом году: весной компания уже провела масштабные сокращения.
Состояние Трампа после выборов 2024 года выросло на $2,7 млрд и теперь оценивается в $7 млрд, сообщает Forbes.
💰 OpenAI обсуждает новый раунд с оценкой свыше $1,2 трлн

Это примерно на 41% выше мартовских $852 млрд. Переговоры находятся на ранней стадии, IPO ожидается не раньше 2027 года.

По данным WSJ:

* Аудитория OpenAI превысила 1 млрд активных пользователей.
* Выручка за второй квартал достигла $6,7 млрд, увеличившись примерно на 18% к предыдущему кварталу.
* Операционная маржа снизилась, а выход на прибыльность отодвинулся. [WSJ](https://www.wsj.com/tech/ai/openai-considers-pre-ipo-funding-round-at-more-than-1-2-trillion-valuation-54555295)

Для сравнения: Anthropic рассчитывает на оценку около $2 трлн при IPO, пишет Financial Times. Это ожидаемая оценка размещения, а не уже завершённая сделка.

https://www.ft.com/content/27509db8-b032-4437-9b2a-e909f466022f
Цена за баррель российской нефти Urals взлетела выше $110.
Media is too big
VIEW IN TELEGRAM
🔥 Один из создателей технологий, которые привели к ChatGPT, запустил модель, которая вообще не генерирует текст.

Диогу Алмейда после двух лет stealth представил TypeSafe AI и первую модель нового класса — Jev.

Идея радикально отличается от обычных LLM:

неструктурированные данные → типизированное решение → вероятность

Jev не пишет ответы словами. Вместо этого модель возвращает значения, которые программа может использовать напрямую: выбор варианта, оценку, вероятность события.

Для обучения TypeSafe разработала свой метод — RLCD (Reinforcement Learning for Calibrated Decisions).

По данным компании:

- отклик — 70–500 мс
- 20–200× быстрее frontier-моделей на таких задачах
- 40–400× дешевле
- input — $0,042 за 1 млн токенов
- output — бесплатно

Целевые сценарии: классификация, маршрутизация, scoring, extraction и автоматические решения внутри программ.

Важный нюанс: заявление «не галлюцинирует» означает прежде всего то, что модель не генерирует произвольный текст и работает в заданной типизированной схеме. Это не гарантия абсолютной правильности решения.

Jev уже доступен в early access. Цифры производительности пока в основном основаны на внутренних тестах TypeSafe.

https://x.com/Machinelearrn/status/2100178485641683200
This media is not supported in your browser
VIEW IN TELEGRAM
✔️ Agility Robotics представила робота для работы рядом с людьми на складах и заводах

Digit 5 - пятое поколение гуманоидного робота для логистики и производства.

Предыдущее поколение, Digit 4, почти 3 года работает на коммерческих площадках в Северной Америке у GXO, Schaeffler, Amazon и Toyota Motor Manufacturing Canada.


По словам Agility Robotics, это её первый гуманоид, которому для работы рядом с людьми не нужны защитные ограждения, привычные для промышленной автоматизации.

Несколько типов датчиков и собственные алгоритмы ИИ отслеживают людей поблизости. Робот обходит их, останавливается или приседает, а о своих манёврах предупреждает визуальными и звуковыми сигналами. За реакцию отвечает контроллер безопасности собственной разработки.

Digit 5 ростом 1,81 м и массой 129 кг может поднимать грузы до 22,7 кг (это на 40% больше предшественника) и достаёт до полок на высоте 2,2 м.

Захваты сменные и крепятся на фланцы стандарта ISO. Батарея рассчитана на 90 минут работы, заряжается за 9 минут и, по расчёту компании, робот может работать больше 20 часов в сутки.

Digit 5 уже собирают на заводе RoboFab в штате Орегон. Ранний доступ к новинке ожидается в первой половине 2027 года, общая доступность – к концу года. Цена не объявлена.

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
💡 Алгоритм Флойда находит цикл в связном списке всего с двумя указателями и `O(1)` дополнительной памяти.

Идея простая:

slow двигается на 1 узел
fast — на 2

Если цикл есть, они обязательно встретятся.

После встречи один указатель возвращаем в head, а дальше оба двигаем по одному узлу. Следующая точка встречи — точное начало цикла.


Node *detect_cycle(Node *head) {
Node *slow = head, *fast = head;

while (fast && fast->next) {
slow = slow->next;
fast = fast->next->next;

if (slow == fast) {
slow = head;

while (slow != fast) {
slow = slow->next;
fast = fast->next;
}

return slow;
}
}

return NULL;
}


Сложность:


O(n) по времени
O(1) по памяти


Один из самых красивых примеров того, как простая математика по модулю превращается в очень практичный алгоритм.
🔥 Большой гайд по миграции с Go на Rust

Для разработчиков переход обычно упирается не в скорость, а в гарантии корректности, runtime trade-offs и ergonomics.

Внутри подробно сравниваются:

go buildcargo build
go testcargo test
go vetcargo clippy
nilOption<T>
errorResult<T, E>
interfaces → traits
goroutines → async/await
-race → compile-time ограничения через Send / Sync

Отдельно хорошо показано, где Rust действительно выигрывает: data races, lifetime ресурсов, typed errors, отсутствие GC-пауз и более жёсткие гарантии компилятора.

Но автор не агитирует переписывать всё подряд: для большинства backend-сервисов Go остаётся достаточно быстрым и очень удобным.

Rust имеет смысл там, где цена runtime-багов уже выше, чем цена более сложной разработки.

Есть и практический раздел про постепенную миграцию сервисов, а не «rewrite from scratch».

https://corrode.dev/learn/migration-guides/go-to-rust/
🦀 NVIDIA официально идёт в native GPU programming на Rust

Теперь CUDA Rust позволяет писать GPU kernels прямо на Rust и компилировать их в PTX - без необходимости держать kernel-код на C++ или другом языке.

NVIDIA развивает сразу два подхода:

SIMT через `cuda-oxide`
- привычная CUDA-модель: один thread → одна операция
- полный контроль над потоками и памятью
- custom rustc backend → MIR → LLVM → PTX
- memory safety проверяется на этапе компиляции

Tile через `cutile-rs`
- работа не с отдельными потоками, а с блоками данных
- компилятор сам решает, как разложить вычисления по GPU
- stable Rust 1.89+
- CUDA 13.3
- уже используется в Hugging Face Grout и mistral.rs


Ownership и типы позволяют ловить часть GPU race conditions и aliasing-ошибок ещё до запуска kernel.

NVIDIA прямо пишет, что в 2026 году начинает всерьёз развивать CUDA Rust и планирует наращивать поддержку в 2027+.

Пока оба проекта ранние и не production-ready, но направление очень показательное:

`Rust → native GPU kernels → PTX → CUDA`

https://developer.nvidia.com/blog/introducing-cuda-rust-two-tracks-for-writing-gpu-kernels/
🚀 JetBrains обновила roadmap Kotlin: главный фокус - Multiplatform, Wasm и удобство разработки

Что сейчас в приоритете:

- довести Kotlin/Wasm до Stable
- ускорить KAPT до уровня Java APT
- улучшить incremental compilation в K2
- сделать новый JVM reflection
- перевести wasm-wasi на WASI Preview 2 и добавить Component Model
- продвинуть Swift Export из Alpha в Beta
- улучшить Xcode integration и Kotlin/Native debugger
- добавить импорт Swift Package Manager пакетов
- развивать Kotlin LSP и поддержку VS Code
- выпустить единый Kotlin Toolchain
- добавить first-class поддержку JPA/Hibernate для Kotlin stdlib types
- стабилизировать kotlinx.serialization, kotlinx.collections.immutable и kotlinx-io
- выпустить Kotlin DataFrame 1.0
- добавить HTTP/3 и gRPC в Ktor

Из уже завершённого: Swift 6.3 support, multi-module compilation для Kotlin/Wasm, Navigation3 для Compose Multiplatform и 18-месячное окно security fixes для stdlib.

Главное направление видно очень чётко: Kotlin всё сильнее двигается в сторону полноценной кроссплатформенной экосистемы — JVM, iOS, WebAssembly и web.

Следующее обновление roadmap запланировано на февраль 2027.

https://kotlinlang.org/docs/roadmap.html