172 subscribers
125 photos
47 videos
99 files
621 links
ALGORITHMS MACHINE LEARNING
Download Telegram
OpenAI показала GPT-5.6 Sol — модель, которая по одной короткой команде исследователя сама дообучила меньшую модель Luna: подобрала настройки, выбрала GPU, запустила и проверила обучение без пошаговых указаний человека

На внутреннем тесте рекурсивного самоулучшения (RSI) Sol обошла GPT-5.5 на 16.2 балла

Anthropic ранее говорила, что полного самоулучшения пока нет, но оно «может наступить раньше, чем готово большинство институтов» — и что люди уже принимают лишь единицы процентов ключевых решений за Claude
Почему_нейросеть_пока_не_умеет_мыслить.pdf
2.9 MB
Есть довольно удобная иллюзия: если языковая модель выдала новую, логичную и технически убедительную идею, значит она уже почти сравнялась с человеком в научном мышлении

Авторы новой работы решили проверить не качество отдельных ответов, а сам «вкус» исследователя — то, какие проблемы человек и модель замечают в одной и той же литературе и каким способом пытаются их решить

Для этого взяли 11.683 опубликованные работы по машинному обучению и естественным наукам, восстановили набор предшествующих статей, из которых могла родиться каждая работа, а затем показали этот же контекст разным LLM

Человеческой идеей считалась реально опубликованная статья, модель должна была предложить собственное продолжение на основе тех же исходных материалов

Разрыв обнаружился не столько в том, способны ли модели придумать что-то разумное, сколько в том, насколько однообразно они это делают

Когда LLM видит рядом несколько работ, её любимый ход — найти между ними связь и предложить всё объединить: совместить два метода, связать разные направления, интегрировать данные, построить единую архитектуру

Среди человеческих идей только 12.1 % были построены вокруг такого «моста» между существующими подходами
У моделей этот показатель составлял от 47.1 до 64.2 %

Аналогичная картина с методами: синтез и объединение были главным приёмом лишь в 5.1 % человеческих работ, но в 22.5–38.7 % идей, созданных нейросетями

Получается, что модель часто действительно предлагает полезный проект, но делает это по одному и тому же рецепту: возьмём известную технологию, добавим к ней ещё одну известную технологию и объявим их соединение новым исследованием

Человеческие идеи устроены иначе

Исследователь гораздо чаще замечает конкретную трещину внутри уже существующего механизма: неверное допущение, смешение двух эффектов, плохо работающий модуль, отсутствие объяснения или способа измерения

Поэтому в человеческих работах чаще встречаются действия вроде «заменить», «разделить», «формализовать», а не просто «объединить»

Например, модель может предложить соединить мультимодальную систему с адаптацией во время тестирования и получить универсальную архитектуру

Человек скорее спросит, почему конкретный компонент перестаёт работать при изменении данных, отделит влияние одного фактора от другого и заменит наиболее хрупкую часть системы

В первом случае идея выглядит масштабно и современно, во втором — может звучать скромнее, но точнее попадает в настоящий научный тупик

Особенно интересно, что расширенное рассуждение не исправило проблему

В режиме thinking модели не стали ближе к человеческому распределению идей, а, наоборот, ещё сильнее закрепились в привычном шаблоне

У Qwen доля идей, построенных на соединении разных подходов, выросла с 49.7 до 71.1 %, а доля методов синтеза — с 38.7 до 52.2 %

То есть дополнительное «мышление» в данном случае не расширило пространство вариантов, а помогло модели убедительнее и последовательнее прийти к своему любимому ответу

Даже полный текст предыдущих исследований вместо одних аннотаций не решил проблему: больше контекста не обязательно означает другой способ видеть проблему

Из этого, конечно, не следует, что LLM бесполезны для науки
Они прекрасно ускоряют поиск связей, перебор комбинаций и упаковку ещё неоформленной мысли

Но пока модель скорее сильный комбинатор, чем носитель исследовательского вкуса

Она умеет быстро построить мост между уже известными объектами, но реже замечает, что один из этих объектов вообще нужно разобрать, переопределить или выбросить

Поэтому наиболее продуктивная работа с нейросетью начинается не с просьбы «придумай новую идею», а с человеческого указания на точный конфликт: что здесь не объяснено, какое допущение кажется ложным, где система ломается и какой механизм мы на самом деле хотим понять

Нейросеть может развить такую постановку гораздо быстрее человека, но сам выбор того, куда смотреть, пока остаётся главным человеческим преимуществом
Внутреннее письмо с изложением понимания компанией предстоящей гонки за AGI

В письме Anthropic — ролевая модель
Они сделали AI Coding основой своего заработка, так же как и создатели Claude.

Вот 4 приоритета на ближайшие 2 года:

Создание Long Horizon Task -
модели, способные самостоятельно планировать и выполнять проекты длиной в недели и месяцы, а не только отвечать на вопросы

Разработка Fully Autonomous Agent Systems (NPC: No Person Company) - переход от «компании одного человека с AML» к полностью автоматизированным компаниям без людей

Self-Evolution - сам себя обучает: пишет код, генерирует синтетические данные, перестраивает себя и тд.

Безопасность - встроенная этика и ценности в модель + серьёзные инвестиции в понимание, почему модель принимает те или иные решения

Если вам кажется, что все это уже где-то звучало - вы не ошиблись
Потому что это дословно повестка Anthropic, OpenAI и Google DeepMind
Forwarded from ARI (НИИ Антропогенеза) (Chagin Oleg A.)
Индустрия искусственного интеллекта сегодня движется по ложной траектории

Глобальная гонка моделей — это гонка в тупик
Увеличение параметров, улучшение бенчмарков, ускорение инференса — все это создает видимость прогресса, но не формирует стратегического преимущества

Причина проста: все игроки опираются на один и тот же слой публичных данных
Это не актив
Это доступный фонд

В такой конфигурации невозможно выиграть
Можно только незначительно опережать

Реальное преимущество формируется в другой зоне — в контроле над закрытыми данными

Медицинские системы, финансовая аналитика, оборонные контуры, корпоративные архивы исследований

Это данные, которые не тиражируются, не скрапятся и не выносятся наружу

И именно здесь сегодня происходит перераспределение власти

Показательно, что часть игроков сознательно вышла из гонки моделей
Они делают ставку на инфраструктуру доступа к данным
Это более высокий уровень контроля
Не создавать интеллект, а определять, чем он может оперировать

Это стратегически сильнее

Ключевой момент — архитектура работы с данными
Классическое обучение означает: данные безвозвратно встраиваются в модель
Это утрата контроля
Это фактическая передача актива

Альтернативный подход — вычисление внутри периметра данных

Модель не забирает данные, а работает с ними на месте
На выходе — только результат

Это технологический суверенитет

Отсюда следует прямой управленческий вывод: конкуренция смещается с разработки моделей на контроль контуров данных
И те, кто продолжает инвестировать исключительно в «умнее модель», стратегически проигрывают тем, кто выстраивает контроль над источниками знания

Необходимо четко зафиксировать: ценность определяется не его «интеллектом», а границами доступа

Кто определяет эти границы — тот определяет границы будущего

Это не новая логика
Это воспроизводство базового принципа власти: контроль над знанием важнее инструмента его обработки

Это означает смену приоритетов

Нужно:
• инвентаризировать собственные массивы данных как стратегический актив
• выстроить режимы их изоляции и управляемого доступа
• внедрить архитектуры вычисления без извлечения данных
• прекратить рассматривать модели как объект инвестиций

Модель — это расходный элемент
Данные — это власть

Те, кто это понимает, будут задавать правила
Остальные — работать по чужим
Sakana вместе с командой из IT University of Copenhagen и Autodesk Research создали Smart Cellular Bricks - это новый трек к самоосознающим модульным роботам и умным материалам, которые сами понимают, что из них собрано и могут самовосстанавливаться

Команда взяла простые кубики - печатные платы с микроконтроллером и 6 коннекторами
Загрузила в каждый одинаковую маленькую нейросеть
Собрала из них стол, самолёт, лодку, гитару
И ни один кубик не знает, что он часть стола

Каждый видит только соседей
Спрашивает: что ты видишь? Обновляет своё мнение
Передаёт дальше
Через ~60 итераций - три минуты реального времени, вся конструкция из 197 кубиков приходит к единому ответу
Причём без центрального компьютера, карты и дирижёра

Точность в симуляции достигла 98.97 %, а на физическом железе 100 % по всем четырём формам

Но самое интересное в том, система умеет не только распознавать форму, но она обнаруживает повреждения и умеет «отрастать» обратно

Начиная с нескольких кубиков, конструкция постепенно наращивает себя в направлении, которое указывают существующие элементы, пока не перестанет чувствовать дефекты

Планария в мире электроники

Скрытые каналы нейросети самостоятельно выучили морфогены - градиенты, похожие на те, что задают оси развития эмбриона
Никто этому не учил

То есть это не очередная языковая модель и не робот с камерой
Это попытка вложить интеллект в сам материал, внутрь
Каждый элемент становится частью распределённого мозга
Нобелевские лауреаты, лидеры AML-индустрии и экономисты призывают срочно действовать в части реформ экономики из-за влияния AML

AML экономика в ближайшие 10 лет вызовет беспрецедентную трансформацию, значительнее чем промышленная революция, но намного быстрее

Такие люди, как Джефф Дин,Google, Йошуа Беджио, несколько человек из Anthropic и OpenAI, инвестор Виход Хосла, Макс Тегмарк, Эрик Шмидт, ex-Google, и тд. призывают к немедленным действиям:
• глубоко изучать экономические последствия продвинутого ИИ.
• разрабатывать меры поддержки, которые максимизируют пользу и минимизируют вред особенно для рынка труда

Вот тут последние материалы:

- какие ниши ещё не заняты в экономике AML
тут

- как
меняется сервисный/консалтинговый бизнес из-за внедрения AML

- свежий
отчет как бизнес интегрирует в свою работу AML
Eсть разбивка как на страны - лидеров, так и на СЕО и простых специалистов

- одна из денежных составляющих в экономике AML будут
задачи
Инвесторы их оценивают как отдельный триллионный рынок
Подборка англоязычных ресурсов для изучения IT

stackoverflow.com — главная база знаний для разработчиков
hackaday.com — железо, электроника, встраиваемые системы, DIY-проекты
hashnode.com — блог-платформа для разработчиков
anandtech.com — форум по железу, процессорам, видеокартам, сборке ПК и софту
reddit.com — огромные сообщества: r/programming, r/MachineLearning, r/webdev.
news.ycombinator.com — Hacker News
dev.to — DEV Community. Соцсеть для программистов, посты выходят каждый день
freecodecamp.org — тысячи бесплатных гайдов по JavaScript, Python, алгоритмам и веб-разработке
medium.com — блоги инженеров из FAANG и независимых экспертов.
github.com — трендовые репозитории, open-source проекты, обсуждения в issues и PR
huggingface.co — главное сообщество по AI и ML
arxiv.org — свежие научные препринты по CS, ML, AI, математике
paperswithcode.com — к каждой статье прилагается код
Для ML-инженеров
openai.com/blog — официальный блог OpenAI
deepmind.com/blog — блог Google DeepMind
infoq.com — статьи и видео про архитектуру, микросервисы, DevOps, CI/CD
sdtimes.com — новости индустрии разработки ПО
codinghorror.com — блог Джеффа Этвуда (сооснователь Stack Overflow)
newsletter.pragmaticengineer.com — глубокий разбор инженерных практик и управления командами
w3schools.com — справочник по HTML, CSS, JavaScript, SQL, Python
learn.microsoft.com — бесплатные курсы и документация от Microsoft
edx.org — курсы от MIT, Гарварда, LinuxFoundation.
classcentral.com — поисковик бесплатных IT-курсов по всему интернету
overapi.com — шпаргалки по языкам программирования и инструментам
explainshell.com — расшифровка сложных команд в терминале
tldp.org — классическая документация по Linux
opensource.com — статьи про open-source, лицензии, управление проектами
dodgycoder.net — блог про безопасность и уязвимости
krebsonsecurity.com — расследования и новости о кибербезопасности
thehackernews.com — дайджест новостей по безопасности и хакерским атакам
portswigger.net/research — исследования веб-уязвимостей от авторов Burp Suite
owasp.org — стандарты и чек-листы по безопасности приложений
cve.mitre.org — база известных уязвимостей
nginx.com/blog — всё про веб-серверы, балансировку и производительность
cloud.google.com/blog — облачные технологии от Google
aws.amazon.com/blogs — блог AWS с кейсами и архитектурными решениями
kubernetes.io/blog — официальный блог Kubernetes
docker.com/blog — контейнеризация и оркестрация
git-scm.com/doc — официальная документация по Git с примерами
json.org — описание формата JSON
http.cat — коды HTTP-ответов с забавными картинками
devhints.io — компактные шпаргалки по технологиям
roadmap.sh — визуальные карты обучения для фронтенда, бэкенда, DevOps, ML
exercism.org — практика программирования с задачками и менторами
codewars.com — тренировка алгоритмов прямо в браузере
leetcode.com — подготовка к собеседованиям, задачи с разбором
hackerrank.com — челленджи по алгоритмам и SQL
geeksforgeeks.org — объяснение алгоритмов и структур данных простым языком
programiz.com — обучение с интерактивным запуском кода
realpython.com — качественные статьи по Python
pypi.org — индекс всех пакетов Python
npmjs.com — реестр пакетов для JavaScript / Node.js
crates.io — реестр библиотек для Rust
В начале июля Гарвардская школа права предложила кинологическую AI

Предлагают перейти от расплывчатых разговоров о рисках к конкретному анализу AI, которые уже способны самостоятельно действовать в мире

AI они располагают по двум осям: опасности и одомашненности, то есть наличию у них контролирующего и отвечающего за последствия «хозяина»
 
В результате получается 4 типа агентов.
- Шпиц-померанец не больно опасен: если и укусит, то вред будет не большой, и вы сможете взыскать по суду с его хозяина
- А питбуль опасен: хотя у него может быть тот же хозяин, но дрессировать питбуля и уж тем более удержать его куда труднее
- У лисы нет хозяина, но вред от нее скромный
- У волка же нет ни хозяина, ни потолка ущерба (может и насмерть загрызть)
 
Рамка пятнадцати самым мощных моделей
Результат: девять питбулей, шесть волков, ни одного померанца и ни одной лисы (потому что слабых моделей среди фронтирных уже нет)
 
Питбули – Claude, GPT-5.6, Gemini, Grok и корпоративные флагманы вроде ERNIE и Hy3 – остаются на привязи не потому, что их создатели добрее прочих
Они малочисленны, видны и капитализированы: каждого можно засудить, лишить лицензии, заставить отчитываться перед государством
Это сейчас и происходит – причем не только с Anthropic после истории с экспортным контролем на Fable и Mythos, но и с OpenAI, чей GPT-5.6 тоже прошел стадию ограниченного превью по требованию Вашингтона перед публичным релизом
 
Волки – DeepSeek, Kimi, GLM, Mistral, Nemotron, MiniMax – опасны иначе: веса открыты, копирование бесплатно, а личность оператора теряется в момент скачивания
 
N.B. Здесь ключевой нюанс, который легко упустить: это не два сорта компаний, а две стратегии одной гонки
 
Неделю назад о логике вершины и логике плотности применительно к США и Китаю
Та же развилка работает и на уровне отдельных модели
• Вершина держит немногих на коротком поводке именно потому, что их немного
• Плотность выигрывает числом – а числом выигрывают, только раздавая копии без ошейника
 
Прогноз на два-три года: эти стратегии не придут к равновесию

Поводок на вершине будет затягиваться дальше – закрытые классификаторы, NDA, координация с правительством станут нормой для каждого следующего релиза уровня "выше Opus", а не разовым исключением

У основания пирамиды плотность продолжит расти быстрее, чем любой юридический аппарат (хоть личность, хоть инкорпорация для ИИ) успеет за ней угнаться
Разрыв между вершиной и плотностью не закроется
Он будет шириться

И населять этот разрыв станут не волки с известной родословной, идущей от вендора, а нечто совсем неуловимое – этакие волки-призраки — искусственные короткоживущие интеллектуальные идентичности, появляющиеся в нашем мире под конкретные задачи и растворяющиеся раньше, чем кто-либо успеет подать на них иск

Так что года через три вопрос Вайнстока "чей это волк" никто уже не будет задавать
Вместо этого лучшие юристы мира будут ломать голову над неразрешимой задачей – как судиться с тем, что перестало существовать раньше, чем обнаружился ущерб
Книга по изучению Linux, которая содержит в себе более 50 страниц информации!
Будет полезно не только начинающим, но и опытным специалистам

https://books.goalkicker.com/LinuxBook/

P.S. Не забывайте про подборку бесплатного материала для изучения Linux, которая будет полезна не только новичкам, но и опытным специалистам!
Media is too big
VIEW IN TELEGRAM
Принцип Гюйгенса [1987] ШколФильм

Кинофрагмент рассказывает о законах, которым подчиняются волны при отражении от границ раздела сред и при переходе из одной среды в другую

Лишь во второй половине XVII в. Х. Гюйгенс предложил принцип, который смог объяснить геометрическую оптику

Принцип Гюйгенса гласит, что каждая точка среды, до которой дошла волна, сама становится источником волны

И волновая поверхность в следующий момент времени является огибающей всех этих волн от вторичных источников

Хотя принцип Гюйгенса впервые был применен именно к свету, этот принцип легче всего понять на механической аналогии, поскольку он не зависит от физической природы волн

В самом деле, если поглядеть на образование волн на поверхности воды, можно убедиться, что их распространение обусловлено именно тем, что молекулы воды, до которых дошло колебание, сами начинают колебаться и передают колебания соседним молекулам

Препятствия прекращают распространение волн именно потому, что они не дают колеблющимся молекулам воды быть вторичными источниками
Anthropic аккуратно пишет, что в одной из их моделей они нашли структуру, похожую на гипотезу глобального рабочего пространства Баарса–Деана

Это не означает, что «нейросеть обрела человеческое сознание»

Во‑первых, сама теория глобального рабочего пространства — это гипотеза о том, как может быть устроено сознание, а не доказанный факт

Во‑вторых, Anthropic честно говорит: «мы нашли что‑то, аналогичное кусочку гипотезы»

На самом деле математическая архитектура больших языковых моделей устроена иначе, чем биологический мозг

Они работают в режиме стимул–реакция: пришёл запрос — модель сделала вывод — отвалилась в тишину до следующего запроса

Сознание же, если следовать тем же Баарсу и Деану, это непрерывная динамика, поток процессов в мозге, который не останавливается между вопросами

Поэтому каждый раз, когда вы читаете заголовок в духе «Искусственный интеллект осознал себя», полезно сделать паузу и задать два простых вопроса

Первое: о какой конкретной модели или системе идёт речь?

Второе: о какой теории сознания или мышления её авторы говорят и насколько она сама является гипотезой?

В 99 % случаев окажется, что перед вами не «проснувшийся цифровой мозг», а очень аккуратный научный текст, который сильно перекрутили по пути от препринта до новостной ленты
Включили поддержку формул в сообщениях

Обычно этой формулой только любуются, я бы хотел рассказать и доказательство

(лекция Ф.В. Петрова «Ряд плюс цепная дробь» на ЛШСМ-2024)

mathnet.ru/present43360
Знаменитая задача (базельская проблема) о сумме обратных квадратов решена молодым Леонардом Эйлером (Leonhard Euler) в 1734 году и названа в честь его родного города Базеля
Потом ее решали разными методами Коши Augustin Louis Cauchy, Риман (Bernhard Riemann) и другие титаны
Базельская проблема оказала влияние на развитие теории чисел и анализа

Остается наивный геометрический вопрос: а при чем тут Пи, отношение длины окружности к диаметру и возведено в квадрат?
Видео от 3dlue1brown дает остроумный ответ на эти вопросы, связывая ряд с интенсивностью света от серии лампочек
Это новое доказательство Базельской Проблемы красиво и понятно школьникам

https://youtu.be/d-o3eB9sfls?is=uVkLiz9JYcuqfrQz
С физикой — в путь,
С математикой — в суть
PrismML анонсировал самую крупную модель в мире для запуска на смартфоне

В представленной модели Bonsai 27.000.000.000 параметров
Обычно на телефоне такую модель не запустишь: в сыром 16-bit она будет занимать примерно 54GB, и даже если сжать ее до 4-bit, все равно будет около 18GB
На смартфон не поместится

Bonsai же, при своем внушительном размере, оптимизирован именно под локальный запуск
Модель основана на Qwen3.6-27B, но разрабочики использовали не обычное квантование AKA округление весов, а технику Quantization-Aware Training

Это значит, что веса не обрубали, а учили постепенно адаптироваться к дискретным значениям
Технически, на прямом проходе веса округляются до дискретных значений, и модель считает предсказание уже с ними, как в финальной сжатой версии
Но на обратном проходе градиенты вычисляются так, будто округления не было, и это позволяет модели получать осмысленный сигнал для обновления весов, несмотря на то что сами веса дискретны
То есть модель как бы сама подбирает, как масштабировать свои веса наилучшим образом

Собственно, благодаря такой инженерии, модель сохраняет свыше 90 % качества полноразмерной версии, и при этом занимает в 9–14 раз меньше памяти (см.метрики в таблице)

Для обычного квантования, которое съедает львиную долю качества, это просто феноменальные цифры

Есть тернарный вариант (веса −1, 0 или +1; занимает ~5.9GB) и классический 1-bit (3.9GB)

Второй легко укладывается в iPhone 17 Pro
Оба варианта мультимодальные
Контекст 262K токенов
Опенсорс под лицензией Apache 2.0, вот веса: huggingface.co/collections/prism-ml/bonsai-27b

CEO PrismML заявил, что ведет переговоры с Apple по поводу использования технологии стартапа в их устройствах
Аналитики из a16z свели данные по затратам на алгоритмы в компаниях и нарисовали вот такие интересные картинки

Если кратко, они посчитали, что в топ-1% компаниях распределения расходы на ANL-токены в расчете на одного сотрудника практически сравнялись с средней годовой зарплатой инженера

При этом за последнее время рост был экспоненциальным, так что при таком векторе развития к концу года инженеры уже будут сильно проигрывать LLMкам в зарплате
Oбещали, что будет наоборот

И это речь только про явные затраты
Если копнуть глубже, то оказывается, что помимо затрат на токенытакже генерирует множество новых рабочих мест: второй график показывает, что компании с высокой интенсивностью использования алгоритмы за 2 года после внедрения нарастили штат на +10.2 %, тогда как компании с низкими расходами на алгоритмы остались практически на месте, штат почти не изменился. (Но это всего лишь корреляция, которая может объясняться и другими факторами
Древняя математика почти всегда анонимна: расчёты дошли, а имена тех, кто их вывел, растворились
Поэтому надпись на стене в гватемальском Шультуне — случай редчайший

Комнату раскопали ещё в 2011 году, а разобрались только сейчас
Стены расписаны фигурами людей и иероглифами, между которыми втиснуты вычисления по календарям

По таким расчётам майя решали, когда короновать царя
Хизер Хёрст, археолог из колледжа Скидмор, и её коллеги считают, что здесь сидели писцы, делавшие кодексы в середине VIII века

Внимание притянул Текст 19: L-образная группа из одиннадцати иероглифов высотой 10 сантиметров
Первые девять кодируют календарь и астрономические циклы и здесь начинается красота

Формула построена вокруг цикла в 2920 дней
Число не случайное: в нём сходятся два независимых небесных ритма
Пять оборотов Венеры по 584 дня дают ровно 2.920
Восемь солнечных лет по 365 дней — тоже 2.920

Раз в восемь лет Венера и Солнце будто пожимают друг другу руки, и майя это поймали
А дальше автор связал те же 2.920 дней с виналем (20 дней), цолькином (священные 260), туном (360) и марсианскими годами по 780

А в конце текста нашлось то, чего в таких надписях не находили никогда
В предпоследнем иероглифе — оборот «так говорит»
В последнем — имя Сак Тан Ваш
В переводе, «Белогрудая лиса»
Первый математик-астроном майя, которого мы знаем поимённо: он подписал работу

Антрополог Херардо Альдана из Санта-Барбары считает подпись важнее формулы: раз математику подписывали, значит, математиков у майя ценили наравне с художниками
А Хёрст с коллегами ставят Сак Тан Ваша в один ряд с Архимедом, Птолемеем и аль-Хорезми

Основания есть: майя владели позиционной записью, продвинутой арифметикой, алгебраическими отношениями, отрицательными числами и множителями
Но геометрии у них так и не появилось
«Они не улавливают, что есть геометрия, которой можно моделировать затмения куда точнее, чем алгеброй», — говорит Альдана
Причину он видит в изоляции: греки взяли геометрию у египтян, исламский мир и Индия — у греков, Европа — у ислама
Идеи ходили по кругу
А у майя культура была одна