129 subscribers
94 photos
21 videos
57 files
488 links
ALGORITHMS MACHINE LEARNING
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Экспонента представляет собой математическую функцию вида e^x, где e — это иррациональное число, называемое числом Эйлера

Термин происходит от латинского слова «exponere», что означает «выставить вперед» или «показать»

Значение числа e составляет примерно 2.71828 и продолжается бесконечно без повторяющихся последовательностей

Экспоненциальная функция обладает уникальным свойством: скорость ее роста в каждой точке равна значению самой функции в этой точке
Composer 2 и Kimi K2.5 одна и та же базовая модель

Moonshot лично поздравили Cursor с релизом, заявили, что гордятся, что их модель послужила базовой, и уточнили, что вообще-то Cursor использует Kimi-k2.5 не напрямую, а через хостинг и инференс-платформу Fireworks AI
Уже рассказывали про DS Lab – нашу облачную IDE, где можно запускать проекты любой сложности на мощном арендованном железе (H100, H200 и т.д.)
Не нужно тратить время на настройки и разбираться с окружением: вы выбираете нужную конфигурацию одной кнопкой и тут же начинаете работать в своем проекте

Теперь добавили в DS Lab кодинг-агента, и он работает прямо в тг:
@data_secrets_bot

Пишете задачу в чат, агент сам запускает проект, пишет код, создает файлы, скачивает данные, запускает скрипты и обучает модели

Таким образом можно работать на удаленных ресурсах с проектом любой сложности, даже если под рукой только телефон, а компьютер выключен

Весь ваш код, файлы и состояние сохраняются в DS Lab
Можно вернуться в любой момент или открыть тот же проект в облачной IDE с любого устройства

Агент доступен на всех тарифах
На выбор – лучшие SOTA-модели рынка

Пробуйте в
@data_secrets_bot
В «Хабре» обсуждается проблема использования искусственного интеллекта в образовании, в частности, сможет ли AML заменить учителя и репетитора

Аргументы ЗА
Доступность 24/7
Репетитор спит ночью, AML- нет
Если озарение пришло в три часа ночи перед экзаменом, то нейросеть всегда готова откликнуться на зов

Бесконечное терпение
Человек-репетитор, объясняя одно и то же в пятый раз, начинает незаметно закипать (даже самый добрый)
Нейросеть объяснит 500-й раз теми же словами, с той же интонацией
Не надоест

Полная персонализация
Как подчеркивает эксперт РТУ МИРЭА, AML не просто добавляет удобные функции к существующим курсам - он полностью меняет саму логику обучения
От унифицированного подхода к индивидуальному, от шаблонных упражнений - к адаптивным сценариям

Цена
$20 в месяц против ₽2.000 в час - выбор очевиден для большей части населения
Кроме того, как отмечает специалист РГСУ, заменить учителя на AML экономически более выгодно, чем готовить преподавателя, а затем оплачивать его работу

Огромная база знаний
Один репетитор помнит свою узкую тему
AML помнит всё
Он может одновременно объяснить уравнение, написать сочинение по литературе и набросать код на Python

Мгновенная обратная связь
Не нужно ждать следующего занятия, чтобы узнать, правильно ли решил задачу
AML ответит сразу
В обучении чем быстрее обратная связь, тем быстрее прогресс

Аргументы ПРОТИВ
Образование - это социальный процесс, руководитель Секции ЮНЕСКО по технологиям и AML в образовании, формулирует жестко: «AML может управлять передачей данных, но он не способен управлять развитием человека
Образование по своей сути является социальным, человеческим и культурным процессом, а не технической загрузкой данных»
Идея о том, что AML способен заменить учителей, это, по ее словам, фундаментальная ошибка
Сведение роли педагога к функции администратора данных подрывает саму основу обучения

Миф о персонализации
То, что часто называют персонализацией обучения с помощью AML, на деле представляет собой, как выражаются в ЮНЕСКО, «стандартизированную индивидуализацию» - учащийся в одиночестве перед экраном следует алгоритмическому маршруту
Подлинное обучение носит социальный характер

Миф о скорости
В доминирующих дискуссиях об AML успех измеряется тем, как быстро ученик находит правильный ответ
Но в образовании скорость часто является врагом глубины

Галлюцинации
Нейросети врут и делают это уверенно и красиво

Проблема мотивации
Чтобы заниматься с AML, нужна железная самодисциплина
Потому что в любой момент можно закрыть вкладку и пойти смотреть тиктоки
Репетитор физически присутствует, ждет ответа, давит авторитетом
Для многих учеников (особенно детей) внешний контроль - единственное, что заставляет двигаться

Обучение плагиату
Это обратная сторона доступности
Легче скопировать готовое решение, чем вникнуть
AML не ругается, не стыдит, он просто выдает ответ
В итоге отключается критический анализ
Навык решения не формируется

Этические вопросы и приватность
Все диалоги с ChatGPT уходят в никуда (точнее, в сервера OpenAI)
В образовании, особенно детском, вопросы приватности - это не паранойя, а реальная проблема
Воображаемая логика вносит в логику принцип относительности, основной принцип нового времени

Логик может быть много, смешным самомнением мне представляется убеждение, что все мыслящие существа связаны логикой Аристотеля
Основоположник отечественной школы искусственного интеллекта Дмитрий Александрович Поспелов об ограниченности ИИ:

...Пишутся расска­зы, стихи, что называется, по алгоритму "как у такого-то"...
Но в искусстве этому есть имя — эпигонство.

Творчество же предполагает но­вые мысли и образы.
Оно тем и отличается от эпигонства, что его источник — жизнь, а не описание жизни

Возьмите пушкинское "Я вас любил...".
Что здесь программировать? Стихотвор­ное изложение цепи "любил... страдал ... разлю­бил... будь счастлива"? Получится банальщина.

У Пушкина ведь говорят не только слова.
Такое мо­жет написать лишь человек, который действительно лю­бит сильно и самоотреченно

Любовь и ЭВМ — вещи далекие

Эту мысль впервые высказал американский кибернетик Хьюберт Дрейфус: "Мышление без физическо­го тела, находящегося в фи­зическом мире, невозмож­но"

И это один из аргументов против воз­можности создания полноценного ИИ, поскольку машинная программа "живет" не в физическом мире, а в ми­ре символов.
Отсутствие физического тела ведет к тому, что ма­шина "ничего не хочет".
Она не знает ни любви, ни голода, ни усталости, ни по­требности в комфорте

Ну, а так как никаких потребностей у машины пока нет, то она и не в состоянии сама выбирать цели своего пове­дения и, стало быть, без по­нуждения человеком остает­ся мертвой грудой метал­ла...

ИИ будет возможен, если машина сумеет са­ма осуществить весь мыслительный процесс, начиная от выбора задачи. Пока же за нее решает программист

И даже если мы сымити­руем в машине челове­ческие потребности и чувст­ва, это не будет гаран­тией того, что она сможет создать второе "Я вас лю­бил".
Может быть, она со­здаст что-то не менее вели­кое, но... для себе подоб­ных

Представляете, картина — машина-чита­тель вводит в себя стихи машины-поэта и от наслаж­дения меняет ток в питаю­щем трансформаторе. Но мы-то будем подходить к ней с нашими мерками!
Она должна будет отражать не свои, а наши чувства, а для этого мало имитировать че­ловека, — надо быть чело­веком

Из интервью "Литературной газете" 28 апреля 1976 года
Попросите самую умную нейросеть сложить в столбик два случайных 30-значных числа, и она почти наверняка выдаст уверенный, но совершенно неправильный ответ

Потому что современные AML не умеют думать «пошагово» Они смотрят на весь пример целиком и пытаются статистически «угадать» ответ
Из-за этого в машинном обучении есть нерушимое правило: чем длиннее математический пример, тем глупее становится нейросеть

С каждой новой цифрой вероятность ошибки растёт

Корпорации пытаются решить это грубой силой, скармливая AML терабайты данных, но архитектурная проблема остаётся

Он пошёл совершенно другим, изящным путём

Вместо создания очередного неповоротливого монстра он собрал микроскопическую нейросеть всего на 3.851 параметр

Для понимания: в ChatGPT их сотни миллиардов, а программа автора «весит» буквально пару десятков килобайт — меньше, чем одна фотография на вашем телефоне!

Свою архитектуру он назвал «Бикамеральный разум» (двухкамерный мозг)
Суть гениально проста: сеть жёстко разделена на две части
Первая часть («Голос») только читает пример
А вторая («Автомат») работает как слепой рабочий
Она не пытается угадать ответ, а просто шаг за шагом складывает цифры, честно держа «единицу в уме», как обычный калькулятор

Обучив свою микросеть, автор обнаружил математическую аномалию, аналогов которой просто нет в мировой открытой науке

На коротких простых примерах (сложение двузначных чисел) сеть иногда ошибалась — её точность составила 97.8 %

Но когда ей дали складывать огромные 30-значные числа — её точность внезапно выросла до идеальных 100 %!

Задача усложнилась в 15 раз, а крошечная нейросеть поумнела и перестала ошибаться вообще
Этот парадокс автор назвал «Инверсией сложности»


То, что сделал автор, — это элегантное доказательство того, что для создания умного, абсолютно логичного AML нам не обязательно строить монструозные дата-центры, сжигающие электричество целых городов

Иногда правильная, математически выверенная архитектура размером с простой текстовый документ способна решать строгие алгоритмические задачи лучше, чем корпоративные гиганты за миллиарды долларов
Классическая точка зрения на математику, которая для многих представляет собой фундаментальную мотивацию философского исследования, состоит в том, что она представляет собой знание, имеющее характер необходимости и неизбежности

Такой характер математики, видимо, «не от мира сего», порождает определенную проблему согласования его с безусловным и признанным аспектом ее применимости к самому этому миру, которому она не принадлежит

Отмечается в этой связи удивительный успех ее приложений или ее непостижимая эффективность

Оба взгляда восходят к Платону, который рассуждал как о божественной натуре математики (кто ей не владеет, не может быть богом или героем, способным служить человечеству), так и о ее универсальном присутствии во всех искусствах и во всех видах интеллектуальной деятельности


Габриэле Лолли, "Философия математики"
Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights
Yulu Gan, Phillip Isola
Paper:
https://arxiv.org/abs/2603.12228
Code:
https://github.com/sunrainyg/RandOpt
Review:
https://arxiviq.substack.com/p/neural-thickets-diverse-task-experts

Авторы предложили полностью параллельный безградиентный алгоритм RandOpt для post-training

Он улучшает предобученные большие языковые модели (LLM) путём простого сэмплирования случайного гауссовского шума поверх весов, оценки этих зашумлённых моделей и ансамблирования предсказаний лучших из них

Работа ставит под сомнение устоявшееся мнение, что выравнивание (alignment) языковых моделей строго требует сложной последовательной оптимизации вроде обучения с подкреплением

Исследование раскрывает структурный феномен «нейронных дебрей» (neural thickets)
Оказывается, при достаточном масштабе предобученная модель работает как распределение, в непосредственной окрестности весов которого плотно упакованы разнообразные эксперты под конкретные задачи
Anthropic показал, как Opus 4.6 может несколько дней подряд автономно работать над сложными задачами почти без человека.

Исследователь из Anthropic
взял задачу из области, в которой сам не является специалистом, и попросил Opus 4.6 написать сложный численный код для космологии, который обычно делают годами

Агент сам писал код, сам тестировал, находил ошибки, фиксировал в журнале, что сработало, а что нет

Главное открытие этого кейса не в том, что агент умный, а в том, что ему нужна правильная инфраструктура, как любому сотруднику нужны инструменты и регламенты

Ключевые элементы:
• файл с заданием, который агент держит в голове всё время работы и может сам обновлять
• журнал прогресса, где фиксируются не только успехи, но и тупики, чтобы не повторять их
• эталон, с которым агент сверяет результат на каждом шаге
Без эталона агент не знает, движется ли он вперёд

Ещё одна проблема, которую решили отдельно - агент склонен останавливаться раньше времени

Ранее такие инструменты использовали в режиме диалога, а теперь появился другой режим - ставишь задачу, настраиваешь процесс и агент работает сам, пока ты занимаешься другой хуйнёй
Команда из UBC и нескольких других институтов сделала следующий шаг после Darwin Gödel Machine (GDM)- системы, которая умела переписывать собственный код и становиться лучше в программировании

В программировании GDM работало отлично, потому что и решение задачи и процесс улучшения находятся в одной и той же области

Но как только выходишь за пределы кода, эта гармония ломается
Процесс самоулучшения оставался жёстко запрограммированным человеком и не эволюционировал сам

Гиперагенты решают эту проблему и делают систему самореферентной
Исследователи объединили агента-исполнителя и мета-агента в единую, полностью редактируемую программу

С
истема теперь не просто учится решать задачи лучше, она учится лучше учиться

Теперь улучшения происходят на двух уровнях одновременно:
1. Лучше решаю задачу
2. Лучше улучшаю то, как я улучшаюсь

Это снимает зависимость от доменной специфичности

Это одна из самых интересных свежих идей в направлении рекурсивного самоулучшения алгоритмов на 2026 год

GitHub
Anthropic выкатили auto mode: в нем Claude сам будет принимать решения о правах доступа и о том, какие действия одобрять, а какие нет

Это тот же skip permissions, только над ним еще работает классификатор, который проверяет каждый шаг на предмет потенциально деструктивных действий

Безопасные действия выполняются автоматически

Рискованные блокируются, и Claude применяет другой подход

Выглядит очень удобно, и доброе утро, у нас тут новая серия Черного Зеркала
Интервью Forbes гендиректора MWS

«Первая — эра мультиагентных систем: агенты взаимодействуют друг с другом без участия человека

Так, агент на «Госуслугах» будет договариваться с агентом банка о рефинансировании, а тот — с агентом налоговой о вычете

Вторая — физический: роботы начнут действовать в реальном мире
В 2025 году установлено 553.000 промышленных роботов, рост в год составил 14 %, в 2026-м показатель может вырасти до 20 %
Такие роботы уже работают на заводах, в логистике и множестве других сфер
На днях объявили о запуске трека Physical AI в R&D, нацеленного на развитие технологий и программного обеспечения для создания и поддержки когнитивных навыков роботов на основе возможностей AML

Третья волна — новая форма интеллекта, превосходящей человеческий по скорости и масштабу
Маск считает, что к 2029–2030 годам AML будет умнее всех людей, вместе взятых
Уже сейчас модели решают задачи PhD-уровня быстрее ученых
Но задачи им ставят люди

AML-модели не заменят человека, а многократно усилят его», рассказал гендиректор MWS
Минцифры РФ планирует увеличить пропускную способность технических средств противодействия угрозам и финансирование соответствующего федерального проекта — на ₽14.900.000.000, чтобы анализировать весь трафик российского сегмента интернета с запасом, а также для расширения блокировок и с учетом появления новых методов их обхода

К 2030 году пропускная способность АСБИ вырастет
В 2026 году весь трафик рунета должен обрабатываться АСБИ
Ранее планировалось, что мощность системы к 2030 году составит 752.6 Тбит/сек., а теперь — 954 Тбит/сек.
(при нехватке мощности ТСПУ включается режим bypass и трафик идет напрямую — именно это произошло несколько дней назад, когда у россиян начали открываться все заблокированные сервисы)
Законопроект «Антифрод 2.0» обяжет клиентов российских банков подтверждать переводы одновременно через СМС и национальный мессенджер
Его введение повлечет многомиллиардные расходы и удорожание услуг

Также банки указывают на технические и инфраструктурные риски зависимости всей системы от одного канала, при этом они считают, что норма существенно не повысит уровень защиты — ведь мошенничество сегодня чаще связано с социальной инженерией, а не с недостатком способов подтверждения операций

СМС-коды считаются уязвимым каналом, а безопасными являются push, TOTP и биометрия
В современных моделях проблема памяти не только в числе параметров, но и в том, что модель постоянно таскает за собой огромное количество векторов – в KV-cache для длинного контекста и в индексах vector search для RAG

Именно они тормозят модель и делают инференс дорогим
Можно квантовать векторы (то есть уменьшать битность вычислений), но тогда модель теряет в качестве

Google придумали, как сжимать умнее: не просто округлить числа погрубее, а сделать это так, чтобы модель почти не замечала потери точности

Для практики это означает три вещи:
длинный контекст становится дешевле
• инференс на том же железе ускоряется
•Vector search по огромным базам становится компактнее и быстрее


Технически метод TurboQuant состоит из двух слоев
PolarQuant сначала преобразует вектор через случайное вращение так, чтобы его можно было эффективно сжать с минимальными служебными затратами – именно за счет этого происходит основное сжатие без потери смысла

Затем QJL (Quantized Johnson-Lindenstrauss) добавляет сверхдешевую коррекцию ошибки, кодируя остаток всего одним дополнительным битом на компоненту
Это помогает еще точнее восстановить attention score с минимальной нагрузкой на вычисления

В экспериментах TurboQuant показывает лучший баланс между искажением скалярного произведения, recall и размером KV-cache – его удалось квантануть аж до 3 бит без дообучения и без компромисса по точности

Значения близки к теоретическим нижним границам, то есть это почти оптимум
AML
Video
Миллион обезьян с пишущим машинками не напишут «Войну и Мир», а миллион ИИ ботов не создадут NVlDIA
В этом я
согласен с Хуангом:

современные агенты уже умеют планировать проекты, создавать субагентов для разных задач, искать клиентов и заниматься продажами — делать всё необходимое для управления бизнесом
Однако они пока не способны принимать решения в условиях неопределённости


Вообще, AML пока и еще очень долго - это не отдельное «царство природы», и система человеческой техносферы
Она позволяет людям управляться с растущей сложностью, и очень многое «человеческое» становится «роботово»

Но самое главное в человеке - управление неопределенностью и движение в неизведанное, познание и предпринимательство - думаю, наше надолго, если не навсегда

Бороться и искать, найти и перепрятать!
Цитата дня:
people will reflect back and say this is the first large-scale combat operation that was really driven, enhanced and made substantially more productive with technology, with AI

Алекс Карп, генеральный директор компании Palantir (Palantir Technologies), понятно, по какому поводу

https://news.bloomberglaw.com/artificial-intelligence/palantir-cto-sees-iran-war-as-first-major-conflict-driven-by-ai