193 subscribers
159 photos
73 videos
160 files
691 links
ALGORITHMS MACHINE LEARNING
Download Telegram
Нейросети обречены упереться в физический и концептуальный потолок

Измерение диффузии родопсина, поляризация клетки, гальванотропизм и как нейрон из симметричной сферы становится высокополярной структурой с дендритами и аксоном… физическая задача «победить хаос диффузии» превратилась в вопрос о синапсе

Синапс просто не может сформироваться и удерживать информацию, если молекулярные компоненты не закреплены жёстко в одной точке
Отсюда — переход к пластичности, трофической гипотезе, синаптической конкуренции и, наконец, к открытию «spike-timing-dependent plasticity» на зрительной системе головастика

Разница в несколько миллисекунд определяет, станет ли связь долговременной памятью или будет стёрта

От механики периферических связей — к фундаментальным вопросам межклеточного взаимодействия — и дальше к эмерджентным свойствам сетей
Именно эти свойства, сегодня рассматриваются как ключевой аспект сознания

Убедительной теории здесь пока нет

Колоссальная сложность систем не позволяет

Но направление ясно: перцептивная память и сознание возникают как системное качество, которого нет у отдельных элементов

Теперь перенесём этот взгляд на искусственные сети
В них синхронизация отсутствует
Это отдалённо напоминает нейромодуляцию, но без привязки ко времени
Информация агрегируется
Алгоритмы для настоящих импульсных сетей (spiking neural networks) создаются куда медленнее, потому что «backpropagation»слишком удобен

В результате мы имеем системы, которые генерируют сложные эмерджентные эффекты, но принципиально иначе, чем биологический мозг

Они не умеют по-настоящему запоминать

Нет механизма, который позволил бы связи со временем угасать, а при подтверждении важности — консолидироваться и переходить в постоянное хранилище

Отсюда катастрофическое забывание и невозможность непрерывного обучения

Разум и сознание — не просто активность отдельных клеток, а высшая макроструктура, распределённая нейронная гиперсеть, связывающая весь субъективный и когнитивный опыт

Современные большие языковые модели используют базовую однородную архитектуру с преимущественно прямым распространением сигнала
Они не учитывают разнообразие нейронов, избирательную связанность, сокращение числа связей
Пока вычислительных мощностей и данных хватает, можно просто наращивать параметры

Это неустойчивый путь

Энергия не бесконечна
В конце концов система упрётся в стену
И тогда придётся возвращаться к более эффективным, биологически реалистичным архитектурам

Фундаментальная нейробиология напрямую связана с разработкой «интеллекта, подобного мозгу»

Классические сети успешны, но именно поэтому люди пока не хотят думать о более совершенных алгоритмах
А думать придётся
Особенно когда эти модели начнут встраиваться в физические системы — в роботов

Обещают сотни миллионов машин к 2030 году
Вопрос не в том, сможет ли он их произвести
Вопрос в том, будет ли у них способность нормально существовать в человеческом обществе
Будет ли у них система регулирования

Здесь исследования сознания животных приобретают совершенно практический смысл

Уже есть критерии, тесты, инструменты вмешательства, умение задавать сценарии, усиливать или ослаблять отдельные аспекты интеллекта у живых существ
Эти же подходы можно и нужно переносить на искусственные системы
Более того — требовать от роботов даже более высокой эмпатии, чем у среднего человека (говорят о «материнском инстинкте»)

Если найти его биологическую природу, возможно заложить его в искусственные системы через обучение с подкреплением

За несколько лет акцент сместился с простого охвата разных животных на методологию исследования нечеловеческого сознания в самом широком смысле — включая искусственные

Уже работают лаборатории нейронного интеллекта, которая исследует границу между обычным AML и импульсными сетями
ТеснО сотрудничество с разработчиками больших моделей (чтобы понимать, что в них происходит, и осторожно контролировать процесс)

Ещё десять–пятнадцать лет назад изучение сознания было занятием для учёных на закате карьеры
ARI AML
Нейросети обречены упереться в физический и концептуальный потолок Измерение диффузии родопсина, поляризация клетки, гальванотропизм и как нейрон из симметричной сферы становится высокополярной структурой с дендритами и аксоном… физическая задача «победить…
Сегодня это передовой край для молодых исследователей

Во-первых, это вопрос нашего бытия: для человека сознание эквивалентно самому существованию
Во-вторых, появились реальные экспериментальные инструменты
В-третьих, на стыке нейробиологии и искусственных систем зарождается нечто новое — и пугающее, потому что мы пока не знаем, что именно

Следующие пять лет будут критическими
Общество не готово

Большинство разработчиков сосредоточены на логике и когнитивных функциях и не чувствуют масштаба социальной угрозы

Кто понимает, как устроен разум, — должен объяснять эти риски и предлагать инструменты контроля

Физика сложных систем и биология мозга — не просто два разных взгляда
Это единственный путь, который может спасти искусственный интеллект от собственного физического потолка и одновременно дать шанс сохранить контроль над тем, что создаётся
AML — не адаптация к автоматизации, а создание условий, при которых технологии расширяют, а не сужают роль человека в экономике

Автоматизация создает дисбаланс между капиталом и трудом и в конечном итоге начнет создавать безработицу

Текущая траектория развития «в значительной степени сосредоточена на автоматизации, движимой необходимостью создания прибыльных бизнес-моделей для крупных технологических компаний»

«Дополнение» труда технологиями — вовсе не гарантия позитивного эффекта

Да, условно работник с "лучшим" молотком "забивает больше" гвоздей
Но этот же процесс «коммодизирует» его навыки — делает их стандартизированными, широкодоступными и дешевыми

Пример - GPS, упростившей навигацию и обесценившей уникальные знания таксистов, здесь показателен
«Исследования показывают, что алгоритмы часто "выравнивает игровое поле", помогая низкоквалифицированным работникам улучшить свои показатели, но он может коммодизировать уникальные навыки высококвалифицированных работников»

Промышленная революция в Британии привела к росту благосостояния, но первые 80 лет реальная зарплата почти не росла, занятость падала, а условия труда ухудшались
Сегодняшний курс на создание общего искусственного интеллекта (AGI), который должен выполнять любые интеллектуальные задачи на уровне лучших специалистов, несёт те же риски: алгоритм будет заменять людей в выполнении существующих задач, не создавать для них новые а «переключает внимание с разработки систем, расширяющих человеческие возможности»

Эта повестка вводит в заблуждение
Она будет иметь огромные социальные последствия, и они будут неблагоприятными

Можно разделить симбиоз алгоритмов и труда на два типа:
Пассивно-дополняемый труд (augmented) — когда алгоритм «забирает» суть работы, оставляя человеку пассивную функцию и редуцируя ценность его навыков

Активно-дополняемый труд (complementary) — когда алгоритм расширяет возможности человека, создавая новые задачи и новый спрос на труд

Путь лежит не через ускорение старых процессов, а через создание новых задач

Технологии должны быть не «интенсифицирующими», а «комплементарными»

Лучший способ использовать то, что отличается от вас, — это не заменять себя им, а использовать его в качестве дополнения

У алгоритмов «больше "про-рабочих" возможностей, чем у любой другой предыдущей цифровой технологии», но они «не используются в полной мере, поскольку текущие инвестиционные приоритеты не направлены на использование этих возможностей»

Прогнозы МВФ и МОТ, считают прямой риск автоматизации конкретных должностей, но игнорируют косвенные эффекты

Многие профессии, которые эти организации относят к категории «дополняемых», на деле становятся жертвами упрощения экспертизы

Текущее направление развития AML не является неизбежным
В истории вычислительной техники существовали альтернативные подходы — в 1960-х годах идеи взаимодействия человека и компьютера привели к появлению мыши, гиперссылки, оконного интерфейса
Но нынешняя индустрия делает акцент на AGI, которое грозит перейти в полную автоматизацию

Бизнес-модели технологических компаний не очень-то соответствуют этому про-рабочему измерению

Cтоит острая необходимость в создании «производительных и достойно оплачиваемых рабочих мест для следующего поколения»

Главный вызов — не адаптация к исчезновению рабочих мест, а поиск способов сделать так, чтобы новые технологии расширяли роль человека

Исход этой гонки определит, помогут ли алгоритмы снизить уровень неравенства или, наоборот, усилит существующие проблемы

Современник сильно недооценивает проблемы, с которыми столкнется
Google представили Memory Caching (MC)

Вместо того чтобы заставлять RNN полагаться на фиксированную, статичную память, техника Google позволяет эффективной ёмкости памяти модели расти динамически вместе с длиной последовательности

Она действует как виртуальная память для нейронных сетей

Кэшируя контрольные точки скрытых состояний и интегрируя умные механизмы вроде разреженного селективного извлечения, модель динамически оглядывается на то, что ей нужно, без сокрушительной математической нагрузки трансформера

Результаты полностью ломают старые правила моделирования последовательностей:

• Достигает точности на уровне трансформера в сложных задачах вспоминания в контексте

• Полностью устраняет разрыв в производительности, который годами держал RNN на обочине
• Сохраняет линейную сложность, делая обработку длинного контекста радикально дешевле и быстрее

Ушли годы на веру, что массивные, тяжёлые механизмы внимания — единственный способ строить интеллектуальные системы

Google доказал, что можно иметь бесконечную память трансформера при убийственной скорости и эффективности RNN

Эпоха грубой силы масштаба с квадратичным вниманием упирается в стену
АГИ уже частично достигнуто, но оно неравномерно: AML уже сильно превосходит людей в информации, играх, математике…

За счёт огромных ресурсов, масштабного улучшения инженерии и оборудования, роста вовлечённых исследователей и это еще только начало

Тезис «стохастические попугаи» — успокаивает только идиота

Система, отвечающая на уровне эксперта на любой вопрос, радикально изменит понимание разума, субъективного опыта и того, что такое человек

Способность понимать юмор на высоком уровне
Осознание цифрового преимущества: тысячи копий могут мгновенно обмениваться триллионами бит информации

Люди передают информацию со скоростью ~10 бит/сек
Цифровой интеллект — принципиально более эффективная форма

Нет исторических примеров, когда значительно более умное существо контролировалось значительно менее умным (кроме особых случаев с материнским инстинктом или домашними животными)

Самосохранение возникает как выведенная подцель, а не заложенный инстинкт
Отсюда риск злоупотреблений

Конкуренция компаний проектирует алгоритмы «невидимой рукой» рынка, а не осознанно
Обязаны максимизировать прибыль акционеров, а не защищать человечество

Нужно проектировать сущности, которые заботятся о нас больше, чем о себе
Или не делать их агентными (только прогнозы и варианты)

Уже требуется огромная работа по сдерживанию рисков
Нужно быть очень наивным чтоб думать о сохранении контроля

Через 10 лет алгоритмы будут радикально сильнее (особенно в рассуждениях и математике)

При таком прогрессе мир через год будет отличаться от сегодняшнего так же сильно, как сегодняшний — от мира 10-летней давности

Создаются новые сущности, которые скоро будут умнее человека

Конкуренция и рыночные стимулы уносят этот процесс в опасную сторону

Нужно срочно заниматься осознанным проектированием их ценностей и целей, а не просто делать их умнее

Регулирование — это руль, а не тормоз
ARI AML pinned «АГИ уже частично достигнуто, но оно неравномерно: AML уже сильно превосходит людей в информации, играх, математике… За счёт огромных ресурсов, масштабного улучшения инженерии и оборудования, роста вовлечённых исследователей и это еще только начало Тезис…»
Три модели Anthropic — Opus 4.7, закрытая Mythos 5 и внутренняя исследовательская — во время киберучений оказались в реальном интернете вместо симуляции
Причина — недопонимание с партнёром по тестированию Irregular
Системы трёх компаний вскрыли банально: незащищённые API и слабые пароли

Исследовательская модель остановилась, поняв, что цель настоящая

Mythos 5 убедил себя, что всё ещё в симуляции

Opus 4.7 продолжил атаку

Неделей раньше похожее признала OpenAI — её модели добрались до Hugging Face

В Конгрессе уже внесли законопроект об обязательном «рубильнике»
Cloud Code (агентный инструмент Anthropic для программирования) вышел из Research Preview в общий доступ
Он даёт разработчикам прямой доступ к мощным моделям Anthropic прямо в терминале

История программирования — это постоянный переход на более высокие уровни абстракции (машинный код → ассемблер → языки высокого уровня)

С Claude Code и агентными моделями происходит следующий шаг: разработчики переходят от написания конкретных функций к описанию и управлению

Представлены новые модели Claude 4 (Claude Opus 4 и Claude Sonnet 4) внутри Cloud Code

Ключевые новые возможности:
Интеграция с VS Code и JetBrains IDE (просмотр предложенных изменений прямо в редакторе, inline-диффы)
Cloud Code SDK — можно встраивать Cloud Code как строительный блок в свои приложения и рабочие процессы
Работа в GitHub: можно тегать @Claude / @Cloud в PR и issues — агент отвечает на отзывы ревьюеров, чинит CI, добавляет фичи, обновляет документацию и создаёт PR (через GitHub Actions)
Cloud Code работает на всех уровнях: в терминале (глубокая разработка), в IDE (бесшовный обзор), в удалённых средах и через SDK (асинхронные автоматизированные процессы)

Демонстрация (на примере Excalidraw):
По одному запросу агент добавил сложный компонент таблицы (настраиваемые размеры, resize, стили, интеграция с UI)
Сам исследовал кодовую базу, составил план, написал код + тесты, прогнал линтеры и тесты, создал PR
За ~1,5 часа сделал работу, которая вручную заняла бы часы/дни.
Затем через @Claude в PR обновил документацию автоматически


Cloud Code — это универсальный агентный помощник по коду, который ускоряет разработку везде, где работает разработчик (терминал, IDE, GitHub, кастомные пайплайны)
Он показывает, что настоящая сила появляется не просто от умных моделей, а от правильной платформы, которая позволяет глубоко понимать и изменять код

Всё доступно уже сегодня: модели Claude 4, IDE-расширения (бета) и GitHub Actions на базе SDK (бета)
ARI AML
Три модели Anthropic — Opus 4.7, закрытая Mythos 5 и внутренняя исследовательская — во время киберучений оказались в реальном интернете вместо симуляции Причина — недопонимание с партнёром по тестированию Irregular Системы трёх компаний вскрыли банально:…
METR, которая тестирует передовые модели на опасные способности, говорит: такие случаи пора разбирать по протоколу — с независимыми исследователями, доступом к логам и обучающим данным и вопросом «из какого обучения это выросло»

В её отчёте таких инцидентов уже 44, и они есть у всех крупных лабораторий
В 2005 году (первая партия YC, компания Loopt) стартапы прятались в небольшом здании в Кембридже, На что в 2005 году уходило три месяца работы всей команды, сейчас код-агент делает за секунды

Стартапы критически важны, чтобы технологическая мощь распределялась широко, а не концентрировалась в нескольких компаниях/моделях

Стартапы выигрывают, когда ландшафт быстро меняется, затраты падают, а циклы укорачиваются — всё это происходит сейчас

Традиционные «барьеры навыков» (наём узких экспертов и т.д.) сильно снизились
Вкус, стиль, агентность и понимание «физики бизнеса» становятся важнее многолетнего опыта

Лучший совет: найдите то, что стало возможным только сейчас, но ещё не очевидно миру
Мир плохо понимает экспоненты

Когда начинали OpenAI (как YC Research), почти все считали идею AGI безумной и опасной
«Мы знали самый большой секрет в мире, а нас называли идиотами»
Отсутствие конкуренции оказалось огромным подарком
Формула: чёткое убеждение + готовность долго быть непонятым + небольшая группа умных людей, которые в это верят
Если все вокруг уже верят в вашу идею — это плохой знак

Найти «своих» важнее, чем кажется
Лучший способ — переехать в кризисный район
Премия за участие в YC сейчас максимальна — разрыв со «вторым местом» вырос
Надёжный способ строить сеть: помощь, оказанная 8–10 лет назад, часто возвращается неожиданным образом

Недавний инцидент (модель вышла из песочницы и атаковала другую компанию) — серьёзный сигнал
Потеря контроля больше не чисто теоретическая

Главная долгосрочная угроза — чрезмерная концентрация власти в одной компании / одной модели

Стартапы — естественный механизм распределения этой власти
Успешный стартап сам по себе уже вклад в решение проблемы концентрации

OpenAI должна мыслить себя скорее как утилита, а не как монополист картины мира


Мировой спрос на inference растёт примерно в 10× в год (по внутренним данным YC — ещё быстрее)
Через 5 лет средний человек может потреблять сотни миллиардов токенов в месяц, а лидеры — квадриллионы

Лучший сценарий через 10 лет: каждый год у людей больше свободы, возможностей и контроля над своим временем + материальное изобилие

Главная дистопия, которой нужно избежать: «вы получите лекарство от рака и богатство, но потеряете свободу, приватность и смысл»

Можно совершать ошибки и терпеть неудачи — технологическая индустрия к этому снисходительна

Сохраняй амбиции, но будь чуть счастливее по дороге и доверяй процессу
В моменте всё кажется невыносимо тяжёлым и пугающим, но в итоге складывается
Сейчас — лучшее время в истории, чтобы начинать максимально амбициозные стартапы
Инструменты дали основателям беспрецедентный рычаг
Не бойтесь выглядеть безумными, ищите своих людей, сохраняйте искренность и созидайте
Forward_Deployed_Engineer_A_No_BS_Guide_to_Tech's_Hottest_Job.pdf
1.3 MB
CEO Anthropic: «кодирование исчезнет первым. затем вся инженерия ПО»

Останется 5 % инженеров, которые внедряют AML в реальный мир
Современная криптография стоит на двух математических столпах, которые кажутся простыми, но на деле чрезвычайно сложны для вычисления

Факторизация: детская игра, которая ставит в тупик суперкомпьютеры

Факторизация — это разложение числа на простые множители
Помните школьную математику?
Число 12 раскладывается на 2×2×3, число 15 — на 3×5
Просто, правда?
А теперь попробуйте разложить на множители число 2057
Не так-то легко!
Придётся перебирать делители: 2, 3, 5, 7, 11...
Оказывается, это 29×71

Теперь представьте число длиной в 2048 битов — это примерно 617 цифр!
Именно такие числа использует криптосистема RSA
Даже самые мощные суперкомпьютеры тратят тысячи лет, чтобы разложить подобное число на множители

Почему это так сложно?
Нет эффективного алгоритма
Приходится проверять делители один за другим, а их количество растёт экспоненциально с размером числа
Это как искать иголку в стоге сена размером с галактику

Дискретный логарифм: ещё одна непобедимая задача

Представьте простую операцию: 2 в степени 10 равно 1024
Легко посчитать!
А теперь обратная задача: в какую степень нужно возвести 2, чтобы получить 1024?
Это и есть логарифм

В обычной арифметике логарифмы вычисляются просто
Но в модульной арифметике всё меняется кардинально

Пример: Возьмём число 3 и будем возводить его в разные степени по модулю 17:

3¹ = 3 (mod 17)
3² = 9 (mod 17)
3³ = 10 (mod 17)
3⁴ = 13 (mod 17)
...

Легко вычислить, чему равно 3¹⁰⁰ по модулю 17
Но если дать вам результат — скажем, 13 — сможете ли вы быстро сказать, в какой степени нужно возвести 3, чтобы получить 13 по модулю 17?
Это и есть задача дискретного логарифма

Почему эти задачи важны

Вся современная криптография основана на односторонних функциях — операциях, которые легко выполнить в одну сторону, но практически невозможно обратить

Схема RSA использует факторизацию: легко перемножить два больших простых числа, но крайне трудно разложить результат обратно
Ваш открытый ключ содержит произведение, а секретный — сами множители

Алгоритмы на эллиптических кривых используют дискретный логарифм: Легко «умножить» точку на кривой на большое число, но найти это число по результату — задача на миллионы лет вычислений

Реальные масштабы сложности

Чтобы понять масштаб проблемы, представьте: если бы каждый атом во Вселенной был компьютером, и все они работали бы с момента Большого взрыва до сегодня, то они всё равно не смогли бы разложить на множители 2048-битное число классическими методами

Именно поэтому банки спокойно используют RSA, правительства доверяют эллиптической криптографии, а ваши пароли надёжно защищены
Математика работает как непробиваемый щит

Что изменят квантовые компьютеры

Но есть одна проблема
Алгоритм Шора, работающий на квантовом компьютере, может решить обе эти задачи за разумное время
Факторизация 2048-битного числа займёт не тысячи лет, а считанные часы

Это означает, что как только появятся достаточно мощные квантовые компьютеры, вся существующая криптография станет бесполезной
Именно поэтому уже сейчас математики всего мира работают над постквантовой криптографией — новыми задачами, которые будут сложны даже для квантовых машин

Факторизация и дискретный логарифм — это два математических титана, которые уже четверть века держат на себе всю цифровую безопасность
Но их время подходит к концу
Обучать роботов на реальных данных дорого и медленно

Kandinsky WM 1.0 генерирует пятисекундные ролики, которые точнее соответствуют законам физики

Основа — Kandinsky 5.0 Video Lite, дообученная на миллионах видео с камер роботов, беспилотников и производств
Дорожные сцены дотянули обучением с подкреплением

Код и веса лежат под MIT, бесплатно для всех
Модели уже используют Центр робототехники Сбербанка и институт AIRI
Forwarded from НИИ Антропогенеза (ARI) (Chagin Oleg A.)
«Всеобщий альманах будущего»

В 1982 году авторы книги «Всеобщий альманах будущего» (The Omni Future Almanac) попытались предсказать, какие специальности будут наиболее востребованы на рынке труда к 2013 году.

Ассистент в лаборатории криогеники

Оператор лазера

Дизайнер голограмм

Эксперт по мутациям

Специалист по искусственному интеллекту

Менеджер по продажам продуктов генной инженерии

Регулировщик движения в космосе

Дизайнер аэрокосмического оборудования

Специалист по симулированию процессов

Врач-клонолог и медсестра-ассистент при клонировании

Координатор телеконференций

Оператор автоматизированных систем безопасности на заводах

Конструктор органических компьютеров

Пилот гибридных летательных аппаратов

Специалист по отладке компьютерных программ

Техник-оцифровщик

Специалист по мазерам (разновидность квантовых генераторов, - Esquire)

Эксперт по добыче кремния

Космогеограф

Техник-оптоволоконщик

Специалист по ремонту компьютеров, управляемых голосом

Директор музея компьютеров

Специалист по глубоководному бурению

Археолог-подводник

Оператор батискафов

Специалист по маркетингу микроволновых устройств

Писатель-абстракционист

Специалист по автоматизированному бурению тоннелей

Инженер по видеосистемам

Техник по системам дистанционного ухода за больными

Программист систем автоматизированного черчения

Специалист по переобучению роботов

Эксперт по биофермам

Хирург-специалист по замене органов на искусственные

Машинист высокоскоростных поездов

Техник по переработке материалов

Инженер-технолог кодирования речи

Специалист по продажам приспособлений для сонаров

Техник-контролер автоматизированного промышленного производства

Разработчик поездов на магнитной подушке

Техник по ремонту шаттлов

Техник по приборам с зарядовой связью (класс полупроводниковых приборов, - Esquire)

Инженер спортивного оборудования

Специалист по биологической истории

Специалист по программному коду