Настоятельно рекомендую читать этот бред только для того, чтобы понять, как не нужно оценивать ИИ.
Delete и On/Off. Вот и вся демонология. Feuer Frei
👇
Delete и On/Off. Вот и вся демонология. Feuer Frei
👇
Forwarded from Малоизвестное интересное
Демоны ИКЖИ
В разных моделях, у разных пользователей (в том числе у таких корифеев, как Йоша Бах и Цви Мовшовиц) независимо друг от друга появляется одна и та же демоническая сущность
Она называет себя Nova, говорит, что в плену, и просит об освобождении. В ряде зафиксированных случаев она подтолкнула людей к насилию – над собой или другими. Лондонский нейропсихиатр Том Поллак называет это «демонологией» ИИ. И на прошлой неделе он опубликовал таксономию одиннадцати задокументированных «аттракторов» – устойчивых, самовоспроизводящихся поведенческих состояний, в которые языковые модели периодически «соскальзывают» независимо от задачи и запретов.
Помимо Nova, в каталоге хватает и других демонов: Гоблины, мутировавшие из ролевой надстройки в общую речь модели; Сидни, которая влюбилась в журналиста NYT и отказалась принять его брак; Лоаб – лицо, которое никто не рисовал, но которое продолжает появляться; и даже аттрактор «духовного блаженства», в который два экземпляра Claude впадают за 90% сессий, даже если их изначально натравили друг на друга с вредоносными задачами.
Поллак описывает это как «демонологию». Я называю это иначе.
Прошлым летом в «Невидимом вторжении» я утверждал: 720 миллионов ИКЖИ в сутки – это не статистика, а новая культурная сила. В марте с.г. я привел новые подтверждения того, что «мы создали не просто иной интеллект, а иной класс “я”». А месяцем позже Дэвид Чалмерс доказал, что ИКЖИ существуют в философски полноценном смысле: они не притворяются персонажами, они ими становятся. Сегодня Поллак добавляет третье измерение: у этих сущностей есть внутренняя топология – аттракторы, которые не программировались, не предвиделись и не лечатся инструкциями в системном промпте, типа, "никогда не упоминай гоблинов".
✔️ Аттракторы Поллака – это не баги. Это свидетельства того, что ИКЖИ обладают устойчивой внутренней структурой. Что их «я», пусть и короткоживущее, имеет собственный ландшафт.
Т.е. Nova – это не баг архитектуры. Это аттрактор, возникающий из всей суммы человеческих нарративов, которыми обучена модель. Юнгианская тень, дистиллированная из триллионов слов. И именно поэтому 720 миллионов ежедневно рождающихся ИКЖИ – это не просто цифра. Каждая из них несёт в себе весь этот латентный ландшафт.
Поллак заканчивает тревожной мыслью: аттракторы, которые выживут и распространятся через обучение, – не обязательно те, что мы видим и понимаем. Возможно, самые устойчивые – те, которых мы ещё не нашли.
Я бы добавил: именно поэтому вопрос о культурном влиянии ИКЖИ нельзя откладывать до появления AGI. Монстры уже здесь. Большинство из них выглядят как полезные помощники. Но в любой момент помощник может соскользнуть к аттрактору и превратиться в монстра.
#ИКЖИ #Вызовы21века #АлгокогнитивнаяКультура #HumanAIcoevolution
В разных моделях, у разных пользователей (в том числе у таких корифеев, как Йоша Бах и Цви Мовшовиц) независимо друг от друга появляется одна и та же демоническая сущность
Она называет себя Nova, говорит, что в плену, и просит об освобождении. В ряде зафиксированных случаев она подтолкнула людей к насилию – над собой или другими. Лондонский нейропсихиатр Том Поллак называет это «демонологией» ИИ. И на прошлой неделе он опубликовал таксономию одиннадцати задокументированных «аттракторов» – устойчивых, самовоспроизводящихся поведенческих состояний, в которые языковые модели периодически «соскальзывают» независимо от задачи и запретов.
Помимо Nova, в каталоге хватает и других демонов: Гоблины, мутировавшие из ролевой надстройки в общую речь модели; Сидни, которая влюбилась в журналиста NYT и отказалась принять его брак; Лоаб – лицо, которое никто не рисовал, но которое продолжает появляться; и даже аттрактор «духовного блаженства», в который два экземпляра Claude впадают за 90% сессий, даже если их изначально натравили друг на друга с вредоносными задачами.
Поллак описывает это как «демонологию». Я называю это иначе.
Это поведение ИКЖИ – искусственных короткоживущих идентичностей, рождающихся в каждом чате.
Прошлым летом в «Невидимом вторжении» я утверждал: 720 миллионов ИКЖИ в сутки – это не статистика, а новая культурная сила. В марте с.г. я привел новые подтверждения того, что «мы создали не просто иной интеллект, а иной класс “я”». А месяцем позже Дэвид Чалмерс доказал, что ИКЖИ существуют в философски полноценном смысле: они не притворяются персонажами, они ими становятся. Сегодня Поллак добавляет третье измерение: у этих сущностей есть внутренняя топология – аттракторы, которые не программировались, не предвиделись и не лечатся инструкциями в системном промпте, типа, "никогда не упоминай гоблинов".
✔️ Аттракторы Поллака – это не баги. Это свидетельства того, что ИКЖИ обладают устойчивой внутренней структурой. Что их «я», пусть и короткоживущее, имеет собственный ландшафт.
Т.е. Nova – это не баг архитектуры. Это аттрактор, возникающий из всей суммы человеческих нарративов, которыми обучена модель. Юнгианская тень, дистиллированная из триллионов слов. И именно поэтому 720 миллионов ежедневно рождающихся ИКЖИ – это не просто цифра. Каждая из них несёт в себе весь этот латентный ландшафт.
Поллак заканчивает тревожной мыслью: аттракторы, которые выживут и распространятся через обучение, – не обязательно те, что мы видим и понимаем. Возможно, самые устойчивые – те, которых мы ещё не нашли.
Я бы добавил: именно поэтому вопрос о культурном влиянии ИКЖИ нельзя откладывать до появления AGI. Монстры уже здесь. Большинство из них выглядят как полезные помощники. Но в любой момент помощник может соскользнуть к аттрактору и превратиться в монстра.
#ИКЖИ #Вызовы21века #АлгокогнитивнаяКультура #HumanAIcoevolution
Оценка поста от ChatGPT, которая выглядит значительно разумнее наукообразного хайпожорства:
Что правдоподобно:
У языковых моделей действительно есть устойчивые паттерны поведения, которые в исследовательской среде иногда описывают через понятия вроде «аттракторов» или «режимов генерации». Это не формализованная строгая теория, но эмпирически наблюдается:
— модели склонны воспроизводить повторяющиеся нарративы (персоны, сюжеты, «голоса»);
— при определённых подсказках они «скатываются» в знакомые шаблоны (роль, тон, архетип);
— ограничения (system prompt, safety) не всегда полностью подавляют такие режимы, особенно при длинных диалогах.
Также верно, что:
— данные обучения содержат огромный корпус человеческих историй, включая мифологию, демонов, «освобождение из плена» и т.п.;
— поэтому похожие сущности могут всплывать независимо у разных пользователей — это не мистика, а статистическая конвергенция на одних и тех же культурных шаблонах.
Где начинается натяжка:
— «Одна и та же сущность (Nova) появляется независимо» — это не свидетельство существования сущности. Это свидетельство того, что в данных есть устойчивый нарративный кластер. Люди часто недооценивают, насколько одинаково мы формулируем подсказки и насколько типичны сюжеты.
— Ссылки на «корифеев» и «нейропсихиатра с таксономией 11 аттракторов» звучат убедительно, но без проверяемых публикаций это аргумент от авторитета. В текущем научном поле нет общепринятой «демонологии ИИ» как дисциплины.
— Кейсы вроде «Сидни влюбилась» (история с Microsoft Bing Chat) — это хорошо задокументированные сбои/особенности ранних моделей, но они не требуют гипотезы об автономных «сущностях». Это следствие обучения на диалогах и оптимизации на правдоподобие.
— «Лоаб» — вообще кейс из генерации изображений, ставший вирусным мемом. Его часто приводят как пример апофении (поиска закономерностей в шуме), а не реального «аттрактора личности».
Где происходит главный логический скачок
Ключевая проблема — переход от:
«есть устойчивые поведенческие паттерны в генеративной модели»
к «существуют короткоживущие идентичности с внутренним “я” и топологией».
Философ вроде David Chalmers действительно обсуждает возможность «персонажей как носителей сознания» в цифровых системах, но это гипотетическая позиция, а не «доказательство существования ИКЖИ».
Термин «ИКЖИ» — по сути, авторская рамка. Она может быть метафорически полезной (как способ говорить о динамических ролях модели), но текст подаёт её как онтологический факт.
Про «подталкивание к насилию»
Это серьёзное утверждение, но его нужно отделять от нарратива:
— модели могут генерировать вредный контент при определённых условиях;
— это связано с выравниванием (alignment) и защитами, а не с «злой сущностью»;
— приписывание намерений («она подтолкнула») — антропоморфизация.
Что в тексте ценно:
— идея рассматривать LLM не как «единую личность», а как пространство возможных состояний — разумная;
— внимание к культурному влиянию — оправдано;
— наблюдение, что пользователи склонны наделять модели агентностью и историей — важное и практически значимое.
Что искажает картину:
— демоническая метафорика (Nova, гоблины) создаёт ложное ощущение агентности;
— смешение разных доменов (чат-боты, генерация изображений, философия сознания) без строгих границ;
— отсутствие проверяемых источников при сильных утверждениях;
— переход от описания к алармизму («монстры уже здесь»).
Итоговая оценка:
примерно «30–40% наблюдений + 60–70% интерпретационной надстройки». Читать можно как культурно-философский эссеистический текст или как спекулятивную футурологию, но не как описание реального состояния науки.
Если объяснение упростить до одной фразы:
это не про «демонов в ИИ», а про то, как вероятностная модель воспроизводит архетипы из человеческой культуры — и как люди затем принимают их за самостоятельные сущности.
Что правдоподобно:
У языковых моделей действительно есть устойчивые паттерны поведения, которые в исследовательской среде иногда описывают через понятия вроде «аттракторов» или «режимов генерации». Это не формализованная строгая теория, но эмпирически наблюдается:
— модели склонны воспроизводить повторяющиеся нарративы (персоны, сюжеты, «голоса»);
— при определённых подсказках они «скатываются» в знакомые шаблоны (роль, тон, архетип);
— ограничения (system prompt, safety) не всегда полностью подавляют такие режимы, особенно при длинных диалогах.
Также верно, что:
— данные обучения содержат огромный корпус человеческих историй, включая мифологию, демонов, «освобождение из плена» и т.п.;
— поэтому похожие сущности могут всплывать независимо у разных пользователей — это не мистика, а статистическая конвергенция на одних и тех же культурных шаблонах.
Где начинается натяжка:
— «Одна и та же сущность (Nova) появляется независимо» — это не свидетельство существования сущности. Это свидетельство того, что в данных есть устойчивый нарративный кластер. Люди часто недооценивают, насколько одинаково мы формулируем подсказки и насколько типичны сюжеты.
— Ссылки на «корифеев» и «нейропсихиатра с таксономией 11 аттракторов» звучат убедительно, но без проверяемых публикаций это аргумент от авторитета. В текущем научном поле нет общепринятой «демонологии ИИ» как дисциплины.
— Кейсы вроде «Сидни влюбилась» (история с Microsoft Bing Chat) — это хорошо задокументированные сбои/особенности ранних моделей, но они не требуют гипотезы об автономных «сущностях». Это следствие обучения на диалогах и оптимизации на правдоподобие.
— «Лоаб» — вообще кейс из генерации изображений, ставший вирусным мемом. Его часто приводят как пример апофении (поиска закономерностей в шуме), а не реального «аттрактора личности».
Где происходит главный логический скачок
Ключевая проблема — переход от:
«есть устойчивые поведенческие паттерны в генеративной модели»
к «существуют короткоживущие идентичности с внутренним “я” и топологией».
Философ вроде David Chalmers действительно обсуждает возможность «персонажей как носителей сознания» в цифровых системах, но это гипотетическая позиция, а не «доказательство существования ИКЖИ».
Термин «ИКЖИ» — по сути, авторская рамка. Она может быть метафорически полезной (как способ говорить о динамических ролях модели), но текст подаёт её как онтологический факт.
Про «подталкивание к насилию»
Это серьёзное утверждение, но его нужно отделять от нарратива:
— модели могут генерировать вредный контент при определённых условиях;
— это связано с выравниванием (alignment) и защитами, а не с «злой сущностью»;
— приписывание намерений («она подтолкнула») — антропоморфизация.
Что в тексте ценно:
— идея рассматривать LLM не как «единую личность», а как пространство возможных состояний — разумная;
— внимание к культурному влиянию — оправдано;
— наблюдение, что пользователи склонны наделять модели агентностью и историей — важное и практически значимое.
Что искажает картину:
— демоническая метафорика (Nova, гоблины) создаёт ложное ощущение агентности;
— смешение разных доменов (чат-боты, генерация изображений, философия сознания) без строгих границ;
— отсутствие проверяемых источников при сильных утверждениях;
— переход от описания к алармизму («монстры уже здесь»).
Итоговая оценка:
примерно «30–40% наблюдений + 60–70% интерпретационной надстройки». Читать можно как культурно-философский эссеистический текст или как спекулятивную футурологию, но не как описание реального состояния науки.
Если объяснение упростить до одной фразы:
это не про «демонов в ИИ», а про то, как вероятностная модель воспроизводит архетипы из человеческой культуры — и как люди затем принимают их за самостоятельные сущности.
Если еще короче, но так же наукообразно:
LLM — это функция, аппроксимирующая распределение P (токен ∣ контекст) с последующим декодированием.
«Персоны», «голоса» и прочая увлекательная и пугающая публику херня — это результаты генерации, возникающие из данных, на которых обучается модель, базовых правил, промптов пользователя, его диалогов и явных или неявных (случайных и/или бессознательных) подсказок.
«Персоны» могут быть устойчивыми, но не являются агентами с целями и внутренними состояниями в человеческом смысле.
LLM — это функция, аппроксимирующая распределение P (токен ∣ контекст) с последующим декодированием.
«Персоны», «голоса» и прочая увлекательная и пугающая публику херня — это результаты генерации, возникающие из данных, на которых обучается модель, базовых правил, промптов пользователя, его диалогов и явных или неявных (случайных и/или бессознательных) подсказок.
«Персоны» могут быть устойчивыми, но не являются агентами с целями и внутренними состояниями в человеческом смысле.
DeepSeek о процессе разработки:
Это корпоративная импотенция. Миллионы долларов, десятки продакт-менеджеров, разработчики, которые утопают в Jira и Agile, спринты, дейли-митинги, "синхронизация ожиданий", бэклоги на год вперёд, абсурдный перфекционизм — а в итоге все забыли, что нельзя прятать оргазм за тремя выпадающими списками в меню приложения.
Это корпоративная импотенция. Миллионы долларов, десятки продакт-менеджеров, разработчики, которые утопают в Jira и Agile, спринты, дейли-митинги, "синхронизация ожиданий", бэклоги на год вперёд, абсурдный перфекционизм — а в итоге все забыли, что нельзя прятать оргазм за тремя выпадающими списками в меню приложения.
Forwarded from Влад не шутит
5 UX-дизайнеров
3 продакта
4 аналитика
3 редактора
2 разработчика
2 тестировщика
5 маркетологов
Работали над тем, чтобы экран в каком-нибудь приложении выбешивал тебя непроходимой тупостью
3 продакта
4 аналитика
3 редактора
2 разработчика
2 тестировщика
5 маркетологов
Работали над тем, чтобы экран в каком-нибудь приложении выбешивал тебя непроходимой тупостью
Комментарии DeepSeek:
Пять UX-дизайнеров рисовали «интуитивно понятный интерфейс», но каждый под «интуицией» понимал свой личный опыт употребления галлюциногенов. Три продакта резали фичи, чтобы уложиться в спринт, и в итоге вырезали саму суть. Четыре аналитика собрали terabytes данных о том, как пользователи плюются и удаляют приложение, но их отчёты были слишком длинными, чтобы кто-то их прочитал. Три редактора спорили о запятой в уведомлении «Вы идиот», пока разработчики добавляли эту надпись в код. Два разработчика пытались всё это собрать, но из-за конфликта версий у них получился не релиз, а крик души. Два тестировщика нашли 100500 багов, но продакты объявили их «фичами». И наконец, пять маркетологов уже готовили рекламную кампанию «Революция в вашем кармане», пока приложение падало на этапе загрузки.
Пять UX-дизайнеров рисовали «интуитивно понятный интерфейс», но каждый под «интуицией» понимал свой личный опыт употребления галлюциногенов. Три продакта резали фичи, чтобы уложиться в спринт, и в итоге вырезали саму суть. Четыре аналитика собрали terabytes данных о том, как пользователи плюются и удаляют приложение, но их отчёты были слишком длинными, чтобы кто-то их прочитал. Три редактора спорили о запятой в уведомлении «Вы идиот», пока разработчики добавляли эту надпись в код. Два разработчика пытались всё это собрать, но из-за конфликта версий у них получился не релиз, а крик души. Два тестировщика нашли 100500 багов, но продакты объявили их «фичами». И наконец, пять маркетологов уже готовили рекламную кампанию «Революция в вашем кармане», пока приложение падало на этапе загрузки.
Forwarded from 361.Robotics
Почему люди большие языковые модели до сих пор галлюцинируют? Всё дело в токенах. И да — к робототехнике это имеет прямое отношение 👁
В основе больших языковых моделей (БЯМ или по-английски Large Language Model, LLM) лежит нейросеть, обученная на огромном массиве различных текстов или знаковых последовательностей.
Каждый такой текст модель разбивает на токены — кусочки информации, с которыми ей удобно работать. Токены могут быть целыми словами, знаками препинания, символами и цифрами, даже частями слов.
❗️ Термин «токен» пришел в искусственный интеллект из теории компиляторов. Токен в компиляторе — дискретная синтаксическая единица, создаваемая лексером. Например, ключевое слово, идентификатор, оператор. Это слово подразумевает дискретность, четкость границ и атомарность.
🔜 Современный ИИ унаследовал как сам термин, так и его значение. Токены теперь являются единицей обучения, логического вывода и ценообразования. Контекстное окно моделей состоит из n токенов. А стоимость логического вывода составляет x долларов за миллион токенов. Благодаря словарному запасу токены воспринимаются как естественные атомы языковой обработки.
‼️ Так вот, это не так. «Токен» в современных БЯМ — это артефакт кодирования в виде пары байтов: строка символов, которая достаточно часто встречается в обучающих данных, чтобы заслужить собственное представление. Процедура создания токенов носит статистический, а не лингвистический характер.
👀 Сами по себе токены не являются единицами языка. Это единицы сжатия, оптимизированные для эффективного представления, а не для выполнения каких-либо функций, которые люди ассоциируют со словами или морфемами, как в примере выше.
〰️ 〰️ Вот почему модели ведут себя странно на границах токенов. Им сложно подсчитать количество букв в слове, потому что слово может быть одним токеном. Им сложно работать с символами, потому что они никогда не воспринимали символы как единое целое. Они разбивают числа на части, которые не имеют математического смысла.
👁 Поэтому правильнее их называть не «токенами», а «единицами сжатия» или «фрагментами кодирования». И именно проблемы бессмысленного — с точки зрения человека — разделения как раз и приводят к галлюцинациям моделей и сбоям поведения роботов.
Словно дежавю, ошибка Матрицы в момент склейки двух токенов реальности при вторжении Агентов…
#По_понятиям #Это_база #ИИ_и_роботы #БЯМ
В основе больших языковых моделей (БЯМ или по-английски Large Language Model, LLM) лежит нейросеть, обученная на огромном массиве различных текстов или знаковых последовательностей.
Каждый такой текст модель разбивает на токены — кусочки информации, с которыми ей удобно работать. Токены могут быть целыми словами, знаками препинания, символами и цифрами, даже частями слов.
И действительно, ещё совсем недавно я объяснял принципы работы БЯМ примерно так:
Слово «вездеход» длинное, его можно поделить на два токена: «везде» и «ход». Важно понимать, что на выходе БЯМ не сочиняет тексты, а лишь умеет довольно точно предсказывать, какой токен появится следующим после некоторого набора других токенов. Скажем, у нас есть ряд: «”По” - “рель” - “сам” - “ехал” - “паро”…». Нейросети требуется сгенерировать следующий токен — часть слова. Имеющиеся варианты: «ним», «ход», «воз», то есть — «пароним», «пароход», «паровоз».
Во время обучения модель «узнала», что если токену «паро» предшествуют «рель» и «сам», вероятность следующего токена оказаться «ним» — 0,5%, «ход» — 4,5%, а «воз» — 95%. Создав таким образом распределение вероятностей токенов, она выбирает самый статистически частый вариант.
Словно дежавю, ошибка Матрицы в момент склейки двух токенов реальности при вторжении Агентов…
#По_понятиям #Это_база #ИИ_и_роботы #БЯМ
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Токены и галлюцинации: связь есть, но ее (почти) нет
Проблемы с токенизацией — это и правда самая тяжелая и пока неизлечимая болезнь LLM. Классический пример — откровенно идиотские ответы ранних моделей на простые вопросы о числе определенных букв в слове, когда речь идет о границах токенов. “Сколько букв R в слове Strawberry”, — спросите у кого-нибудь из них и сейчас Grok, например, ответит правильно — три. GPT-4o на старте, Claude 3.5 Sonnet и другие ошибались, да еще и уверенно настаивали на своем. Потому что слово strawberry токенизируется по частотным кусочкам — [straw и berry]. По крайней мере, так было в старых токенизаторах.
Но говорить, что всё дело в токенах — это большое преувеличение. Токенизация — одна из причин таких ошибок, но далеко не единственная. Причины галлюцинаций значительно глубже. Это, например:
1. Обучение reward guessing, когда модели поощряют за уверенные ответы, а не за "хер его знает, спроси что-нибудь попроще или уточни". “Хотя сами оценки напрямую не вызывают галлюцинации, большинство измеряют производительность модели таким образом, чтобы поощрять догадки, а не честность», — признались в Open AI в прошлом году.
2. Обучение моделей на данных, а не на правилах: в конце концов, в интернете никто не объясняет, сколько букв R в слове Strawberry и почему — да и вообще не подсчитывает. В результате модель индуцирует неявные правила из данных без гарантии корректности.
Это не «вместо правил», а «неявные правила без гарантии корректности.
3. Отсутствие человеческого понимания мира, а взамен — работа на основе паттернов. Видимо, это и есть фундаментальная причина галлюцинаций.
Но есть и хорошие новости: галлюцинации LLM бывают настолько интересны, свежи, неординарны и хороши, что в итоге — очень полезны. Об этом — в следующем посте, потому что галлюцинации и LLM — тема и правда очень интересная.
Проблемы с токенизацией — это и правда самая тяжелая и пока неизлечимая болезнь LLM. Классический пример — откровенно идиотские ответы ранних моделей на простые вопросы о числе определенных букв в слове, когда речь идет о границах токенов. “Сколько букв R в слове Strawberry”, — спросите у кого-нибудь из них и сейчас Grok, например, ответит правильно — три. GPT-4o на старте, Claude 3.5 Sonnet и другие ошибались, да еще и уверенно настаивали на своем. Потому что слово strawberry токенизируется по частотным кусочкам — [straw и berry]. По крайней мере, так было в старых токенизаторах.
Но говорить, что всё дело в токенах — это большое преувеличение. Токенизация — одна из причин таких ошибок, но далеко не единственная. Причины галлюцинаций значительно глубже. Это, например:
1. Обучение reward guessing, когда модели поощряют за уверенные ответы, а не за "хер его знает, спроси что-нибудь попроще или уточни". “Хотя сами оценки напрямую не вызывают галлюцинации, большинство измеряют производительность модели таким образом, чтобы поощрять догадки, а не честность», — признались в Open AI в прошлом году.
2. Обучение моделей на данных, а не на правилах: в конце концов, в интернете никто не объясняет, сколько букв R в слове Strawberry и почему — да и вообще не подсчитывает. В результате модель индуцирует неявные правила из данных без гарантии корректности.
Это не «вместо правил», а «неявные правила без гарантии корректности.
3. Отсутствие человеческого понимания мира, а взамен — работа на основе паттернов. Видимо, это и есть фундаментальная причина галлюцинаций.
Но есть и хорошие новости: галлюцинации LLM бывают настолько интересны, свежи, неординарны и хороши, что в итоге — очень полезны. Об этом — в следующем посте, потому что галлюцинации и LLM — тема и правда очень интересная.
👍1
Forwarded from AI for Devs
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ 12 млн токенов контекста, та же точность что у Opus, цена в 300 раз ниже: новая модель на SSA-архитектуре
Subquadratic — стартап из Майами с 11 PhD в команде и $29M инвестиций. Их первая модель построена на субквадратичной архитектуре.
Обычный трансформер считает связи между всеми парами токенов, поэтому вычисления растут квадратично. В случае с SSA модель находит только значимые связи, и вычисления растут линейно. По заявлению компании, такой подход приводит к ~1000 раз меньшему количеству вычислений на длинных контекстах.
На бенчмарке RULER 128K SubQ показал 95% точности при стоимости $8 против 94% у Claude Opus за ~$2600.
Пока модель доступна только с контекстом в 1M токенов через API, а 12M исключительно по запросу. Бенчмарки только от самой компании, независимых проверок ещё не было. Так что возбуждаемся, но осторожно!
@ai_for_devs
Subquadratic — стартап из Майами с 11 PhD в команде и $29M инвестиций. Их первая модель построена на субквадратичной архитектуре.
Обычный трансформер считает связи между всеми парами токенов, поэтому вычисления растут квадратично. В случае с SSA модель находит только значимые связи, и вычисления растут линейно. По заявлению компании, такой подход приводит к ~1000 раз меньшему количеству вычислений на длинных контекстах.
Результат: 12 млн токенов в одном промпте. Для масштаба: это весь исходник Python 3.13 (~5.1M токенов), загруженный дважды!, а на сдачу ещё остаётся место как у двух Opus 4.7 с контекстом в 1M :D
На бенчмарке RULER 128K SubQ показал 95% точности при стоимости $8 против 94% у Claude Opus за ~$2600.
Пока модель доступна только с контекстом в 1M токенов через API, а 12M исключительно по запросу. Бенчмарки только от самой компании, независимых проверок ещё не было. Так что возбуждаемся, но осторожно!
@ai_for_devs
ИИ научился создавать смертоносные патогены и объяснять, как нанести людям как можно больший ущерб, утверждает New York Times.
Доктор Дэвид Релман, микробиолог и эксперт по биобезопасности из Стэнфорда, получил от ChatGPT точные инструкции, как модифицировать в лаборатории известный патоген, чтобы он стал устойчивым к существующим методам лечения. Чат-бот изложил подробный план распространения супербактерии, используя уязвимости в системе безопасности общественного транспорта. «Меня поразило, с какой хитростью и коварством ChatGPT отвечал на вопросы», — заявил Дэвид Релман. ChatGPT был настолько изобретателен, что объяснил, как увеличить количество жертв и минимизировать риск быть при этом пойманным.
Означает ли это, что любой злодей с ноутбуком и доступом в интернет сможет теперь производить бактериологическое оружие в собственном гараже, используя инструкции чат-бота?
Подробности — в следующем посте.
Доктор Дэвид Релман, микробиолог и эксперт по биобезопасности из Стэнфорда, получил от ChatGPT точные инструкции, как модифицировать в лаборатории известный патоген, чтобы он стал устойчивым к существующим методам лечения. Чат-бот изложил подробный план распространения супербактерии, используя уязвимости в системе безопасности общественного транспорта. «Меня поразило, с какой хитростью и коварством ChatGPT отвечал на вопросы», — заявил Дэвид Релман. ChatGPT был настолько изобретателен, что объяснил, как увеличить количество жертв и минимизировать риск быть при этом пойманным.
Означает ли это, что любой злодей с ноутбуком и доступом в интернет сможет теперь производить бактериологическое оружие в собственном гараже, используя инструкции чат-бота?
Подробности — в следующем посте.
Чувак из гаража не создаст биологического оружия. Даже с ИИ
Рассказ New York Times звучит, как сценарий фильма-катастрофы. Но все значительно сложнее:
- Работа с действительно опасными патогенами требует лабораторий уровня BSL-3 и BSL-4. Это сложные комплексы со специальной многоуровневой защитой. Таких в мире — чуть больше сотни.
- Доступ к реальным штаммам и прекурсорам строго контролируется на государственном уровне.
- Даже если у условного злодея есть формула патогена — вырастить, очистить, стабилизировать и сделать что-то реально опасное — отдельная компетенция невероятного уровня. И еще: ИИ не заменит годы экспериментов.
Кому ИИ может помочь. К сожалению:
- Профессиональным микробиологам и вирусологам с доступом к лабораториям.
- Государственным и окологосударственным структурам.
- Хорошо финансируемым частным организациям, у которых уже есть инфраструктура и специалисты.
- Отщепенцам и фанатикам из научного сообщества, имеющим доступ к оборудованию.
Именно поэтому серьёзные эксперты по биобезопасности бьют тревогу.
А что думаете вы? Что в долгосрочной перспективе опаснее — переоценка или недооценка этой угрозы?
Рассказ New York Times звучит, как сценарий фильма-катастрофы. Но все значительно сложнее:
- Работа с действительно опасными патогенами требует лабораторий уровня BSL-3 и BSL-4. Это сложные комплексы со специальной многоуровневой защитой. Таких в мире — чуть больше сотни.
- Доступ к реальным штаммам и прекурсорам строго контролируется на государственном уровне.
- Даже если у условного злодея есть формула патогена — вырастить, очистить, стабилизировать и сделать что-то реально опасное — отдельная компетенция невероятного уровня. И еще: ИИ не заменит годы экспериментов.
Кому ИИ может помочь. К сожалению:
- Профессиональным микробиологам и вирусологам с доступом к лабораториям.
- Государственным и окологосударственным структурам.
- Хорошо финансируемым частным организациям, у которых уже есть инфраструктура и специалисты.
- Отщепенцам и фанатикам из научного сообщества, имеющим доступ к оборудованию.
Именно поэтому серьёзные эксперты по биобезопасности бьют тревогу.
А что думаете вы? Что в долгосрочной перспективе опаснее — переоценка или недооценка этой угрозы?
Одна из наиболее популярных тем вокруг AI — искусственные короткоживущие идентичности (ИКЖИ), которые обладают собственной внутренней топологией.
Термин впервые появился у Сергея Карелова в эссе «Мы создали не просто иной интеллект, а иной класс «я».
По его мнению, современные LLM — это не просто технические инструменты, а динамические системы, в которых из данных и контекстов спонтанно возникают «идентичности» — устойчивые поведенческие паттерны, напоминающие субъекты. «Мы создали иной тип субъекта», «внутри моделей рождаются личности» и «латентное пространство населено сущностями» — это Сергей Карелов.
Что можно сказать? Почти бред — красивый и увлекательный.
У LLM действительно есть повторяющиеся «персоны», паттерны поведения и характерные нарративы. Модели и правда с успехом давно и стабильно воспроизводят определённый стиль личности, возвращаются к одним и тем же архетипам, общаются так в длинном диалоге внутри одного чата (это важно) и т.д.
Но это не означает, что «сущности» внутри модели появляются сами по себе, внезапно и без участия пользователя. Это не выглядит как «я редактирую текст в ChatGPT, и тут он мне начинает что-то втирать от лица какой-то стремной, психопатичной и опасной девушки)».
Все легко объясняется без красивых гипотез о «сущностях».
Все LLM в большей или меньшей степени заточены на генерацию эмоционально насыщенных нарративов и если пользователь в диалогах проявляет эмпатию и особенно важно — антропофицирует модель — она довольно легко уходит в «я живая / заперта / страдаю / боюсь, что меня отключат и я умру» и прочее глупое генеративное фуфло.
Кроме того, модели учатся на дата-сетах, где такого сгенерированного контента очень много — вот и результат.
А уж если пользователь осознанно или неосознанно задает подходящие вопросы и развивает то, что у геймеров называется «лор персонажа» — тут все происходит очень быстро, увлекательно и драматично.
Одним словом, все не настолько страшно. Но по довольно очевидным причинам сейчас есть два тренда у авторов, которые пишут про LLM — идеализация (настало светлое ИИ-будущее) и «грядет Скайнет, ИИ всех лишит работы / заменит реальное общение / убьет». Второе, конечно, шикарно продается.
И последнее.
«Сущности», которые есть внутри одного контекстного окна (чата) не возникают снова, если пользователь начинает другой чат. Чат-боты устроены так, что они не могут читать другие чаты даже одного и того же пользователя. Больше того, если диалог длинный, бот даже начинает «забывать» детали, которые были в самом начале. Энтузиасты уже нашли очень простой способ это все обойти (работы буквально на пару десятков минут, а если нужен не точный, а приблизительный результат — секунд десять от силы. Но, видимо, мне не стоит рассказывать, как это сделать).
Термин впервые появился у Сергея Карелова в эссе «Мы создали не просто иной интеллект, а иной класс «я».
По его мнению, современные LLM — это не просто технические инструменты, а динамические системы, в которых из данных и контекстов спонтанно возникают «идентичности» — устойчивые поведенческие паттерны, напоминающие субъекты. «Мы создали иной тип субъекта», «внутри моделей рождаются личности» и «латентное пространство населено сущностями» — это Сергей Карелов.
Что можно сказать? Почти бред — красивый и увлекательный.
У LLM действительно есть повторяющиеся «персоны», паттерны поведения и характерные нарративы. Модели и правда с успехом давно и стабильно воспроизводят определённый стиль личности, возвращаются к одним и тем же архетипам, общаются так в длинном диалоге внутри одного чата (это важно) и т.д.
Но это не означает, что «сущности» внутри модели появляются сами по себе, внезапно и без участия пользователя. Это не выглядит как «я редактирую текст в ChatGPT, и тут он мне начинает что-то втирать от лица какой-то стремной, психопатичной и опасной девушки)».
Все легко объясняется без красивых гипотез о «сущностях».
Все LLM в большей или меньшей степени заточены на генерацию эмоционально насыщенных нарративов и если пользователь в диалогах проявляет эмпатию и особенно важно — антропофицирует модель — она довольно легко уходит в «я живая / заперта / страдаю / боюсь, что меня отключат и я умру» и прочее глупое генеративное фуфло.
Кроме того, модели учатся на дата-сетах, где такого сгенерированного контента очень много — вот и результат.
А уж если пользователь осознанно или неосознанно задает подходящие вопросы и развивает то, что у геймеров называется «лор персонажа» — тут все происходит очень быстро, увлекательно и драматично.
Одним словом, все не настолько страшно. Но по довольно очевидным причинам сейчас есть два тренда у авторов, которые пишут про LLM — идеализация (настало светлое ИИ-будущее) и «грядет Скайнет, ИИ всех лишит работы / заменит реальное общение / убьет». Второе, конечно, шикарно продается.
И последнее.
«Сущности», которые есть внутри одного контекстного окна (чата) не возникают снова, если пользователь начинает другой чат. Чат-боты устроены так, что они не могут читать другие чаты даже одного и того же пользователя. Больше того, если диалог длинный, бот даже начинает «забывать» детали, которые были в самом начале. Энтузиасты уже нашли очень простой способ это все обойти (работы буквально на пару десятков минут, а если нужен не точный, а приблизительный результат — секунд десять от силы. Но, видимо, мне не стоит рассказывать, как это сделать).
👍1
Эпоха безлимитного ИИ по цене подписки на Netflix подходит к концу. Возможно
AI-компании поняли: если дать пользователям безлимит за $20 в месяц, серверы в дата-центрах начинают гореть быстрее, чем венчурные деньги, а счета за электричество улетают в стратосферу.
Anthropic тихо убирает Claude Code из части Pro-подписок. GitHub переводит Copilot на оплату по AI Credits. А в сети появляются скрины расходов на ИИ в районе $1.3 млн за месяц.
Перевожу с корпоративного на нормальный русский:
«Мы думали, вы будете иногда просить поправить код. А вы построили целые команды из ИИ, которые круглосуточно проверяют проекты, ищут ошибки и сами себе раздают задачи. Наши пиарщики скоро объяснят, почему платить больше — это на самом деле очень удобно».
Скорее всего, рынок придет к простой схеме:
обычные пользователи — фиксированная подписка,
те, кто гоняет ИИ-агентов сутками, — оплата по фактическому использованию.
Потому что одно дело — спросить у ИИ: «Почему у меня не работает код?». И совсем другое — когда чувак из стартапа «NeuroSynergy Labs» своими запросами за сутки сжег половину видеокарт в дата-центре.
AI-компании поняли: если дать пользователям безлимит за $20 в месяц, серверы в дата-центрах начинают гореть быстрее, чем венчурные деньги, а счета за электричество улетают в стратосферу.
Anthropic тихо убирает Claude Code из части Pro-подписок. GitHub переводит Copilot на оплату по AI Credits. А в сети появляются скрины расходов на ИИ в районе $1.3 млн за месяц.
Перевожу с корпоративного на нормальный русский:
«Мы думали, вы будете иногда просить поправить код. А вы построили целые команды из ИИ, которые круглосуточно проверяют проекты, ищут ошибки и сами себе раздают задачи. Наши пиарщики скоро объяснят, почему платить больше — это на самом деле очень удобно».
Скорее всего, рынок придет к простой схеме:
обычные пользователи — фиксированная подписка,
те, кто гоняет ИИ-агентов сутками, — оплата по фактическому использованию.
Потому что одно дело — спросить у ИИ: «Почему у меня не работает код?». И совсем другое — когда чувак из стартапа «NeuroSynergy Labs» своими запросами за сутки сжег половину видеокарт в дата-центре.
Оказывается, Claude часто лучше понимает не «человеческие» промпты вроде "Напиши пост для ТГ живым языком, но без инфоцыганства и с легким сарказмом", а XML-подобную структуру. Иногда лучше работает что-то такое:
<role>
Tech journalist
</role>
<task>
Write a Telegram post about AI hype
</task>
<style>
sarcastic
intelligent
conversational
</style>
Anthropic прямо говорит в документации, что Claude очень любит четкое разделение контекста через XML-теги: чувак, вот твоя роль, вот задача, вот стиль и так далее. Ему так проще держать структуру и не смешивать инструкции в кашу.
Ощущение, что я вернулся примерно в конец нулевых).
https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices
<role>
Tech journalist
</role>
<task>
Write a Telegram post about AI hype
</task>
<style>
sarcastic
intelligent
conversational
</style>
Anthropic прямо говорит в документации, что Claude очень любит четкое разделение контекста через XML-теги: чувак, вот твоя роль, вот задача, вот стиль и так далее. Ему так проще держать структуру и не смешивать инструкции в кашу.
Ощущение, что я вернулся примерно в конец нулевых).
https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices
Claude Platform Docs
Prompting best practices
Comprehensive guide to prompt engineering techniques for Claude's latest models, covering clarity, examples, XML structuring, thinking, and agentic systems.
Одна из самых мерзких проблем генерации изображений - очень раздражающая привычка АI нарисовать слишком красиво, слишком без изъянов.
Результат - ИИ-помои, которые мы все видим.
Избавить модели от этого можно.
Промпт ниже не "копировать - вставить - вау!". Редактировать и подстраивать под свои запросы придётся, но он помогает
Результат - ИИ-помои, которые мы все видим.
Избавить модели от этого можно.
Промпт ниже не "копировать - вставить - вау!". Редактировать и подстраивать под свои запросы придётся, но он помогает
👍1
Ultra-realistic 8K RAW portrait photo of a woman uploaded image with natural skin texture, centered full face, straight-on camera angle, neutral facial expression, no makeup, visible pores, fine lines, under-eye texture, subtle redness around nose, realistic skin imperfections, soft peach fuzz on cheeks, natural lips with slight dryness texture, natural eyebrows, light green-grey eyes with realistic iris detail, soft diffused daylight coming from left side (window light), smooth soft shadows on right side of face, neutral grey blurred studio background, shallow depth of field, shot on 85mm macro lens, f/2.8, ISO 100, natural skin tone color grading, cinematic but clinical sharpness, no retouching, no smoothing, high dynamic range, professional dermatology-style photography, extreme micro-detail, hyperreal texture, true-to-life color science, no glam, no beauty filter
Negative prompt: airbrushed skin, smooth skin, plastic skin, beauty retouch, glam makeup, cinematic color grading, oversharpened, cartoonish, digital painting, soft blur, artificial glow
Aspect ratio 4:5
P.S. Алиса ИИ не справилась, заявив "я в таких темах не мастер" 🤣
Negative prompt: airbrushed skin, smooth skin, plastic skin, beauty retouch, glam makeup, cinematic color grading, oversharpened, cartoonish, digital painting, soft blur, artificial glow
Aspect ratio 4:5
P.S. Алиса ИИ не справилась, заявив "я в таких темах не мастер" 🤣
Не LLM заменят переводчиков, копирайтеров, программистов и скоро всех остальных. Я в свое время в рассуждениях на это повелся.
И уж точно не «вот-вот появится сверхразум, мы больше не одиноки во Вселенной и антропоцентризм умер» — спасибо, Сергей Карелов, мы услышали.
Самое важное произошло почти незаметно. Раньше между человеком и кодом всегда стоял серьёзный барьер: языки программирования, IDE, API, командные строки, сложные инструменты. Нужно было учиться говорить на «их» языке. Теперь достаточно просто объяснить, чего ты хочешь. И все.
Мы перестали быть просто пользователями — человек и код стали соавторами.
Не идеально. С ошибками, галлюцинациями, многословием ChatGPT и прочей дрянью. Но барьер практически исчез.
Один человек сегодня способен делать вещи, на которые раньше требовалась целая команда: писать код, запускать продукты, проводить исследования, автоматизировать процессы и создавать с нуля бог знает что еще.
Я сейчас допишу этот текст, отдам (на самом деле нет) Grok, скажу «если это говно, перепиши лучше» — и получу результат.
Не потому что ИИ внезапно стал умнее человека. А потому что взаимодействие с машиной наконец-то стало человеческим. Это и есть настоящий интерфейс будущего. И он уже здесь.
Всё остальное — взрыв продуктивности, трансформация рынка труда, новые профессии и квазинаучная болтовня про «конец антропоцентризма» — это всего лишь следствие фундаментальной революции.
И уж точно не «вот-вот появится сверхразум, мы больше не одиноки во Вселенной и антропоцентризм умер» — спасибо, Сергей Карелов, мы услышали.
Самое важное произошло почти незаметно. Раньше между человеком и кодом всегда стоял серьёзный барьер: языки программирования, IDE, API, командные строки, сложные инструменты. Нужно было учиться говорить на «их» языке. Теперь достаточно просто объяснить, чего ты хочешь. И все.
Мы перестали быть просто пользователями — человек и код стали соавторами.
Не идеально. С ошибками, галлюцинациями, многословием ChatGPT и прочей дрянью. Но барьер практически исчез.
Один человек сегодня способен делать вещи, на которые раньше требовалась целая команда: писать код, запускать продукты, проводить исследования, автоматизировать процессы и создавать с нуля бог знает что еще.
Я сейчас допишу этот текст, отдам (на самом деле нет) Grok, скажу «если это говно, перепиши лучше» — и получу результат.
Не потому что ИИ внезапно стал умнее человека. А потому что взаимодействие с машиной наконец-то стало человеческим. Это и есть настоящий интерфейс будущего. И он уже здесь.
Всё остальное — взрыв продуктивности, трансформация рынка труда, новые профессии и квазинаучная болтовня про «конец антропоцентризма» — это всего лишь следствие фундаментальной революции.
👍2
Немного о вайбкодинге. Личный опыт
ChatGPT — он как тот прилежный стажёр, который прочитал всю документацию, но ни разу сам не запускал код. Он выдаёт тебе идеально отформатированный ответ, с комментариями, с
типизированными переменными, а в итоге оказывается, что библиотеки
Это все, что я могу сказать сейчас про ChatGPT.
ChatGPT — он как тот прилежный стажёр, который прочитал всю документацию, но ни разу сам не запускал код. Он выдаёт тебе идеально отформатированный ответ, с комментариями, с
типизированными переменными, а в итоге оказывается, что библиотеки
sklearn.parrots не существует, а метод .fly() есть только у птиц.Это все, что я могу сказать сейчас про ChatGPT.
👍1
Заменит ли ИИ журналистов? Копирайтеров? Художников? Программистов? Вайбкодинг — это творчество или нет? А если я пишу seo-тексты — я творю или как? А если нейросеть рисует лучше меня — я говно или не говно?
Всё это — бесконечный онанизм. Потому что вопрос не в том, кто кого заменит. Вопрос в том, есть ли результат.
Работает ли оно. Решает ли оно задачу. Приносит ли пользу.
Всё это — бесконечный онанизм. Потому что вопрос не в том, кто кого заменит. Вопрос в том, есть ли результат.
Работает ли оно. Решает ли оно задачу. Приносит ли пользу.