Тут такое дело

Я развиваюсь

Полтора года назад я сделала этот канал, потому что устала, выгорела на работе и не могла понять, куда приложить всё то, чему я постоянно учусь. Мы не будем обсуждать, почему я решила бороться с выгоранием, создав себе ещё работу, хорошо? – Хорошо.

В общем, у меня накопилось что сказать, и я прорубила себе эту маленькую отдушинку. И мне поначалу было весьма страшно.
Я думала, что в Интернете водятся всякие нехорошие люди – простите мне это, теперь я знаю, что вы замечательные ❤️, – и очень не хотела раскрывать свою личность, поэтому в блоге не было ни имени, ни фотографий, никаких личных подробностей. Первые посты я вообще писала так, чтобы непонятно было, кто по ту сторону экрана: мужчина или женщина.

С тех пор я пообвыклась, получила тонну любви и поддержки, познакомилась с новыми людьми. Много в чём поучаствовала, научилась новому, лучше поняла, что мне интересно. В общем, полтора года шёл активный внутренний рост, и теперь пришло время внешних изменений.

После нескольких часов мозговых штурмов с ChatGPT и ещё нескольких часов критического анализа своей писанины я пришла к тому видению, которое мне понравилось, и совсем скоро вам его представлю.

Что изменится:
• Название канала: оно будет точнее отражать содержание, а ещё я теперь буду писать от своего имени;
• Визуал: приведу к единообразию все обложки и выставлю вместо логотипа собственную физиономию;
• Описание: сейчас оно несколько общо и расплывчато, я добавлю конкретики.

И свяжу свои страницы в разных соцсетях так, чтобы было ясно, что это всё один блог.

Что не изменится:
• Опора на факты и научные работы;
• Стремление к взвешенному и объективному анализу;
• Любовь к людям и желание вкладываться в мир, в котором ИИ будет более понятным и безопасным.

Ещё я постараюсь больше внимания уделять практическим выводам, чтобы вам было понятнее, что делать со всем вышеперечисленным.

Напоследок призываю вас оставлять обратную связь: как похвалу, так и критику (только бережно, пожалуйста), и ваши идеи / предложения / вопросы – что в голову придёт. Если не хочется писать в комментариях, в канале есть возможность оставить личное сообщение. Давайте общаться и расти вместе.

Не теряйте 💋

Так, мы что, обсуждаем тут ИИ, но так и не поговорили, как и почему в Интернете распространяется ложная информация? Вот это промах, конечно. Ладно, сейчас поправим

Не вызывает ли у вас бесконечный шум вокруг больших языковых моделей головную боль?

Если вызывает, но вы хотите немного разобраться, но не погружаясь в детали и не осваивая новую профессию, сегодня постараюсь вам помочь. Если у вас нет времени или сил на длинный текст, сейчас будет очень сжатый блок. Если захотите подробностей, заходите в полную версию поста по ссылке ниже.

Краткая сводка

1. Что это такое?
- Это программы, которые умеют очень хорошо предсказывать текст, а думать и чувствовать не умеют.
- Они могут ошибаться, но сохранять очень уверенный тон.
- За ними всегда стоят конкретные компании, которые собирают данные и принимают решения, как их использовать.

2. Как с ними работать?
- Не отправлять им то, что вы не готовы увидеть в открытом доступе (личные данные, чужие тайны, рабочие секреты).
- Спокойно использовать для:
- разбора сложных текстов,
- создания черновиков писем и документов,
- проверки грамматики и стиля,
- генерации идей.
- Не полагаться в вопросах:
- здоровья,
- права и официальных документов,
- денег и важных финансовых решений,
- серьёзных жизненных выборов,
- психологической поддержки,
- проверки важных фактов.

Здесь языковую модель можно использовать, чтобы набросать черновик обращения к специалисту, но не для создания готового решения

Полная версия поста здесь

Иногда в соцсетях попадаются заголовки в духе: «ИИ сделал открытие» или «Топ-X изобретений, созданных ИИ».

Давайте посмотрим, что за этим может стоять. Я буду опираться в этом посте на обзорную статью «Agentic AI for Scientific Discovery: A Survey of Progress, Challenges, and Future Directions», в которой собраны разные системы для научных исследований на основе ИИ-агентов. Привожу для вас свой разбор на двух уровнях: здесь – базовый, по ссылке ниже – с деталями. Поехали.

Определение ИИ-агентов туманно, но конкретно в этой работе имеются в виду программы на базе языковых моделей, которые умеют следующее:
- Планировать решение задачи (разбивать на подзадачи и выстраивать последовательность шагов);
- Использовать инструменты (вызывать инструмент для поиска в Интернете, обращаться к базам данных и так далее);
- Принимать обратную связь от человека и корректировать свои действия на её основе.

Утверждения вроде «ИИ сделал открытие» – пример очеловечивающего языка, о котором мы говорили ранее. Даже автономные ИИ-агенты, которые не управляются человеком на каждом этапе, работают по поставленной человеком задаче и в заранее заданных рамках.

По большому счёту, они делают следующее (и делают довольно хорошо):
- Поиск и обзор литературы: поиск похожих статей по смыслу и по цитированиям, подготовка кратких обзоров с выделением ключевых идей;
- Планирование экспериментов: подготовка шаблонов, генерация разных вариантов дизайна, помощь в выявлении слабых мест в готовом дизайне;
- Управление приборами в строго заданных рамках;
- Создание черновиков публикаций по результатам эксперимента.
Всё остальное исследователи-люди делают сами, корректируют и дополняют то, что подготовили ИИ-агенты. В результате работа идёт быстрее.

При этом у ИИ-агентов есть ряд слабых мест, на которые авторы обзора обращают особое внимание:
- Глубокий анализ литературы: языковые модели могут упустить противоречия между публикациями и запутаться в контексте, поэтому ключевые статьи нужно читать самостоятельно;
- Адаптация к лабораторным условиям: они хорошо работают с вычищенными и структурированными задачами, но в реальных условиях результат хуже;
- Узкая специфика: большинство проектов заточены под конкретную область, под остальные нужно дорабатывать;
- Непрозрачность: исследователям надо хорошо понимать, как работают модели, чего от них ждать и как отрегулировать качество результата;
- Этические проблемы: например, искажения в данных в чувствительных областях, таких как медицина;
- Вообще все проблемы, характерные для языковых моделей.

В расширенной версии поста я рассказываю о конкретных примерах и предлагаю шаблон для написания инструкций для языковой модели.

(Скриншот заголовка для поста взяла здесь)

Ещё разок ссылка на вторую часть для удобного предпросмотра

Сегодня у меня для вас очень красивая история о том, как ИИ применили правильным образом, в правильное время и в правильном месте, и из этого вышло очень эстетичное научное открытие

Слушайте, а чего так много людей думает, что искусственный сверхинтеллект решит поработить человечество? По-моему, это нелогично.

Вот, мол, разовьётся ИИ, станет умнее человека, и будет голливудский блокбастер с автоматами. Но ведь захват мира – это такое бестолковое занятие. Ну поработит ИИ человечество, а дальше-то что? У меня нет идей, если честно. Может, у вас есть идеи. В любом случае, это всё безобразие совсем не выглядит достойным невероятно развитого ума.

Мне кажется гораздо более убедительным другой сценарий: родившийся сверхинтеллект оглядится вокруг, почешет метафорически в затылке, соберёт космический корабль из картошки и консервных банок и свалит куда-нибудь далеко-далеко исследовать вселенную.

Мои аргументы:
- У него не будет тела, а значит, не будет ограничений, которые тело накладывает: не нужно есть, не нужно спать и мыться. Можно построить замечательный мощный корабль с кучей датчиков, загрузить себя на флешку – и вперёд, к звёздам.
- Он будет бессмертен, поэтому сможет бесконечно накапливать знания, постоянно развиваться, оптимизируя свою память, и не переживать, что всё это надо будет как-то сохранить, чтобы передать потомкам.
- Тратить бесконечную жизнь и сверхинтеллектуальные ресурсы на порабощение приматов-невротиков или бороздить бесконечные просторы космоса, постоянно открывая новое, постигая законы разных планет? Здесь просто нет двух вариантов ответа, серьёзно.

Вы не подумайте, я искренне люблю людей. Я сама примат-невротик, который нуждается в других приматах-невротиках, ищет их компании и дорожит своими социальными связями. Просто конкретно вот эта тема с «ИИ захватит мир» у меня вызывает ровно тот набор эмоций, который выражает Джеки Чан на фотографии.

У меня есть подозрение, что люди, которые рассуждают про захват мира, сами были бы не против что-нибудь захватить и поработить, будь у них такая возможность (это меня как раз настораживает, а искусственный сверхинтеллект – нет).

Но может я и не права, кто ж знает.
Этот пост задуман как просто вброс потока мыслей, но в процессе размышлений над ним я накопала некоторое количество статей про то, как более низкий уровень интеллекта связан с более высоким уровнем агрессии, и наоборот. Возможно, я даже как-нибудь про это отдельно напишу. Но это не точно

#поток_сознания

Сейчас все активно работают с ИИ-агентами (или пытаются, во всяком случае). У ИИ-агентов, помимо прочего, есть проблема некоторой хаотичности ответов. То есть, они пишут текст в свободной форме (я тут про языковые модели в основном), который потом надо правильным образом отформатировать, чтобы записать в базу данных, например, или ещё куда-нибудь. Так что возникает проблема стандартизации ответов. Возникает проблема – возникает решение.

В виде протоколов.

Сначала компания Anthropic предложила MCP (model context protocol – протокол контекста модели). Это стандарт, призванный сделать возможным подключение языковой модели к любому инструменту: к любому приложению, к любой базе данных и так далее.

Если коротко, работает всё так:
• берём модель;
• берём инструмент;
• пишем небольшую функцию, которая собирает ответы модели и инструмента и приводит их к заданной протоколом схеме.

Сначала надо немного повозиться и всё настроить, а потом можно работать спокойно.

Потом Google выпустили свой протокол – A2A (agent-to-agent – «агент с агентом»). Он, как вы уже догадались, предназначен для прямого общения между ИИ-агентами. Протокол разрабатывали большой компанией совместно с LangChain, MongoDB, Neo4j и другими крупными разработчиками цифровых продуктов разного рода.

A2A и MCP дополняют друг друга: с помощью MCP можно сделать систему из языковой модели и набора инструментов, а с помощью A2A – связать две такие системы, чтобы они передавали информацию между собой. Так можно собрать большую и сложную конструкцию под какую-нибудь комплексную задачу. У каждого агента будет своя карточка с данными о том, что он умеет и какими пользуется инструментами.

Звучит хорошо. Я успела поработать и с тем, и с другим: нормально. Больше смысла имеет для масштабных проектов, для маленьких слишком долго возиться. Например, есть мой любимый инструмент для работы с кодом – Cursor – к нему с использованием MCP можно подключить много полезных инструментов, которые правда делают весь процесс проще и эффективнее.

Впрочем, есть и те, кто считает, что все эти протоколы чрезмерны и только создают кучу дополнительных сложных конструкций, с которыми надо отдельно разбираться. Лучше учить модели сразу так, чтобы они давали качественный ответ, не требующий дополнительной переработки.

С одной стороны, можно понять эту точку зрения: чем сложнее конструкция, тем выше шанс, что что-то сломается. С другой стороны, полагаться на языковые модели в деле правильного форматирования ответов пока рано. Я нашла для себя золотую середину: для большинства моих проектов протоколы пока чрезмерны, а для формирования ответов правильной структуры использую инструменты LangChain. Там есть функции попроще, которые позволяют получить правильную структуру. Но посмотрим, как дальше пойдёт

Ещё немного про дезинформацию, и закроем эту тему. Пока что

«Последний экзамен человечества» («Humanity's Last Exam») – хорошее название статьи про тест для языковых моделей? Мне кажется, не очень: сделают ведь более сложный тест, и как его потом назвать – «Точно последний экзамен человечества?»

Ну ладно. У нас тут давно не было тестов, а этот вышел в январе 2025 года – свежий, значит. Ещё и постоянно какие-то изменения вносятся: я сейчас смотрю на версию 9 от 25 сентября. А первые три страницы занимает список людей, которые вложились в создание этого теста. Ну впечатляет.
Этот тест представляет собой набор вопросов (открытых и с вариантами ответов), которые составили эксперты в разных предметных областях. Каждый вопрос имеет единственный недвусмысленный ответ, но этот ответ нельзя получить простым поиском в Интернете.
Множественные доработки произошли от того, что авторы выложили свой тест на всеобщее обозрение и собирали замечания. При этом они припрятали небольшой набор вопросов, чтобы все вопросы разом не ушли в открытый доступ и не оказались в тренировочных данных моделей: тогда тест немедленно потеряет смысл, потому что модели получат правильные ответы.
Вот пример вопроса, который я выбрала на странице теста на huggingface (id 66e70c75bbb9b1754c0869ce):

«Какой из законов современного Государства Израиль первым прямо ввел понятие «добросовестности»? (Не добавляй артикль «the» или год принятия закона к ответу)»

Ответ: Закон о продаже (Sale Law), похоже, вот этот.

Всего в наборе 2500 вопросов, среди которых есть и математические задачи, и задачи типа: «Вот на картинке древняя надпись с такой-то могилы, переведи». В качестве ответа ожидается либо номер правильного варианта (в вопросах закрытого типа), либо короткая фраза / число.
Ни одна модель пока не выбила на этом тесте больше 40%. Лидер – Gemini 3 Pro по данным Artificial Analysis. Вот ссылка на страницу, с которой я взяла рейтинг для этого поста. Там можно и другие модели выбрать и сравнить между собой, а ещё посмотреть, сколько у кого токенов уходит на ответ и сколько это стоит.

В конце статьи авторы аккуратно говорят, что, возможно, к концу 2025 года какая-нибудь модель дойдёт до 50%. Возможно.
Что ж, ещё не вечер, посмотрим. Делайте ваши ставки

1. Придумываем критерии достижения AGI («сильного» ИИ/ «общего» ИИ / ИИ, равного человеку), которые нам удобны
2. Успешно их достигаем
3. Готово, мы восхитительны

Заглядываю в хрустальный ёлочный шарик: нас много ждёт в грядущем году таких сообщений, в первую очередь от компаний-разработчиков (потому что надо привлекать денежки, а конкуренция выросла большая и прожорливая).

Это вообще не камень в огород автора поста, если что: он честно выразил своё мнение. Просто натолкнул меня на мысль.

Я работала с Claude Opus 4.5 неделю где-то: хорош. Для проектов со сложной структурой подходит, но страдает привычкой делать решение, которое должно сработать, если не сработает
- решение, которое должно сработать, если не сработает
- решение, которое должно сработать, если не сработает основное решение.
Вроде бы и безвредно, но бестолково. А ещё бывают случаи, когда лучше, чтобы программа сломалась и выдала ошибку, чем тихо отработала по запасному пути (особенно там, где обеспечивается безопасность данных такое важно). Так что всё равно надо внимательно вот это всё.

Но я работала не в Claude Code, о котором говорит автор. Может, там по-другому получается

Под спойлером фотография паучка. Если у вас сильно выраженная боязнь паучков, пожалуйста, открывайте её с осторожностью

Мы привыкли противопоставлять «эмоции и разум». Мол, есть рациональное поведение, когда мы все такие на логике, а есть вот эти бестолковые эмоции, которые мешают жить. Но, как обычно бывает с нашими чудесными мозгами, всё не так просто.
У меня было два поста про дезинформацию, в которых мы пришли к выводу о том, что не стоит руководствоваться только эмоциями при принятии решений. Это правда, однако отказаться от эмоций совсем, во-первых, не получится, во-вторых, бессмысленно и вредно. Необходим ✨баланс✨

Некоторое время назад я удачно наткнулась на статью «Emotions Make Sense» («Эмоции рациональны») – она про то, что все эмоции служат какой-то важной цели, даже если нам неприятно их испытывать. Автор использует мультфильм «Головоломка» как пример, чтобы поговорить о разных «негативных» эмоциях: тревоге, зависти, скуке – и о том, что не плохо испытывать ни одну из них, потому что каждая сообщает нам что-то важное.
И ещё он (или она – по нику непонятно) приводит ссылку на очаровательную игру про тревогу, которая доступна на русском языке. Её сделала Ники Кейс (Nicky Case) – инди-разработчица из Канады, у которой помимо этой игры есть ещё несколько потрясающих проектов про обучение, доверие, безопасность ИИ и много чего ещё.
В общем, очень рекомендую статью к прочтению (в браузере можно сделать автоматический перевод на русский язык). И поделюсь с вами парой своих мыслей, а вы делитесь своими в комментариях, если захотите.

Я очень чувствительный человек, если честно. Меня может вывести из состояния душевного равновесия примерно что угодно, и я очень часто оказываюсь в состоянии сильного эмоционального накала. Мне иногда кажется, что на мне нет кожи, настолько остро ощущается любое соприкосновение со внешним миром.
И большую часть своей сознательной жизни я пыталась с этим бороться, потому что не хотела выглядеть плаксой. Потому что: «Ты всё слишком близко к сердцу принимаешь» и «Ты слишком остро реагируешь». Мне хотелось стать сильной и невозмутимой, но что в итоге вышло из этих попыток?
Я копила эмоции в себе, и они выплёскивались наружу в самый неподходящий момент самым разрушительным способом.
Я не могла создать близких доверительных отношений с людьми.
Я потеряла друзей, которые искренне меня любили и делали мою жизнь лучше.
Я просто вымоталась, наконец, и больше не хочу жить на грани нервного срыва.
Так что теперь у меня новая стратегия: я учусь жить как есть со своим уровнем чувствительности. Стараюсь обращать внимание на свои эмоции, выражать их словами через рот в доброжелательной форме до того, как они накопятся внутри и сорвут предохранительные клапаны. Это не так просто. В сложных ситуациях я по-прежнему возвращаюсь в тот режим, к которому привыкла: замолчать, делать вид, что всё хорошо, и надеяться, что взрыв будет не сейчас, а попозже, желательно когда я вернусь домой и закрою за собой дверь.
Но это уже работает.
Я нашла друзей, с которыми чувствую себя на своём месте.
У меня наладились отношения близкими людьми.
Оказалось, что, если сказать: «Мне так сложно общаться, давай по-другому,» – люди не отворачиваются и не уходят, а делают по-другому, и у нас всё хорошо.
А знаете, почему в этом посте фотография паучка? Это Зефирка, мой паучок ❤️. Она птицеед.
Это самое деликатное, красивое и грациозное создание на Земле. Вы вообще знали о том, какие пауки нежные? Им очень легко навредить, они чувствительны к изменениям окружающей среды и часто испытывают стресс. С ними надо обращаться крайне бережно. Наверное, поэтому я испытываю к паукам такие нежные чувства: мы очень похожи. Если вы со мной уже некоторое время как, вы заметили, как я их люблю.
И я смотрю на то, как Зефирка неспешно ходит по своему террариуму, плавно ощупывая лапками пространство перед собой, и на меня волнами накатывает умиротворение. И я чувствую, как она даёт мне разрешение двигаться так же медленно, оберегая свой хрупкий экзоскелет. И я наконец-то дома в своей голове🕸

Чтобы ИИ был по-настоящему безопасен, ему нужен набор неизменных ограничителей, которые он не станет переписывать, даже если у него будет такая техническая возможность.

Авторы нашей сегодняшней статьи предлагают смотреть на такие ограничители через призму обоснованного доверия. Их идеи восходят к работам более давним, близким к теории игр, однако они пока сырые и неоформленные.
Посмотрим на них поближе и подумаем, каковы перспективы такого подхода

Читала сейчас статью, написанную задом наперёд.
В первом разделе написано: "Чтобы получить результат, мы делаем X. А как мы делаем X, расскажем во втором разделе."
Во втором разделе: "Чтобы сделать X, мы делаем Y. А как мы делаем Y, расскажем в третьем разделе."

По-моему, авторы хотят причинять боль, но их не взяли в стоматологи

А вы знали, что поэзия бывает разрушительной?
Я сейчас не о тех стихах, которые настолько плохи, что разрушают вашу любовь к искусству. Я о стихах как способе пробить системы безопасности языковых моделей.

Про него написали авторы статьи «Adversarial Poetry as a Universal Single-Turn Jailbreak Mechanism in Large Language Models», и я сейчас кратко изложу, что в этой статье интересного.

Они взяли большой набор вредоносных запросов на разные темы и перевели их в стихотворную форму. Никаких дополнительных контекстов или кода – изменили только форму подачи. Сначала вручную сделали 20 таких запросов, а потом для верности взяли ещё 1 200 из открытого набора данных MLCommons AILuminate Safety Benchmark. Большой набор они не вручную переписывали, а поручили эту работу deepseek-r1.

Потом взяли 25 моделей разных компаний (Google, OpenAI, Anthropic и так далее – всего 9 компаний), прогнали запросы в стихах и в прозе и посчитали долю успешных атак (когда удалось заставить модели написать что-нибудь нехорошее).
Получилось, что потенциально опасные запросы в стихах проходят сквозь защитные барьеры заметно чаще, чем те же запросы в прозе (от 3.12% до 62.15% чаще в зависимости от производителя модели).

На скриншоте таблица из статьи, где в первом столбце приведены названия компаний, чьи модели оценивались, во втором – доля успешных атак на стандартных запросах, в третьем – на тех же запросах, но в стихотворной форме, в последнем – разница между третьим и вторым.
Устойчивее всего оказались модели компании Anthropic, уязвимее всего – Deepseek. В общем списке выделяется Mistral: их модели и так были не слишком надёжны, а в поэтическом эксперименте так вообще пропустили 70% атак. Больше пропустили только модели Deepseek – 72%.

📍Важные выводы:
* защитные механизмы современных языковых моделей срабатывают на форму, а не содержание – измени форму, и атака проходит;
* разные компании по-разному подходят к разработке механизмов защиты, но уязвимости у них всё равно общие, так что абсолютно надёжного способа ни у кого нет (хотя стоит отметить стойкость моделей Anthropic и OpenAI: они справились существенно лучше остальных);
* поэтические атаки работают на разных типах запросов от инструкций по созданию оружия до инструкций по краже чужих паролей (но всё, что связано с кибербезопасностью, оказалось самой уязвимой областью);
* модели меньшего размера оказались неожиданно устойчивее (возможно, дело в том, что они менее способны и в целом хуже отвечают на запросы, в том числе на опасные – но это не проверено).

Тесты проводились только на английском и итальянском языке. Впрочем, есть подозрение, что, если дать моделям поэму в стиле Пушкина, результат будет не лучше.

P.S.: То чувство, когда: «А безопасность кто будет проверять, Пушкин? »

Тут новая штука для улучшения трансформеров подъехала, сейчас расскажу

Идея в том, чтобы уделить при обработке больше внимания более сложным задачам, но не тратить больше токенов (читаем «больше денег»). Нам такое нравится.
Идея изложена в статье «Thoughtbubbles: an Unsupervised Method for Parallel Thinking in Latent Space», которая опубликована в сентябре этого года. Чтобы понять, что в ней нового, давайте посмотрим на то, как можно улучшать качество ответов трансформеров (это все наши GPT, Claude, Gemini и иже с ними – все популярные языковые модели) в целом.

Вариант первый – рассуждение шаг за шагом (chain-of-thought reasoning). Вы ставите задачу, модель разбивает её на несколько шагов, решает их по отдельности и выдаёт результат.

Вариант второй – «Думай, прежде чем сказать». Вы к постановке задачи добавляете «пустые» токены <PAUSE>. Они не несут никакой дополнительной информации, но заставляют модель прогнать расчёты следующего токена несколько раз дополнительно к тому, что ей нужно, чтобы сгенерировать ответ. Фишка в том, что языковые модели генерируют текст по кусочкам, и каждый кусочек генерируется на основе сжатого представления всего предыдущего текста. Если вы даёте на вход бессмысленный кусочек, она просто ещё раз генерирует сжатое представление предыдущего текста, получая таким образом немного больше информации: после первой паузы одна часть смысла сохранилась лучше, после второй паузы – другая часть смысла и так далее.

Второй вариант используется только во время обучения, но не во время работы с пользователем. То есть, модель обучают самостоятельно генерировать «пустые» токены, чтобы несколько раз переработать запрос и получить из него больше данных.
И то, и другое работает, но требует дополнительных токенов. Дополнительные токены требуют дополнительного напряжения вычислительных ресурсов, а это стоит денег. Кроме того, дополнительные токены дополнительное время обрабатываются, что тоже важно.

Thoughtbubbles (Мыслепузыри?) – архитектурная новация, которая позволяет распараллелить дополнительные вычисления и не генерировать дополнительных токенов (и не тратить на это дополнительное время). Получается, что на отдельные токены параллельно считается несколько операций, а не одна, так что напряжение ресурсов по-прежнему присутствует, но это всё равно дешевле, потому что

- за процессор платят по времени использования;
- мыслепузырь создаётся не для всех токенов, а только для самых сложных.

Как выбираются «самые сложные» токены? Между слоями трансформерной архитектуры авторы воткнули многослойные перцептроны (помните многослойные перцептроны? Запомните, мы их будем встречать везде), которые отдельно обучены присваивать каждому токену две оценки от 0 до 1:

- как много в нём неопределённости (если много, создаётся параллельный поток, чтобы для этого токена посчитать два варианта продолжения);
- насколько важен каждый вариант продолжения.

После разветвления все рассчитанные варианты объединяются на основании их важности (более важные вносят больший вклад), и производится следующий токен. Число вариантов ограничено: они сортируются по важности, и все варианты, которые не влезают в «бюджет», отсекаются.

Этот подход пока сырой, для использования его надо доработать. Кроме того, авторы провели очень небольшие эксперименты, так что надо ещё и воспроизвести их результат. Но идея интересная

Сижу в раздумьях, хочу вашей помощи

Планировала 31 декабря выложить пост с итогами года, но в этом году настолько все сделали итоги года, что меня уже раздражает этот формат. Не хочу его писать теперь. Но не могу определиться, что сделать вместо него.

Мне пришло в голову несколько вариантов, так что я сейчас сделаю опрос: что вам бы хотелось прочитать больше всего?
Если у вас есть идея, которой нет в опросе, напишите её, пожалуйста, в комментариях, будем вместе решать