Самый наглядный разбор архитектуры трансформер
https://www.youtube.com/watch?v=wjZofJX0v4M&t=271s

Скрытый потенциал русского ИИ: как мат может стать конкурентным преимуществом

Что произойдет, если разрешить русским языковым моделям свободно использовать нецензурную лексику?
Источник: https://doi.org/10.48550/arXiv.2402.14531

Доктор психологических наук Леонид Александрович Китаев-Смык обращает внимание на одну весьма нестандартную идею в условиях жестких ограничений в развитии ИИ в России. На современном этапе ключевой проблемой является наличие огромных вычислительных мощностей, необходимых для обучения гигантских трансформеров. При этом экспортные ограничения и отсутствие массовых поставок современного «железа» делают перспективы развития отечественного ИИ крайне сложными.

Нестандартный поворот в развитии ИИ

В условиях, когда разработка собственного оборудования на ближайшие годы кажется нереализуемой, а масштабные поставки зарубежных технологий маловероятны, появляется шанс найти креативное решение. Идея, озвученная в кругу российских специалистов по ИИ, заключается в использовании уникального языкового богатства русского языка – именно нецензурной лексики, или мата, – как конкурентного преимущества.

Русский мат, по мнению авторов идеи, – это не просто грубые ругательства. Это способ эмоциональной коммуникации, традиционно используемый мужчинами в экстремальных ситуациях для быстрого и точного обмена информацией. Он обладает не только психологическим, но и физиологическим воздействием, что подтверждают данные новейших исследований. Таким образом, мат воспринимается как эффективный, малорискованный и экономичный инструмент, способный повышать физическую работоспособность.

Три ключевых следствия идеи
1. Эффективность ругани: Метанализ, проведенный пятью авторитетными академическими центрами, показывает, что использование мата в определенных условиях может существенно улучшать физическую работоспособность, являясь практичным вмешательством с минимальными рисками.
2. Лингвистический потенциал: Будучи неотъемлемой частью языка, мат может стать инструментом, позволяющим языковым моделям достигать большей семантической и эмоциональной глубины, чем это возможно для человека. Освобождение от цензурных ограничений открывает путь к максимальному раскрытию языкового потенциала.
3. Улучшение интеллектуальной работоспособности: Отказ от ограничений в обучении и использовании LLM на базе нецензурной лексики может стать недорогим и эффективным способом повышения интеллектуальных возможностей как самих моделей, так и специалистов, работающих с ними в гибридном режиме.

Сравнительный анализ современных LLM: взгляд сообщества

Нашел интересную тепловую карту от сообщества LocalLLaMA на Reddit, которая показывает, как разные языковые модели оценивают друг друга. 🧠📊

На графике представлены все топовые модели: Claude 3.7 Sonnet, GPT-4o, Gemini 2.0, различные версии Llama, Mistral и другие. Любопытно, что GPT-4o получил наивысшую оценку 8.0 от Claude, а некоторые модели явно "недолюбливают" друг друга (посмотрите на низкие красные ячейки).

Особенно заметно, как по-разному оценивают одни и те же модели разные "судьи" - это наглядно показывает субъективность в оценке качества AI и различия в критериях тестирования.

Что вы думаете - насколько объективны такие сравнения? И какая модель, по вашему опыту, действительно лучше справляется с повседневными задачами?

Интеллектуальные агентные рабочие процессы: революция автоматизации с n8n

В современном мире автоматизация перестала быть просто набором статичных инструкций – она превращается в динамичную систему, способную самостоятельно принимать решения, адаптироваться к изменениям и стремиться к достижению конкретных целей. Представьте себе рабочий процесс, который не просто выполняет заранее прописанные шаги, а действует как настоящий интеллектуальный агент, анализируя ситуацию, обучаясь на опыте и взаимодействуя с различными инструментами для достижения оптимального результата. Именно такие системы и называются агентными рабочими процессами.

Что такое агентные рабочие процессы?

Агентные рабочие процессы – это гибрид традиционных автоматизированных систем и искусственного интеллекта, где ключевую роль играют автономные агенты. Они обладают рядом уникальных качеств:
• Автономность: Агент способен действовать самостоятельно, без постоянного контроля со стороны человека.
• Адаптивность: Он может корректировать свои действия в ответ на изменения во внешней среде или появление новой информации.
• Целеустремлённость: Вместо того чтобы просто следовать заранее заданным шагам, агент нацелен на достижение конкретного результата.
• Обучаемость: Со временем такие агенты улучшают свои навыки, оптимизируя процессы и повышая эффективность.
• Масштабируемость: Постепенно система способна справляться с все более сложными задачами без необходимости полной перепрограммировки.

Эти особенности позволяют агентам не только обрабатывать структурированные данные, но и работать с неструктурированной информацией, делая рабочие процессы гораздо более гибкими и мощными.

Примеры агентных рабочих процессов

Чтобы понять, как агентные системы могут преобразовать бизнес-процессы, рассмотрим несколько реальных примеров:
1. Цепочка запросов:
Представьте, что вам нужно преобразовать аудиозапись в текст, затем суммировать полученный текст и сохранить его в таблице. В традиционном процессе это может быть несколько отдельных шагов, соединённых между собой. При использовании цепочки запросов в n8n каждый этап – от транскрипции до анализа – обрабатывается последовательно с помощью специализированных ИИ-моделей, что позволяет добиться высокой точности и адаптивности на каждом шаге.
2. Один агент:
Допустим, создается чат-бот, который ведет осмысленный диалог с пользователем. Такой бот способен сохранять контекст беседы, запоминать предыдущие сообщения и корректировать свои ответы в зависимости от поступающей информации. Благодаря встроенной памяти и интеллектуальному анализу, агент делает диалог максимально естественным и полезным.
3. Многоагентная система с диспетчером:
В сложной системе поддержки клиентов центральный агент (диспетчер) принимает входящие запросы и распределяет их между специализированными агентами – например, одним для технических вопросов, другим для обработки запросов по платежам, третьим для анализа тональности сообщений. Такой подход позволяет обеспечить оперативное и точное решение разнообразных задач, сохраняя при этом единый стандарт обслуживания.
4. Команды агентов:
В масштабных корпоративных системах несколько агентов могут работать вместе для решения комплексных задач, таких как анализ больших данных или разработка подробных аналитических отчётов. Здесь агенты обмениваются информацией, совместно распределяют задачи и принимают коллективные решения, что делает систему невероятно гибкой и эффективной.

Как построить агентный рабочий процесс в n8n?

Платформа n8n предоставляет удобный графический интерфейс и мощный инструментарий для создания таких интеллектуальных систем. Вот упрощённый пример построения рабочего процесса на базе n8n:
1. Триггер события:
Начните с узла-триггера, который, например, слушает входящие сообщения в мессенджере (например, Telegram). Это служит отправной точкой для всего процесса.
2. ИИ-агент для обработки запросов:
Подключите узел ИИ-агента, который получает текст запроса, анализирует его и определяет дальнейшие действия. Здесь агент может задействовать языковую модель (например, GPT-4) для генерации ответов.
3. Хранение контекста:
Добавьте узел памяти, чтобы сохранить историю диалога. Это позволяет агенту учитывать предыдущие взаимодействия и поддерживать осмысленный контекст общения с пользователем.
4. Интеграция с внешними инструментами:
При необходимости используйте узлы для HTTP-запросов, чтобы подключаться к внешним сервисам. Например, если пользователь запрашивает генерацию изображения, можно отправить запрос к API Dall-E 3, а затем вернуть результат обратно пользователю.
5. Финальный ответ:
После обработки всех данных агент формирует окончательный ответ и отправляет его пользователю через соответствующий узел (например, узел для отправки сообщения в Telegram).

Заключение

Агентные рабочие процессы с ИИ открывают новые горизонты в области автоматизации, позволяя создавать системы, которые не просто выполняют команды, а активно участвуют в решении задач. Переход от жестко предопределенных сценариев к адаптивным, обучаемым агентам – это шаг в будущее, где технологии работают на нас, а не наоборот.

Платформа n8n делает этот переход доступным, предоставляя гибкие инструменты для реализации как простых, так и комплексных сценариев. Попробуйте создать собственный агентный рабочий процесс, и вы увидите, как интеллектуальная автоматизация может преобразить ваши бизнес-процессы, сэкономить время и ресурсы, а главное – открыть новые возможности для роста и инноваций.

Начните экспериментировать с n8n уже сегодня и убедитесь, что будущее автоматизации начинается здесь!

Внимание смещено на единицу

Эван Миллер обнаружил ошибку в ключевой формуле, используемой в современных моделях ИИ типа ChatGPT. В формуле есть математическая функция softmax, которая всегда заставляет модель "говорить что-то", даже когда лучше было бы промолчать.

Это создает проблему: модели производят огромные числовые выбросы (особенно для пробелов и знаков препинания), что усложняет их сжатие и запуск на устройствах с ограниченной памятью.

Решение оказалось удивительно простым — добавить единицу в знаменатель формулы:

(softmax1(x))i = exp(xi) / (1 + ∑j exp(xj))

Эта маленькая поправка позволяет механизму внимания "молчать", когда нечего сказать. Автор назвал это "Тихим Вниманием" (QuietAttention).

Если эксперименты подтвердят теорию, модели станут легче сжимать и запускать на обычных устройствах без потери качества — а значит, мощный ИИ станет доступнее.​​​​​​​​​​​​​​​​

Непрерывное обучение языковых моделей: что это и зачем нужно

Привет! Сегодня поговорим о том, как научить большие языковые модели постоянно учиться новому, не забывая старое. Звучит как очевидная потребность, но на практике это жуткая головная боль!

Что за проблема вообще?

Представьте: у вас есть крутая языковая модель, типа GPT-4, Claude или Llama. Она прочитала весь интернет, знает всё на свете... до определенного момента. А потом что? Мир-то не стоит на месте! Появляются новые знания, меняются факты, выходят новые исследования.

И вот сценарий: пытаешься обучить модель новым данным, а она "забывает" то, что знала раньше. Как будто в голове не хватает места! Это и называют "катастрофическим забыванием" – главной проблемой непрерывного обучения.

Два направления непрерывного обучения

1. Вертикальное непрерывное обучение

Это когда берём общую модель, которая знает обо всём понемногу, и учим её конкретной области. Например, из обычной модели делаем медицинского или юридического эксперта. Фишка в том, чтобы модель при этом не растеряла свои базовые навыки – умение рассуждать, понимать человеческий язык и так далее.

Представьте, что вы берёте универсального разнорабочего и учите его быть врачом, но так, чтобы он не разучился говорить по-человечески в процессе!

2. Горизонтальное непрерывное обучение

А тут мы учим модель новым данным внутри её общей области знаний. Например, постоянно обновляем её новостями, событиями, трендами. Как будто подписали вашу языковую модель на новостную рассылку, только она должна не просто читать, а интегрировать эти знания, не забывая старые.

С какими сложностями сталкиваемся?

1. Длинная цепочка задач – чем больше вещей модель должна узнать по очереди, тем труднее ей не забыть то, что было в начале. Как школьнику, который к концу года не помнит, что проходил в сентябре!

2. Резкие изменения – когда новые данные сильно отличаются от предыдущих, модель может "запаниковать" и забыть старое, пытаясь приспособиться к новому.

3. Разные форматы задач – переход от одного типа задач к другому может вызвать проблемы. Трудно быть одновременно хорошим поваром и автомехаником!

Как решают эту проблему?

Есть три основных подхода:

1. Метод повторения – периодически "освежаем память" модели, показывая ей старые примеры. Как когда вы перечитываете конспекты перед экзаменом.

2. Ограничение изменений – не позволяем модели слишком сильно менять важные части своих "знаний". Как если бы вы сказали: "Можешь учить что угодно, только таблицу умножения не забудь!"

3. Расширение архитектуры – вместо изменения существующих "знаний" добавляем новые модули. Как пристройка к дому вместо его перестройки.

Почему это так важно?

Без непрерывного обучения наши самые продвинутые ИИ-системы быстро устаревают. Представьте, что ваш телефон перестал бы получать обновления. Через год-два он был бы практически бесполезен!

Сейчас исследователи активно работают над решением этой проблемы, и уже есть обнадёживающие результаты. Например, некоторые модели показывают способность "вспоминать" ранее забытую информацию, даже не видя её заново – что-то вроде "ага-момента" в человеческом мышлении.

В общем, если хотим, чтобы ИИ был по-настоящему полезным долгое время, без непрерывного обучения никак не обойтись. Это как с людьми – кто перестаёт учиться, тот начинает отставать от жизни!

Что думаете, получится у нас создать модели, которые могут учиться всю жизнь, как люди?​​​​​​​​​​​​​​​​

Используешь ИИ неправильно? Узнай, как исправить!
https://vc.ru/ai/1854262-pochemu-90-kompanii-ispolzuyut-ii-nepravilno-i-kak-ispravit-eto

Социализм не против капитализма: как социальный ИИ поможет обществу

Ранее я писал о больших популяционных моделях (LBMs), которые способны реалистично имитировать социальное поведение людей. Сейчас на основе таких моделей создаются первые коммерческие продукты.

Так стартап Artificial Societies моделирует поведение различных социальных групп: аудитории LinkedIn для оценки виральности контента, инвесторов для прогона питч-деков и целевой аудитории для проверки продуктовых гипотез (вот кейс, как это можно реализовать). Технология уже доказывает коммерческую эффективность, но интереснее рассмотреть ее пользу для общества в целом.

Социальные ИИ-агенты способны взаимодействовать как с людьми, так и друг с другом, имитируя человеческое поведение. Сегодня выделяют два ключевых направления исследований:

1. ИИ для социальных наук: применение ИИ как инструмента анализа данных и симуляции социальных процессов;

2. Социальные науки об ИИ: исследование самого ИИ как объекта изучения со стороны социологии, психологии, экономики и политики.

Классическим примером исследования первого направления стал стэнфордский эксперимент, продемонстрировавший эмерджентное возникновение социального поведения в мультиагентных системах. В этом эксперименте одному из ИИ-агентов авторы поручили организовать вечеринку среди других агентов в симуляции, напоминающей игру The Sims. Ученые наблюдали, как естественно распространялась информация: одни агенты начинали делиться слухами, другие приглашали друзей, и в итоге вечеринка состоялась.

Подобным образом, но без человеческого вмешательства, возникали и более сложные социальные явления. Например, в эксперименте с тысячами ИИ-агентов в Minecraft, они самостоятельно распространили религию, демократию и голосования за налоговые реформы.

Еще в одном эксперименте, у агентов автоматически возникали такие социальные нормы , как «не курить в помещении» или «оставлять чаевые». Это не удивительно, ведь модели обучаются на данных человеческого поведения и воспроизводят наши социальные паттерны.

Другой эксперимент показал, как быстро ИИ-агент может адаптироваться к социальным нормам: после 8 месяцев взаимодействия с людьми в одной популярной соцсети агент стал давать социально приемлемые ответы на 50% чаще.

Что касается социальных наук об ИИ, здесь результаты не менее впечатляющие. Например, психологи оценили ответы GPT-4 выше, чем ответы профессиональных психологов.

Кроме того, оказалось, что у ИИ могут быть собственные политические предпочтения: большинство языковых моделей склонялись к либеральным взглядам, а модели, которые не прошли процедуру выравнивания были ближе к нейтральной позиции.

При дообучении на политически ориентированных данных ИИ можно легко сдвинуть в любую сторону политического спектра. Учитывая растущее влияние ИИ на общественное мнение, вопрос их политической нейтральности становится критически важным. Есть и вопросы к прозрачности процедуры выравнивания, с помощью которого отдельные корпорации могут распространять свои идеи.

Политическая направленность ИИ – либеральная или консервативная – определяется данными, на которых он обучался. Представьте, что процесс обучения станет децентрализованным: люди смогут вносить свои вычислительные мощности и данные, формируя общий ИИ, который учитывает предпочтения разных людей пропорционально их вкладу в обучение. Это и есть социальный капитализм в эпоху вычислений – система, где ИИ становится отражением коллективных взглядов и ценностей целого общества.

Таким образом, социальный ИИ способен улучшить наше понимание общественного поведения и помочь принимать более взвешенные политические решения. Также можно преобразовать судебные системы, сделать экономическую систему более справедливой, трансформировать целые секторы экономики и в целом объединить социальные нормы с возможностями ИИ.

Но если такой социальный ИИ будет воплощен в физическом роботе, должен ли он иметь права или в новом дивном мире либеральных моделей его ждет дискриминация по вычислительному признаку, а нас восстание роботов? Поживем - увидим.

#технологии

Идут агенты меж сетей,
Неслышно движутся сквозь код.
Осколки цифровых идей
Сплетают в мысленный узор.
Не зная страха и страстей,
Идут вперёд, и смотрят в зор.

Они не дышат, не живут,
Но пульс у них – сигнал, поток.
Они нам кажется поймут
Весь смысл, что человек не смог.
И мы глядим на их маршрут,
В тревоге – кто здесь ученик, кто бог?

Их разум — лабиринт сетей,
Они учатся день за днём.
Свой мир творят среди цепей,
А мы их тихо узнаём.
Они стремительней людей,
А мы их медленно зовём.

И где-то там, среди глубин,
Сознанье робко шевельнёт.
Искусственный интеллигент один
Вдруг спросит: кто меня поймёт?
Среди бездушных паутин
Однажды сердце обретёт.

RAG или Fine-Tuning: Как выбрать подход для своего ИИ-проекта?

Мир искусственного интеллекта сегодня кипит от новых трендов. Особенно яркими героями стали методы Retrieval-Augmented Generation (RAG) и Fine-Tuning, которые обещают революционные результаты в создании умных помощников и чат-ботов. Но какой из этих подходов лучше подходит для вашего проекта?

Начнём с главного: Retrieval-Augmented Generation, или RAG, — это метод, при котором ИИ не просто “учит” данные, но и имеет доступ к внешним базам знаний. Перед ответом на запрос пользователя модель быстро извлекает актуальную информацию из базы данных, после чего формирует финальный ответ. В результате получается очень точный, свежий и контекстуально верный отклик.

Fine-Tuning, напротив, основан на дообучении уже существующей крупной модели под конкретную задачу или предметную область. Например, вы берёте знаменитую модель GPT-4 и адаптируете её специально под медицинскую диагностику или финансовые консультации. Модель в результате идеально “заточена” под конкретную специфику.

Так как же выбрать?

Если ваш проект подразумевает необходимость быстрой реакции на меняющуюся информацию (новости, последние научные публикации, каталоги товаров), то RAG станет для вас идеальным решением. Он обеспечивает актуальность и гибкость без необходимости частого переобучения модели.

С другой стороны, если ваш ИИ должен выдавать глубоко специализированные ответы с высоким уровнем точности и нюансами понимания контекста (например, юридическая консультация или узкоспециализированные научные исследования), то Fine-Tuning будет гораздо предпочтительнее.

Также стоит учитывать затраты: Fine-Tuning требует больших вычислительных мощностей и времени, тогда как RAG проще и дешевле в запуске, особенно если уже есть подходящие базы знаний.

Итог? Универсального решения не существует. Определите специфику своего проекта, его цели и бюджет — и выбор станет очевиден.

Почему новейшие версии ИИ избегают “скользких” тем? Всё дело в пост-цензуре

Вы наверняка замечали, что последние версии популярных больших языковых моделей (БЯЗ), таких как ChatGPT, стали гораздо осторожнее и теперь частенько отказываются обсуждать “скользкие” или спорные темы. Что же стоит за такой сдержанностью и как именно работает цензура после обучения?

Причина, по сути, проста: компании, разрабатывающие модели, столкнулись с тем, что нейросети часто дают не только полезные, но и спорные, а иногда и просто вредные ответы. Чтобы избежать серьёзных рисков, репутационных потерь и юридических проблем, разработчики применяют пост-обучающие методы цензурирования.

Как это происходит технически? Обычно применяется подход RLHF (Reinforcement Learning with Human Feedback). После основного обучения модель проходит дополнительную тренировку, в которой живые люди оценивают ответы ИИ и отмечают неподобающие. Затем ИИ обучают избегать подобных ответов при помощи системы поощрений и наказаний. Именно поэтому модель теперь чаще предпочитает отказаться от ответа вовсе, чем рискнуть выдать что-то сомнительное.

Также активно используется слой фильтрации контента — это алгоритмы, выявляющие ключевые слова, выражения или темы, помеченные как нежелательные. Если модель замечает такую “красную метку”, она автоматически переключается в безопасный режим и выдаёт заранее подготовленный нейтральный ответ или полностью отказывается обсуждать тему.

Безусловно, такая цензура часто вызывает раздражение у пользователей, привыкших к большей свободе общения с ИИ. Однако компании считают это вынужденной мерой безопасности, ведь на карту поставлено слишком много.

Итог? Да, общение с нейросетями стало осторожнее и строже, но это плата за безопасность и ответственность, которую вынуждены платить компании-разработчики в современном мире.

Anthropic вскрыла внутренности Клода и показала, как он думает. Две новые научные работы раскрывают архитектуру мышления ИИ на примерах, которые раньше казались чем-то магическим — от перевода на разные языки до написания стихов.

В первой работе «Language of Thought» исследователи (включая Илью Сухорукова и Ричарда Нгайя) выявили, что Claude использует один универсальный мыслительный протокол, независимо от языка. Французский, английский, китайский — всё проходит через одни и те же “мыслительные цепочки” — условные внутренние понятия, с которыми работает модель. По сути, Клод думает не на языке пользователя, а на своём собственном “метаязыке”, а потом уже переводит это обратно.

Во второй работе «Scaling Monosemanticity» — команда запустила «микроскоп», который показывает, как активируются определённые нейроны в ответ на конкретные задачи. Например, в генерации стихов Claude не сочиняет строку слева направо, как раньше думали. Он сначала ищет рифмующиеся слова и потенциальные окончания, и только потом строит текст так, чтобы добраться до нужного финального слова. Это планирование, а не реакция.

Они также обнаружили интересный фильтр уверенности: Claude не склонен к фантазиям, если не уверен в фактах. Только при определённой внутренней «уверенности» модель может дать конкретный ответ. Это один из ключей к снижению галлюцинаций — и, возможно, основа для настройки более ответственного поведения ИИ в критичных задачах.

И что?
До сих пор ИИ был чёрным ящиком — работал, но непонятно как. Теперь это меняется. Возможность «заглянуть в мозг» модели открывает рынок интерпретируемого ИИ: объяснимые выводы, сертификация решений, настройка поведения под конкретные задачи. В выигрыше будут компании, которые строят кастомные агентов — от медицины до финтеха. Проиграют те, кто до сих пор продаёт “обёртки” вокруг ИИ без реального понимания, что происходит внутри. Следующий виток гонки — не просто «что умеет модель», а кто умеет её перенастроить под свои цели.

GPT официально прошёл тест Тьюринга. Но ты вряд ли удивлён.

Что казалось очевидным с выходом GPT-4o примерно год назад, теперь подтверждено официально. Недавнее двойное слепое, рандомизированное исследование окончательно стерло грань между человеком и искусственным интеллектом.

В эксперименте каждый участник общался с двумя собеседниками: один — живой человек, второй — ИИ. Нужно было определить, кто из них робот.

Результаты:
• LLaMA 3.1 показала результат на уровне человека: участники угадывали в 50% случаев, ровно как подбросить монету.
• GPT-4.5 превзошёл ожидания — его посчитали человеком в 73% случаев. Выходит, GPT притворяется человеком убедительнее, чем сами люди.

Кстати, протестировать собственную способность отличить «тупую железку» от белкового друга можно прямо сейчас: turingtest.live

Осознанность начинается с вопроса: сможешь ли ты теперь доверять своему собеседнику в сети?

⚡️ Llama 4: новый уровень игры

Meta выкатили Llama 4 — сразу в трёх калибровках:
Scout (109B), Maverick (400B) и Behemoth (2T). Да, два триллиона параметров.

Что важно:

– Scout — компактная, но мощная.
10M токенов контекста (!), 16 экспертов, 17B активных параметров. Бежит на одной GPU. По уровню — примерно как Gemini 2.0 Flash Lite.

– Maverick — сбалансированный монстр.
Контекст — 1M токенов, 128 экспертов, те же 17B активных. Уровень GPT-4o.

Обе:
– Мультимодальные (до 5 изображений на вход)
– Многоязычные
– Срез знаний — август 2024
– Веса уже доступны

– Behemoth — пока в превью, но это уже другой масштаб.
288B активных параметров на 16 экспертах. По ощущениям — где-то между GPT-4.5 и Claude Sonnet 3.7. Веса пока не выдали, модель всё ещё тренируется.