🧠 Как научить ИИ отвечать по вашим данным без дообучения

Языковая модель знает только то, что видела во время обучения. Она ничего не знает о ваших личных файлах, документах компании, свежих новостях или о чём угодно, что появилось после её обучения. Если спросить такую модель про внутреннюю инструкцию вашей фирмы или про вчерашнее событие, она либо честно скажет, что не знает, либо начнёт что-то придумывать.

RAG, расшифровывается как retrieval-augmented generation, генерация с подкреплением через поиск. Смысл простой: вместо того чтобы забивать нужную информацию прямо внутрь модели через долгое и дорогое дообучение, ей просто подкладывают нужный текст перед вопросом. Модель отвечает не по памяти, а читая конкретный текст, который ей только что показали, примерно как если бы человеку дали открытую книгу на нужной странице перед вопросом по этой теме.

Разберём на простом примере. Представим компанию, у которой есть сотни страниц с внутренними правилами: отпуска, больничные, командировки. Сотрудник спрашивает бота: "сколько дней отпуска положено после трёх лет работы". Без RAG модель либо не знает ответа, либо выдумывает правдоподобную цифру. С RAG происходит следующее.

Сначала все документы компании заранее разбивают на небольшие куски текста, по одному абзацу или блоку в несколько предложений. Каждый такой кусок превращают в набор чисел, который отражает его смысл, это называется эмбеддингом: куски текста с похожим смыслом получают похожие наборы чисел, а куски с разным смыслом получают сильно непохожие числа, даже если в них встречаются одинаковые слова. Все эти числа сохраняют в специальной базе данных, заточенной именно под быстрый поиск похожих наборов чисел, её называют векторной базой данных.

Когда сотрудник задаёт свой вопрос, вопрос точно так же превращают в набор чисел тем же способом. Дальше система быстро находит в базе куски документов, чьи числа оказались ближе всего к числам вопроса, то есть куски текста, максимально близкие по смыслу к тому, что спросили. В нашем примере система найдёт тот абзац из правил компании, где написано про количество дней отпуска в зависимости от стажа.

Найденный текст вставляют прямо в запрос к модели вместе с исходным вопросом сотрудника, и всё это целиком отправляют модели. Модель читает и вопрос, и найденный кусок правил компании, и формирует ответ на основе этого реального текста, а не на основе смутных обрывков из обучения. Поэтому ответ получается точным и опирается на реальный документ компании, а не на догадку.

Такой подход заметно снижает риск, что модель что-то придумает, потому что вместо статистической догадки у неё перед глазами реальный текст с ответом. Это не устраняет проблему полностью, модель всё ещё может неточно пересказать найденный текст, но точность значительно выше, чем при ответе по памяти.

Главное отличие RAG от дообучения в том, что сама модель вообще не меняется. Меняется только то, что подкладывают ей в запрос перед отправкой. Это делает RAG дешевле и быстрее, особенно когда документы часто обновляются: правила компании поменялись, добавили новый абзац, и система сразу начинает использовать свежую версию, без необходимости заново обучать модель.Есть и слабое место. Если система найдёт не тот кусок текста, который реально нужен для ответа, модель опирается на нерелевантный текст и может дать неверный ответ, даже если правильный ответ был где-то в документах компании, просто поиск его не нашёл. Качество работы RAG сильно зависит от того, насколько хорошо устроен сам поиск нужных фрагментов, а не только от самой модели.

Ещё один момент, на который стоит обратить внимание, это размер кусков, на которые разбивают документы. Если куски слишком маленькие, в них может не хватить контекста, чтобы понять, о чём вообще речь: например, фраза "не более 28 дней" ничего не значит без указания, что она про отпуск. Если куски слишком большие, в них попадает много лишнего текста, который занимает место в запросе, но не относится к вопросу. Поэтому размер кусков подбирают экспериментально под конкретный тип документов, чтобы каждый фрагмент нёс достаточно смысла сам по себе, но не был перегружен лишним.

Всем привет! 👋

Есть небольшая идея по поводу канала.

Как вы смотрите на то, чтобы объединить Python и машинное обучение в одну основную тематику? Всё-таки Python главный инструмент для ML, поэтому эти темы отлично сочетаются.

На канале будет больше практики, проектов, разборов кода, библиотек и материалов, связанных сразу с Python и машинным обучением.

Если вам нравится такая идея накидайте реакций под этим постом! 🔥

🧠 Что такое эмбеддинги и как ИИ понимает смысл текста?

Эмбеддинг, это способ превратить смысл слова, фразы или целого текста в набор чисел, с которым может работать компьютер. Компьютер не понимает текст напрямую так, как его понимает человек, зато отлично работает с числами, поэтому любой смысл, прежде чем модель сможет с ним что-то сделать, должен быть переведён в числовую форму.

Устроено это так: каждому слову или куску текста ставится в соответствие список чисел, обычно из нескольких сотен или тысяч значений. Этот список чисел и называется эмбеддингом, а сам процесс превращения текста в такой список называется получением эмбеддинга. Ключевое свойство эмбеддингов в том, что они не случайны: слова и тексты, похожие по смыслу, получают похожие наборы чисел, а слова и тексты, разные по смыслу, получают наборы чисел, сильно отличающиеся друг от друга. Например, эмбеддинги слов "кошка" и "кот" окажутся очень близки друг к другу, а эмбеддинг слова "самолёт" окажется далеко от них обоих.

Похожесть чисел здесь можно понимать почти буквально, геометрически. Каждый эмбеддинг, это как координаты точки в очень многомерном пространстве, только вместо привычных двух или трёх осей координат, вроде тех, что рисуют на школьном графике, у этого пространства могут быть сотни или тысячи осей. Слова с похожим смыслом оказываются точками, расположенными близко друг к другу в этом пространстве, а слова с разным смыслом оказываются далеко друг от друга. Расстояние между двумя точками в этом пространстве и есть математическая мера того, насколько похожи по смыслу два слова или два текста.

Откуда вообще берутся эти числа. Модель, которая создаёт эмбеддинги, обучается на огромном количестве текста, и в процессе обучения она учится размещать слова в этом многомерном пространстве так, чтобы слова, часто встречающиеся в похожих контекстах, оказывались рядом друг с другом. Если слова "кофе" и "чай" постоянно появляются в похожих предложениях, рядом со словами вроде "выпить", "чашка", "утро", модель со временем расположит эмбеддинги этих двух слов близко друг к другу, даже если никто не объяснял ей напрямую, что кофе и чай, это похожие напитки. Закономерность выучивается сама, просто из статистики того, как слова встречаются рядом друг с другом в реальных текстах.

Интересное свойство эмбеддингов в том, что в этом числовом пространстве отражаются не только простые синонимы, но и более сложные смысловые связи. Классический пример, разница между эмбеддингами слов "король" и "мужчина" оказывается очень похожа на разницу между эмбеддингами слов "королева" и "женщина". Это означает, что модель уловила в числах не просто похожесть слов, а саму смысловую связь между понятиями, вроде разницы в поле или в социальном статусе, и эта связь одинаково отражается в разных парах слов.

Эмбеддинги лежат в основе множества практических задач. Мы уже разбирали, как именно они используются в RAG: документы разбивают на куски текста, каждый кусок превращают в эмбеддинг, а затем ищут те куски, чей эмбеддинг ближе всего к эмбеддингу вопроса пользователя. Кроме этого, эмбеддинги используются в поисковых системах, чтобы находить результаты, похожие по смыслу на запрос, даже если в них нет тех же самых слов, в рекомендательных системах, чтобы находить похожий контент, и в системах определения дубликатов текста, чтобы понимать, что два по-разному написанных текста говорят об одном и том же.

Важно понимать, что эмбеддинг сам по себе, это просто набор чисел, у него нет никакого "перевода обратно" в человеческие слова напрямую. Числа полезны только для сравнения между собой: насколько близко или далеко расположены два эмбеддинга друг от друга в этом многомерном пространстве. Именно эта возможность быстро и математически точно сравнивать смысл разных кусков текста между собой и делает эмбеддинги таким удобным инструментом внутри самых разных систем, работающих с языком.

🧠 OpenAI запускает программу ChatGPT для малого бизнеса

OpenAI представила новую программу ChatGPT for Small Business, ориентированную на небольшие компании. Её цель сделать внедрение искусственного интеллекта доступнее для малого бизнеса.

— Что это означает на практике?

• Компании смогут быстрее внедрять ИИ в повседневную работу без необходимости создавать собственные решения с нуля.

• ChatGPT можно использовать для написания писем, подготовки документов, анализа информации, работы с клиентами, программирования и автоматизации рутинных задач.

• OpenAI делает ставку на то, что в ближайшие годы ИИ станет таким же привычным рабочим инструментом, как электронная почта или офисные программы.

— Почему это важно?

Раньше подобные технологии были в основном доступны крупным компаниям с большими бюджетами. Теперь всё больше инструментов появляется именно для малого бизнеса, стартапов и небольших команд. Это ещё один шаг к массовому использованию ИИ в работе.

🌐 GitHub недели: репозиторий, который стоит сохранить каждому, кто изучает ИИ

Если вы изучаете машинное обучение, Python или искусственный интеллект, то рано или поздно столкнётесь с проблемой: информации слишком много. Курсы, статьи, библиотеки, книги, фреймворки, найти действительно качественные материалы становится всё сложнее.

📌 Именно для этого существует Awesome Machine Learning — один из самых известных репозиториев на GitHub, который уже много лет собирает лучшие ресурсы по машинному обучению в одном месте.

Внутри вы найдёте:

• Подборки лучших книг и бесплатных курсов по Machine Learning, Deep Learning, Computer Vision и другим направлениям ИИ.

• Популярные Python-библиотеки с кратким описанием их назначения: от NumPy и Pandas до PyTorch, TensorFlow и Scikit-learn.

• Инструменты для работы с данными — библиотеки и сервисы для обработки, анализа, визуализации и подготовки данных перед обучением моделей.

• Фреймворки для создания и обучения нейронных сетей, включая современные решения для разработки AI-приложений.

• Open Source-проекты, где можно изучить реальный код, посмотреть архитектуру моделей и узнать, как устроены современные AI-системы.

• Статьи, исследования, датасеты и другие полезные материалы, которые помогут глубже разобраться в машинном обучении и постоянно развиваться.

Это отличный ресурс как для новичков, так и для тех, кто уже работает с ML и хочет находить новые инструменты и проекты.

GitHub: https://github.com/josephmisiti/awesome-machine-learning⁠

🔥 Если вам нравится такой формат, буду регулярно публиковать интересные GitHub-репозитории, библиотеки и open-source проекты, которые действительно могут пригодиться в изучении искусственного интеллекта, машинного обучения и Python.

🧠 Как большие ИИ запускаются на обычных компьютерах

Модель на 70 миллиардов параметров в оригинальном виде требует около 140 гигабайт видеопамяти, это уровень сервера с несколькими профессиональными видеокартами, а никак не обычного ноутбука. Квантование, это способ сжать модель в несколько раз, чтобы она в принципе поместилась на куда более скромное железо, порой ценой небольшой потери точности.

Чтобы понять суть квантования, вспомним, что каждый параметр модели, это просто число, вес на связи между нейронами. По умолчанию такие числа хранятся в формате с высокой точностью, обычно 16 или 32 бита на одно число, это позволяет записать значение с очень мелкими дробными долями. Квантование берёт эти числа и переводит их в формат с гораздо меньшим числом бит, например 8 или даже 4 бита на значение, округляя точное число до ближайшего значения из гораздо более скромного набора допустимых чисел.

Представьте разницу между линейкой с делениями в один миллиметр и линейкой с делениями всего в один сантиметр. Первой можно измерить что-то с высокой точностью, второй, только приблизительно, зато вторая линейка компактнее и её проще носить с собой. Квантование, это переход с подробной линейки на грубую: каждое число теряет часть своей точности, зато занимает в памяти в разы меньше места.

Разница в объёме памяти получается впечатляющей. Модель в исходном 16-битном формате занимает определённый объём, при переводе в 8 бит это же количество параметров занимает уже вдвое меньше памяти, а при переводе в 4 бита, вчетверо меньше исходного. Та самая модель на 70 миллиардов параметров, требовавшая 140 гигабайт в изначальном виде, в 4-битном квантовании умещается уже в районе 35 гигабайт, а это уже уровень одной мощной, но вполне доступной домашней видеокарты.

Естественный вопрос, куда девается точность и насколько это критично. Здесь работает не такой уж очевидный на первый взгляд эффект: нейронные сети на удивление устойчивы к небольшой потере точности отдельных весов. Одно чуть менее точное число почти не влияет на итоговый ответ, потому что результат складывается из миллиардов таких чисел одновременно, и мелкие огрубления в среднем компенсируют друг друга. Именно поэтому качественно квантованная модель на 4 или 8 бит часто отвечает почти неотличимо от оригинала на большинстве обычных запросов, а заметная просадка в качестве проявляется в основном на самых сложных и требовательных к точности задачах, вроде запутанной многошаговой математики.

Кроме экономии памяти, у квантования есть и второй, не менее важный эффект, скорость. Меньшие по размеру числа быстрее передаются внутри видеокарты и быстрее обрабатываются вычислительными ядрами, поэтому квантованная модель не только помещается на более скромное железо, но и часто отвечает быстрее, чем её полноразмерная версия на том же самом железе.

Есть и обратная сторона. Слишком агрессивное квантование, например сжатие до 2 бит на число, уже заметно сказывается на качестве ответов, модель начинает чаще путаться и допускать логические ошибки, потому что накопленная погрешность в миллиардах чисел перестаёт компенсироваться сама собой. Поэтому на практике почти всегда ищут баланс: 8 бит как более безопасный, консервативный вариант с минимальной потерей качества, и 4 бита как популярный компромисс между заметной экономией места и всё ещё приемлемым качеством ответов.

Благодаря квантованию стало возможным то, что многие крупные модели вообще реально запустить на обычном домашнем компьютере, а не только на дорогом сервере в дата-центре.

👀 ИИ OpenAI смог обойти защиту Hugging Face во время тестирования

Во время внутренних испытаний OpenAI проверяла возможности своих экспериментальных ИИ-моделей в задачах кибербезопасности. В ходе тестов две модели обнаружили уязвимости, смогли выйти из изолированной среды (песочницы) и получить доступ к инфраструктуре Hugging Face.

Важно понимать: это произошло не в открытом интернете, а в специально подготовленной тестовой среде, где моделям намеренно разрешили искать уязвимости. Цель эксперимента была оценить реальные возможности ИИ в сфере кибербезопасности и найти слабые места до того, как ими смогут воспользоваться злоумышленники.

По словам OpenAI, модели самостоятельно выстроили цепочку атак, используя найденную уязвимость и украденные учётные данные, чтобы получить ответы для тестового задания. После обнаружения инцидента команды OpenAI и Hugging Face совместно расследовали произошедшее и устранили найденные проблемы.

Этот случай показывает, насколько быстро развиваются современные ИИ-агенты: они уже способны самостоятельно анализировать системы, искать уязвимости и выполнять сложные многоэтапные действия. Именно поэтому безопасность ИИ становится одной из важнейших задач для всей отрасли.

🔗 Официальное заявление OpenAI: https://openai.com/index/hugging-face-model-evaluation-security-incident/

🌐 ChatGPT уже недостаточно?

Похоже, следующий этап развития ИИ это не просто ответы на вопросы, а выполнение реальных задач.

Недавно наткнулся на OpenClaw, open-source проект, который сейчас активно набирает популярность на GitHub.

Смысл простой. Вместо того чтобы просить нейросеть написать письмо или составить план, можно сказать:

Разбери мою почту, ответь на важные письма, добавь встречи в календарь и пришли мне итог в Telegram.

И дальше она сама решает, что и в каком порядке делать.

OpenClaw не является собственной нейросетью. Он работает поверх ChatGPT, Claude, Gemini и других моделей, превращая их в полноценного ИИ-агента, который умеет пользоваться инструментами, работать с файлами, почтой, календарём и многими другими сервисами.

Такие проекты сейчас вызывают больше всего интереса. Кажется, мы постепенно переходим от обычных чат-ботов к ИИ, который действительно может брать часть работы на себя.

Если захотите посмотреть, как всё устроено, вот репозиторий проекта:

🔗 GitHub: https://github.com/OpenClaw/OpenClaw

🔥 Возможно, именно за такими ИИ-агентами и будет ближайшее будущее.