Просто оставлю это тут.
У кого есть мысли, давайте в комменты🖥
У кого есть мысли, давайте в комменты
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔2🤣2
ai_engineering.pdf
375.2 KB
По понятиям AI инжиниринга
Почему модель отвечает медленно?
Почему поиск по документам возвращает не тот фрагмент?
Как дать агенту доступ к инструментам и сохранить контроль над его действиями?
Если вы хоть раз задавались этими вопросами, эта подборка для вас.
Одного хорошего промпта недостаточно, чтобы построить надёжную AI-систему.
Важно понимать, как работает сама модель и что происходит вокруг неё (привет харнес): от поиска нужного контекста до вызова инструментов и проверки результата.
На слайдах 20 базовых понятий со схемами. От токенизации и KV-кеша до гибридного поиска, MCP, защиты от промт-инъекций и оценки качества.
@nerditru
Почему модель отвечает медленно?
Почему поиск по документам возвращает не тот фрагмент?
Как дать агенту доступ к инструментам и сохранить контроль над его действиями?
Если вы хоть раз задавались этими вопросами, эта подборка для вас.
Одного хорошего промпта недостаточно, чтобы построить надёжную AI-систему.
Важно понимать, как работает сама модель и что происходит вокруг неё (привет харнес): от поиска нужного контекста до вызова инструментов и проверки результата.
На слайдах 20 базовых понятий со схемами. От токенизации и KV-кеша до гибридного поиска, MCP, защиты от промт-инъекций и оценки качества.
@nerditru
👍3🔥3👏2
Тут недавно вышла Jev от TypeSafe AI, и многие обсуждали сам подход: модель не пишет текст, а принимает решение. Ей передают описание ситуации и вопрос, а в ответ получают выбор из заданных вариантов, оценку или вероятность. Не текст, из которого ещё нужно извлечь ответ, а результат, который программа может сразу использовать.
В том же направлении работает Laya модель принятия решений с открытыми весами от Convai Innovations. Она тоже не генерирует текст, а вычисляет ответы за один проход. Мультиязычная версия построена на mmBERT-base и содержит около 322 млн параметров. Это не chat-based, а модель для задач вроде классификации обращений, оценки срочности и выбора следующего действия.
И я не cмог пройти мимо)
Поэтому новый эксперимент со «Змейкой» 🐍
Здесь Laya получает описание игрового поля и выбирает, куда двигаться: вверх, вниз, влево или вправо. Игра выполняет выбранный ход без подстраховки, даже если он ведёт в стену или собственное тело.
Получается наглядная проверка: модель не рассказывает, как нужно играть, а каждое её решение сразу меняет ситуацию на поле.
Если модель выбирает движение в стену или в собственное тело, змейка погибает. Рядом с полем можно наблюдать вероятности вариантов и время одного прохода модели на CPU.
Для меня здесь интересен переход от ответа модели к его последствиям.
Недостаточно выбрать действие, которое выглядит подходящим прямо сейчас: оно ещё должно оставить возможность сделать следующий ход.
Поэтому я бы воспринимал этот эксперимент не как доказательство «интеллекта», а как наглядную проверку того, что происходит между вероятностью на выходе модели и последствиями её решения.
@nerditru
В том же направлении работает Laya модель принятия решений с открытыми весами от Convai Innovations. Она тоже не генерирует текст, а вычисляет ответы за один проход. Мультиязычная версия построена на mmBERT-base и содержит около 322 млн параметров. Это не chat-based, а модель для задач вроде классификации обращений, оценки срочности и выбора следующего действия.
И я не cмог пройти мимо)
Поэтому новый эксперимент со «Змейкой» 🐍
Здесь Laya получает описание игрового поля и выбирает, куда двигаться: вверх, вниз, влево или вправо. Игра выполняет выбранный ход без подстраховки, даже если он ведёт в стену или собственное тело.
Получается наглядная проверка: модель не рассказывает, как нужно играть, а каждое её решение сразу меняет ситуацию на поле.
Если модель выбирает движение в стену или в собственное тело, змейка погибает. Рядом с полем можно наблюдать вероятности вариантов и время одного прохода модели на CPU.
Для меня здесь интересен переход от ответа модели к его последствиям.
Недостаточно выбрать действие, которое выглядит подходящим прямо сейчас: оно ещё должно оставить возможность сделать следующий ход.
Поэтому я бы воспринимал этот эксперимент не как доказательство «интеллекта», а как наглядную проверку того, что происходит между вероятностью на выходе модели и последствиями её решения.
@nerditru
👍2👏2