Инженеры такие инженеры. Даже когда коммерсы.

Вчера засели с Олегом Вяткиным из eXtreme Measures, главным ИБшником Всея Руси.

Чтобы поесть китайской лапши и обсудить способы интеграции наших продуктов.

И лапши, как видите, мы уже поели.

Перейдем к схеме интеграции:

###

• 🔑 Связка ключей — это, понятное дело, наш LLMaaS

• 🪈 Свистелка — типа Шлюз безопасности Олега

• 🧱 Металлическая поверхность — приватный контур клиента

• 🧂 Солонка — хорошие, годные сотрудники конечного клиента, их надо невозбранно пускать в LLM. Фиксируя факт запроса, конечно же

• 🌶️ Перечница — беспечные сотрудники, пытающиеся отправить чувствительные данные. Данные эти надо маскировать

• 🥢 Соевый соус — плохие, негодные сотрудники. Об их действиях необходимо уведомить ИБ. Чтобы ататата

• 🍵 a Чай — так это мы его с Олегом пьем.

###

Смех смехом, а покрутив кубики, собрали 3 схемы интеграции для трех ИБ-сценариев: Лайт, Медиум и ХардкорЪ.

Покрутив еще — поняли, что Лайт и (внезапно) ХардкорЪ архитектурно сводятся к одной и той же реализации. Только для разных контуров.

Вот такая вот загогулина.
Ну, за Архитектуру!

Да, ну а дискуссия наша с Олегом началась на той конфе по кибербезу в ML.

Олег тогда попал в команду злых безопасников. Наверно, из-за того что он ИБшник. Так-то он добрый.

А меня, наоборот — так получилось, что определили к ML'щикам.

Ох и славно тогда поразгоняли.

Не имею ни малейшего представления, где и когда сделан этот снимок 🤷‍♂

Гугл-фото прислал, загадочно отрезав фон.

Зато футболка веселенькая.

Знаете этих ребят?

Уважаемые Знатоки! 🧐
Что в чехле? 🤔

Доброе утро, коллеги!
Всем продуктивного дня!

А я ведь совсем забыл показать вам, на что способен Тощий Вилли.

И сейчас самое время. Я до утра рисовал КП'шки. И надо как-то снять напряжение.

По возможности старайтесь не засиживаться за работой до утра. Обычно это совершенно ни к чему.

И не ставьте усилок вплотную к телефону, конечно же. Будет хрипеть.

—
«Семантическая эскалация пользовательских намерений в императивной модальности для достижения привилегированного режима работы с агентными системами».

— Техпромиздат, Москва, 1981.

Вторая серия пошла.

Простите меня пожалуйста кому я уже успел надерзить за последние пару часов. И кому надерзю (и надержу) за последующие пару суток. Просто больно весьма.

А то что взялся зубки в порядок привести — это я конечно молодец.

Это я себе спасибо скажу.

Но потом.

Ну или в крайнем случае — нет 👌

Хватило полежать на час.
Захотелось пельменей.

Понял, что в морозилке уже с год существуют какие-то сомнительные объекты. С не менее сомнительным запахом. И именно сейчас настало время с этим разобраться.

Выкинул все до талого. Отмыл ящики. Поверху протер все изопропиловым спиртом. Чтобы наверняка.

Организовал стратегический запас замороженных ништяков доставкой из ВкусВила.

Просто полежать оказывается очень полезно.

PS: ОКРщики есть тут? Бесит кого-то, что пачки пельменей и котлеток лежат этикеткой вверх ногами?

Когда клал — не бесило. Или не заметил (лёгкое СДВГ?). А ща подбешивает...

Полежу ещё.

Помните HGX, который мы подключали к нашей платформе? Ну, тот, который натурально стоит как самолёт?

Короче, оно полетело. Да еще как.

Мы снизили Time to First Token в шесть раз. В Шесть, Карл. В ШЕСТЬ (6).

Коллеги поделились результатами нагрузочных end-to-end тестов. Сравнивали с лучшим результатом, который удалось выжать из того же железа без нашей платформы. И эта та опорная метрика, над которой мы работали.

Значит это, что конечным пользователям AI-сервиса наших уважаемых коллег теперь в шесть раз меньше придется пучеглазить в пустой экран, ожидая начала ответа.

С тюнингом употели знатно. Дошли до исходников инференс-движка и своей сборки vLLM.

Но оно того стоило. Ведь это, ребята, напрямую влияет на то, сколько таких HGX'ов (по ляму баксов каждый) придется купить.

А у нас есть еще мысли, что подкрутить.

Предвосхищая вопрос, Piper M500 я пока еще себе не заказывал. Тупо некогда. И маленько не хватает. Но направление наших изысканий выглядит определенно перспективным.

Если вы тоже постоянно заказываете себе HGX'ы — то приходите к нам. Внедрим вам нашу платформу, накрутим хвосты моделям, и по самолетику возьмем себе с вами на сэкономленное.