Вторая серия пошла.

Простите меня пожалуйста кому я уже успел надерзить за последние пару часов. И кому надерзю (и надержу) за последующие пару суток. Просто больно весьма.

А то что взялся зубки в порядок привести — это я конечно молодец.

Это я себе спасибо скажу.

Но потом.

Ну или в крайнем случае — нет 👌

Хватило полежать на час.
Захотелось пельменей.

Понял, что в морозилке уже с год существуют какие-то сомнительные объекты. С не менее сомнительным запахом. И именно сейчас настало время с этим разобраться.

Выкинул все до талого. Отмыл ящики. Поверху протер все изопропиловым спиртом. Чтобы наверняка.

Организовал стратегический запас замороженных ништяков доставкой из ВкусВила.

Просто полежать оказывается очень полезно.

PS: ОКРщики есть тут? Бесит кого-то, что пачки пельменей и котлеток лежат этикеткой вверх ногами?

Когда клал — не бесило. Или не заметил (лёгкое СДВГ?). А ща подбешивает...

Полежу ещё.

Помните HGX, который мы подключали к нашей платформе? Ну, тот, который натурально стоит как самолёт?

Короче, оно полетело. Да еще как.

Мы снизили Time to First Token в шесть раз. В Шесть, Карл. В ШЕСТЬ (6).

Коллеги поделились результатами нагрузочных end-to-end тестов. Сравнивали с лучшим результатом, который удалось выжать из того же железа без нашей платформы. И эта та опорная метрика, над которой мы работали.

Значит это, что конечным пользователям AI-сервиса наших уважаемых коллег теперь в шесть раз меньше придется пучеглазить в пустой экран, ожидая начала ответа.

С тюнингом употели знатно. Дошли до исходников инференс-движка и своей сборки vLLM.

Но оно того стоило. Ведь это, ребята, напрямую влияет на то, сколько таких HGX'ов (по ляму баксов каждый) придется купить.

А у нас есть еще мысли, что подкрутить.

Предвосхищая вопрос, Piper M500 я пока еще себе не заказывал. Тупо некогда. И маленько не хватает. Но направление наших изысканий выглядит определенно перспективным.

Если вы тоже постоянно заказываете себе HGX'ы — то приходите к нам. Внедрим вам нашу платформу, накрутим хвосты моделям, и по самолетику возьмем себе с вами на сэкономленное.

Ну, кстати, да.

Хороших выходных, котики!

А я спустя 5 лет поменял наконец телефон.

Красиво фоткает, мне очень нравится. Без блевотного контраста, но с впечатляющей глубиной. По классике хожу щелкаю всю фигню вокруг )

Взял mi 17T Pro. До этого ажно 5 лет ходил с mi 11 Ultra.

Очень забавная на тот момент трубка. Это когда китайцы из Xiaomi решили первый раз сделать Дорого-Богато.

То есть запихали в него все доступные на тот момент достижения народного хозяйства.

И получилась конечно знатная мазафакерская вундервафля. Ценой в два Айфона 🙈

И кучей компромиссов.
Тяжёлый, несбалансированный, выпирающий на километр блок камер, батарею сажает за день, отсутствие глобал версии, китайская прошивка без оплаты телефоном и далее по списку.

А общем очень противоречивая хреновина. Но довольно душевная.

Не менял я ее потому что придраться к железу было просто Импосибле. Там все всегда летало и летает. И даже камеры приличные до сих пор. И экран, мамочки, местами лучше чем даже на новом.

Замену сейчас обосновал себе завершением цикла поддержки и выпуска обновлений безопасности. Я ж айтишник 😂

Взял прошку, а не ультра, потому что хотел больше автономности (читай: заебался бегать с зарядкой).

Да не, на самом деле по тому что ультра прям максимально стрёмно выглядит из-за блока камер. А я в тяжёлый вундервафельный люкс уже наигрался.

Очень рад делать ещё более красивые снимки, жить два дня без подзарядки, платить телефоном и больше не видеть ебучие иероглифы.

Спустя 5 лет оказалось, что можно не страдать 😁

Если стать маленько добрее к себе и хотя бы чуточку перестать выебываться там, где не надо.

Аминь!

Вот такие созвоны я люблю.

В обед заезжал на Проспект Мира к зубному. Дальше встык стояли несколько встреч.

Чтобы успеть на них — забежал в Хачапури. Который красиво смотрит на мой любимый Аптекарский Огород.

Кстати, там же я встречался чтобы забрать Тощего Вилли.

Бодро распедалили с командой фичи из роадмапа развития. Следом сразу обсудили их с клиентами. Потом с партнёрами созвонились, и затеяли интересную коллабу.

Дальше подготовка КПшек, завершение разбора вороночки в CRM. Ну и на сладкое — большой рефакторинг моих скриптов по автоматизации этой работы.

Да. Работается замечательно оттуда. Душевно.

По возможности старайтесь избегать некрасивых мест для работы и стремиться к красивым.

Знать бы, кто выдумал ноты
Отыскать и набить ему морду
Что выдумал мало созвучий
Выдумал мало аккордов

— как пел Саша Васильев.

Следом после Аптекарского Огорода пошел пешочком на Чистяки. На ещё одну (уже не поддающуюся исчислению) встречу и затем на занятие по контрабасу.

А там меня поджидал мой уважаемый препод с предложением быстренько разобрать кусочек джазового стандарта.

Быстренько, конечно же, не получилось. Усталый мозг натурально закипел.

Единственное что вызывало серьезные опасения — это чтение залигованных синкоп.

Нет более беспомощного и безответственного существа, чем начинающий музыкант, пытающийся состыковать в свинге следующий такт после синкопы в предыдущем.

Я знал что рано или поздно мы перейдем и на эту дрянь.

PS: в комментах подсказали, что лежащий контрабас похож на чоппер, детка.

Посмотрел годный аналитический вебинар от коллег из Яндекс.Облака.

Всем кто так или иначе занимается ИИшечкой в b2b — рекомендую к ознакомлению.

Смотрел глазами вендора, который делает платформенный софт для работы с LLM.

Во многом согласен с коллегами. И чем бы хотел поделиться с вами:

- On-prem живее всех живых. Сейчас это 62% российского рынка платформенных ИИ-решений. К 2030 году всё ещё будет примерно те же 57%. При общем кратном (х4) росте рынка в целом.

- Если в денюжках: Рынок платформенных ИИ-решений в России (если консервативно) оценивают в 25 млрд рублей в 2025 году. К 2030-му ждут уже 95 млрд. Почти четырёхкратный рост за пять лет. Если со слоем софта и услуг — 36 и 180 млрд соответственно. Есть и оптимистичные оценки в разы больше. Но будем честны, кому какая разница?

- От ИИ стали ждать меньше магии. Доля компаний, которые рассчитывают сократить с его помощью сотрудников и ФОТ, за год упала с 49% до 12%. Выдали людям копайлоты, люди стали быстрее делать отдельные задачи. Больше чилят, радуются. Это конечно же хорошо. Но сам процесс остался прежним, поэтому высвободившееся время в деньги автоматически не превратилось. Вернее превратилось, но не в той компании.

- Рынок в целом маленько протрезвел. Экспериментов и красивых демо уже насмотрелись. Теперь от ИИ хотят довольно земных вещей: быстрее обслуживать клиентов, меньше тратить и больше продавать. А для этого приходится руками перестраивать процессы. Чудо отменяется. Улыбаемся и Пашем!

- Типовая корпоративная архитектура становится гибридной. Свои модели, внешние API и облака будут жить в одном зоопарке. Всем этим хозяйством надо как-то управлять.

- Модели сближаются по качеству. Сегодня впереди одна, через квартал другая. Поэтому выбирать модель нужно под конкретную задачу.

- В том числе локальные (преимущественно китайские) модели постпеееннно догоняют OpenAI и даже чуть-чуть Antropic.

- По опыту Yandex, для 80-90% бизнес-задач уже хватает сильной базовой модели и готовых инструментов. Оставшееся качество можно добрать интеграциями, контекстом, промптами и собственными тестами. То есть большинство задач можно решать не-фронтир моделями. Звучит очень похоже на то, что видим мы.

- Внедрение становится частью продукта. Поставить платформу недостаточно. Нужны предпроверка инфраструктуры, понятные критерии готовности и люди, способные довести всё это до работающего сценария.

- Более того, после технины внедрение не заканчивается, а скорее даже начинается. В плане интеграции в бизнес. Увы, силами Вендора.

- Anthropic одним из первых начал высаживать к корпоративным клиентам команды инженеров. Они разбирают бизнес-сценарий, интегрируют Claude и ручками доводят всё до работающего результата. По сути, в ИИ продукт, внедрение и продажи начинают срастаться в одну функцию. Старый подход «отдали коробку через забор и ушли» тут работает не особо.

- Токены удобно считать и тарифицировать. Но количество сожжённых токенов довольно слабо описывает пользу для бизнеса. Рано или поздно придётся связывать потребление с деньгами и результатом. Сюрприз-сюрприз.

- SaaS'ы (те, кто ещё не сдох, конечно) тоже потихоньку уходят от оплаты за рабочее место к оплате за выполненную работу. У Sierra, например, клиент платит за обращение, которое ИИ-агент закрыл сам. Передал человеку — платить не надо. Деньги берутся за результат, а не за колличество учеток, как мы с вами привыкли. Или даже любим, чего уж греха таить.

- Из занятного. Yandex AI Studio верит в on-prem и предлагает крупным клиентам локальные и гибридные установки. Для нас как для вендора on-prem решений это хороший сигнал и бодрящий конкурентный пинок. 😘

Ну и вообще бодро. Прям в удовольствие часик посмотрел. Без воды. Молодцы, коллеги. Такой контент нам конечно же подходит.

https://yandex.cloud/ru/events/1543

Кубик в Кубе.

Сложно, конечно, даётся. Сложно.

Кстати, знаете анекдот про Шарика и Перспективу? 🤔

☝️ Я.

Пришло добро от уважаемого ПК уважаемой конфы DevOops.

12-13 октября еду выступать в Питер.

Рассказать про отборный трешачок, поджидающий ничего не подозревающего дево-пса/SRE инженера, которому предстоит вывести LLM-инференс в боль-мень серьезный продакшен.

А не этот ваш docker run vllm/vllm-openai:latest.

Прям по списку, что может отхлебнуть (и гарантированно отхлебнёт) при принятии на эксплуатацию. И что выедет голову во время самой эксплуатации. И как к этому быть готовым. Хотя бы морально 🙈

В общем, старая добрая техно-дичь 🫶

Ну а теперь к действительно важным новостям.

Ко мне приехала вторая Близняшка.

Потому что когда она одна была, то какая же это Близняшка, получается.

Лайфхак:

Деловую очную встречу в центре по обоюдному соглашению сторон можно провести не за столом в кафе, а на ходу, гуляя по восхитительным московским бульварам.

Если, конечно, ваш визави не против мыслить и действовать нестандартно.

А других, собственно, нам и не надо.

По итогу: 13 тыс. шагов, хорошее настроение и консенсус по всем рабочим вопросам. И все это непрерывно внутри восхитительно интересной глубокой беседы.

Рекомендую.

Внезапно стал (мамкиным) Android и macOS разработчиком 🤣🙈

За чашкой субботнего кофе собрал свой Contrabass Tuner под эти платформы. В дополнение к мини-апке в Телеге.

Просто чтобы было быстрее и удобнее запускать приложение. Так-то внутри там единственная чистая html'ка. Что восхитительно прекрасно, с инженерной точки зрения.

А, ну и в качестве бесплатного бонуса —теперь оно без каких бы то ни было инторнетов работает.

Смех-смехом, а я реально до сих пор активно пользуюсь своим приложением. Ну то есть тот функционал, который я в него заложил, реально помогает для настройки моего пёстрого зоопарка басо-подобных инструментов.

Если вы страсть как любите ставить приложения из непроверенных источников — то милости прошу, файлики прилагаю.

И если при старте ругнется что криптокошельки не найдены — напишите баг-репорт, пожалуйста. Шутка.