Помните HGX, который мы подключали к нашей платформе? Ну, тот, который натурально стоит как самолёт?

Короче, оно полетело. Да еще как.

Мы снизили Time to First Token в шесть раз. В Шесть, Карл. В ШЕСТЬ (6).

Коллеги поделились результатами нагрузочных end-to-end тестов. Сравнивали с лучшим результатом, который удалось выжать из того же железа без нашей платформы. И эта та опорная метрика, над которой мы работали.

Значит это, что конечным пользователям AI-сервиса наших уважаемых коллег теперь в шесть раз меньше придется пучеглазить в пустой экран, ожидая начала ответа.

С тюнингом употели знатно. Дошли до исходников инференс-движка и своей сборки vLLM.

Но оно того стоило. Ведь это, ребята, напрямую влияет на то, сколько таких HGX'ов (по ляму баксов каждый) придется купить.

А у нас есть еще мысли, что подкрутить.

Предвосхищая вопрос, Piper M500 я пока еще себе не заказывал. Тупо некогда. И маленько не хватает. Но направление наших изысканий выглядит определенно перспективным.

Если вы тоже постоянно заказываете себе HGX'ы — то приходите к нам. Внедрим вам нашу платформу, накрутим хвосты моделям, и по самолетику возьмем себе с вами на сэкономленное.

Ну, кстати, да.

Хороших выходных, котики!

А я спустя 5 лет поменял наконец телефон.

Красиво фоткает, мне очень нравится. Без блевотного контраста, но с впечатляющей глубиной. По классике хожу щелкаю всю фигню вокруг )

Взял mi 17T Pro. До этого ажно 5 лет ходил с mi 11 Ultra.

Очень забавная на тот момент трубка. Это когда китайцы из Xiaomi решили первый раз сделать Дорого-Богато.

То есть запихали в него все доступные на тот момент достижения народного хозяйства.

И получилась конечно знатная мазафакерская вундервафля. Ценой в два Айфона 🙈

И кучей компромиссов.
Тяжёлый, несбалансированный, выпирающий на километр блок камер, батарею сажает за день, отсутствие глобал версии, китайская прошивка без оплаты телефоном и далее по списку.

А общем очень противоречивая хреновина. Но довольно душевная.

Не менял я ее потому что придраться к железу было просто Импосибле. Там все всегда летало и летает. И даже камеры приличные до сих пор. И экран, мамочки, местами лучше чем даже на новом.

Замену сейчас обосновал себе завершением цикла поддержки и выпуска обновлений безопасности. Я ж айтишник 😂

Взял прошку, а не ультра, потому что хотел больше автономности (читай: заебался бегать с зарядкой).

Да не, на самом деле по тому что ультра прям максимально стрёмно выглядит из-за блока камер. А я в тяжёлый вундервафельный люкс уже наигрался.

Очень рад делать ещё более красивые снимки, жить два дня без подзарядки, платить телефоном и больше не видеть ебучие иероглифы.

Спустя 5 лет оказалось, что можно не страдать 😁

Если стать маленько добрее к себе и хотя бы чуточку перестать выебываться там, где не надо.

Аминь!

Вот такие созвоны я люблю.

В обед заезжал на Проспект Мира к зубному. Дальше встык стояли несколько встреч.

Чтобы успеть на них — забежал в Хачапури. Который красиво смотрит на мой любимый Аптекарский Огород.

Кстати, там же я встречался чтобы забрать Тощего Вилли.

Бодро распедалили с командой фичи из роадмапа развития. Следом сразу обсудили их с клиентами. Потом с партнёрами созвонились, и затеяли интересную коллабу.

Дальше подготовка КПшек, завершение разбора вороночки в CRM. Ну и на сладкое — большой рефакторинг моих скриптов по автоматизации этой работы.

Да. Работается замечательно оттуда. Душевно.

По возможности старайтесь избегать некрасивых мест для работы и стремиться к красивым.

Знать бы, кто выдумал ноты
Отыскать и набить ему морду
Что выдумал мало созвучий
Выдумал мало аккордов

— как пел Саша Васильев.

Следом после Аптекарского Огорода пошел пешочком на Чистяки. На ещё одну (уже не поддающуюся исчислению) встречу и затем на занятие по контрабасу.

А там меня поджидал мой уважаемый препод с предложением быстренько разобрать кусочек джазового стандарта.

Быстренько, конечно же, не получилось. Усталый мозг натурально закипел.

Единственное что вызывало серьезные опасения — это чтение залигованных синкоп.

Нет более беспомощного и безответственного существа, чем начинающий музыкант, пытающийся состыковать в свинге следующий такт после синкопы в предыдущем.

Я знал что рано или поздно мы перейдем и на эту дрянь.

PS: в комментах подсказали, что лежащий контрабас похож на чоппер, детка.

Посмотрел годный аналитический вебинар от коллег из Яндекс.Облака.

Всем кто так или иначе занимается ИИшечкой в b2b — рекомендую к ознакомлению.

Смотрел глазами вендора, который делает платформенный софт для работы с LLM.

Во многом согласен с коллегами. И чем бы хотел поделиться с вами:

- On-prem живее всех живых. Сейчас это 62% российского рынка платформенных ИИ-решений. К 2030 году всё ещё будет примерно те же 57%. При общем кратном (х4) росте рынка в целом.

- Если в денюжках: Рынок платформенных ИИ-решений в России (если консервативно) оценивают в 25 млрд рублей в 2025 году. К 2030-му ждут уже 95 млрд. Почти четырёхкратный рост за пять лет. Если со слоем софта и услуг — 36 и 180 млрд соответственно. Есть и оптимистичные оценки в разы больше. Но будем честны, кому какая разница?

- От ИИ стали ждать меньше магии. Доля компаний, которые рассчитывают сократить с его помощью сотрудников и ФОТ, за год упала с 49% до 12%. Выдали людям копайлоты, люди стали быстрее делать отдельные задачи. Больше чилят, радуются. Это конечно же хорошо. Но сам процесс остался прежним, поэтому высвободившееся время в деньги автоматически не превратилось. Вернее превратилось, но не в той компании.

- Рынок в целом маленько протрезвел. Экспериментов и красивых демо уже насмотрелись. Теперь от ИИ хотят довольно земных вещей: быстрее обслуживать клиентов, меньше тратить и больше продавать. А для этого приходится руками перестраивать процессы. Чудо отменяется. Улыбаемся и Пашем!

- Типовая корпоративная архитектура становится гибридной. Свои модели, внешние API и облака будут жить в одном зоопарке. Всем этим хозяйством надо как-то управлять.

- Модели сближаются по качеству. Сегодня впереди одна, через квартал другая. Поэтому выбирать модель нужно под конкретную задачу.

- В том числе локальные (преимущественно китайские) модели постпеееннно догоняют OpenAI и даже чуть-чуть Antropic.

- По опыту Yandex, для 80-90% бизнес-задач уже хватает сильной базовой модели и готовых инструментов. Оставшееся качество можно добрать интеграциями, контекстом, промптами и собственными тестами. То есть большинство задач можно решать не-фронтир моделями. Звучит очень похоже на то, что видим мы.

- Внедрение становится частью продукта. Поставить платформу недостаточно. Нужны предпроверка инфраструктуры, понятные критерии готовности и люди, способные довести всё это до работающего сценария.

- Более того, после технины внедрение не заканчивается, а скорее даже начинается. В плане интеграции в бизнес. Увы, силами Вендора.

- Anthropic одним из первых начал высаживать к корпоративным клиентам команды инженеров. Они разбирают бизнес-сценарий, интегрируют Claude и ручками доводят всё до работающего результата. По сути, в ИИ продукт, внедрение и продажи начинают срастаться в одну функцию. Старый подход «отдали коробку через забор и ушли» тут работает не особо.

- Токены удобно считать и тарифицировать. Но количество сожжённых токенов довольно слабо описывает пользу для бизнеса. Рано или поздно придётся связывать потребление с деньгами и результатом. Сюрприз-сюрприз.

- SaaS'ы (те, кто ещё не сдох, конечно) тоже потихоньку уходят от оплаты за рабочее место к оплате за выполненную работу. У Sierra, например, клиент платит за обращение, которое ИИ-агент закрыл сам. Передал человеку — платить не надо. Деньги берутся за результат, а не за колличество учеток, как мы с вами привыкли. Или даже любим, чего уж греха таить.

- Из занятного. Yandex AI Studio верит в on-prem и предлагает крупным клиентам локальные и гибридные установки. Для нас как для вендора on-prem решений это хороший сигнал и бодрящий конкурентный пинок. 😘

Ну и вообще бодро. Прям в удовольствие часик посмотрел. Без воды. Молодцы, коллеги. Такой контент нам конечно же подходит.

https://yandex.cloud/ru/events/1543

Кубик в Кубе.

Сложно, конечно, даётся. Сложно.

Кстати, знаете анекдот про Шарика и Перспективу? 🤔

☝️ Я.

Пришло добро от уважаемого ПК уважаемой конфы DevOops.

12-13 октября еду выступать в Питер.

Рассказать про отборный трешачок, поджидающий ничего не подозревающего дево-пса/SRE инженера, которому предстоит вывести LLM-инференс в боль-мень серьезный продакшен.

А не этот ваш docker run vllm/vllm-openai:latest.

Прям по списку, что может отхлебнуть (и гарантированно отхлебнёт) при принятии на эксплуатацию. И что выедет голову во время самой эксплуатации. И как к этому быть готовым. Хотя бы морально 🙈

В общем, старая добрая техно-дичь 🫶

Ну а теперь к действительно важным новостям.

Ко мне приехала вторая Близняшка.

Потому что когда она одна была, то какая же это Близняшка, получается.

Лайфхак:

Деловую очную встречу в центре по обоюдному соглашению сторон можно провести не за столом в кафе, а на ходу, гуляя по восхитительным московским бульварам.

Если, конечно, ваш визави не против мыслить и действовать нестандартно.

А других, собственно, нам и не надо.

По итогу: 13 тыс. шагов, хорошее настроение и консенсус по всем рабочим вопросам. И все это непрерывно внутри восхитительно интересной глубокой беседы.

Рекомендую.

Внезапно стал (мамкиным) Android и macOS разработчиком 🤣🙈

За чашкой субботнего кофе собрал свой Contrabass Tuner под эти платформы. В дополнение к мини-апке в Телеге.

Просто чтобы было быстрее и удобнее запускать приложение. Так-то внутри там единственная чистая html'ка. Что восхитительно прекрасно, с инженерной точки зрения.

А, ну и в качестве бесплатного бонуса —теперь оно без каких бы то ни было инторнетов работает.

Смех-смехом, а я реально до сих пор активно пользуюсь своим приложением. Ну то есть тот функционал, который я в него заложил, реально помогает для настройки моего пёстрого зоопарка басо-подобных инструментов.

Если вы страсть как любите ставить приложения из непроверенных источников — то милости прошу, файлики прилагаю.

И если при старте ругнется что криптокошельки не найдены — напишите баг-репорт, пожалуйста. Шутка.

Хочу вписаться басистом в одну интересную группу.

Собрал из контента канала импровизированное портфолио.

И нормально так набралось. Поделюсь с вами, от нового к старому:

1. The Rolling Stones - Anybody Seen My Baby на Заливе

2. Тощий Вилли

3. Контрабас перед сном - бережём соседей

4. Северный флот - «Только вперёд»

5. Тестим Булочку в мастерской

6. Электроакустический бас Ovation в музыкальном магазине

7. ВИА «Снежные Гитары» - акустическая программа

8. Неудачные дубли - Korpiklaani - Vodka с Серёгой из Destshot

9. «Майор Том» - ансамбль «Клуб им. Дэвида Боуи»

10. «Мракобесы и Джаз» - «Кукла колдуна»

11. «Кукла колдуна» - первая демка

12. White Wedding с Кирюхой

13. Григ на басу со злым перегрузом

14. «Про дурачка»

15. Агата Кристи - «Как на войне». Репетиция

Легко о Сложном.

Или спонтанные 60 секунд философии о Смысле Жизни.

👇

Че, грузанул? Ну не серчайте. Я любя. Себя и Вас.

Ловите на добивочку.

Это артист, которого я последний месяц слушаю больше всего. Восхитительный блюзец. До мурашек.

Другие композиции этого "дуэта" тоже можно смело слушать. Там девушка раздает вокалом так, что мама дорогая.

Но есть ощущение, что это сгенерено нейросетями. От чего ещё сильнее не по себе.

Потому что мастерство исполнения высочайшее. А при этом следов реальности автора я не нашел. Вообще.

Обнаружил когда искал концерты. И не нашел.

🔥🔥🔥
Инфернальный Ублюдок приехал!!
🔥🔥🔥

Ребята, это просто уму непостижимо!!! Он великолепен!!

Успокоюсь маленько, подотру слюни, отстрою инструмент и сниму вам обзор.

В голове, в ушах и руках не укладывается, что это ноунем китайская палка за 20тр.

Я в шоках.