The Engineer's Sanctuary
216 subscribers
89 photos
10 videos
1 file
80 links
Меня зовут Алеша, строю инфраструктуру для AI продуктов, занимаюсь инференсом LLM.

Всё серьёзно, блять! 🦄

Личка: @tarnished_ones
CV: https://cv.alesha.pro/
Download Telegram
Perplexity хочет купить Chrome за 34.5 миллиардов долларов 😏😏😏

Perplexity говорит, что у них есть инвесторы, готовые полностью профинансировать покупку, обещает сохранить Chromium открытым, вложить $3 млрд за 2 года и не менять дефолтный поисковик в Chrome. Google пока без комментариев.

Ну комет у них вышел вроде неплохой. Даже в текущем виде мне нравится.

WSJ: тык
Please open Telegram to view this post
VIEW IN TELEGRAM
Bitnami ВСЁ !!!

С 28 августа битнами переносит часть своих образов в docker.io/bitnamilegacy без поддержки и обновления.

Теперь будь любезен подписаться НА ОБРАЗЫ OPEN SOURCE ПРОЕКТОВ БЛЯТЬ за 6к баксов в месяц или 72к в год.

Вот воистину мы все дальше от Бога.

Справедливости ради, я всегда не любил битнами и их злоебучие чарты.
Туда им и дорога, в целом.

https://github.com/bitnami/charts/issues/35164
5
KServe 0.17 — готовят апгрейд под LLM 🚨

— Новый CRD LLMInferenceService для генеративных нагрузок
— Disaggregated serving: разделение prefill/decoder и многоузловые топологии
— Встроенный model cache и KV-cache (в т.ч. offloading через LMCache)
— Более плотная интеграция с Envoy AI Gateway

Официальный анонс — 10 ноября на CNCF co-located. Ждём релиз-ноутсы и тег на GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
42
Буквально я после масштабирования.
8
Kaniko ВСË !!!

А все это уже знают? 😫
Please open Telegram to view this post
VIEW IN TELEGRAM
3
Люди реально уже сдурели.

Claude Code деградировал в качестве - народ орёт.

Warp терминал выпускает кого бы вы думали? Правильно Warp Code - очередного агента прямо из терминала.

Там красивые цифры очередные.
Топ 3 в SWE-Bench Verified
Топ 1 в Terminal Bench

Короче я хз кому это все надо…

Анонс тут
https://huggingface.co/collections/Qwen/qwen3-next-68c25fd6838e585db8eeea9d

На опенроутере уже есть.

Qwen: Qwen3 Next 80B A3B Instruct
$0.30 за 1M инпут, $0.30 за 1M аутпут

Qwen: Qwen3 Next 80B A3B Thinking
$0.50 за 1M инпут , $6.00 за 1M аутпут
This media is not supported in your browser
VIEW IN TELEGRAM
У него хотя бы подписка есть?
3
Audio
Распространите среди эйай продактов вашего жэка
31
Ну чтош, с почином!
Please open Telegram to view this post
VIEW IN TELEGRAM
157
Кто знает, тот поймет - RS94JZ

Sora App
2
Други подруги, завтра у коллег из Selectel пройдет их флагманская конференция Selectel Tech Day, куда меня пригласили выступить в коротком TED Talk формате — 10-минутная презентация в треке "ML без спецэффектов". Расскажу о том, как мы внедрили RAG на 12 тысяч операторов контакт-центра и о том, какой профит получил банк от этого решения.

Конференция доступна онлайн и бесплатно. Залетайте!
72
База
6🤡2
У меня возникла проблема ультрафиолетовой расходимости 😢
Кто-то сталкивался?
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Челы из vLLM в 0.11 походу добавили прикольную фичу, чтобы переключаться нагорячку между моделями - sleep mode.

Поднимаем модель, юзаем, отправляем спать. Поднимаем вторую.

Уровней сна два:
Level 1: веса в оперативку, взлетают мгновенно, но RAM ест как не в себя
Level 2: веса полностью выгружаются, памяти ест минимально, поднимается чуть дольше.

Итог: переключения ускорились в 18–200 раз (!), инференс после пробуждения — до 88% быстрее за счёт сохранённой памяти процессов, CUDA-графов и JIT-компиляции.

https://blog.vllm.ai/2025/10/26/sleep-mode.html
4
Media is too big
VIEW IN TELEGRAM
Midjourney Hailuo 2.0 (99% of shots) Kling (opening shot) Adobe Firefly Magnific Enhancor Elevenlabs

Кортезы топ
31