Все думают, что для локального LLM нужен **один дорогой GPU с большой VRAM**. На практике часто выгоднее собрать память из нескольких карт и не переплачивать за «топ» 👇
У человека уже была `RTX 4080` на 16 ГБ — для игр ок, для тяжёлых моделей мало. Вместо покупки новой флагманской карты он взял **серверный GPU за £200**, подключил его через адаптер и получил **32 ГБ VRAM в системе**.
Итог: на двух GPU крутится модель на **27 млрд параметров** со скоростью около `32 tok/s`.
Вывод для тех, кто считает бюджеты, а не железки: в задачах ML/AI часто важнее __собрать рабочую конфигурацию__, чем гнаться за одной «идеальной» видеокартой. То же самое и в таргете: не всегда нужен один большой бюджет — иногда эффективнее связка из нескольких сегментов, креативов и событий, которые вместе дают нужный результат.
У человека уже была `RTX 4080` на 16 ГБ — для игр ок, для тяжёлых моделей мало. Вместо покупки новой флагманской карты он взял **серверный GPU за £200**, подключил его через адаптер и получил **32 ГБ VRAM в системе**.
Итог: на двух GPU крутится модель на **27 млрд параметров** со скоростью около `32 tok/s`.
Вывод для тех, кто считает бюджеты, а не железки: в задачах ML/AI часто важнее __собрать рабочую конфигурацию__, чем гнаться за одной «идеальной» видеокартой. То же самое и в таргете: не всегда нужен один большой бюджет — иногда эффективнее связка из нескольких сегментов, креативов и событий, которые вместе дают нужный результат.
Все думают, что для диагностики Wi‑Fi нужен ноутбук, ноутбук и ещё раз ноутбук. На практике в полях чаще не хватает не железа, а _быстрого_ доступа к данным.
В Yandex Infrastructure сделали мобильные сканеры для iOS и Android: `WiFi Prober` и `WiProber`. Это не «приложение для галочки», а рабочий комбайн для NOC и сетевиков: собрать параметры сети на точке, понять, где просел сигнал, увидеть, что происходит с Wi‑Fi, и не гонять инженера на каждый чих.
Интересный момент — продукт сначала был внутренним инструментом для удалённых офисов, складов и дарксторов, а потом его выкатили в общий доступ. Это хороший пример, когда _операционная боль_ рождает нормальный полевой софт, а не очередной «удобный дашборд» 🙃
Для таргета и e-commerce тут тот же принцип: чем ближе инструмент к точке проблемы, тем быстрее решение. Не «соберём отчёт завтра», а сразу увидим, где ломается цепочка.
—
Рядом по теме: @PaidAdsPro (там про performance маркетинг)
В Yandex Infrastructure сделали мобильные сканеры для iOS и Android: `WiFi Prober` и `WiProber`. Это не «приложение для галочки», а рабочий комбайн для NOC и сетевиков: собрать параметры сети на точке, понять, где просел сигнал, увидеть, что происходит с Wi‑Fi, и не гонять инженера на каждый чих.
Интересный момент — продукт сначала был внутренним инструментом для удалённых офисов, складов и дарксторов, а потом его выкатили в общий доступ. Это хороший пример, когда _операционная боль_ рождает нормальный полевой софт, а не очередной «удобный дашборд» 🙃
Для таргета и e-commerce тут тот же принцип: чем ближе инструмент к точке проблемы, тем быстрее решение. Не «соберём отчёт завтра», а сразу увидим, где ломается цепочка.
—
Рядом по теме: @PaidAdsPro (там про performance маркетинг)