Open Source LLM — Llama / Qwen / DeepSeek
1.48K subscribers
12 photos
3 videos
63 links
Open Source LLM — про open-source LLM глазами арбитражника:
свой API без OpenAI, локальный inference, файнтюны.
Канал сети public.tg.
Download Telegram
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
ChatGPT ads внедрил функцию автосоздания креативов

OpenAI добавила в ChatGPT Ads автогенерацию креативов: вставляешь ссылку на сайт, ИИ анализирует лендинг и создаёт релевантный креатив. По ощущениям, такие материалы должны легко проходить модерацию, но пока неясно, насколько они поддаются правкам. Источник интересен ещё и тем, что вайт можно сгенерировать тут же через ChatGPT.

➡️ Читайте на сайте: https://aff.top/blog/chatgpt-ads-vnedril-funkciiu-avtosozdaniia-kreativov

🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
В Google search console теперь можно добавлять соцсети

Google добавил в Search Console поддержку аккаунтов соцсетей: теперь можно отслеживать ключевые запросы, источники и географию переходов, показы и клики по ссылкам. Функция подключается там же, где и сайты, доступны четыре соцсети на выбор. Rollout постепенный — доступ получают не все сразу.

➡️ Читайте на сайте: https://aff.top/blog/v-google-search-console-teper-mozhno-dobavliat-socseti

🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Google стал помечать креативы, созданные ИИ

Google объявил, что начнёт помечать рекламные креативы, созданные нейросетями. Причина — ИИ-баннеры и видео стали слишком похожи на настоящие.

Формат и заметность маркировки будут зависеть от законов конкретного региона: где-то предупреждение появится прямо на креативе, где-то — в его информации.

Что это значит для арбитражников и когда правила …

➡️ Читайте на сайте: https://aff.top/blog/google-stal-pomechat-kreativy-sozdannye-ii

🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Компания Meta выпустила Muse Spark 1.1

Meta выпустила Muse Spark 1.1 почти одновременно с новой ChatGPT-5.6. Это мультимодальный агент, который сам дробит задачу на подзадачи и распределяет их между субагентами.

Стоимость тоже заметно ниже топовых западных моделей: $1.25 за миллион входных токенов и $4.25 за миллион выходных.

Но главный вопрос — насколько она реально сильна на фоне к…

➡️ Читайте на сайте: https://aff.top/blog/kompaniia-meta-vypustila-muse-spark-1-1

🧠 Ещё больше инсайтов → в канале AFF.top
Ghost нужен не всем: где он выигрывает, а где проект потом упирается в потолок

Ghost хорош там, где нужен контент-сайт без лишней тяжести: публикации, подписки, рассылки, простая редактура. Если задача — быстро поднять медиум-подобный блог, нишевый журнал или контент-маркетинг для продукта, он закрывает это без лишнего слоя.

— Сильная сторона Ghost — чистый редактор и понятная модель публикаций. Контент-команда не тонет в настройках, а разработчик не обслуживает монстра.
— Второй плюс — скорость старта. Для типового блога не нужен длинный цикл согласований между фронтом, бэком и редакцией.
— Третье — меньше мест, где ломается процесс. Когда проект живёт на статьях, а не на сложной логике, это экономит часы поддержки.

Но у Ghost есть и жёсткие границы:
— сложные права и роли;
— многоуровневые каталоги и нестандартные сущности;
— тяжёлая мультиязычность;
— витрина с нестандартной коммерцией;
— большой маркетплейс-подход.

Если проект уже похож на портал, LMS или корпоративный хаб, Ghost начинает уступать Drupal, Strapi или headless-сборке на более гибкой модели.

Правило простое: берите Ghost, если вам нужен контент-движок, а не платформа для всей цифровой логики. Если контент — ядро, он удобен. Если контент — только одна из частей системы, лучше смотреть шире.
DeepSeek в проде: где он выигрывает, а где лучше не трогать без теста

У DeepSeek часто сильная сторона — reasoning и кодовые задачи, но в проде его надо мерить не по «умности», а по режиму инференса. Если модель даёт хороший ответ только при длинной цепочке рассуждений, latency растёт, а throughput на той же GPU падает. Для арбитражной автоматики это критично: один и тот же запрос может занимать 2–3 раза больше времени, чем у более «короткой» модели.

Что проверять перед интеграцией:
— качество на ваших шаблонах, а не на общих бенчмарках;
— стабильность на коротких промптах и на длинном контексте;
— поведение под int4/int8: некоторые модели теряют точность сильнее, чем ожидается;
— инструменты сервинга: vLLM для throughput, TGI для предсказуемого API, llama.cpp для компактного локального деплоя.

Ещё один частый промах — считать только качество ответа и забывать про стоимость 1M токенов в проде. Если модель экономит 10% ошибок, но режет throughput вдвое, итоговая цена запроса может стать хуже, чем у более простой альтернативы. Для self-hosted это особенно заметно на пиках: очередь растёт быстрее, чем кажется по тесту на одном запросе.

Правило простое: DeepSeek берут не «за бренд», а под задачу, где reasoning реально монетизируется. Сначала замер latency и tokens/sec на своём промпте, потом уже решение о деплое.
Self-hosted окупается не на «крутых GPU», а на правильной модели нагрузки и дисциплине в проде

Считайте экономику от трёх цифр: tokens/day, доля prompt vs completion и требуемая задержка. Если у вас короткие ответы, высокий RPM и мало пиков — self-hosted часто проигрывает по операционке. Если же есть стабильный поток, длинный контекст и повторяемые запросы, собственный inference начинает давать заметную экономию на 1M токенов.

Главная ошибка — сравнивать только цену железа. В формулу входят амортизация GPU, простои, электричество, DevOps, мониторинг, резервирование и потери на деградации качества после агрессивной квантизации. Модель, которая в демо держит 80 tokens/sec, в проде легко теряет половину throughput из-за длинного контекста и конкуренции за KV cache.

Практический чек-лист: 1) замерьте p95 latency и реальный средний prompt length; 2) посчитайте утилизацию GPU в часах, а не в токенах; 3) проверьте, можно ли заменить 70B на 14B + хороший retrieval; 4) отдельно оцените стоимость отказа, когда API-провайдер даёт лимиты или нестабильность.

Если self-hosted не даёт запас по latency и не уменьшает стоимость 1M токенов минимум в 2 раза на вашем профиле нагрузки, это не экономия, а хобби.
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Российские букмекеры увеличили закуп трафика с мобильных приложений

Российские букмекеры в 1 квартале 2026 года заметно нарастили закупку трафика из мобильных приложений. На фоне ужесточения регулирования они смещают бюджеты в новые каналы, где ещё есть живой трафик.

По данным UMG, доля in-app-рекламы выросла с 3-4% до 5-6% при объёме рынка около 10 млрд рублей. Но это может быть только начало — в блоге разбираем…

➡️ Читайте на сайте: https://aff.top/blog/rossiiskie-bukmekery-uvelichili-zakup-trafika-s-mobilnykh-prilozhenii

🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Mia Khalifa стала амбпссадором 1win

Mia Khalifa снова засветилась рядом с 1win: в Instagram она показала цепочку с логотипом бренда и статус «VIP 1win».

Параллельно всплыла история с ее ставкой на Испанию на ЧМ — по данным поста, выигрыш мог составить 200к$.

Официального подтверждения амбассадорства пока нет, но для арбитражников это уже повод для новых креативов. Что именно здесь…

➡️ Читайте на сайте: https://aff.top/blog/mia-khalifa-stala-ambpssadorom-1win

🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from КРАВЧЕНКО
Дорогие коллеги и партнеры,

Наш маршрут конференций за последние недели, получился особенно насыщенным.

Со стендами PoshFriends мы побывали на MAC и GGate, а затем продолжили встречи уже в полях iGB Live в Лондоне.

В Ереване увиделись с любимыми SEO-командами, попробовали местные вина, обменялись новостями и зарядились энергией УБТ-команд.

В Тбилиси обсуждали тренды, новые связки и совместные планы, встречались с действующими партнерами и знакомились с новыми. А за настроение на стенде отвечала Черемша, которая чуть не стала маскотом одного из наших продуктов. С этой задачей, кажется, справилась лучше всех.

В Лондоне все было уже по-деловому. Провели серию встреч с топ-партнерами, обсудили Японию, бурж и новые точки роста. География интересов растет, планы становятся амбициознее. Воротники, как выяснилось, нагладили не зря.

Спасибо всем, с кем удалось увидеться на этом маршруте. За открытые разговоры, новые идеи, доверие и планы, которые постепенно превращаются в реальные проекты.

Конференционный сезон продолжается. Скоро увидимся снова.

Всегда ваши, Команда Posh Friends 🤝
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Короткий домен Telegram перестал работать

Telegram лишился домена t.me: он разделегирован и больше не работает на уровне регистратора. Платформа срочно переезжает на telegram.me, а владельцам крупных каналов стоит обновить публичные ссылки. Сроки восстановления неизвестны, и есть риск, что t.me не вернётся вовсе на фоне давления на Telegram.

➡️ Читайте на сайте: https://aff.top/blog/korotkii-domen-telegram-perestal-rabotat

🧠 Ещё больше инсайтов → в канале AFF.top
Почему Llama часто выбирают как базу для продакшн-LLM, а не как «самую умную» модель

Llama — это не про один рекорд в бенчмарке, а про предсказуемый стек: качество, лицензия, экосистема. Для команды с собственной инфраструктурой это важнее, чем редкий выигрыш на одном тесте. Модель обычно берут как baseline для чата, RAG и узких задач, где важны стабильный latency и понятная стоимость токена.

На практике Llama удобно оценивать по 4 осям: • качество на вашем домене • throughput на целевой GPU • длина контекста без деградации • условия коммерческого использования. Если модель хорошо отвечает на общий язык, но ломается на ваших шаблонах, в проде она бесполезна. Если качество ок, но инференс съедает память и режет batch size — экономика тоже не сходится.

Для self-hosted сценария важен не только размер, но и форма запуска: fp16 даст максимум качества, int8 часто сохраняет приемлемый ответ, int4 обычно нужен для плотного размещения на 1 GPU. Дальше решает сервер: vLLM лучше, когда нужен высокий throughput и batching, llama.cpp — когда важны малые ресурсы и GGUF, TGI — когда нужен более «серверный» режим и контроль над пайплайном.

Если выбираете Llama в прод, сначала гоняйте свои промпты, а не общий benchmark. Смотрите долю пустых ответов, повторов, провалов на длинном контексте и реальный tokens/sec под вашей нагрузкой. Хорошая модель — это та, которую можно стабильно обслуживать месяцами, а не та, что красиво выглядит в одном графике.
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Youtube тестирует поиск с AI

YouTube начал тестировать Ask YouTube — поиск с ИИ, где можно задавать вопросы обычным языком и получать не список ссылок, а готовую подборку видео и фрагментов.

Фича уже доступна в США и работает на сложные запросы: если нужно, ИИ уточняет вопрос и подсказывает следующий шаг.

Что это значит для поиска на YouTube и когда новинка дойдёт до других…

➡️ Читайте на сайте: https://aff.top/blog/youtube-testiruet-poisk-s-ai

🧠 Ещё больше инсайтов → в канале AFF.top
Self-hosted LLM окупается не от размера модели, а от формы нагрузки

Если у вас редкие запросы и длинные простои, свой кластер почти всегда проиграет API. Если же есть стабильный поток, повторяющиеся промпты и понятный p95 latency, экономика меняется: вы платите не за токен, а за загрузку GPU. Именно поэтому считать надо не «сколько стоит 1M токенов», а «сколько токенов в сутки выдаёт одна карта при нужном качестве».

Три цифры, которые решают всё:
— throughput на вашем стекe: vLLM, TGI или llama.cpp дают разный output tokens/sec;
— реальная утилизация GPU: 20% и 70% — это два разных бизнеса;
— длина контекста: 32k и 128k сильно бьют по плотности батча и latency.

Дальше считайте точку окупаемости: стоимость железа, амортизация, электричество, резерв под простои, DevOps и инженера. Если один и тот же поток можно обслужить меньшей моделью с RAG или кэшированием, это почти всегда дешевле, чем сразу брать «большую». Локальный inference выигрывает там, где запросы однотипные, а качество можно удержать промптами и fine-tune.

Практика простая: сначала измерьте токены/сек на вашей задаче, потом посчитайте цену одного успешного ответа, и только после этого сравнивайте с внешним API. Если математика не сходится без красивых допущений — self-hosted вам рано.
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Z.ai анонсировала новую GLM-5.5

Z.ai готовит релиз флагманской GLM-5.5: модель обещают показать в августе 2026 года.

Главная интрига — рост до 1 трлн параметров при том же контекстном окне в 1 млн токенов. Новинка снова будет заточена под код и агентные задачи.

Почему версия сразу 5.5, без 5.3 и 5.4, и что это может означать для рынка — в блоге.

➡️ Читайте на сайте: https://aff.top/blog/z-ai-anonsirovala-novuiu-glm-5-5

🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Telegram запустил собственный сервер для ботов

Telegram запустил собственный сервер для ботов и мани-приложений: теперь backend можно размещать прямо внутри инфраструктуры мессенджера.

Сервер работает на JavaScript/TypeScript, через вебхуки, и позволяет подключать SQL-базу для сбора контактов без посредников.

Пока неясны цена и ограничения — что именно уже можно тестировать, а где скрыт подв…

➡️ Читайте на сайте: https://aff.top/blog/telegram-zapustil-sobstvennyi-server-dlia-botov

🧠 Ещё больше инсайтов → в канале AFF.top
vLLM и TGI: где ломается продовый инференс, если выбрать не тот сервер

Если модель крутится через OpenAI-совместимый API, сервер решает больше, чем кажется: batching, paged attention, KV-cache, очереди и обрезка контекста. На одинаковой GPU один стек может держать ровную латентность, другой — упираться в head-of-line blocking уже на среднем concurrency.

vLLM обычно берут, когда нужен высокий throughput на генерации и много коротких запросов. Его сильная сторона — continuous batching и эффективная работа с KV-cache; слабая — сложнее предсказать p95 при длинных ответах и тяжёлых system prompts. Если у вас смесь чатов и tool-calls, обязательно меряйте не только tokens/sec, но и время до первого токена.

TGI удобен там, где важны стабильность пайплайна, понятная эксплуатация и интеграция в production-инфраструктуру. Он часто проще для команды, но на том же железе может проигрывать vLLM по утилизации GPU при высокой конкуррентности. Для длинного контекста и больших batch-ей сравнивайте не “скорость модели”, а реальную пропускную способность под вашим профилем трафика.

Чек-лист перед выбором: 1) фиксируйте размер контекста и долю длинных ответов; 2) гоняйте нагрузку с реальными prompt-ами, а не синтетикой; 3) смотрите p50/p95 latency, OOM-поведение и деградацию при росте очереди; 4) проверяйте, как сервер ведёт себя при нескольких моделях на одном узле. Правильный выбор — это не “быстрее на бенче”, а меньше сюрпризов в проде.
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Google картинки станут конкурентом Pinterest

Google Картинки начали превращать в полноценную платформу с персональной лентой по прошлым запросам — по сути, в аналог Pinterest.

Во вкладке For you уже тестируют подборки, а ещё обещают коллекции и генерацию изображений во встроенной Nano Banana.

Как это будет работать и когда новинка дойдёт до других стран — в блоге.

➡️ Читайте на сайте: https://aff.top/blog/google-kartinki-stanut-konkurentom-pinterest

🧠 Ещё больше инсайтов → в канале AFF.top