Ещё пачка бесплатных LLM API: кто врёт, а кто реально отдаёт токены

Халявный доступ к LLM обычно красиво смотрится в описании — и сыпется на первом же запросе. Так что автор не стал верить на слово и прогнал всё живыми запросами. В подборке — шесть сервисов, включая Claude, Gemini, Qwen, MiniMax и не только. Разбирается по делу: что действительно работает, где потолок по лимитам и в каких местах лезут ошибки.

Читать далее: Где ещё дают LLM API бесплатно

👉 Telegram | Max

Методология нейрослопа

Нейронки прилипли к нам всерьёз и надолго. Снеси завтра OpenAI, Anthropic, Z.ai и всю остальную братию — личный Qwen 3.8 27B всё равно останется на месте. Так что вопрос не в том, выживут ли они, а в том, что с этим добром вообще делать. Как теперь писать софт? Можно скорчить мину и заявить, будто в разработке ничего не поменялось, — но это просто отказ видеть реальность. Можно упереться и работать без нейронок, только новое поколение уже подсело на эту иглу и слезать в ближайшее время явно не собирается.

Есть в вузах такой предмет, про который все давно забыли (а те, кто пришёл с ИТ-курсов, его вообще живьём не видели) — «методология разработки программного обеспечения». Хорошее ПО — это всегда про методологию: общие принципы архитектуры, дисциплина в работе, шанс передать наработки соседу, распилить задачу на нескольких человек, честно признать, готово или ещё нет. Без методологии разработка стремительно превращается в цирк без управляющего. Что мы прямо сейчас и наблюдаем.

Автор предлагает разобраться, куда методологию можно двигать в мире, где нейросети стали неотъемлемой частью разработки, и как в современную эпоху агентов писать рабочий код. Читать далее

👉 Telegram | Max

Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов

Привет, Хабр! На связи R&D-команда Just AI. Мы копаем NLP и GenAI, чтобы продукты конторы не выпадали из статуса SOTA на рынке. В частности на нас висят guard-модели и бенчмарки для Jay Guard — про них и пойдёт речь.

За последние два года исследователи и хакеры придумали кучу способов вытащить данные через AI-ассистентов: где-то утащили данные тенантов Microsoft 365, где-то — содержимое приватных каналов Slack. И никакого эксплойта в привычном понимании не потребовалось. В ход пошло то, чем соц-инженеры полвека доят людей: втереться в доверие, прикинуться начальством, попросить об услуге по мелочи. Просто жертвой теперь оказалась не человек, а модель.

В Just AI пилят guardrails для LLM-приложений и агентов, основной продукт — Jay Guard. Это AI-Security-прослойка между приложением и моделью: через неё прогоняются проверки на атаки, контент и персональные данные. В статье разберём текстовые детекторы Jay Guard и данные, на которых они обучаются, почему готовые модели на русскоязычном трафике дали слишком много ложных блокировок, что изменилось после переработки данных и какие ограничения остались.

Обучить модель — это только начало. Дальше начинается основное: постоянно держать качество, когда атаки меняются, а трафик — реальный, живой. Читать далее

👉 Telegram | Max

🤣 «Смотря какой fabric, смотря какой details»

💥 xCode Journal

Что под капотом у рекомендаций Авито на главной

Они решают две задачи:

1️⃣ Показывают пользователю максимально релевантные товары.
2️⃣ Разбавляют выдачу объявлениями, которые могут быть интересны.

Качественные товары с адекватной ценой часто разбирают в первые часы. Поэтому важно, чтобы они быстро попадали на главную.

Недавно мы поменяли архитектуру рекомендаций — и ускорили их в 18 раз. После этого контакты продавцов с покупателями выросли на 1%, а расход памяти упал в три раза.

Но получилось всё это не с первого раза: пришлось пройти несколько итераций.

Подробности в статье ↖️

[Перевод] Jev за 25 строк на Python

Про Jev галдят все, кому не лень. Jev там, Jev сям. Твиттер ими скоро лопнет: мол, это следующий прорыв больших языковых моделей и чуть ли не новая парадигма ИИ.

Что-то нам в это не верится.

Читать далее

👉 Telegram | Max

От готовых реплик до памяти о контексте: как AI-чаты дошли до нынешнего уровня

В первой части статьи разбирали, как эволюционировали поисковики. Теперь — про технологии, благодаря которым AI-чаты обзавелись всем тем, что умеют сейчас.

Классический поисковик занят простым делом: найти уже существующие документы и расставить их по ранжиру. AI-чату такого мало — он должен собрать ответ, оглядываясь и на запрос, и на контекст разговора. В материале описан переход от сценарных ботов, где правила и реплики разработчики прописывали руками, к нынешним системам на языковых моделях. Эти штуки умеют выполнять инструкции, держать многоходовый диалог, подтягивать сведения из прошлых бесед и обращаться к внешним источникам, пока готовят ответ.

Читать далее

👉 Telegram | Max

NVIDIA тоже подтянулась к тренду: LeetCode-собесы — на выход

И весь замес — вокруг трёх тем по оптимизации:
— градиентный спуск и глобальные оптимумы;
— full batch, мини-батч и SGD;
— generalization gap и плоские минимумы.

Топовые команды ищут не зубрил, а тех, кто реально въезжает в фундамент.

Источник

👉 Telegram | Max

Тем, кто только лезет в ML

Начинаешь щупать машинное обучение и хочешь нормально въехать в математику — ту, что стоит за машинным и глубоким обучением? Тогда глянь эту платформу. По сути, тот же LeetCode, только для ML.

И да, это не реклама: автор сам ей пользовался и решил поделиться.

👉 Telegram | Max

[Перевод] Промпт-инжиниринг: как лучше общаться с ИИ

Что тебе ответит генеративная модель — во многом упирается в то, как ты слепил запрос. Промпт-инжиниринг — это не про выискивание «правильных слов» и не про универсальные команды. Задача у него куда приземлённее: донести до модели своё намерение без искажений.

Генеративный ИИ ощутимо перекроил сам подход к работе с программами. Модель можно напрячь по-разному: пусть напишет письмо, раскопает инфу, разжуёт сложную тему, накидает идей, выдаст код, соберёт план проекта или злобно разберёт чужое решение по косточкам. И вот тут есть ограничение.

Читать далее

👉 Telegram | Max

Нейрочип НТЦ «Модуль»: единственный серийный в стране

Разбор единственного серийного нейрочипа страны — НТЦ «Модуль», 27 лет в серии. Что он тянет по даташиту и что реально выдаёт в живых внедрениях: больницы, РЖД, шахты, спутники.

И отдельно: как эта штука смотрится рядом с Jetson и Ascend 310, кто ещё в России лезет в нейрочипы и почему его кличут «нишевым».

Погрузиться в обзор

👉 Telegram | Max

Нейронка живёт у тебя дома — а дотянуться до неё можно откуда угодно

Поднимаешь личный LLM-сервер на своём железе: ни подписок, ни потолка по токенам. Один адрес — и с домашней машины, и из офиса, и с телефона.

Читать далее

👉 Telegram | Max