🧶 И немного хакатонного мерча — сделала стикерпак «Научный клубок».
Добавить стикеры в Telegram

Галлюцинации LLM и как их ловят


Галлюцинация — это когда модель генерирует фактически неверное утверждение, но подаёт его как уверенный ответ.
LLM не ищет истину. Она предсказывает следующий токен:

P(token | context)

На каждом шаге модель выдаёт логиты — сырые оценки для всех токенов словаря. После softmax они превращаются в вероятности:

logits → softmax → probabilities → next token

Если распределение уверенное, один токен сильно доминирует.
Если распределение размытое, много токенов имеют близкие вероятности.
На этом строятся методы детекции риска галлюцинаций:
1. Logprobs
Можно смотреть вероятность каждого сгенерированного токена.
Если модель пишет конкретный факт — имя, дату, название статьи, — но токены имеют низкие logprobs, это сигнал риска.
Но важно: высокий logprob не доказывает истинность. Модель может уверенно воспроизводить ложный паттерн.
2. Entropy
Энтропия показывает неопределённость распределения токенов.
H(p) = -Σ p(x) log p(x)
Высокая энтропия = модель не имеет явного фаворита для следующего токена.
Упрощённо это можно посчитать так:

import numpy as np

logits = np.array([2.4, 1.2, 0.3, -0.7])  # сырые выходы модели

probs = np.exp(logits) / np.exp(logits).sum()

logprobs = np.log(probs)
entropy = -np.sum(probs * logprobs)

print("probabilities:", probs)
print("logprobs:", logprobs)
print("entropy:", entropy)

Если один токен доминирует, entropy будет низкой.
Если вероятности размазаны по нескольким токенам, entropy будет высокой.
В production это можно использовать как risk score: если на фактических утверждениях энтропия высокая, ответ нужно проверять.
3. Self-consistency
Один и тот же запрос прогоняют несколько раз с разными параметрами: temperature, top_p, seed.
Если факты плавают — даты, числа, имена, ссылки — это не знание, а генерация вероятных вариантов.
4. Semantic entropy
Обычная энтропия смотрит на токены. Но разные фразы могут означать одно и то же.
Semantic entropy группирует несколько ответов по смыслу.
Если формулировки разные, но смысл один — риск ниже.
Если модель генерирует разные факты — риск выше.
5. RAG attribution
В RAG-системах недостаточно просто подать документы в контекст.
Нужно проверить, что каждый важный claim реально поддержан retrieved chunk.
Нормальная схема:

query → retrieval → chunks → generation → claim verification → citation check

Если утверждение есть в ответе, но его нет в найденных фрагментах, оно помечается как unsupported.
Главный вывод:
галлюцинации нельзя надёжно ловить одной метрикой.
Рабочий подход — комбинация сигналов:
logprobs + entropy + self-consistency + semantic entropy + claim extraction + RAG attribution
Модель генерирует вероятный текст. Фактом он становится только после привязки к проверяемому источнику.
#ai #llm

🎬 Составила гайд: как с помощью ИИ делать анимированные бесшовные карусели
Те самые, где картинки плавно перетекают друг в друга и палец сам скроллит до конца 🌀
Внутри:
✅ какими нейросетями оживлять фото (всё бесплатно)
✅ как склеить кадры, чтобы переход был бесшовным
✅ пошаговый воркфлоу — собираешь карусель за 15 минут
Забирай 👇
📖 Открыть гайд
Сохрани, чтобы не потерять 📌

GPT-5.6: что важно знать без лишнего шума

OpenAI выпустила новое семейство моделей GPT-5.6. Это не одна модель, а три уровня:

Sol — флагманская модель для сложных задач: кодинг, research, анализ данных, cybersecurity, работа с инструментами и дизайн.

Terra — средний вариант. По смыслу — модель для повседневной работы, где нужен баланс качества и цены.

Luna — самая дешёвая и быстрая модель в линейке. Нужна для массовых запросов, где важнее стоимость.

Главные характеристики в API:

Sol:
контекст — 1 050 000 токенов
макс. вывод — 128 000 токенов
цена — $5 за input и $30 за output за 1 млн токенов

Terra:
цена — $2.50 за input и $15 за output

Luna:
цена — $1 за input и $6 за output

У всех трёх моделей дата знаний — 16 февраля 2026.

Важно: большой контекст в 1.05M токенов относится к API. В обычном ChatGPT лимиты контекста могут быть ниже и зависят от тарифа и режима.

Что изменилось по сравнению с GPT-5.5

Главный акцент — не на новом интерфейсе, а на эффективности и сложных задачах.

OpenAI отдельно выделяет:
кодинг;
работу с длинными задачами;
работу с браузером и инструментами;
computer use;
cybersecurity;
создание интерфейсов и визуальных артефактов;
документы, таблицы и презентации.

То есть модель двигается не просто в сторону “умнее отвечает”, а в сторону “лучше выполняет рабочие процессы”.

Как работает GPT-5.6 в ChatGPT

В стандартном ChatGPT выбираются не все три модели.

Sol используется в reasoning-режимах:
Medium;
High;
Extra High;
Pro.

Terra и Luna в обычном чате не выбираются напрямую. Они доступны в Work, Codex и через API.

Free и Go не получают GPT-5.6 Sol в стандартном ChatGPT. Plus получает Medium и High, но без Extra High и Pro. Pro, Business и Enterprise получают больше режимов.

Про Ultra / Pro-режимы

Главная идея — больше вычислений на сложную задачу. Это нужно не для обычного вопроса, а для задач типа:

разобрать большой проект;
написать и проверить код;
найти ошибку;
собрать исследование;
сравнить документы;
сделать сложную аналитику.

Минус очевидный: такие режимы дороже и медленнее. Их нет смысла включать для простых вопросов.

Что важно про бенчмарки

К цифрам по новым моделям стоит относиться аккуратно.

Бенчмарки показывают прирост в сложных задачах, но это не значит, что модель стала лучше абсолютно во всём. Особенно осторожно надо смотреть на агентные тесты, где модель может использовать инструменты, окружение и нестандартные стратегии.

Практический вывод простой: смотреть надо не только на красивый процент в таблице, а на свою задачу — код, тексты, анализ, дизайн, документы, агенты.
#ai #нейросети

🔥 Кодинг-агенты не заменят эксперта. Но заберут 80% рутины

Anthropic проанализировала 398 000 сессий Claude Code (окт 2025 – апр 2026) и выяснила, как на самом деле делят работу человек и ИИ.

Ключевые выводы:

🧠 Человек — стратег, ИИ — исполнитель
Пользователи принимают 70% решений «ЧТО делать», но всего 20% — «КАК делать». Выбор файлов, команд и деталей реализации полностью на Claude.

📈 Эксперты получают в 6 раз больше пользы
У новичков сессия = 600 слов вывода и 5 действий. У экспертов — 3 200 слов и 12 действий. Агент делает больше, когда им умеют управлять.

🎯 Экспертиза = успех
Верифицированный успех растёт с уровнем компетенции:
14,5% (новичок) → 32,9% (эксперт)

Главный скачок — между начальным и средним уровнем. Дальше прирост скромнее.

Важный нюанс: экспертизу мерили не по стажу, а по тому, насколько чётко человек ставит задачу, правит ошибки и задаёт правильные вопросы. Бухгалтер без опыта Python, но с толковым ТЗ — уже эксперт в своей задаче.

Вывод: агенты не отменяют сеньоров — они превращают их в архитекторов, а джунов заставляют быстрее прокачивать навыки постановки задач.

#ai #R&D

Котик-погодная станция на ESP8266
Собрала мини-погодного котика: он показывает погоду на маленьком TFT-дисплее.
Солнечно — радуется, облачно — задумался, дождь — прячется под зонтик.
Внутри: ESP8266, TFT-экран, Arduino IDE и немного доработки кода, чтобы котик менял настроение под погоду.
Гайд — в Max.

ГАЙД,КОД, ИСХОДНИКИ 👉 ссылка

#esp8266 #arduino #iot #tftdisplay #погоднаястанция #diyelectronics #робототехника #техноблог #умныйдом #makerproject

🤖 Как робот-пылесос находит дорогу? Разбираем Flood Fill / BFS
Представь: робот стоит в углу лабиринта и не видит ничего дальше соседней клетки. Как ему добраться до цели кратчайшим путём?
Ответ — алгоритм Flood Fill на основе BFS. Работает как вода, разлитая на пол: волна расходится от старта во все стороны, пока не накроет цель 🌊

Вся магия — в трёх структурах:
• queue — очередь клеток на осмотр. Берём клетку из начала, соседей кладём в конец. Именно очередь (FIFO), а не стек, даёт поиск в ширину — сначала осматриваем ВСЕХ соседей на расстоянии 1, потом всех на расстоянии 2, и так далее
• visited — множество посещённых клеток. Без него алгоритм будет ходить кругами вечно
• parent — из какой клетки мы пришли в каждую. Это «хлебные крошки» для обратного пути

Где это живёт в реальном мире:
✅ роботы-пылесосы и складские роботы
✅ заливка в Paint (та самая «ведёрко»)
✅ поиск пути в играх
✅ подсчёт островов на карте

Полный код с комментариями и генерацией анимации — в файле ниже 👇
#алгоритмы #python #robotics