Исследователи Amazon сравнили два подхода к памяти ИИ-агентов: хранение информации в весах модели и извлечение данных из внешнего хранилища.

Результаты показали, что память, встроенная непосредственно в веса модели, может превосходить текстовую память при воспроизведении сведений о пользователе. Однако наибольший интерес представляет возможность совместного использования обоих подходов.

В эксперименте использовались одна и та же модель и одинаковые пользовательские данные. Обычное дообучение позволило сохранить сведения о пользователе в весах модели с точностью 36,9%, тогда как метод on-policy self-distillation повысил этот показатель до 59,9%.

Причём второй результат оказался выше, чем при извлечении информации из внешней памяти.

При тестировании на данных восьми пользователей из HaluMem-Long модель, прошедшая дистилляцию, отвечала на вопросы без дополнительного контекста и превзошла несколько подходов:

- Извлечение данных по принципу MemOS — 47,8%.
- Использование извлечённого контекста — 51,9%.
- Использование исходной истории диалога — 51,3%.
- Память в весах после дистилляции — 59,9%.

Преимущество сохранялось для всех восьми пользователей и моделей с 4, 9 и 27 млрд параметров.

Как это работает?

Модель-учитель, имеющая доступ к памяти пользователя, обучает модель-ученика отвечать на вопросы без обращения к этой памяти. При этом в роли учителя выступает та же модель, но с доступом к пользовательским данным.

Однако у памяти, встроенной в веса, есть ограничения. Модель может забывать старые сведения и не способна надёжно определить, какая информация никогда не сохранялась.

Для решения этой проблемы исследователи предложили механизм verify-then-regenerate. Он проверяет ответы по текстовому хранилищу и при необходимости генерирует их повторно. Такой подход позволил повысить точность ещё на 6,2 процентного пункта.

В результате исследователи рекомендуют сочетать оба подхода: хранить недавние и недостающие сведения в текстовой памяти, а устойчивую информацию о пользователе переносить непосредственно в веса модели.

Исследование: https://arxiv.org/abs/2611.05636

👉 @PythonPortal

Колумбийский университет опубликовал подробный учебный материал по архитектуре Transformer 📚

В нём разбираются математические основы одной из ключевых технологий современных ИИ-систем: от рекуррентных нейросетей и архитектуры encoder-decoder до механизмов attention и self-attention.

Отдельное внимание уделено query, key и value, scaled dot-product attention, multi-head attention и softmax.

Главная особенность материала — математический подход. Авторы используют формулы, пошаговые выводы, схемы и примеры, чтобы объяснить, как устроены отдельные компоненты Transformer и как они взаимодействуют друг с другом.

https://www.columbia.edu/~jsl2239/transformers.html

👉 @PythonPortal

Computer Use больше не нужен: разработчик представил Phone Use — инструмент, позволяющий ИИ-агентам взаимодействовать с настоящим iPhone.

Автор подключил свой iPhone к компьютеру на Linux через Bluetooth и AirPlay. При этом распознавание текста через OCR выполняется отдельно от основного процесса, поэтому агенту не приходится постоянно работать со скриншотами.

Для взаимодействия с телефоном предусмотрены готовые сценарии, а для подключения ИИ-агентов есть отдельный Agent Skill.

По словам автора, теперь можно буквально делать всё что угодно.

Забираем на GitHub - https://github.com/lxe/phoneuse

👉 @PythonPortal

Бесплатные 3D-модели японских городов, охватывающие отдельные районы Токио, Осаки, Иокогамы, Нагои и Саппоро.

Модели доступны в формате GLB и готовы к использованию в трёхмерных картах, играх и демопроектах, созданных с помощью ИИ.

https://huggingface.co/datasets/codepawl/plateau-city-glb

👉 @PythonPortal

Если Сэм Альтман считает, что оперативная память вашего компьютера расходует дефицитные мировые запасы DRAM впустую, может, стоит отправлять ему письмо каждый раз, когда она простаивает?

Кто-то уже написал для этого скрипт.

Скрипт каждые пять минут проверяет использование оперативной памяти на компьютере с Linux и раз в сутки отправляет Альтману отчёт, если свободно больше 10% ОЗУ.

Теперь Сэм будет знать, сколько драгоценной памяти простаивает без дела. 😂

https://github.com/IainKay/ram-altman

👉 @PythonPortal

HDMI-кабели могут излучать электромагнитные сигналы, содержащие информацию об изображении на экране.

Антенна и программно-определяемый радиоприёмник улавливают эти излучения, а программное обеспечение, например TempestSDR, позволяет восстановить из них распознаваемое изображение.

Deep-TEMPEST используетxiv.org/pdf/2407.09717 машинное обучение для более точного восстановления текста и изображений из тех же исходных сигналов. В ходе испытаний доля ошибок при распознавании символов снизилась почти с 90% до менее чем 30%.

Однако качество восстановления по-прежнему зависит от экранирования кабеля, расстояния и окружающих электромагнитных помех. Хорошее экранирование или использование оптоволоконного HDMI-кабеля позволяет устранить большую часть риска.

Даже проводное соединение может оставлять след в радиоэфире.

👉 @PythonPortal

Одна из самых опасных ошибок в SQL возникает, когда запрос успешно выполняется, хотя должен был завершиться с ошибкой.

Предположим, вы хотите удалить заказы пользователей, чьи аккаунты заблокированы.

Но в таблице banned_accounts есть столбец id, а не user_id.

PostgreSQL не выдаёт ошибку. Вместо этого он незаметно находит user_id во внешней таблице orders и превращает подзапрос в коррелированный.

Если в banned_accounts есть хотя бы одна строка, запрос выберет все заказы, у которых user_id не равен NULL.

Всего одна ошибка в названии столбца, и вы можете удалить всё содержимое таблицы заказов.

👉 @PythonPortal

ChatGPT обучается с помощью формулы, которую придумали ещё в 1847 году для расчёта орбит планет.

w ← w − η∇L

Это градиентный спуск, без которого не существовало бы ни одной современной нейросети.

Его придумали не в OpenAI и не в Google, а во Франции почти 180 лет назад, когда математик Огюстен Луи Коши искал более быстрый способ рассчитывать движение небесных тел.

Представьте, что вы стоите на горе, окутанной густым туманом. Подножия не видно, но вы чувствуете уклон под ногами. Вы делаете шаг в сторону самого крутого спуска, снова определяете уклон и делаете следующий шаг. Так, шаг за шагом, вы спускаетесь в долину.

Нейросеть действует по тому же принципу. Гора олицетворяет её ошибки, а долина соответствует правильным ответам. Только у этой горы не три измерения, а миллиарды.

Коши рассчитывал орбиты планет. А его формула научила машины писать.

👉 @PythonPortal

Проверить, является ли число n простым, можно детерминированно и за полиномиальное время всего в 10 строках Python.

Этот алгоритм предложил Гэри Миллер ещё 50 лет назад. Однако для доказательства его корректности требуется недавний результат OpenAI, связанный с квазигипотезой Римана (quasi-GRH)!

Тест простоты AKS в своё время стал огромным достижением, удостоенным премий Гёделя и Фалкерсона в 2006 году. Но теперь он устарел.

Безумные времена.

👉 @PythonPortal