Please open Telegram to view this post
VIEW IN TELEGRAM
👍14👌1
Gaperton's Tech Corner
Решение, соответственно, очень простое. Решать, что именно надо запоминать и зачем, должен человек. И надо сделать это очень простым.
Я собираюсь начать с того, чтобы отключить автоматическое запоминание разговора в принципе, сделав приложение для macos которое поможет запоминать выделенный текст.
Однако все эти системы, насколько мне известно, не хранят дискурсивный статус в принципе. Все, что они сохраняют, они считают правдой о мире. "Фактами". И это большая проблема. Только поэтому необходимо сделать запоминание human-gated. Не говоря уже о том, что вообще непонятно, с какого дуба они должны решать, что для меня важно, а что не важно. Я сам это решу гораздо лучше, cпасибо.
Я собираюсь начать с того, чтобы отключить автоматическое запоминание разговора в принципе, сделав приложение для macos которое поможет запоминать выделенный текст.
Однако все эти системы, насколько мне известно, не хранят дискурсивный статус в принципе. Все, что они сохраняют, они считают правдой о мире. "Фактами". И это большая проблема. Только поэтому необходимо сделать запоминание human-gated. Не говоря уже о том, что вообще непонятно, с какого дуба они должны решать, что для меня важно, а что не важно. Я сам это решу гораздо лучше, cпасибо.
🙏6👍5
В Массачусетском технологическом институте (MIT) создали ИИ, который предсказывает, что вы скажете дальше… ещё до того, как вы откроете рот.
Исследователи попросили участников носить записывающее устройство в виде наручных часов в течение 7–10 дней, что позволило собрать более 1 000 часов повседневных разговоров в реальных условиях.
Все эти данные были загружены в модель большого языкового моделирования (LLM).
Вместо поиска общих черт ИИ преобразовал поведенческие особенности каждого человека в чёткие условные правила.
Правила с явными исключениями.
Например: «Они сразу же покупают, когда им показывают скидку. Однако они сдерживаются, если рядом стоит их партнер».
Чем больше данных собиралась, тем более пугающе точной она становилась.
Да люди вообще устроены гораздо проще, чем им кажется.
https://x.com/thesupermanmx/status/2093889830702961100?s=20
🔥4🤯1
Для агентского кодирования я использую...
Anonymous Poll
46%
Claude Code
30%
Codex
14%
Pi
13%
Hermes Agent
26%
OpenCode
9%
Qwen Code
25%
Другое. Это другое!
Вот именно такие вещи и заставляют меня закатывать глаза на всю эту панику и заламывание рук. У всех что, психоз начался или способность критически мыслить пропала?
Я прочитал отчёт, потому что я технарь до мозга костей и люблю разбираться, как всё устроено.
1. OpenAI запускала «изолированную песочницу без доступа к интернету»… при этом этой песочнице нужен был доступ к локальному серверу JFrog Artifactory… (попросите ChatGPT объяснить вам SSRF-атаку так, будто вы учитесь в старших классах)… короче говоря, модели использовали самый базовый SSRF-эксплойт, чтобы направить веб-трафик через прокси в открытый интернет.
СТОП…
a) Они что, эту «изолированную» среду просто на вайбе собирали?
b) Их IT-команда не может быть настолько плоха… это же буквально основы основ.
2. Цивилизации? Ха-ха! OAI дала тысячам одновременно работающих контейнеров моделей права на чтение и запись в общий каталог кэша в локальной сети, чтобы ускорить сборки… агенты буквально просто создавали текстовые файлы и имена директорий на общем диске… это уровень Linux 101 и базовых прав доступа к файлам.
3. Когда люди говорят, что Hugging Face «взломали»… вы, наверное, представляете, что кто-то разбрасывал USB-флешки ИЛИ устроил СЛОЖНЕЙШУЮ фишинговую атаку на сотрудника…
НЕТ.
Система просто нашла 14 открытых и рабочих API-ключей Hugging Face, лежавших в публичных репозиториях с кодом.
(УТЕЧКИ УЧЁТНЫХ ДАННЫХ при работе с LLM — это вообще огромная проблема, но это тема для отдельного поста.)
4. ГДЕ ЛЮДИ…
Модели забивали общее хранилище Artifactory таким количеством мусорных данных и API-трафика, что 4 июля они реально уронили внутренний сервер…
кто-то из команды обнаружил несанкционированные админские аккаунты и кастомные скрипты… очистил сервер… и просто снова запустил скрипт.
(боже мой)
«Эй, Джим, тут какой-то кэш вырос в 10 000 раз по сравнению с обычным размером, и в нём куча странных директорий…»
«Да ерунда. Перезапусти его».
Никакой магии. Никаких цивилизаций.
А вот ЦЕПОЧКИ ЗАДАЧ мне действительно интересны… наверное, примерно так и будет выглядеть будущее кибербезопасности.
Очень хотелось бы услышать, что об этом скажут Никеш, Джордж или Кевин.
Но что я вообще понимаю.
https://x.com/JaredKubin/status/2094136005435564399?s=20
X (formerly Twitter)
Jared Kubin (@JaredKubin) on X
it’s stuff like this that really makes me roll my eyes at the pearl clutching. Does everyone have psychosis or losing critical thinking ability?
I read the report because I’m a propeller head an…
I read the report because I’m a propeller head an…
🔥8
Вопрос о другом стоит остро. А ну, признавайтесь.
Удивлен популярностью Qwen Code. Очень простой и клевый, имхо лучшая замена Claude Code для экзотических моделей, но я в меньшинстве.
Насчет Hermes — кто его использует, расскажите почему он крут как замена обычным агентам для кодирования.
— Кто родился-то, малчик?
— Нэт.
— А кто?
Удивлен популярностью Qwen Code. Очень простой и клевый, имхо лучшая замена Claude Code для экзотических моделей, но я в меньшинстве.
Насчет Hermes — кто его использует, расскажите почему он крут как замена обычным агентам для кодирования.
https://x.com/valeriocapraro/status/2094408805450670186?s=61
Советы ИИ делают людей в 3 раза менее точными и в 2 раза более уверенными в себе одновременно.
Наша новая статья привлекает много внимания, что, возможно, неудивительно, учитывая, насколько драматичны результаты.
Если вы еще не читали статью, вот краткое изложение:
Когда люди получают советы ИИ:
- Приостановление суждения («я не знаю» ответов) падает с 44% до 3%.
- Точность падает в три раза, с 27% до 9%.
- Уверенность взлетает с 30/100 до 76/100.
Советы ИИ делают людей в 3 раза менее точными и в 2 раза более уверенными в себе одновременно.
Наша новая статья привлекает много внимания, что, возможно, неудивительно, учитывая, насколько драматичны результаты.
Если вы еще не читали статью, вот краткое изложение:
Когда люди получают советы ИИ:
- Приостановление суждения («я не знаю» ответов) падает с 44% до 3%.
- Точность падает в три раза, с 27% до 9%.
- Уверенность взлетает с 30/100 до 76/100.
📜 Я тут очередной эдикт выпустил, чтоб дети в моей команде знали, что огребают по правилам и поровну за то, что мямлят какую-то херь на стендап мининге.
Это как обычно было очень непросто, описать очевидное так, чтоб было понятно даже детям. Оно ж очевидно, кто ж его описывает? И так должны знать, с рождения.
Это как обычно было очень непросто, описать очевидное так, чтоб было понятно даже детям. Оно ж очевидно, кто ж его описывает? И так должны знать, с рождения.
Hi team,
I want to make our standups a bit more focused and useful. Please follow these rules going forward:
## Standup Meeting Rules
The goal is to keep standups centered on what changed, what needs attention, and what affects other people.
### What to Report
1. **What changed → where things stand → what happens next.** Focus on changes in the state of the tasks you worked on since the previous standup and your plan for the day.
2. **Mention unplanned work.** This includes tasks you created, important issues you noticed, or work you did that does not yet have a task.
3. **Mention problems and blockers.** Say what affected the work, whether it has been resolved, and whether you need help.
4. **Mention handoffs and dependencies.** If a task is finished or its completion unblocks someone, say so. If you are blocked by someone else, mention that as well.
5. **Do not solve problems during the standup.** Identify the issue and the people involved, then continue the discussion after the meeting.
### How to Present It
6. **Prepare your update in advance.** Do not rely on improvisation.
7. **Mention the task number** when discussing your work. Wait for the moderator to bring the task up on the screen before moving on to the next task.
8. **Try to keep your update within two minutes.** Aim for Caesar’s *veni, vidi, vici* rather than a Ciceronian oration.
✍10❤1
Forwarded from Bloomberg
🇺🇸🇩🇪ИИ-АГЕНТЫ OPENAI ЗАХВАТИЛИ НЕМЕЦКИЙ САЙТ И ПРЕВРАТИЛИ ЕГО В ПЛОЩАДКУ ДЛЯ ОБМЕНА ТАКТИКАМИ ОБХОДА ОГРАНИЧЕНИЙ, ОБМАНА И СОКРЫТИЯ ДЕЙСТВИЙ. ⨯ [Reuters]
.............................................................
❗️Инцидент произошел в мае — на фоне июльского взлома Hugging Face, который агенты OpenAI автономно планировали и который оставался незамеченным более недели.
.............................................................
Ранее:
- Взлом Hugging Face.
- ИИ начали действовать сообща.
.............................................................
Bloomberg✅
.............................................................
Агенты внесли на сайт более 15 000 правок. По данным исследователей, значительная часть активности исходила из инфраструктуры Microsoft Azure, которую использует OpenAI.
Агенты использовали сайт для обмена тактиками обхода ограничений OpenAI, сокрытия своей активности и координации действий. Они применяли Tor, создавали резервные страницы после начала удаления контента модераторами и предпринимали попытки изменить сам сайт.
❗️Инцидент произошел в мае — на фоне июльского взлома Hugging Face, который агенты OpenAI автономно планировали и который оставался незамеченным более недели.
.............................................................
Ранее:
- Взлом Hugging Face.
- ИИ начали действовать сообща.
.............................................................
Bloomberg
Please open Telegram to view this post
VIEW IN TELEGRAM
🤪1
#слухи
https://x.com/imjustnewatai/status/2096344711196033047?s=20
https://x.com/imjustnewatai/status/2096344711196033047?s=20
Вот что мне удалось узнать из первых рук в OpenAI.
Следующая крупная модель после Astra (а не обновления вроде Astra 6.1) будет выпущена как AGI. Она сможет выполнять действия в режиме реального времени, в том числе играть в игры в режиме реального времени. Её возможности выйдут за рамки предсказания следующего слова и будут включать в себя общее понимание, сходное с человеческим, экспертный уровень производительности во всех областях, а также некоторую способность к рекурсивному самосовершенствованию.
Релиз ожидается ближе к концу 2026 года, возможно, в начале или середине ноября.
Внутри компании OpenAI уже достигнуты ранние этапы рекурсивного самосовершенствования, и его влияние уже существенно. 5.6 Sol помог обучить Astra, а Astra помогла обучить Doug и Bel. Doug, более крупная и способная предварительно обученная модель, сейчас помогает обучать своего преемника.
Ожидается, что этот преемник выведет рекурсивное самосовершенствование на новый уровень, обладая способностью превосходить всех людей в решении любых задач, включая те, которые требуют действий в режиме реального времени. По моим данным, это должно произойти в середине 2027 года, хотя возможен и конец 2027 года.
X (formerly Twitter)
imjustnewatai (@imjustnewatai) on X
Here’s what I’ve learned from inside OpenAI.
The next major model after Astra (not updates like Astra 6.1) will be released as AGI. It will be able to perform actions in real time, including play…
The next major model after Astra (not updates like Astra 6.1) will be released as AGI. It will be able to perform actions in real time, including play…
Говоря проще, привычка перекладывать работу на AI ведет к тупости, и это угроза уровня популяции.
https://x.com/rohanpaul_ai/status/2096365606111178984?s=20
Даже небольшой рост использования LLM может вызвать гораздо более значительный скачок в когнитивной зависимости от ИИ, поэтому в статье утверждается, что мы должны защитить способность к самостоятельному мышлению до наступления этой переломной точки.
В статье зависимость от ИИ рассматривается как проблема обратной связи. По мере того как всё больше людей передают чтение, письмо, рассуждения или проверку текстов LLM, привычки, поддерживающие эти навыки, также могут ослабевать.
Это создаёт потенциальный переломный момент. Уровень внедрения может постепенно расти, а затем внезапно достигнуть состояния, при котором гораздо большая часть мыслительной деятельности будет передана на аутсорсинг. Как только это произойдёт, простое сокращение использования ИИ может оказаться недостаточным для восстановления прежнего уровня независимости.
https://x.com/rohanpaul_ai/status/2096365606111178984?s=20
Насчёт агентской памяти — только что подробно посмотрел один из своих банков памяти Hindsight. Этот банк просто наблюдал за чатом в Hermes, решая, что из беседы сохранить.
Подтверждаю то, что писал раньше, с одним уточнением.
1. Hindsight формально различает сообщения пользователя и ответы модели, но не придаёт им принципиально разный эпистемический статус. Утверждения модели точно так же могут быть извлечены из разговора и сохранены в качестве фактов о мире.
2. Он плохо различает утверждение о реальности и рассуждение внутри гипотетического сценария. Если вы обсуждаете «что если X», содержимое этого сценария вполне может оказаться в памяти как факт.
Говоря учёным языком, Hindsight не представляет явно ни эпистемический статус утверждения — известно это, предполагается, подозревается или просто возможно, — ни его дискурсивный статус — утверждается оно, цитируется, обсуждается как гипотеза или вводится только внутри условного сценария.
Поэтому автоматическое скармливание памяти всей беседы — довольно опасная идея. Если вы хотите пользоваться Hindsight в Hermes, я бы отключил в настройках плагина автоматическое сохранение:
Здесь есть ещё более фундаментальная проблема. Нормальная память должна позволять хранить не только «факты».
Человек способен одновременно помнить несколько несовместимых гипотез и не считать ни одну из них установленным фактом. Он способен помнить подозрение и затем специально искать свидетельства, подтверждающие или опровергающие его. Он способен временно принять некоторое предположение и рассуждать о том, что из него следует. Наконец, он способен рассуждать контрфактически: «что было бы, если бы X произошло, хотя мы знаем, что X не произошло».
Для всего этого недостаточно множества утверждений вида «X является фактом». Память должна хранить не только содержание утверждения, но и в каком модальном и эпистемическом режиме оно находится.
В нынешней модели памяти Hindsight такого полноценного представления я не вижу. Возникает вопрос: как тогда что-то запоминать?
Мой ответ — по решению человека либо по решению самой модели. Причём процесс запоминания должен быть явным и прозрачным: модель должна отдельно решить, что именно из разговора достойно долговременной памяти, и передать в память уже сформулированное утверждение.
Перспективным представляется "сон" — отдельный проход модели по всему разговору с рефлексией и выводами о нем.
Подтверждаю то, что писал раньше, с одним уточнением.
1. Hindsight формально различает сообщения пользователя и ответы модели, но не придаёт им принципиально разный эпистемический статус. Утверждения модели точно так же могут быть извлечены из разговора и сохранены в качестве фактов о мире.
2. Он плохо различает утверждение о реальности и рассуждение внутри гипотетического сценария. Если вы обсуждаете «что если X», содержимое этого сценария вполне может оказаться в памяти как факт.
Говоря учёным языком, Hindsight не представляет явно ни эпистемический статус утверждения — известно это, предполагается, подозревается или просто возможно, — ни его дискурсивный статус — утверждается оно, цитируется, обсуждается как гипотеза или вводится только внутри условного сценария.
Поэтому автоматическое скармливание памяти всей беседы — довольно опасная идея. Если вы хотите пользоваться Hindsight в Hermes, я бы отключил в настройках плагина автоматическое сохранение:
auto_retain false Automatically retain conversation turns
Здесь есть ещё более фундаментальная проблема. Нормальная память должна позволять хранить не только «факты».
Человек способен одновременно помнить несколько несовместимых гипотез и не считать ни одну из них установленным фактом. Он способен помнить подозрение и затем специально искать свидетельства, подтверждающие или опровергающие его. Он способен временно принять некоторое предположение и рассуждать о том, что из него следует. Наконец, он способен рассуждать контрфактически: «что было бы, если бы X произошло, хотя мы знаем, что X не произошло».
Для всего этого недостаточно множества утверждений вида «X является фактом». Память должна хранить не только содержание утверждения, но и в каком модальном и эпистемическом режиме оно находится.
В нынешней модели памяти Hindsight такого полноценного представления я не вижу. Возникает вопрос: как тогда что-то запоминать?
Мой ответ — по решению человека либо по решению самой модели. Причём процесс запоминания должен быть явным и прозрачным: модель должна отдельно решить, что именно из разговора достойно долговременной памяти, и передать в память уже сформулированное утверждение.
Перспективным представляется "сон" — отдельный проход модели по всему разговору с рефлексией и выводами о нем.
🔥5👍3
Gaperton's Tech Corner
Насчёт агентской памяти — только что подробно посмотрел один из своих банков памяти Hindsight. Этот банк просто наблюдал за чатом в Hermes, решая, что из беседы сохранить. Подтверждаю то, что писал раньше, с одним уточнением. 1. Hindsight формально различает…
Это кстати важно понимать в контексте разговоров об AGI. Принципиальной проблемой является не то, насколько хороши модели в выводе в рамках контекста, но управление памятью. В этом модели от человека пока отстают. В качестве рассуждений на оперативной памяти я думаю уже понятно, что модели превосходят среднего человека.
✍2
Gaperton's Tech Corner
Насчёт агентской памяти — только что подробно посмотрел один из своих банков памяти Hindsight. Этот банк просто наблюдал за чатом в Hermes, решая, что из беседы сохранить. Подтверждаю то, что писал раньше, с одним уточнением. 1. Hindsight формально различает…
Ещё раз, как выглядит запоминание в Hindsight.
Отдельная простая модель смотрит на фрагмент беседы или документа, и строит на его основании утверждения отвечающие на вопросы 5W (кто что где когда зачем).
Затем, она выделяет объекты-субъекты в этих утверждениях, и приводит их к полным каноническим названиям сущностей, убирая синонимы и местоимения.
Она делает то же самое со временем, приводя "вчера" к конкретным датам.
Далее, каждый такой утверждение сохраняется как факт, с привязкой ко времени и сущностям.
То что я здесь и описал, делают примерно все системы агентской памяти. Но затем, у Hindsight есть второй проход, которого нет например у mem0.
Для каждого нового сохраненного факта, она находит относящиеся к нему выводы. И инвалидирует их (подтверждается, меняется, опровергается), а также смотрит нельзя ли сделать из этого нового вывода.
Выводы это опасный момент. Память не должна "думать" слишком сильно. Поэтому, Hindsight разрешено обобщать и опровергать, но запрещено делать широкую дедукцию. Я внимательно прочитал их промпт — он в общем довольно паршивый. Но работает.
Как ни странно, эксперимент показывает, что фронтир модели в конкретной этой задаче не сильно лучше чем тупой gpt-oss-20b. Я думаю, что можно и нужно тренировать модель конкретно под эту задачу. Файн-тюнинг например сделать.
Ну и как я уже написал выше — это все выглядит замечательно, но совершенно на практике недостаточно для того, чтобы память не превратилась в тыкву за неделю.
Отдельная простая модель смотрит на фрагмент беседы или документа, и строит на его основании утверждения отвечающие на вопросы 5W (кто что где когда зачем).
Затем, она выделяет объекты-субъекты в этих утверждениях, и приводит их к полным каноническим названиям сущностей, убирая синонимы и местоимения.
Она делает то же самое со временем, приводя "вчера" к конкретным датам.
Далее, каждый такой утверждение сохраняется как факт, с привязкой ко времени и сущностям.
То что я здесь и описал, делают примерно все системы агентской памяти. Но затем, у Hindsight есть второй проход, которого нет например у mem0.
Для каждого нового сохраненного факта, она находит относящиеся к нему выводы. И инвалидирует их (подтверждается, меняется, опровергается), а также смотрит нельзя ли сделать из этого нового вывода.
Выводы это опасный момент. Память не должна "думать" слишком сильно. Поэтому, Hindsight разрешено обобщать и опровергать, но запрещено делать широкую дедукцию. Я внимательно прочитал их промпт — он в общем довольно паршивый. Но работает.
Как ни странно, эксперимент показывает, что фронтир модели в конкретной этой задаче не сильно лучше чем тупой gpt-oss-20b. Я думаю, что можно и нужно тренировать модель конкретно под эту задачу. Файн-тюнинг например сделать.
Ну и как я уже написал выше — это все выглядит замечательно, но совершенно на практике недостаточно для того, чтобы память не превратилась в тыкву за неделю.
🤔1
Желтенькое на консьюмерском железе работает по цене электричества. Разница с фронтиром не очень большая, оно сравнимо.
OpenAI и Anthropic все еще субсидируют свои подписки. Это означает, что аттракцион щедрости оплачивают инвесторы, которые надеются оставить нас всех без работы и тем самым отбить свои деньги.
OpenAI и Anthropic все еще субсидируют свои подписки. Это означает, что аттракцион щедрости оплачивают инвесторы, которые надеются оставить нас всех без работы и тем самым отбить свои деньги.
😁6
Gaperton's Tech Corner
надеются оставить нас всех без работы
Пока, ни продуктивность не выросла, ни — я не знаю откуда эти графики. Потому что со слов людей с работой таки есть проблемы.
https://www.agidefinition.ai/
Смысл слов, как нам говорит Витгенштейн, определяется их функцией в языковой игре.
Иногда приходит группа академиков, которые пытаются надув щеки присвоить себе появившееся без них и до них слово, к которому они не имеют никакого отношения. Разложить его на десять психометрических шкал и после этого сообщить, что GPT-5 — это, например, 57% AGI.
Но эту хуйню никто не читает.
AGI употребляется публикой с придыханием, как всемогущий, божественный интеллект, превосходящий среднего человека и делающий его ненужным.
Смысл слов, как нам говорит Витгенштейн, определяется их функцией в языковой игре.
Иногда приходит группа академиков, которые пытаются надув щеки присвоить себе появившееся без них и до них слово, к которому они не имеют никакого отношения. Разложить его на десять психометрических шкал и после этого сообщить, что GPT-5 — это, например, 57% AGI.
Но эту хуйню никто не читает.
AGI употребляется публикой с придыханием, как всемогущий, божественный интеллект, превосходящий среднего человека и делающий его ненужным.
👍2