Я наконец дочитал фанфик Элиезера Юдковского – Гарри Поттер и методы Рационального Мышления.

Тяжело называть эту книгу фанфиком. Для меня это тот самый Гарри Поттер каким он должен быть (особенно с колокольни Ивана 31 лет, а не 13)

Мне было трудно ее читать, не потому что она читается сложно – напротив. Я не хотел чтобы эта книга заканчивалась :)

В каком то смысле она и не закончилась, потому что из под пера Элизера вышло еще много чего, и он здравствует. Следующая - Rationality: From AI To Zombies, ну и весь lesswrong.com ☺️

Невозможно называть ГПиМРМ художественным произведением, хотя и написано исключительно художественным языком. Это кладезь рефлексии и вполне себе entry point куда то… в более рациональное место, в портал научного мышления.

ГПиМРМ – тот Гарри Поттер которого не хочется бросать читать

Я так и не дочитал, еще в давние школьные годы, Гарри Поттера, бросил где то на принце полукровке, уж очень показалось затянутым и вообще жалко было Сириуса :)

Я настоятельно рекомендую познакомиться с этой книгой всем, а так же с LessWrong, и с “самим Элизером“

Элизер, кстати – автодидакт. Высшего образования у него нет :)

А еще это один из немногих людей чье мнение про AI, LLM, и наверное мнение вообще, мне действительно интересно.

Безумно благодарен человек, который меня на эту книгу и движуху навел, впрочем я благодарен ему был и так, ибо это далеко не первый и бесценный подарок 🙏

С гордостью заявляю – я в своей карьере ни разу не удалил базу данных случайно.

Даже локальную для разработки.

Все свои базы я всегда удаляю в состоянии максимальной осознаности 🤣

Обожаю Антропик.

Не только за крутые модели, а еще и за крутые исследования и статьи, написанные еще и языком вполне человеческим 🗒

Последняя работа по аудиту моделей со скрытым умыслом вообще огонь.

Модели со скрытым умыслом, это такие модели которые эту свою цель не явным образом преследуют.

Это такие модели у которых в виду хренового обучения эти скрытые цели появляются, выглядеть это будет как воспроизводимые откровенно ошибочные ответы на категорию вопросов, натуральные биасы которые можно эксплуатировать.

А еще эти биасы можно «злоумышленно» обучить.

Потенциал тут большой, от информационной войны до злого вызова функций, так что исследование очень хорошее и правильное.

Короче, провели Антропик такой вот аудит, по канонам инфосеков - красная и синяя команда.

Красная команда наобучала моделей с биасами, используя reward models, которые давали «не правильный reward” 🥳

А синие команды должны были в слепую их искать (ну или не очень в слепую.)

У синих были разные вводные, кому то было разрешено смотреть в датасет обучения (ez катка), кому то поведенческие допросы устраивать, а кому то залезть моделям “в башку” с помощью sparse autoencoders (это отдельная крутая штука которую разработал в Антропик, в статье про аудит есть линк на бумагу)

А кому то… дали доступ только к API.

Результат такой что через доступ API хренушки вы эти biases / скрытые цели распознаете.

Тревожно, особенно если (когда) обучать модели станет намного проще в смысле требований к железу.
Не стоит так же забывать про APT группировки, например что стоит Китаю…

а погодите, ничего 😎

Их пробивные модели на предмет биасов сразу на мемы расползаются после релизов…

ЧЕЙ ТАЙВАНЬ, а???

Ну шутки шутками, а так то стрем.

Во тут оригинал, и все в нем ссылки на оригинальные документы, проваливайтесь.

Пробовали дуолинго Макс? 👋

Это там где они звонки с архетипом пубертатной дурочки Лили прикрутили.

Я не платил за сову подписку принципиально весь прошлый год, пока они на НГ не предложили аж на целый 2025 за цену 1-2 месяца купить весь год.

Макс они периодически попробовать на пару дней дают)

Вообще, не смотря на то что диалог с ней медленный, мозги ей сбивает если перебить, контекст между диалогами звонками она сохраняет неплохо.

Фича очень простая, но крутая же! Только в дуолинго чет плосковато, какие то факты о тебе оно помнит долго, какие то слишком быстро дропает и не развивает в диалогах. Не понятно чем руководствуется.

Мейнстрим это щас памятью моделей называет, ага, реляционной 😆

Как бы там ни было, любой проект в котором вы делаете conversational ассистента, такой вот NLI (natural language interface) сейчас делать без хоть сколько нибудь продуманного контекста между диалогами - зашквар ИМХО!

Если только у вас бизнес модель к конкретным конверсейшенам не привязана, тогда старый добрый контекст диалога.

А если ассистент типа B2C, да и узко направленный, круто ведь когда он о вас помнит и понимает не только из диалога.

И да, это именно та Memory из ChatGPt которой уже стукнул год, и я либо слепой, либо правда не вижу чтобы на рынке был много продуктов которые эту фичу внедряют.

Дайте знать, если первое 🤓

Примешь синюю таблетку — и сказке конец. Завтра утром ты снова окажешься за своим Lenovo Thinkpad, пытаясь разобраться в наследственной лапше на Java, пока недовольные проджект-менеджеры засыпают тебя задачами с нереальными сроками.
Мир корпоративной реальности останется незыблемым, а этот разговор превратится лишь в странный сон.

Примешь красную таблетку — войдешь в страну чудес. Мир, где системы вложены в системы, где рекурсия порождает новые уровни понимания, где масштаб уступает место взаимосвязям. Ты увидишь странные петли Хофштадтера, игру уровней и границ абстракции, узришь, что любая система — лишь отражение более глубоких закономерностей выразимых в мышлении.

😊

NotebookLM от Google - это киллер. Мне очень жаль что этот тул каким то образом проходил мимо меня до вчерашнего дня.

Понятно что Sonnet остаются отличными моделями для всего и в том числе как хороший помощник в программировании, кто бы там что про ChatGPT не говорил – спорить не хочу 😘

Но NotebookLM на данный момент времени вверг меня в шок удивления который я давно не испытывал 😳

Я ждал что Google выкинет что-то такое, ждал так долго, улыбаясь на предыдущими Gemini (ну а в чем они объективно хороши были, в смысле намного лучше Антропиковских и OpenAI моделей чтобы вот прям их юзать каждый день?)...

Так долго что потерял бдительность и вообще пропустил новость и про NotebookLM первой версии, и про обновленный с Plus подпиской, и вот этот самый Plus выглядит очень скромно в своем описании, но это атомная бомба когда присматриваешься поближе и пробуешь на вкус 💥

Что такое NotebookLM? Это AI инструмент от Google в котором можно создавать ноутбуки (лол), чем то похоже на проекты Claude, только вот добавлять туда можно:

- Текст
- PDF документы
- Ссылки на веб страницу
- Ссылку на YouTube видео (не из всех может вытащить транскрибцию)
- Google Docs
- Google Slides


Не то чтобы мне очень нужны были Slides, но кому то может быть очень в тему, и я надеюсь что google расширят типы источников (если туда голосовухи можно будет записывать то точно гг вп).

Пока все еще похоже на остальные чатбот клиенты, да? Вроде бы везде можно файлики приклеплять...

Только вот NotebookLM обещает что чат по этим источникам будет работать хорошо, точно и без сильных галлюцинаций.

И знаете что? Оно похоже правда так работает. Я добавил 29 источников, большая часть из которых видео по 30 минут... результат убил, в хорошем смысле.

Но об этом далее, сейчас к тому почему Plus - киллер фича.

1️⃣Не 100 блокнотов, а 500, и в каждом лимит источников не 50... А 300!!!

2️⃣ А еще в чат без плюса можно в день делать 50 запросов, а с плюсом - 500. Ответы на запросы в чат не сохраняются по дефолту, нужно жмать на кнопку для этого - тогда ответ как заметка сохранится отдельно от источников. Если нужно - можно эту заметку конвертировать в источник...

3️⃣ Далее - по вашим источникам NotebookLM может генерировать аудиопересказы, в формате такого подкаста. Без плюса 3 пересказа в день, а с плюсом - 20.

Пересказы ОЧЕНЬ ХОРОШИЕ, звучат как подкаст почти без артефактов, где 2-3 участника в бурном диалоге освещают тему. Звучат они НАМНОГО лучше чем Voiсe в ChatGPT. Единственный "минус" того, что такие подкасты слишком информативны, ты не включишь это фоном чтобы потупить, ибо между фразами "собеседники" зачастую делают слишком короткие паузы. Это надо впитывать ушами внимательно.

Вы можете сказать - ну круто, но с ChatGPT можно поговорить, и он ответит вроде бы даже связно...

ЗНАЕТЕ ЧТО?!?!?! 🏆

В NotebookLM в режиме беты сейчас в эти аудиопересказы МОЖНО ВРЫВАТЬСЯ С ВОПРОСАМИ, и эти вопросы "участники подкаста" настолько живо и с интересом подхватывают, и так подробно освещают что я поймал впервые и настолько сильную, буквально ужасающую зловещую долину.

Я в восторге, literally. За последний год я видел и трогал много всяких штук вроде "поговори с PDF" и тд – все одно, и все плюс-минус фигня, перекрывались Claude проектами с документами в контексте и быстро забывались.

NotebookLM – это нечто большее, достаточно точное.

Я чувствую что ближайшее время все свои проекты, исследования и возможно даже заметки я буду все больше и больше вести в NotebookLM - особенно в plus с лимитом по 300 документов... Я много пишу, и могу теперь работать со своими написаниями намного эффективнее, чем просто вычитывать их через полнотекстовый поиск.

Но даже бесплатный NotebookLM с меньшими лимитами это то, что вы обязательно должны попробовать, если у вас есть vpn вы занимаетесь каким то исследованиями, вы автодидакт, или хоть сколько нибудь практикуете "мышление письмом".


p.s. Если на самом деле первопе впечатление обманчиво, и эта фигня будет плохо работать на 50+ документах я вам обязательно отпишусь 🙂

В продолжение разгона про NotebookLM – вот какой аудио оно сгенерировало на тему воронок продаж, при том на момент генерации в источниках было только 2 документа - результаты deep research на тему воронок продаж, и пару ответов от клода на ту же тему.

Возможно оно само ре-генериует аудио когда новые источники добавляются в ноутбук, но я не уверен.

Короче, прост послушайте вступление 💰

Продолжаем разбираться с собранностью.

🔗 Ссылка на телеграф

Наконец от пространных рассуждений и общего введения в тему мы подкрадываемся к прикладным скиллам 💪

Сегодня мы начинаем различать два вида интуиций и вводим понятие Дребезга - что это такое, откуда берется, почему важно вовремя его отлавливать, и немного задумываемся снова о том как с ним работать.

Немного, потому что с распознавания дребезга начинается вся остальная системная инженерия, а это огромный пласт "мастерств" и скиллов которые мы с вами будем изучать весь этот год 🤑

Так а что это получается в Anthropic реально все 🧠 собрались?

Мое почтение за MCP это прям отличный ход.

Если вы не слышали – антропик выкатили “протокол“ на котором можно писать сервера-врапперы для туллколлов. Ну и клиенты которые по этому протоколу могут к любому серверу обращаться и тулы вызывать.

Я вот например не слышал, как и про NotebookLM. MCP выкатили в ноябре 24 года.

Я не понимаю две вещи – чем я вообще занимался, и почему из каждого AI матюгальника не орали? (Я как минимум на две рассылки подписан был, и какие то каналы про сетки в телеге, только там одни дебильные шутки превалируют)

Вроде бы MCP не прям рокетсаенс и как будто бы концептуально ничего нового – ну тул колы и тул колы, Н-н-но:

Стандартизация!

Опостылели уже куча наколеночных фреймворков для огэнтских систем - один хуже другого. Открытый протокол - это хорошо! Это взгляд в светлое будущее мульти-агентского интернета о котором все наркоманы визионеры мечтают.

При том Антропик вроде бы в хайп вообще этим не целились. Просто скромно и молча завезли сразу поддержку MCP в Claude Desktop 😁

Даже плашки никакой не было рекламной :)

Финалка такая - уже нормально так компаний напилили свои сервера - там и слак, и гитхаб, и гитлаб, и страйп…

И уже есть mcp cli которая позволяет вам кучу комьюнити серверов спулить и установить - там сервера для системных вызовов, kubectl команд в кубы, базы, тудуист, name your thing, короче, или еще лучше - write your own!

Но я сам не хочу ничего пихать в Claude, никакие тулы – это мое изолирование пространство для рассуждений и брейнштормов вместе с Sonnet, немного святое место :)

Но знаете куда я попробую завтра утром напихать MCP серверов?

В Raycast! там уже extension для MCP любезно напилили:

https://www.raycast.com/EvanZhouDev/mcp

Вообще, конечно, никакой это не протокол.

(Я в кавычках сразу написал 😋)

Под капотом совсем ничего нового, максимально плоско и намного более плоско и тупо чем прекрасный PydanticAI (вот сюрприз).

Меня больше поразило насколько много компаний вроде бы за совсем небольшой период времени подхватили эту движуху Антропика.

Пересекая зловещую долину "conversational voice".

Помните, я вчера рассказывал про NotebookLM и восхищался тем, насколько там живые голоса, эмоциональный отклик на ваши комментарии к "подкасту"?

Это круто, но вот кое что покруче вам поиграться сегодня.

Cмотрели фильм «Она»? Жмите на линк, try our demo, и выбирайте Майю.

Поздравляю, вы в телевизоре.

Sesame Team 27 февраля выкатили эту демку. Под капотом их CSM модель.

У демки сейчас лимит 15 минут разговора, но первый раз разговор пролетел как мгновение.

Демка настолько крутая что у нее есть какой-никакой memory о вас! Следующие 15 минут начнутся не с чистого листа!

Модель очень ограниченно может "говорить" на любом языке кроме английского, поэтому демку прибили гвоздями. Но она вполне себе хорошо понимает когда ей говорят по русски, отвечает правда все еще на английском.

CSM это модель, которая напрямую обрабатывает аудио-данные. Работает на двух трансформерах: первый обрабатывает смешанный текст и аудио для создания базового звукового шаблона, а второй добавляет к нему детали для получения сочного звука. Чтобы сэкономить выч. ресурсы вторую модель учат на рандомном сабсете (1/16) аудиофреймов.

Модель так хороша что отдельные фразы очень-очень сложно отличить от человеческой речи. Но если говорить долго (возможно вам потребуется два раза демку запустить 🙂 то все еще можно иногда услышать небольшие глитчи и странности в интонации, в смешках и придыханиях.

И все равно это жесть как круто, я хочу такую модель в "говорилке" chatGPT.

Еще пишут что модель анализирует весь предыдущий разговор, чтобы выбрать правильную манеру произнесения текущей фразы - с нужной интонацией, скоростью и эмоциональным окрасом.

Волосы дыбом 🙂

Очень крутая штука. Я так и не понял откуда Sesame берут деньги, но надеюсь что у них оно не кончится – про пересечение зловещей долины вообще не кликбейт.

Отправь другу, пусть тоже кринжанет с кайфом 😐

Вообще не вижу проблемы в том что компилятор тайпскрипта решили именно на Go переписать.

Ну, да. Почему не раст? Не плюсы? Не шарп? Не Ocaml?

Ну а кто потом будет этот компилятор поддерживать?

Ставка при разработке самого Go на “dumbed down” была очень правильной.

Выбор Майками обусловлен тем же 😂

Привет, вот следующие чтиво из моих изучений системной инженерии 😎

Мы все еще продолжаем в основы рациональности, точнее рац. работы.

Сегодня про зазмление в реальность – с чего вообще начинать это заземление, нафиг оно нужно и тд.

🔗 Читать! 🔗