За прошедшую неделю меня несколько раз спросили – а не наркоман ли я часом? какую LLM я жмав в cursor и неужели оно правда моросит?

Ну, если коротко: жмав куда надо, и да – моросит.

Более подробно – читать тут.

В посте я снова обьясняю свою позицию, нисколько не отрицая и не умоляя все прелести от работы с LLM.

Ток то куда не глянь – везде одними моделями пользуешься. Гугл хоть пока и не издох, но на две трети вопросов я иду сразу в Perplexity, например, и только потом и если нужно – в гулу-гулу.

😮 Кстати, по поводу Perplexity. У них оказуется апиха довольно дешевая, я собираюсь с ней поэсперементировать, хочу попробовать специлизированные микро-поисковые движки наколеночные проверить.
Если у вас есть опыт работы с этим API - напишите пару строк в комменты, буду признателен 😘

Ща будет 👌

В 1999 в Японии на ядерном объекте Токаймура чуть не жахнуло 💥

Это не АЭС, но там производили компоненты топлива для Японских АЭС.

Не жахнуло, но произошла критическая авария (самая серьезная в Японии на тот момент) – 2 человека погибло, и 667 облучило (не уверен насколько подсчеты верны, может и больше.) 🕯

Эффективные менеджеры-управленцы решили ускорить пайплайн, ну вот прост почему бы и нет.

До этого на заводе строго следовали лицензированной японским Управлением науки и технологий процессу - мешали компоненты в буферной емкости.

Емкость на то и буферная, чтобы компоненты там задерживались, и в управлении явно не идиоты сидели.

Итак, эффективные менджеры нашни боттлнек и решили ускорить процесс, приказали убрать буферную емкость и постановили смешивать закись-окись украна в ручную в десяти литровых ведрах и сливать в большой столитровый контейнер (тот перед которым был "боттлнек").

Пиздец! 😖

Люди которые принимали это решение, мало того что не подумали о том, что система сконструирована так не со злым умыслом, и не просто как следствие инженерной душной души, но еще основывались на такой идейке – "мы все равно производим слабо обогащенный уран, так что точно не жахнет! Врядли у нас будут заказы на другой уран! Погнали!" 🤑

MONEY!

30 сентября 1999 года на Токаймуре обрабатывали заказ с сырьем высокой степени обогащения.

30 сентября 1999 года на Токаймуре работала смена неопытных рабочих.

...

История эта хоть и кажется имеющей мало отношения к нашим IT реалиям, но имеет.

"Эффективный менеджмент", когда его целью является увеличение скорости выпуска/заработка любой ценой эффективным называть как минимум не корректно.

Мы можем сказать что в IT вроде бы как с ураном не работают, и врядли кого-то убить можно, но это опять оторвано от контекста, и рассуждения такие сами по себе проблема, потому что проистекают из недостатка коллективной (и индивидуальной) ответственности + собранности в индустрии.

Заваливая команды 20-тью параллельными задачами, все из которых в приоритетах high и critical, мы ускоряем не скорость продукции, а скорость генерации технического долга, инцидентов, боттлнеков и "текучки".

Осуждать мы не будем, было и было, и все с ними понятно.
А вот о важности формальных моделей и зачем, почему они на самом деле нужны я напишу намного подробнее завтра.

Привет! Что-то я чуть было не сдулся, но потом как вспомнил что обещал вчера тему продолжить. А слова надо держать.

Сдувался потому что как-то писал-писал, потом перечитал написанное, перечитал материал с курса и... понял что я все перепутал 🙂 И модель, и представление, и вообще все.

Вычитал и переписал нестыковки, стало получше, но все еще сложна.

Вот вроде бы простые такие вещи рассматриваем... вроде бы всем взрослым людям итак понятно должно быть. Ага, щас.

Анатолий Левенчук об этом часто предупреждал, так что норм. К концу курса рациональное мышление мы по идее распутаться должны, а там и с гордо поднятой головой пойдем уже во все тяжкие системной инженерии!

Напомню что обещанно мной было продолжить разбирательство на тему моделей, что это такое и зачем (с долей лукаства, на самом деле только подбираемся, но очень надобные для понимания вещи вбиваем в голову.)

🔗 Жмай 🔗

Очень открыт к обсуждению в комментариях 😊

Я вот ради упражнения обращаю сейчас чуть больше внимания на всякие индустрийные статейки, которые вроде бы рассматривают какую то проблему.

Раньше многие из них я просто отсканировав наискосок выбрасывал в мусор, без осознания почему – складывалось субъективное представление что там полезной информации мало 🫨

Почему, теперь стало более формально понятным :)

Статейки большие, раздутые, картинками напиханные. А по сути толчение воды в ступе.

Осознание разрыва, о котором вчера я писал, в них— околонулевое.
Предлагаемое решение проблемы такое же «оторванное».

Там где про какие то метрики пишут, ситуация вроде бы лучше, но выводы опять подозрительные, за рамки головы писателя редко выходят. Намека на работу с представлениями коллег, других агентов - тоже мало.

Ну и че там с инженерией? 🤦‍♂️

VibeCodding это оскорбление чувств думающих и ценящих свое время людей.

Я тут таки попробовал на повышенной сложности в это СНОВА.

В чем заключалась эта сложность:

Во-первых, как я говорил ранее – я попробовал метод Харпера который вам репостил, но чуток расширил в OOAD, Design by Contract, чтобы более формальные инстурукции получались.

Тут кстати вроде бы не плохие спеки нагенерил Sonet!

Во-вторых – я взял язык и экосистему которую вообще никогда не трогал как разработчик.

Надо ли говорить что получилось? 😳

Ставьте Патрика Бейтмана если хотите продолжение истории.

Чувак в Threads мне говорит, что Claude находит

логические баги

в коде хуже чем ChatGPT.

Ну, это уже уровень LLM кринж-оппортунизма недостижимый даже для меня!

P.S. он фронтендер 😬

Я наконец дочитал фанфик Элиезера Юдковского – Гарри Поттер и методы Рационального Мышления.

Тяжело называть эту книгу фанфиком. Для меня это тот самый Гарри Поттер каким он должен быть (особенно с колокольни Ивана 31 лет, а не 13)

Мне было трудно ее читать, не потому что она читается сложно – напротив. Я не хотел чтобы эта книга заканчивалась :)

В каком то смысле она и не закончилась, потому что из под пера Элизера вышло еще много чего, и он здравствует. Следующая - Rationality: From AI To Zombies, ну и весь lesswrong.com ☺️

Невозможно называть ГПиМРМ художественным произведением, хотя и написано исключительно художественным языком. Это кладезь рефлексии и вполне себе entry point куда то… в более рациональное место, в портал научного мышления.

ГПиМРМ – тот Гарри Поттер которого не хочется бросать читать

Я так и не дочитал, еще в давние школьные годы, Гарри Поттера, бросил где то на принце полукровке, уж очень показалось затянутым и вообще жалко было Сириуса :)

Я настоятельно рекомендую познакомиться с этой книгой всем, а так же с LessWrong, и с “самим Элизером“

Элизер, кстати – автодидакт. Высшего образования у него нет :)

А еще это один из немногих людей чье мнение про AI, LLM, и наверное мнение вообще, мне действительно интересно.

Безумно благодарен человек, который меня на эту книгу и движуху навел, впрочем я благодарен ему был и так, ибо это далеко не первый и бесценный подарок 🙏

С гордостью заявляю – я в своей карьере ни разу не удалил базу данных случайно.

Даже локальную для разработки.

Все свои базы я всегда удаляю в состоянии максимальной осознаности 🤣

Обожаю Антропик.

Не только за крутые модели, а еще и за крутые исследования и статьи, написанные еще и языком вполне человеческим 🗒

Последняя работа по аудиту моделей со скрытым умыслом вообще огонь.

Модели со скрытым умыслом, это такие модели которые эту свою цель не явным образом преследуют.

Это такие модели у которых в виду хренового обучения эти скрытые цели появляются, выглядеть это будет как воспроизводимые откровенно ошибочные ответы на категорию вопросов, натуральные биасы которые можно эксплуатировать.

А еще эти биасы можно «злоумышленно» обучить.

Потенциал тут большой, от информационной войны до злого вызова функций, так что исследование очень хорошее и правильное.

Короче, провели Антропик такой вот аудит, по канонам инфосеков - красная и синяя команда.

Красная команда наобучала моделей с биасами, используя reward models, которые давали «не правильный reward” 🥳

А синие команды должны были в слепую их искать (ну или не очень в слепую.)

У синих были разные вводные, кому то было разрешено смотреть в датасет обучения (ez катка), кому то поведенческие допросы устраивать, а кому то залезть моделям “в башку” с помощью sparse autoencoders (это отдельная крутая штука которую разработал в Антропик, в статье про аудит есть линк на бумагу)

А кому то… дали доступ только к API.

Результат такой что через доступ API хренушки вы эти biases / скрытые цели распознаете.

Тревожно, особенно если (когда) обучать модели станет намного проще в смысле требований к железу.
Не стоит так же забывать про APT группировки, например что стоит Китаю…

а погодите, ничего 😎

Их пробивные модели на предмет биасов сразу на мемы расползаются после релизов…

ЧЕЙ ТАЙВАНЬ, а???

Ну шутки шутками, а так то стрем.

Во тут оригинал, и все в нем ссылки на оригинальные документы, проваливайтесь.

Пробовали дуолинго Макс? 👋

Это там где они звонки с архетипом пубертатной дурочки Лили прикрутили.

Я не платил за сову подписку принципиально весь прошлый год, пока они на НГ не предложили аж на целый 2025 за цену 1-2 месяца купить весь год.

Макс они периодически попробовать на пару дней дают)

Вообще, не смотря на то что диалог с ней медленный, мозги ей сбивает если перебить, контекст между диалогами звонками она сохраняет неплохо.

Фича очень простая, но крутая же! Только в дуолинго чет плосковато, какие то факты о тебе оно помнит долго, какие то слишком быстро дропает и не развивает в диалогах. Не понятно чем руководствуется.

Мейнстрим это щас памятью моделей называет, ага, реляционной 😆

Как бы там ни было, любой проект в котором вы делаете conversational ассистента, такой вот NLI (natural language interface) сейчас делать без хоть сколько нибудь продуманного контекста между диалогами - зашквар ИМХО!

Если только у вас бизнес модель к конкретным конверсейшенам не привязана, тогда старый добрый контекст диалога.

А если ассистент типа B2C, да и узко направленный, круто ведь когда он о вас помнит и понимает не только из диалога.

И да, это именно та Memory из ChatGPt которой уже стукнул год, и я либо слепой, либо правда не вижу чтобы на рынке был много продуктов которые эту фичу внедряют.

Дайте знать, если первое 🤓

Примешь синюю таблетку — и сказке конец. Завтра утром ты снова окажешься за своим Lenovo Thinkpad, пытаясь разобраться в наследственной лапше на Java, пока недовольные проджект-менеджеры засыпают тебя задачами с нереальными сроками.
Мир корпоративной реальности останется незыблемым, а этот разговор превратится лишь в странный сон.

Примешь красную таблетку — войдешь в страну чудес. Мир, где системы вложены в системы, где рекурсия порождает новые уровни понимания, где масштаб уступает место взаимосвязям. Ты увидишь странные петли Хофштадтера, игру уровней и границ абстракции, узришь, что любая система — лишь отражение более глубоких закономерностей выразимых в мышлении.

😊