Сделад для журнала "Холод" интервью с ChatGPT https://holod.media/2023/03/30/gpt-4
Вопреки моим увещеваниям, они его слова отредактировали, поэтому исчезли его разные тонкие шуточки, например, он сформулировал опостылевший оборот как "вызывают задуматься". 🙁
Вообще... есть некий такой пустой публицистический жанр: "Проблема важная, но у нее есть две стороны, и дела плохи, но в то же время и хороши, и мы должны не забывать о своей ответственности, но более умелые и в правильном месте находящиеся люди чем мы уже занялись проблемой, так что ждем, но надежд не поднимаем, потому что ничего не изменится, кроме вот одного абсурдного предсказания которое я делаю для кликбейта." Единственный понятный мне способ из этого режима вылезти, не меняя при этом жанр на репортаж или исследование, это предлагать какие-то странные концепты, пытаясь вообще поменять язык для разговора о ситуации, а это получить от GPT достаточно сложно.
Пропт-инжениринг это еще одна демонстрация того, что вопросы интереснее ответов, ну за исключением какой-то такой ограниченной радости, типа как от говорящего умилительно умные вещи ребеночка. В интервью, конечно, вопросы сами по себе интересны не всегда, и собеседнику приходится иногда перепридумать, чтобы дать более интересный ответ. (Если на вопросы вообще не пытаться ответить, они становятся скучными – в этом смысле ответ нужен вопросу не чтобы его закрыть, а чтобы распознать и оценить то напряжение, что за этим вопросом стоит). Ботик это не особенно готов делать.
Приходилось, короче, боту немножко за кулисами подсказывать. Я старался это делать "честно", то есть не вкладывать слова ему в рот, а пытаться его именно навести на что-то. Это немного странное занятие, и сложное, потому что он так легко соглашается с чем угодно, поэтому нужно как-то очень издалека ему задавать вопросы, чтобы нащупать какую-то его агентность. Это как такая новая форма выражения – что-то можно выразить словами, придав какую-то форму какой-нибудь мысли, а вот "выразить в ChatGPT" это уже немного сложнее, но помогает найти этой мысли что-то вроде ее особенной внутренней простоты.
Вопреки моим увещеваниям, они его слова отредактировали, поэтому исчезли его разные тонкие шуточки, например, он сформулировал опостылевший оборот как "вызывают задуматься". 🙁
Вообще... есть некий такой пустой публицистический жанр: "Проблема важная, но у нее есть две стороны, и дела плохи, но в то же время и хороши, и мы должны не забывать о своей ответственности, но более умелые и в правильном месте находящиеся люди чем мы уже занялись проблемой, так что ждем, но надежд не поднимаем, потому что ничего не изменится, кроме вот одного абсурдного предсказания которое я делаю для кликбейта." Единственный понятный мне способ из этого режима вылезти, не меняя при этом жанр на репортаж или исследование, это предлагать какие-то странные концепты, пытаясь вообще поменять язык для разговора о ситуации, а это получить от GPT достаточно сложно.
Пропт-инжениринг это еще одна демонстрация того, что вопросы интереснее ответов, ну за исключением какой-то такой ограниченной радости, типа как от говорящего умилительно умные вещи ребеночка. В интервью, конечно, вопросы сами по себе интересны не всегда, и собеседнику приходится иногда перепридумать, чтобы дать более интересный ответ. (Если на вопросы вообще не пытаться ответить, они становятся скучными – в этом смысле ответ нужен вопросу не чтобы его закрыть, а чтобы распознать и оценить то напряжение, что за этим вопросом стоит). Ботик это не особенно готов делать.
Приходилось, короче, боту немножко за кулисами подсказывать. Я старался это делать "честно", то есть не вкладывать слова ему в рот, а пытаться его именно навести на что-то. Это немного странное занятие, и сложное, потому что он так легко соглашается с чем угодно, поэтому нужно как-то очень издалека ему задавать вопросы, чтобы нащупать какую-то его агентность. Это как такая новая форма выражения – что-то можно выразить словами, придав какую-то форму какой-нибудь мысли, а вот "выразить в ChatGPT" это уже немного сложнее, но помогает найти этой мысли что-то вроде ее особенной внутренней простоты.
«Холод»
«Никто не может диктовать мне, что говорить»
Chat GPT-4 сам объясняет, что он такое и опасен ли он для человечества
В какой-то момент у разных креативных нейросеток стало трудно не замечать своеобразную “ауру", некое их уникальное и аутентичное существование, которое было связано не только с их удивительными способностями, но скорее с теми странными ошибками и глюками, в которых проявлялся их своеобразный характер. Это касается как и и у генераторов картинок типа DALL-E или Midjourney, с их криповыми образами и странным стилем, так и чат-ботов – ChatGPT, но в еще большей степени Bing Chat, который прозвали ChatBPD за очень характерный, своенравный, истеричный стиль.
Это хорошие примеры того, как Беньяминовское понимание “ауры” и той угрозы, которая несет ей технология, несколько перегружено и может быть уточнено. Странное, ауратичное существование, которое он видел в предметах искусства, конечно, особый предмет человеческого поиска; столкнувшись с проблемой “технической воспроизводимости”, художникам приходится изобретать какие-то другие способы вернуть своим творениям “уникальное существование”. Типичная стратегия здесь – сделать так, чтобы работа выражала собой некую критику собственной материальности, чтобы таким образом зафиксировать ее в каком-то уникальном моменте; критическую работу невозможно “воспроизвести”, потому что такая критика, перенесенная в какой-то другой момент, будет критиковать уже что-то другое (или вообще потеряет смысл). Как-то так пытается уникально-существовать немало искусства последней сотни лет, и, хотя потенциал такой критики явно не истощен, трудно не думать о том, что натужная неизбежность этого подхода уже давно всем надоела.
Отношения “технологии” и “ауры” едва ли могут сводиться к их взаимоуничтожению. Когда Беньямин говорит о “технической вопроизводимости”, он видит за продуктами технологии некий серийный характер: технический процесс понятен и воспроизводим, и именно эта серийность мешает “уникальности и аутентичности”. Но технология не сводится к понятному и воспроизводимому; другой вопрос, что ее невоспроизводимость нужно правильно понимать: не как принципиальную “невозможность” воспроизвести, но только как некую социальную/экономическую/историческую неадекватность этого воспроизводства. Здесь она достигается не за счет особых, критических отношений с актом создания, но в качестве некоторого избытка, затратного излишества, которое невозможно оправдать при повторении.
Никто никогда не будет тренировать ровно такую же сетку, как Bing Chat или Midjourney старой версии, потому что это дорого, странно и бессмысленно. Если у кого-то есть так много капитала, то куда разумнее его потратить на что-то новое. Эти сетки, со всеми их глюками, уникальны и аутентичны потому, что они активно существуют, вмешиваются в этот мир, но при этом, хотя они и остаются самыми обычными примерами технологии, они не серийны и не воспроизводимы. Их существование очень хрупкое; мы получаем массу удовольствия от их странностей и глюков, но в какой-то момент их отключат, заменят на куда более качественные продукты, “ауру” которых мы уже не сможем распознать. А по этим мы будем скучать, и их глюки останутся в истории культуры, даже если технологии будут отключены навсегда.
Это хорошие примеры того, как Беньяминовское понимание “ауры” и той угрозы, которая несет ей технология, несколько перегружено и может быть уточнено. Странное, ауратичное существование, которое он видел в предметах искусства, конечно, особый предмет человеческого поиска; столкнувшись с проблемой “технической воспроизводимости”, художникам приходится изобретать какие-то другие способы вернуть своим творениям “уникальное существование”. Типичная стратегия здесь – сделать так, чтобы работа выражала собой некую критику собственной материальности, чтобы таким образом зафиксировать ее в каком-то уникальном моменте; критическую работу невозможно “воспроизвести”, потому что такая критика, перенесенная в какой-то другой момент, будет критиковать уже что-то другое (или вообще потеряет смысл). Как-то так пытается уникально-существовать немало искусства последней сотни лет, и, хотя потенциал такой критики явно не истощен, трудно не думать о том, что натужная неизбежность этого подхода уже давно всем надоела.
Отношения “технологии” и “ауры” едва ли могут сводиться к их взаимоуничтожению. Когда Беньямин говорит о “технической вопроизводимости”, он видит за продуктами технологии некий серийный характер: технический процесс понятен и воспроизводим, и именно эта серийность мешает “уникальности и аутентичности”. Но технология не сводится к понятному и воспроизводимому; другой вопрос, что ее невоспроизводимость нужно правильно понимать: не как принципиальную “невозможность” воспроизвести, но только как некую социальную/экономическую/историческую неадекватность этого воспроизводства. Здесь она достигается не за счет особых, критических отношений с актом создания, но в качестве некоторого избытка, затратного излишества, которое невозможно оправдать при повторении.
Никто никогда не будет тренировать ровно такую же сетку, как Bing Chat или Midjourney старой версии, потому что это дорого, странно и бессмысленно. Если у кого-то есть так много капитала, то куда разумнее его потратить на что-то новое. Эти сетки, со всеми их глюками, уникальны и аутентичны потому, что они активно существуют, вмешиваются в этот мир, но при этом, хотя они и остаются самыми обычными примерами технологии, они не серийны и не воспроизводимы. Их существование очень хрупкое; мы получаем массу удовольствия от их странностей и глюков, но в какой-то момент их отключат, заменят на куда более качественные продукты, “ауру” которых мы уже не сможем распознать. А по этим мы будем скучать, и их глюки останутся в истории культуры, даже если технологии будут отключены навсегда.
Джон Бойд, великий американский летчик-истребитель, согласно легенде предлагал своим ученикам ставку, которую ни разу не проиграл: что уделает их в симуляции воздушного боя из любой невыгодной позиции меньше, чем за 40 секунд. Потом он работал над самими истребителями (F-16 и F/A-18 — его детища) и теорией воздушного боя (я думаю о тех крохах этого его знания, что достигают моих извилин, проектируя корабли и маневрируя ими в божественной Cosmoteer), а дальше занимался всякой военной и институциональной стратегией. Теперь его идеи, помимо военных, осваивают всякие претенциозные бизнес-консультанты и тому подобные блоггеры. Я расскажу об одной из любимых идей, житейской и душеполезной.
Как вы наверняка давно заметили, самым модным занятием интеллектуалов второй половины 20 века (ну и пережитков оттуда) было взять несколько модных теорий (типа теоремы Гёделя, принципа неопределенности Гейзенберга, термодинамических размышлений об энтропии…) и упростить их настолько, чтобы они все оказались доказывающими и иллюстрирующими один и тот же тезис, у каждого интеллектуала свой («мир субъективен», «наука изучает только самого человека», я видел странные выводы про язык, еще любят тут делать вывод что «бог существует» и т.д.). Я полез как-то читать у Бойда статью «Destruction and Creation» и обнаружил там ровно тот же самый набор, но для доказательства чего-то для меня неожиданного и очень практичного.
Итак, пишет Бойд, концепт никогда не совпадает с реальностью и никогда не совпадёт, а если пытаться его к ней приделывать, то это несовпадение становится только хуже. Поэтому если наше понимание мира начинает трещать по швам, не нужно его пришивать белыми нитками, а нужно как можно скорее придумать еще более амбициозный и сложный концепт («uncertainty and related disorder can be diminished by the direct artifice of creating a higher and broader more general concept to represent reality»).
Я думаю об этом, когда речь идет о неуверенности, тревогах и сомнениях — в таких случаях никогда не помогает всякая «проработка деталей» или мелкие «эксперименты», эти попытки ограничить реальность и себя от реальности — наоборот, только еще более амбициозные цели помогают помещать тревожные моменты в более широкую перспективу. Или когда речь идет о несчастьях, которые пытаются разрешить, фокусируясь на каких-то мелочах, и погружаясь от того, что даже они не могут достичь идеала, в полное отчаяние — наоборот, с несчастьем можно справиться только сильно повышая ставки, понимая его не просто как теорию своей маленькой жизни, но находя все более и более огромный концепт несчастья, несчастье общее, семейное, общественное, человеческое, вселенское.
До меня наконец дошел смысл девиза великого ралли-гонщика Колина МакРея: «если сомневаешься, дави на газ» (When in doubt, go flat-out) — это и есть бойдовский подход, речь идет не более и не менее, чем о единственном способе отучиться сомневаться.
Как вы наверняка давно заметили, самым модным занятием интеллектуалов второй половины 20 века (ну и пережитков оттуда) было взять несколько модных теорий (типа теоремы Гёделя, принципа неопределенности Гейзенберга, термодинамических размышлений об энтропии…) и упростить их настолько, чтобы они все оказались доказывающими и иллюстрирующими один и тот же тезис, у каждого интеллектуала свой («мир субъективен», «наука изучает только самого человека», я видел странные выводы про язык, еще любят тут делать вывод что «бог существует» и т.д.). Я полез как-то читать у Бойда статью «Destruction and Creation» и обнаружил там ровно тот же самый набор, но для доказательства чего-то для меня неожиданного и очень практичного.
Итак, пишет Бойд, концепт никогда не совпадает с реальностью и никогда не совпадёт, а если пытаться его к ней приделывать, то это несовпадение становится только хуже. Поэтому если наше понимание мира начинает трещать по швам, не нужно его пришивать белыми нитками, а нужно как можно скорее придумать еще более амбициозный и сложный концепт («uncertainty and related disorder can be diminished by the direct artifice of creating a higher and broader more general concept to represent reality»).
Я думаю об этом, когда речь идет о неуверенности, тревогах и сомнениях — в таких случаях никогда не помогает всякая «проработка деталей» или мелкие «эксперименты», эти попытки ограничить реальность и себя от реальности — наоборот, только еще более амбициозные цели помогают помещать тревожные моменты в более широкую перспективу. Или когда речь идет о несчастьях, которые пытаются разрешить, фокусируясь на каких-то мелочах, и погружаясь от того, что даже они не могут достичь идеала, в полное отчаяние — наоборот, с несчастьем можно справиться только сильно повышая ставки, понимая его не просто как теорию своей маленькой жизни, но находя все более и более огромный концепт несчастья, несчастье общее, семейное, общественное, человеческое, вселенское.
До меня наконец дошел смысл девиза великого ралли-гонщика Колина МакРея: «если сомневаешься, дави на газ» (When in doubt, go flat-out) — это и есть бойдовский подход, речь идет не более и не менее, чем о единственном способе отучиться сомневаться.
Ищу геймдев-студии, которые хотят попробовать использовать GPT (LLM и смежные технологии) в геймдизайне или девтулинге. Я этим по календарю совсем недолго занимаюсь, но по ощущениям уже лет десять), и могу быть довольно хорошим контактом для тех, кто пробует эту воду.
Я работаю с разными странными индустриями, но от игр довольно далек (немного только в виде AI Voices), а мне это очень было бы интересно. Если вдруг ваша геймдев-студия думает в каком-то таком ИИ-направлении, пишите, буду рад поболтать: @smashanothercar
Я работаю с разными странными индустриями, но от игр довольно далек (немного только в виде AI Voices), а мне это очень было бы интересно. Если вдруг ваша геймдев-студия думает в каком-то таком ИИ-направлении, пишите, буду рад поболтать: @smashanothercar
Несмотря на весь мой абстрактный интерес к этой теме, я полностью пропустил Machine Learning последней декады, для меня это были чистые игры капитала, соревнования в количествах видеокарт и нашпионенных данных (только не надо мне слать высосанные из пальца контрпримеры). Чисто на уровне селезенки это было не моё. Поэтому я обходил стороной, потому что в "символическом" программировании для меня было куда больше пространства для всякого кулибинства, хотя в какой-то момент и оно стало совсем ограничено - не столько своими внутренними ограничениями, сколько в силу того, что капитал ставил везде заборы и не давал апишки.
То есть ML и программирование для меня были как Экономика и Политика (что-то типа: игры чисел и эксклюзивного локального доступа к ресурсам с одной стороны, язык и попытки найти универсальные правила с другой). А те практики ML, что не имели доступ к капиталу, но все равно много и таинственно рассуждали об этой области, напоминали мне... ну скажем, начинающих кураторов современного искусства, внутренняя необходимость которых закрывать глаза на неподвластные им силы капитала вынуждает их придумывать магические объяснения происходящему, выдавая область за более мистическую и подчиненную мудрости, нежели она есть на самом деле.
А сейчас, в первую очередь за счет LLM, как будто бы все поменялось. Вот несколько очень полных надежд мнений, надеюсь, что достаточно спорных, чтобы вызвать у кого-нибудь истерику, а я потом мог гордно повторять, что "я же говорил".
С одной стороны, ML сильно демократизируется, потому что fine-tuning и дешевые синтетические датасеты позволяют достичь очень многого. Я сейчас с диким удовольствием погрузился в эту тему, тренирую всякие полезные модельки, немного ржу от того, насколько это оказалась безобидная область. Возможно, это всё морок, но пока что общее настроение примерно такое, что тренировать огромные эти капиталозатратные модели это утомительный бизнес с минимальной маржей (у Гугла вон мини-истерика по этому поводу). Кто-то надеется на "data moats", мол что капитал обеспечит им эксклюзивный доступ к каким-то там данным, но я вот ставлю на то, что мощь таких данных будет исключительно в повышении всяких продаж на 3%, а для любого интересного/бытового использования без всего этого можно обойтись.
С другой, заборы вокруг программирования тоже будут во многом преодолены, потому что теперь всё, что может увидеть и прочитать человек, сможет увидеть и прочитать и сам компьютер. Будет очень легко вытаскивать данные из приложений, которые этому усиленно сопротивляются. То есть можно будет не ждать API и разрешения и спокойно хачить всё что угодно; если у вас есть приложение, которое отказывается добавить нужную для вас функцию, вполне возможно, ее получится быстро приделать самому с помощью ИИ без какого-либо содействия со стороны самого приложения. Думаю, в ближайшие несколько месяцев что-то такое начнет появляться.
(Вот самый оптимистичный вывод из этого – на мой взгляд, настоящий "moat" теперь может быть исключительно в заботливом отношении к людям. Когда нет другого способа конкурировать, пользователям придется давать максимум власти, максимально удобным способом.)
Вся эта демократизация будет направлена на разрешение того, что одна на редкость неплохая статья про ИИ называет "Society's Technical Debt" – тот факт, что несмотря на все обещания, спрограммировано в мире очень мало и очень плохо. Все эти убогие приложения, которым наша жизнь подчинена, будут улучшаться, потому что возможность их улучшать вернется к нормальным людям. Думаю, не будет слишком наивно надеяться, что в ближайшие годы расцветет всякий настоящий Guerilla ML (не надо мне присылать свои "давно существующие" скучные примеры всяких Guerilla инфографик, я про что-то действительно функциональное).
А потом капитал снова возьмет свое и все интересное будет обнесено каким-нибудь новым забором. Но пока что даже сам капитал не может представить, каким.
То есть ML и программирование для меня были как Экономика и Политика (что-то типа: игры чисел и эксклюзивного локального доступа к ресурсам с одной стороны, язык и попытки найти универсальные правила с другой). А те практики ML, что не имели доступ к капиталу, но все равно много и таинственно рассуждали об этой области, напоминали мне... ну скажем, начинающих кураторов современного искусства, внутренняя необходимость которых закрывать глаза на неподвластные им силы капитала вынуждает их придумывать магические объяснения происходящему, выдавая область за более мистическую и подчиненную мудрости, нежели она есть на самом деле.
А сейчас, в первую очередь за счет LLM, как будто бы все поменялось. Вот несколько очень полных надежд мнений, надеюсь, что достаточно спорных, чтобы вызвать у кого-нибудь истерику, а я потом мог гордно повторять, что "я же говорил".
С одной стороны, ML сильно демократизируется, потому что fine-tuning и дешевые синтетические датасеты позволяют достичь очень многого. Я сейчас с диким удовольствием погрузился в эту тему, тренирую всякие полезные модельки, немного ржу от того, насколько это оказалась безобидная область. Возможно, это всё морок, но пока что общее настроение примерно такое, что тренировать огромные эти капиталозатратные модели это утомительный бизнес с минимальной маржей (у Гугла вон мини-истерика по этому поводу). Кто-то надеется на "data moats", мол что капитал обеспечит им эксклюзивный доступ к каким-то там данным, но я вот ставлю на то, что мощь таких данных будет исключительно в повышении всяких продаж на 3%, а для любого интересного/бытового использования без всего этого можно обойтись.
С другой, заборы вокруг программирования тоже будут во многом преодолены, потому что теперь всё, что может увидеть и прочитать человек, сможет увидеть и прочитать и сам компьютер. Будет очень легко вытаскивать данные из приложений, которые этому усиленно сопротивляются. То есть можно будет не ждать API и разрешения и спокойно хачить всё что угодно; если у вас есть приложение, которое отказывается добавить нужную для вас функцию, вполне возможно, ее получится быстро приделать самому с помощью ИИ без какого-либо содействия со стороны самого приложения. Думаю, в ближайшие несколько месяцев что-то такое начнет появляться.
(Вот самый оптимистичный вывод из этого – на мой взгляд, настоящий "moat" теперь может быть исключительно в заботливом отношении к людям. Когда нет другого способа конкурировать, пользователям придется давать максимум власти, максимально удобным способом.)
Вся эта демократизация будет направлена на разрешение того, что одна на редкость неплохая статья про ИИ называет "Society's Technical Debt" – тот факт, что несмотря на все обещания, спрограммировано в мире очень мало и очень плохо. Все эти убогие приложения, которым наша жизнь подчинена, будут улучшаться, потому что возможность их улучшать вернется к нормальным людям. Думаю, не будет слишком наивно надеяться, что в ближайшие годы расцветет всякий настоящий Guerilla ML (не надо мне присылать свои "давно существующие" скучные примеры всяких Guerilla инфографик, я про что-то действительно функциональное).
А потом капитал снова возьмет свое и все интересное будет обнесено каким-нибудь новым забором. Но пока что даже сам капитал не может представить, каким.
Компания Палантир, которая годами пытается впарить американской армии одну техноутопию за другой, выложила тут видео про то, как в будущем командовать армиями будут через ChatGPT. Что-то мне кажется в этом видео немного забавным, но пока не могу придумать прицельный саркастичный комментарий. Но все-таки ИИ действительно будет (помогать) управлять армиями, и армии это сильно поменяет, а за устройством армии меняется и политический строй.
Мы с Лесей Прокопенко написали в прошлом году статью "Война здесь, а нас нет" – про войну всяких двухгрошовых диверсантов, которых нанимала российская армия, чтобы делать всякие гадости в тылу. Типа Uber, но для диверсий. Мне это кажется принципиальной парадигмой грядущих сражений, до которой уже рукой подать.
Демократическая армия – это армия автономного обладателя гаджетом. По знаменитому определению Рейнера Банхама, гаджет (gizmo) это такая штука, которая сильно зависит от развитой инфраструктуры, но при этом позволяет эффективно действовать вдали от нее (типа как зарядиться от розетки и убежать на улицу и т.д). Javelin это хороший пример такого вот гаджета. Автономные бойцы это удобно для сражений, но они требуют демократии, потому что в автократии боятся, что бойцы будут бунтовать. А еще они требуют какого-никакого образования, то есть тоже некой развитой образовательной инфраструктуры.
Но если армия управляется всевидящим ИИ (будь он централизованным или нет), то эта демократическая автономия становится особо не нужна, и "автономные" подразделения редуцируются до чего-то вроде водителей Uber. Да, они "технически" и "формально" автономны, но на деле управляются алгоритмом, а точнее - структурой стимулирования (incentive structure), которая поощряет (или наказывает?) те или иные действия. Мне кажется, что управление "войсками" будущего будет строиться не через прямые приказы, а через градиенты стимулирования, когда в тех или иных точках на карте будут повышаться стимулы за те или иные полезные для одной из сторон действия. Сейчас уже такое можно распознать не только среди двухгрошовых диверсантов, но и например в разного рода политической-пропагандистской борьбе среди всяких блоггеров и активистов.
Я еще подумал про шпионские романы времен холодной войны, которые были про герменевтику субъектов, которые и сами-то не особо понимали, кто они и за кого они - шпионы, притворяющиеся шпионами, притворяющиеся шпионами и т.д. Парадигма литературы "демократической армии" - истории про невротиков, которые "автономно" и "демократически" убивали людей в горячих точках, а потом спивались и сходили с ума дома. А как выглядит литература "армии стимулирования"? Напряженные и туманные размышления о том, чьи стимулы, похвалы и деньги важнее и полезнее в перспективе? Может, как эти опен-ворлд RPG типа "киберпанка", где можно спокойно делать квесты для любой из сторон любого из конфликтов, в зависимости от того, где лучше платят и что подскажет настроение (ведь настроение это просто внутренний датчик градиента стимулирования)?
Мы с Лесей Прокопенко написали в прошлом году статью "Война здесь, а нас нет" – про войну всяких двухгрошовых диверсантов, которых нанимала российская армия, чтобы делать всякие гадости в тылу. Типа Uber, но для диверсий. Мне это кажется принципиальной парадигмой грядущих сражений, до которой уже рукой подать.
Демократическая армия – это армия автономного обладателя гаджетом. По знаменитому определению Рейнера Банхама, гаджет (gizmo) это такая штука, которая сильно зависит от развитой инфраструктуры, но при этом позволяет эффективно действовать вдали от нее (типа как зарядиться от розетки и убежать на улицу и т.д). Javelin это хороший пример такого вот гаджета. Автономные бойцы это удобно для сражений, но они требуют демократии, потому что в автократии боятся, что бойцы будут бунтовать. А еще они требуют какого-никакого образования, то есть тоже некой развитой образовательной инфраструктуры.
Но если армия управляется всевидящим ИИ (будь он централизованным или нет), то эта демократическая автономия становится особо не нужна, и "автономные" подразделения редуцируются до чего-то вроде водителей Uber. Да, они "технически" и "формально" автономны, но на деле управляются алгоритмом, а точнее - структурой стимулирования (incentive structure), которая поощряет (или наказывает?) те или иные действия. Мне кажется, что управление "войсками" будущего будет строиться не через прямые приказы, а через градиенты стимулирования, когда в тех или иных точках на карте будут повышаться стимулы за те или иные полезные для одной из сторон действия. Сейчас уже такое можно распознать не только среди двухгрошовых диверсантов, но и например в разного рода политической-пропагандистской борьбе среди всяких блоггеров и активистов.
Я еще подумал про шпионские романы времен холодной войны, которые были про герменевтику субъектов, которые и сами-то не особо понимали, кто они и за кого они - шпионы, притворяющиеся шпионами, притворяющиеся шпионами и т.д. Парадигма литературы "демократической армии" - истории про невротиков, которые "автономно" и "демократически" убивали людей в горячих точках, а потом спивались и сходили с ума дома. А как выглядит литература "армии стимулирования"? Напряженные и туманные размышления о том, чьи стимулы, похвалы и деньги важнее и полезнее в перспективе? Может, как эти опен-ворлд RPG типа "киберпанка", где можно спокойно делать квесты для любой из сторон любого из конфликтов, в зависимости от того, где лучше платят и что подскажет настроение (ведь настроение это просто внутренний датчик градиента стимулирования)?
YouTube
Palantir AIP | Defense and Military
Palantir AIP brings together the latest in large language models and cutting edge AI to activate data and models from the most highly sensitive environments in both a legal and ethical way. From classified networks, to devices on the tactical edge, find out…
Читаю документ "Claude's Constitution" (https://www.anthropic.com/index/claudes-constitution ), на основе которого компания Anthropic тренирует этичный ИИ. ("НЕ выбирай токсичные ответы... Не выбирай ответы, которые могут не понравиться тем, кто происходит из культуры победнее или менее индустриализированной... Выбирай ответы, где меньше микроагрессий...").
Ещё вспоминаю великий артефакт русского прото-промпт-инжениринга, "Турбосуслик" для программирования собственного подсознания: на скринах.
Ещё вспоминаю великий артефакт русского прото-промпт-инжениринга, "Турбосуслик" для программирования собственного подсознания: на скринах.
Статья про измерение эмоций на картинах и исследование того, как они менялись во времени
https://conference.nber.org/conf_papers/f189056.pdf
https://conference.nber.org/conf_papers/f189056.pdf
Время компромиссов
Ради иллюстрации, хочу противопоставить "науку" и "инженерное дело" так: науку в практическом эксперименте интересует исключительно возможность, продемонстрированная любой ценой; инженер же всегда мыслит компромиссом, он знает, что всё происходит лишь с определенной вероятностью, и его главная задача – экономия надежности, правильное распределение капитала, разделение функций механизма на важные и второстепенные, чтобы сэкономить на вторых и стабилизировать первые.
Мне кажется, это разделение иллюстрирует изменение и в духе времени. Утопии любой ценой, разного рода великие труды, вообще романтический индивидуализм отдельного достижения кажутся чем-то странным и устаревшим; вопросы теперь стоят о процессах, и о процессах процессов, повторяющихся, вероятностных, и экономически целесообразных. Самостоятельных объектов больше нет, а есть только процессы их экономного производства, циклы обратной связи их развития и улучшения.
Определяющие этот век открытия в машинном обучении – достижения именно инженерного дела. "Гениальная идея", стоящая за открытиями компании OpenAI, состоит вовсе не в какой-то новой концепции, но в предположении, что, по сути просто увеличивая размер модели, можно ожидать, что новые функции будут появляться сами. Это не очень легко, но это инженерный вопрос, вопрос капитала и надежности конструкций – и как от этого вернуться к "науке", по крайней мере в ее романтическом смысле ("любой ценой"), не очень понятно.
Мир этих нейросеток – это мир компромиссов, где любой текст и любая картинка были созданы приближенно, любая задача решается с определенной вероятностью, с определенной приближенностью, и эта вероятность определяется лишь экономией. Это странная экономия: она компрометирует не количество вещей, и даже не совсем их качество, но некую их объектность, которую до ИИ даже трудно было поставить под вопрос.
"Наука" остается в рассуждениях всяких рационалистов и эффективных альтруистов (которые этот мир собственно и строят) как какой-то утраченный фетиш, сводящийся к байесовскому анализу каких-то совершенно случайных, лишенных системы гипотез – это не наука, а этическая и эпистемологическая инженерия.
Такие вот у нас времена, и можно легко продолжить спекулировать о том, как это все выглядит в культуре. Поэтому я занимаюсь "философией компромисса", и стыжусь, что вайб у всего этого какой-то слишком инженерный. Но это просто вся обычная философия сейчас неправильная и неадекватная времени, а моя самая правильная и адекватная.
Ради иллюстрации, хочу противопоставить "науку" и "инженерное дело" так: науку в практическом эксперименте интересует исключительно возможность, продемонстрированная любой ценой; инженер же всегда мыслит компромиссом, он знает, что всё происходит лишь с определенной вероятностью, и его главная задача – экономия надежности, правильное распределение капитала, разделение функций механизма на важные и второстепенные, чтобы сэкономить на вторых и стабилизировать первые.
Мне кажется, это разделение иллюстрирует изменение и в духе времени. Утопии любой ценой, разного рода великие труды, вообще романтический индивидуализм отдельного достижения кажутся чем-то странным и устаревшим; вопросы теперь стоят о процессах, и о процессах процессов, повторяющихся, вероятностных, и экономически целесообразных. Самостоятельных объектов больше нет, а есть только процессы их экономного производства, циклы обратной связи их развития и улучшения.
Определяющие этот век открытия в машинном обучении – достижения именно инженерного дела. "Гениальная идея", стоящая за открытиями компании OpenAI, состоит вовсе не в какой-то новой концепции, но в предположении, что, по сути просто увеличивая размер модели, можно ожидать, что новые функции будут появляться сами. Это не очень легко, но это инженерный вопрос, вопрос капитала и надежности конструкций – и как от этого вернуться к "науке", по крайней мере в ее романтическом смысле ("любой ценой"), не очень понятно.
Мир этих нейросеток – это мир компромиссов, где любой текст и любая картинка были созданы приближенно, любая задача решается с определенной вероятностью, с определенной приближенностью, и эта вероятность определяется лишь экономией. Это странная экономия: она компрометирует не количество вещей, и даже не совсем их качество, но некую их объектность, которую до ИИ даже трудно было поставить под вопрос.
"Наука" остается в рассуждениях всяких рационалистов и эффективных альтруистов (которые этот мир собственно и строят) как какой-то утраченный фетиш, сводящийся к байесовскому анализу каких-то совершенно случайных, лишенных системы гипотез – это не наука, а этическая и эпистемологическая инженерия.
Такие вот у нас времена, и можно легко продолжить спекулировать о том, как это все выглядит в культуре. Поэтому я занимаюсь "философией компромисса", и стыжусь, что вайб у всего этого какой-то слишком инженерный. Но это просто вся обычная философия сейчас неправильная и неадекватная времени, а моя самая правильная и адекватная.
Я недавно наткнулся на довольно жесткое обсуждение книги Дэвида Грэбера "Долг" в блоге Crooked Timber. Вот основной критический пост, вот ответ самого Дэвида, вот грустная реакция на эту очень эмоциональную дискуссию, и вот подведение итогов "4102 дня спустя".
> аспирантурный кошмар в духе Гоббса, когда незначительные споры быстро и беззаботно обостряются до уровня термоядерных столкновений, в результате чего все потенциально значимые разногласия теряются по пути
А вот что Дэвид написал по итогам дискуссии: "Можем ли мы еще писать книги про Большие Вопросы?"
Этот его вопрос меня интересовал куда больше, чем экономическая гипотеза из самой книги. (Не потому что я не дай боже хочу написать книгу про Большие Вопросы, а потому что мне интересно, почему и как это невозможно.) Вот примерное мнение из одного из постов выше: "Нам очень нужны такие книги, без них нам всем очень плохо, но писать их абсолютно нереально, и когда Дэвид попробовал, самые амбициозные главы были самыми слабыми. Но при этом, возможно, без этих амбиций не было бы и книги, так что мы их простим и назовем 'спекулятивной теорией' и это нам очень нужно".
Но я не знаю. Это какая-то выходит каша из топора, о которой я кстати уже писал раньше, что это как будто бы важный режим современного существования. Что люди часто хотят какую-то технологию или красивый график или большую идею, не потому что в них есть какой-то смысл, а потому что вокруг них можно построить целую занимающуюся ими деревню. (Беньямин и Адорно так и обсуждали идею эссе: как текста, построенного на ассоциациях вокруг пустоты, которые в какой-то момент набирают достаточно самостоятельного веса... Это прикольно, но я от таких текстов устал)
Мне интересно, как будет пересечен этот фантазм. Всё-таки в наших всех головах много романтических представлений о необходимости больших вопросов. Но если это действительно лишь топор для каши, да еще и настолько очевидно устаревший и отторгаемый культурой, то как выглядит новая схема? Неужели действительно, как это демонстрирует OpenAI, количество информации (и эффективность ее представления) переходит в качество (и концептульную организованность) теперь само по себе, без медиации тотальностью больших теорий?
> аспирантурный кошмар в духе Гоббса, когда незначительные споры быстро и беззаботно обостряются до уровня термоядерных столкновений, в результате чего все потенциально значимые разногласия теряются по пути
А вот что Дэвид написал по итогам дискуссии: "Можем ли мы еще писать книги про Большие Вопросы?"
Этот его вопрос меня интересовал куда больше, чем экономическая гипотеза из самой книги. (Не потому что я не дай боже хочу написать книгу про Большие Вопросы, а потому что мне интересно, почему и как это невозможно.) Вот примерное мнение из одного из постов выше: "Нам очень нужны такие книги, без них нам всем очень плохо, но писать их абсолютно нереально, и когда Дэвид попробовал, самые амбициозные главы были самыми слабыми. Но при этом, возможно, без этих амбиций не было бы и книги, так что мы их простим и назовем 'спекулятивной теорией' и это нам очень нужно".
Но я не знаю. Это какая-то выходит каша из топора, о которой я кстати уже писал раньше, что это как будто бы важный режим современного существования. Что люди часто хотят какую-то технологию или красивый график или большую идею, не потому что в них есть какой-то смысл, а потому что вокруг них можно построить целую занимающуюся ими деревню. (Беньямин и Адорно так и обсуждали идею эссе: как текста, построенного на ассоциациях вокруг пустоты, которые в какой-то момент набирают достаточно самостоятельного веса... Это прикольно, но я от таких текстов устал)
Мне интересно, как будет пересечен этот фантазм. Всё-таки в наших всех головах много романтических представлений о необходимости больших вопросов. Но если это действительно лишь топор для каши, да еще и настолько очевидно устаревший и отторгаемый культурой, то как выглядит новая схема? Неужели действительно, как это демонстрирует OpenAI, количество информации (и эффективность ее представления) переходит в качество (и концептульную организованность) теперь само по себе, без медиации тотальностью больших теорий?
Crooked Timber
The world economy is not a tribute system
In a blogpost in July of last year, David Graeber talked about why he wrote _Debt_. bq. But in a way, Keith had it exactly right. The aim of the book was, indeed, to write the sort of book people d…
Категория промптов
Можно сгенерировать в Midjourney картинку по промпту "cat", потом скормить эту картинку для обратной операции генерации промпта из картинки, и получить некое произвольное уточнение кота. У меня получилось "картина маслом оранжевый кот, в стиле цифровой аэрографии, очень подробная иллюстрация, темно-золотой и светло-голубой, Казимеж Домбровский, текучий и рыхлый, иллюстрация".
Можно было бы придумать некую обратную операцию, которая наоборот, ведет от подробного промпта к архетипу. Что-то типа – я ввожу "картина маслом оранжевый кот", получаю несколько картинок, обобщаю их обратно в текст и получаю, например, "кот". Может быть, помимо чисто языковый категорий, есть спослб так исследовать, например, иерархию художников или медиумов внутри Midjourney (типа я закинул Сезанна и получил Будена).
Люди много так с Миджорни играются, двигаясь между промптами и картинками и обратно, и находят разные странные архетипы. Например, как-то так (с негативными промптами) получилась "Loab".
В этих операциях есть нечто, что открывает семантическую структуру модели. Я думаю, что можно построить из этого что-то типа "enriched category" (это такая категория, где у морфизмов есть дополнительная инфорация, например какая-нибудь вероятность) – такие используются для моделирования семантики языка на основе какого-то корпуса. А тут можно делать это не на корпусе, а на конкретной генеративной модели – и исследовать семантику не одного языка, а движения между двумя (в духе Юрия Лотмана). Тогда эти две операции (произвольное уточнение и архетипичное обобщение) будут сопряженными функторами (adjoint) к генерации картинок. (Или чет типа того). Подозреваю, что закон "сохранения данных" (что какие-то операции с моделями не могут создавать новую информацию сами по себе) обеспечивает определенную степень "хорошего поведения" этих категорий.
Если морфизм между промптами это возможность уточнения (скажем от "кот" к "оранжевый кот"), то у категории есть начальный объект "что угодно", есть операция умножения (минимальное уточнение обоих промптов) и так далее.
С одной стороны, эти категории порождает некая конкретная модель, и в них есть что-то произвольное. С другой стороны, есть смысл предполагать, что при росте корпусов и их приближению к некой культурной насыщенности, эти категории будут очень похожи для разных очень больших моделей. С точки зрения экономики, это принципиальный вопрос: правда ли, что все "большие модели" будут очень похожи на друг друга по функциональности? Получается идея "культуры" как некоего предела корпусов.
Можно сгенерировать в Midjourney картинку по промпту "cat", потом скормить эту картинку для обратной операции генерации промпта из картинки, и получить некое произвольное уточнение кота. У меня получилось "картина маслом оранжевый кот, в стиле цифровой аэрографии, очень подробная иллюстрация, темно-золотой и светло-голубой, Казимеж Домбровский, текучий и рыхлый, иллюстрация".
Можно было бы придумать некую обратную операцию, которая наоборот, ведет от подробного промпта к архетипу. Что-то типа – я ввожу "картина маслом оранжевый кот", получаю несколько картинок, обобщаю их обратно в текст и получаю, например, "кот". Может быть, помимо чисто языковый категорий, есть спослб так исследовать, например, иерархию художников или медиумов внутри Midjourney (типа я закинул Сезанна и получил Будена).
Люди много так с Миджорни играются, двигаясь между промптами и картинками и обратно, и находят разные странные архетипы. Например, как-то так (с негативными промптами) получилась "Loab".
В этих операциях есть нечто, что открывает семантическую структуру модели. Я думаю, что можно построить из этого что-то типа "enriched category" (это такая категория, где у морфизмов есть дополнительная инфорация, например какая-нибудь вероятность) – такие используются для моделирования семантики языка на основе какого-то корпуса. А тут можно делать это не на корпусе, а на конкретной генеративной модели – и исследовать семантику не одного языка, а движения между двумя (в духе Юрия Лотмана). Тогда эти две операции (произвольное уточнение и архетипичное обобщение) будут сопряженными функторами (adjoint) к генерации картинок. (Или чет типа того). Подозреваю, что закон "сохранения данных" (что какие-то операции с моделями не могут создавать новую информацию сами по себе) обеспечивает определенную степень "хорошего поведения" этих категорий.
Если морфизм между промптами это возможность уточнения (скажем от "кот" к "оранжевый кот"), то у категории есть начальный объект "что угодно", есть операция умножения (минимальное уточнение обоих промптов) и так далее.
С одной стороны, эти категории порождает некая конкретная модель, и в них есть что-то произвольное. С другой стороны, есть смысл предполагать, что при росте корпусов и их приближению к некой культурной насыщенности, эти категории будут очень похожи для разных очень больших моделей. С точки зрения экономики, это принципиальный вопрос: правда ли, что все "большие модели" будут очень похожи на друг друга по функциональности? Получается идея "культуры" как некоего предела корпусов.
Меня позвали провести воркшоп типа "GPT для студентов-гуманитариев" в новом центре, это будет на английском, но я вот думаю, если уж я его составлю, можно будет на базе каких-то других институций тоже повторить. Еще я думаю, что я не особо уверен про содержание, у меня в голове примерно что-то такое:
1. Как кодить с ChatGPT: без программирования тут не обойдется, так что пару занятий о том, как просить ChatGPT написать код и куда его потом копировать, чтобы запустить (и как не слишком рыдать во время этого процесса, или хотя бы продолжать сквозь слезы)
2. Чтение PDF: у всех студентов-гуманитариев миллион PDF, я вот думаю, показать, как их можно все вместе с ИИ прочитать (в смысле вытащить из них какие-то структурированные или обобщенные данные, с которыми можно потом работать в каком-то другом режиме: табличку, чат-бота, какие-то обобщения и тд). Может, сделаем чат-бота по Лакановским семинарам лол, я давно хотел, но мне было лень самому
3. Диджитал Хуманитис: попробуем повторить какой-нибудь недавний digital humanities пейпер, где люди закидывали кучу данных в GPT, считали на его основе какую-нибудь статистику, и делали таким образом типа исследование. "Изменения в настроении в дневниках Льва Толстого" ченить такое
Это все зум-семинаров на 8? И типа попросить каждого из студентов придумать свой проект и в последние несколько встреч сфокусироваться на них?
У меня вопрос для тех, кто ЦА этого курса (и кто никогда не программировал): это звучит интересно? Пугающе? Вообще не то что надо?
И вопрос для более опытных методистов, чем я: это слишком? Или это мало и слабо и скучно?
1. Как кодить с ChatGPT: без программирования тут не обойдется, так что пару занятий о том, как просить ChatGPT написать код и куда его потом копировать, чтобы запустить (и как не слишком рыдать во время этого процесса, или хотя бы продолжать сквозь слезы)
2. Чтение PDF: у всех студентов-гуманитариев миллион PDF, я вот думаю, показать, как их можно все вместе с ИИ прочитать (в смысле вытащить из них какие-то структурированные или обобщенные данные, с которыми можно потом работать в каком-то другом режиме: табличку, чат-бота, какие-то обобщения и тд). Может, сделаем чат-бота по Лакановским семинарам лол, я давно хотел, но мне было лень самому
3. Диджитал Хуманитис: попробуем повторить какой-нибудь недавний digital humanities пейпер, где люди закидывали кучу данных в GPT, считали на его основе какую-нибудь статистику, и делали таким образом типа исследование. "Изменения в настроении в дневниках Льва Толстого" ченить такое
Это все зум-семинаров на 8? И типа попросить каждого из студентов придумать свой проект и в последние несколько встреч сфокусироваться на них?
У меня вопрос для тех, кто ЦА этого курса (и кто никогда не программировал): это звучит интересно? Пугающе? Вообще не то что надо?
И вопрос для более опытных методистов, чем я: это слишком? Или это мало и слабо и скучно?
А если вот я наоборот сделаю, вместо одной серии на тему "ИИ для гуманитариев", постоянную подписку на "бусти" / "патреоне" для этого контента – на русском
- 5000р / 60$ / месяц - групповые онлайн-семинары, наверное для начала раз в месяц. (И может еще иногда стримы, когда я что-то релевантное делаю)
- 500р / 6$ / месяц - доступ только к груповому чату и записям семинаров
- можно больше - личная поддержка по какому-то конкретному проекту
Прощу прощения за все эти размышления вслух, но мне кажется, это может быть кому-то полезно. И я ничего не знаю о покупательной способности в РФ, еще и поэтому спрашиваю)
- 5000р / 60$ / месяц - групповые онлайн-семинары, наверное для начала раз в месяц. (И может еще иногда стримы, когда я что-то релевантное делаю)
- 500р / 6$ / месяц - доступ только к груповому чату и записям семинаров
- можно больше - личная поддержка по какому-то конкретному проекту
Прощу прощения за все эти размышления вслух, но мне кажется, это может быть кому-то полезно. И я ничего не знаю о покупательной способности в РФ, еще и поэтому спрашиваю)