Если вы когда-нибудь до последних пары дней слышали словосочетание «дообученный ChatGPT», скорее всего вас вводили в заблуждение. Дообученных ChatGPT не существовало в природе, разве что в недрах самих Open AI. Под «дообученными GhatGPT» могли понимать одно из двух. Либо дообученные опенсорсные аналоги ChatGPT вроде LlaMA, либо речь шла о «дообучении» настоящего ChatGPT через prompt engineering.

Настоящее дообучение — это берутся исходники (веса) модели и подвергаются тому же процессу благодаря которому они появились на свет, то есть обучению. Но в этот раз обучение во-первых идёт очень недолго, а во-вторых оно идёт, как правило, на узкоспециализированных данных. Берётся, например, универсальная языковая модель, обученная на миллионах разных книг и ей для дообучения скармливают, скажем, пару десятков книг только по юриспруденции. На выходе получается модифицированная модель, которая будет хорошо отвечать на юридические вопросы. При этом она не забудет остальные знания. То есть дообученная модель лучше базовой в «своей» области и может быть несколько хуже во всём остальном. Соответственно, чтобы дообучить модель, вам прежде всего нужны её исходники. Ну и доступ к вычислительным мощностям, которые потянут этот процесс. Исходники ChatGPT в открытый доступ никогда не выкладывали, уже поэтому никто кроме Open AI не мог его дообучать. Вычислительные ресурсы для дообучения ChatGPT в мире есть много у кого, но не у простых смертных и не у мелких организаций. Однако без доступа к исходникам это не имеет значения.

Prompt engineering это более простая вещь. Она никак не изменяет саму модель. Просто перед каждым запросом в ChatGPT дописывается что-то вроде «отвечай на следующий вопрос так, как будто ты профессиональный адвокат, вот тебе контекст xxx». При этом контекст xxx, который туда можно передать, ограничен максимальной длинной запроса. Даже одна книга по юриспруденции в него не поместится, например. Никаких новых знаний кроме как переданных через сам запрос в виде контекста xxx у ChatGPT не появляется. От того, что вы ему скажите «отвечай как адвокат», изменится его манера общения, но не информация которую он знает.

Что касается LLaMA, это аналог ChatGPT с открытыми исходниками. LlaMA не сильно хуже ChatGPT несмотря на то, что у LlaMa в 5-15 раз меньше параметров. И её действительно много кто дообучал и продолжает дообучать под разные задачи. Но когда я говорю «не сильно хуже», я имею ввиду базовый ChatGPT основанный на прошлогодней GPT-3.5. Современный доступный по платной подписке ChatGPT Plus основан на GPT-4, которая вышла в начале этого года, и она пока не по зубам никому. Куда там LlaMA, даже Bard и Claude, флагманские модели от Deepmind и Anthropic не ровня GPT-4. За возможность сделать дообученный GPT-4 многие бы, наверное, были готовы заплатить большие деньги… и такая возможность внезапно появилась!

Open AI запустили сервис Custom Models, который как раз и позволяет сделать дообученный GPT-4. Исходники, конечно, вам никто не даст. Но они выделят инженеров и проведут дообучение сами. С вас только данные. И денежка… цена вопроса — 2-3 миллиона долларов. И ждать результата придётся несколько месяцев.

А теперь самое интересное. AI-исследователь из Nvidia опубликовал пост, в котором справедливо отмечает, что это на самом деле очень выгодное предложение. Потому что самостоятельно сделать свой аналог на базе LlaMA-2 с учётом найма инженеров и аренды ресурсов скорее всего выйдет не дешевле, а по результатам GPT-4 по прежнему впереди всех. Понятно, что не у всех есть 2-3 миллиона долларов, но вы задумывались насколько много людей и организаций, у которых они всё-таки есть? И вы представляете на что способен дообученный GPT-4? На медицинских или юридических знаниях, например. Мне кажется такая модель молниеносно принесёт ценности больше чем на 3 миллиона долларов.

Прокомментирую две самые обсуждаемые новости последних дней. Начну с менее важной.

На президентских выборах в Аргентине впервые в истории победил либертарианец Хавьер Милей. В своей предвыборной кампании он делал эпатажные заявления, вроде обещаний закрыть половину министерств, перевести Аргентину на американский доллар и сжечь Центробанк. Уже после победы на выборах он подтвердил что через 3 недели закроет Министерство Женщин, Гендеров и Разнообразия (да, в Аргентине есть такое), а также приватизировать государственные медиа компании.

По поводу победы Милея я хочу сказать три вещи. Во-первых, у его победы есть одна безусловно позитивная сторона. А именно: надоевшие всем прежние элиты лишились главного поста в стране демократическим путём. Абсолютно несистемный кандидат пришёл к власти через победу на честных выборах. Сам факт что в стране такое возможно это очень круто для Аргентины вне зависимости от того как кто относится конкретно к Милею.

Во-вторых, система, очевидно, будет изо всех сил саботировать деятельность несистемного президента. Мы это уже видели в США, когда многие предвыборные обещания, вроде постройки стены на границе с Мексикой, Трамп не смог сдержать в силу того, что их претворение в жизнь требовало поддержки Конгресса, а Конгресс даже при большинстве республиканцев не всегда поддерживал решения президента. Я плохо разбираюсь в государственном устройстве Аргентины, но не сомневаюсь, что в её аппарате найдутся механизмы сдержек и противовесов, которые не позволят Милею единолично претворять в жизнь радикальные решения.

В-третьих, СМИ очень любят приписывать существующие в моменте проблемы и успехи действующей власти, но на самом деле экономические и инфраструктурные изменения обладают большой инерцией и зачастую новый президент вынужден отвечать за последствия решений принятых при прошлой администрации. Оценивать деятельность Милея надо будет ближе к концу его срока, если, конечно, он вообще досидит до конца срока. Смаковать его победы и провалы в ближайший год я точно не вижу смысла.

Теперь к более важной новости. Непонятные события происходят в компании Open AI, лидере на рынке искусственного интеллекта. Сперва совет директоров с максимально враждебными формулировками уволил CEO Сэма Альтмана. Но внезапно большая часть сотрудников поддержала бывшего СЕО и стала требовать возвращения Альмана и отставки уже самого совета директоров, уволившего его. Затем вмешался главный спонсор Open AI, компания Microsoft. На сегодняшний день похоже что Альтман всё же переходит из Open AI непосредственно в Microsoft и значительная часть сотрудников переходят вместе с ним.

Я, как и видимо все, понятия не имею чем вызвана эта внезапная чехарда на гребне успеха. Но меня она откровенно пугает. Open AI была некоммерческой организацией которая декларировала миссию создания безопасного Искусственного Интеллекта. Насколько Open AI в реальности соответствовали своей миссии это другой разговор. Но Microsoft выглядит как компания с гораздо большими ресурсами и гораздо меньшим количеством ограничений. Они планируют потратить более 50 миллиардов долларов в 2024 на создание датацентров для обучения ИИ. И теперь у них есть компетентный СЕО и его команда, создавшие лучший на сегодняшний день ИИ GPT-4.

При этом ходят правдоподобные слухи, что причиной попытки увольнения Альтмана стал как раз слишком стремительный прогресс, достигнутый в их новой ещё не опубликованной модели, который напугал главу разработки Илью Суцкевера. Так это или нет мы теперь вряд ли узнаем.

В России и некоторых странах бывшего СССР Рождество празднуют 7 января, говоря что это «наше», «православное» Рождество, а 25 декабря это «католическое» Рождество. У меня в родне все считали себя православными (хотя реальных верующих почти не было) и праздновали Рождество 7 января, не говоря у ж том, что в России это целый государственный праздник. Поэтому большую часть жизни я по привычке считал что «моё» Рождество 7го января.

Однако в России основным праздником для большинства людей является всё-таки Новый Год, а не Рождество. Рождество большое значение имеет только для верующих которые ходят в церковь. Для меня как для атеиста Новый Год тоже всегда был гораздо важнее.

Но недавно я окончательно осознал и осмыслил, что во-первых, 25 декабря это не «католическое» Рождество. 25 декабря Рождество празднует подавляющее большинство христиан: католики, протестанты и не менее половины православных, включая Константинопольскую Церковь, считающуюся первой среди равных у православных.

Во-вторых, спор о дате Рождества это как ни странно спор не религиозный. Старый Юлианский календарь, по которому считает дату РПЦ, не является священным и вообще не имеет отношения к религии. Он лишь был общепринятым в момент её распространения. Потом большая часть мира, включая христианские конфессии, благополучно перешла на более совершенные календари — либо Григорианский, либо Новоюлианский. Они более точно отсчитывают количество полных оборотов Земли вокруг Солнца в днях. Споров о дне когда родился Иисус Христос среди христиан нет! Вопрос исключительно в том, сколько полных оборотов совершила Земля вокруг Солнца с того дня и спор этот не теологический, а исключительно научный, астрономический, а значит на него есть правильный ответ. Для меня в тех вопросах где есть пересечения, наука имеет однозначный приоритет перед традицией.

В-третьих, Рождество которое мир празднует 25 декабря гораздо больше похоже на российский Новый Год, то есть на светский праздник, нежели на религиозный. К этому дню приурочены всевозможные распродажи, люди к нему украшают свои дома не имеющей никакой отношения к религии символикой, и т. п. Я как атеист в гораздо большей степени чувствую себя своим среди людей, которые празднуют Рождество 25 декабря. Поэтому могу теперь точно сказать что «моё» Рождество это то, которое сегодня, а не то, которое через две недели. Хотя в полной мере ни то, ни другое, конечно, не являются «моими» праздниками. Но на сегодняшнем я менее чужой.

Поэтому всех, кому религия не запрещает сегодня праздновать, поздравляю с Рождеством!

Увидел две новости про допинг в спорте. Во-первых, сооснователь PayPal Питер Тиль присоединился к финансированию Enhanced Games, это подобие Олимпийских Игр, но с узаконенным допингом. Во-вторых, у российской фигуристки Камилы Валиевой забрали золотую медаль Олимпийских Игр 2022 за допинг. Воспользуюсь поводом и поделюсь своими мыслями насчёт допинга и большого спорта в целом.

Начну с Enhanced Games. В вакууме идея небезынтересная, но в реальной жизни, увы, бестолковая. В спорте с узаконенным допингом я вижу один позитивный момент. Гонка вооружений в фармакологии без ограничений на скрытность гипотетически может привести к появлению новых препаратов и процедур, повышающих на время человеческие возможности. Они были бы полезны не только в спорте, но как минимум ещё для солдат и спасателей. Не говоря уж о том, что их создание потребует развития науки, а оно в свою очередь может привести к появлению новых лекарств или новых видов терапии.

В реальности, однако, это не сработает. Никто не будет заниматься наукой и создавать новые препараты ради каких-то Enhanced Games. Даже если на настоящих Олимпийских Играх внезапно разрешат допинг, я сомневаюсь что это окажет сколько-нибудь заметное влияние на развитие фармакологии. Это мизерный спрос. К тому же этот спрос и так есть — со стороны военных. Чтобы реально ускорить развитие фармакологии, нужно вливать туда кратно больше ресурсов, строить новые лаборатории, готовить в разы больше специалистов, а для всего этого нужно глобально переписывать приоритеты человечества в целом. Боюсь, спорту в целом это не по зубам, чего уж говорить про одно маргинальное спортивное мероприятие.

Поэтому Enhanced Games, если их вообще проведут, в чем я сомневаюсь, принесут ровно ноль новых знаний. Будут задействованы старые препараты. Новых рекордов, скорее всего, тоже не будет, поскольку лучшие спортсмены, очевидно, откажутся участвовать в этом шоу. Деньги будут потрачены, публика останется разочарована, возможно спортсмены получат проблемы со здоровьем. В лучшем случае будет не очень много вреда, но выгод не вижу никаких.

Теперь насчёт допинга в обычных соревнованиях. Я убеждён, что практически все спортсмены всех стран, выигрывающие главные соревнования, используют фармакологию. Но есть три важных нюанса. Во-первых, не вся фармакология нелегальна. За то, какие препараты будут запрещены, спортивные федерации стран ведут дипломатические баталии. И от исхода этих баталий напрямую зависят результаты страны. Например, исторически популярный в России мельдоний был запрещён в 2016 году. А «лекарства от астмы», которые используют норвежские лыжники, до сих пор не запрещены. Во-вторых, новые препараты могут вообще не обнаруживаться существующими тестами, а даже если будут обнаружены, они не попадут под ограничения, пока не привлекут к себе достаточно внимания.

В-третьих, даже когда спортсмен попадается на допинге, он заявляет, что допинг попал в его организм случайно. Исход судебного разбирательства, как и в обычных судах, зависит от квалификации адвоката, то есть от веса, «рукопожатости» и дипломатических усилий родной федерации спорта и чиновников.

Кому-то это может показаться несправедливым. Но я наоборот доволен существующей системой! Дело в том, что спорт высоких достижений играет в современном мире вполне конкретную роль — роль суррогата войны. Это один из немногих общественно приемлемых аттракционов коллективного самоутверждения за счёт других. Вслух произносятся дежурные фразы «спорт вне политики» и про «спортивный дух», но все прекрасно понимают, что спорт высоких достижений это и есть политика —и именно за это мы его и любим.

И совершенно логично, что спорт высоких достижений это соревнование не только и не столько спортсменов. Это соревнование стран на уровне систем: от системы подготовки спортсменов, до фармакологии и дипломатического прикрытия. Для суррогата войны всё так и должно быть.

Сегодня напомнили про один неприятный и уже подзабытый публикой фильм «Немыслимое» 2010 года. Фильм в своё время наделал шума из-за своего содержания: террорист заложил 3 атомные бомбы в трёх американских городах, суровый чернокожий агент пытается с помощью пыток выбить из террориста информацию где заложены эти бомбы, главная героиня, тоже агент, которая должна играть роль «хорошего полицейского», даже в такой ситуации заботится о законности, морали, и сильно сопротивляется применению всё более чудовищных пыток.

Главный вопрос фильма — насколько далеко морально оправдано выходить за рамки закона и этики по отношению к отдельным людям, если это может спасти очень много жизней? В 2010 фильм был особенно актуален на фоне расследования о пыточных тюрьмах ФБР вроде широко известной Абу Грейб. Некоторые восприняли фильм как откровенную агитку, обеляющую ФБР на фоне скандалов с секретными пыточными тюрьмами.

Мне фильм очень нравится и агиткой я его не считаю. Во-первых, потому что даже если признать, что фильм оправдывает пытки — он их оправдывает только в исключительной ситуации, когда они могут спасти очень много жизней, ситуации, которая в реальной жизни скорее всего не встречается, и которая к происходящему в Абу Грейб садизму в любом случае не имеет никакого отношения.

Во-вторых, я вообще не считаю, что фильм пытки оправдывает. Сам по себе фильм не даёт никакого ответа кто в нём прав, а кто нет. Даже концовки есть две. Кому сопереживать и кого считать морально правым решает зритель. Но самое главное, фильм не только и не столько про пытки и их оправдание. Он затрагивает ещё одну тему, которая очень актуальна и в наши дни. Дальше будут спойлеры.

Террорист из фильма — американец, разочаровавшийся в войнах США на Ближнем Востоке и принявший ислам. Он утверждает что заложил три атомные бомбы в американских городах и требует вывести войска из всех исламских стран. Под пытками он раскалывается где заложил три бомбы и ФБР их обезвреживает, но подозревает, что может быть ещё и четвёртая.

Чернокожий агент собирается пытать на глазах террориста его жену и детей, чтобы выбить из него где заложена последняя бомба. Жена погибает, но из-за действий главной героини террорист во-первых понимает, что пытать детей она не даст, а во-вторых получает возможность покончить с собой, что собственно и делает, перед смертью попросив героиню позаботится о его детях. При этом в расширенной версии четвёртая бомба действительно существует и в итоге взрывается.

Таким образом, за моральной дилеммой, можно ли пытать безвинных детей чтобы выбить из террориста признание, которое может спасти миллионы жизней, в фильме спрятан ещё более провокационный моральный вопрос: а не заслуживает ли Америка со своими войнами и со своими пыточными тюрьмами того, чтобы террорист взорвал в ней атомную бомбу?

Главная героиня видит в террористе человека, проявляет к нему эмпатию и мешает его пытать, в конечном итоге давая ему добиться своих целей. И ей явно руководит именно эмпатия и дискомфорт от страданий человека на её глазах, а вовсе не абстрактная приверженность законности и соблюдению прав. И именно эта тематика, если абстрагироваться от гротескности атомных бомб и пыток детей на глазах у родителей, делает, на мой взгляд, фильм супер актуальным в наши дни. Тематика опасности и уместности эмпатии к врагам. Особенно к таким, которые заведомо не проявляют эмпатию к тебе.

На мой взгляд, враги которые желают тебе уничтожения эмпатии не заслуживают ни при каких обстоятельствах. Поэтому мне очень понравился герой Сэмюэля Л. Джексона и очень не понравилась героиня Кэрри-Энн Мосс в этом фильме. И меня пугает, что очень много зрителей восприняли всё наоборот.

Увидел новость о запрете в РФ покупки рекламы у «иногентов». Новость обсуждать смысла нет: очередное закручивание гаек и затыкание неугодных голосов. Тем не менее, вызванные новостью разговоры о том, что многим независимым ютуберам, блогерам и прочим контент-мейкерам придётся закрыться, заставили меня задуматься. Если абстрагироваться от закручивания гаек и рассмотреть запрет на покупку рекламы сам по себе, изменит он мою жизнь к лучшему или к худшему? Если представить себе мир, в котором покупка любой рекламы у любых контент-мейкеров запрещена вообще, хотел бы я жить в таком мире?

К удивлению, прихожу к выводу что да, хотел бы. В современном мире контента слишком много, потому что его создание из удовлетворения потребности превратилось в самоцель. Нам кажется что мы сами выбираем что потреблять, но выбираем мы из того что мы видим. Все кто пробиваются к нам даже через сарафанное радио, не говоря уж об алгоритмах, прошли сито из множества внешних по отношению к нам эвристик. Одна из этих эвристик это качество продакшена и количество контента от конкретного мейкера.

Максим Кац в одном из недавних видео сокрушался как вышеупомянутый закон ударит по его каналу. Рассказывал, что у него на канале трудоустроено уже несколько десятков человек, есть своя студия, которая выпускает по ролику в день, и как много денег всё это стоит. Я понимаю зачем это Кацу, но я не понимаю зачем это мне.

Я следил за деятельностью Максима со времён когда он был известен только в покерном сообществе и делал свою первую листовку для муниципальных выборов. Я читал его текстовый блог в Живом Журнале и меня вполне устраивал этот формат. Максим публиковался не каждый день. Он публиковался по мере того, как у него появлялось что сказать. Почти всегда это были его личные мнения по вопросам которые ему интересны и в которых он более-менее компетентен. Это было интересно читать.

Если хочется делать именно видео, современный iPhone замечательно снимает. Да, iPhone снимает хуже чем профессионал в студии. Но я же смотрю не ради качества картинки! Это даже не 80 на 20, это 99 на 1. Если Кац сократит бюджет на производство в 100 раз, мои впечатления от контента ухудшатся может быть на 1%. Но проблема не только в качестве видео. Проблема в качестве самого контента.

Команда канала подготавливает для него тексты и сюжеты, которые он зачитывает с суфлёра. Общую редакционную политику канала он определяет сам, но всё что он говорит на видео уже давно не его собственные мысли. Он говорящая голова, озвучивающая коллективное творчество своей команды, об интересах и компетентности которой я ничего не знаю. К Максиму у меня был кредит доверия, он мне был интересен как человек и как деятель. У меня нет доверия к его команде.

Более того, ни один человек и даже ни одна команда не способны генерировать интересные мысли каждый день по расписанию. Для канала выгодно иметь предсказуемый график выхода видео, подсаживать зрителя на контент. Но для зрителя выгодно смотреть только то, что ему действительно интересно, а не заводить себе вредные потребительские привычки. Поэтому я буду рад, если его медиа конвейер разорится и перестанет работать.

Кто вообще останется в мире без рекламы? Во-первых, останутся те, кому зрители готовы донатить напрямую. Конкуренция за непосредственные донаты зрителей это самая прямая, честная и эффективная форма конкуренции. Во-вторых, останутся те, кто готов делать контент себе в убыток, то есть те, кому нужна трибуна чтобы поделиться чем-то субъективно достаточно важным, чтобы самостоятельно заплатить за это временем и ресурсами.

Количество контента сократится в разы, возможно в десятки раз, но и того что останется хватит на всех за глаза. Креативная экономика пострадает, но для меня креативная экономика не священная корова. Она для меня важна настолько, насколько она генерирует ценность, а не прибыль и рабочие места.

Посмотрел свежее интервью главы Open AI Сэма Альтмана на канале Лекса Фридмана.

Пара высказываний Альтмана у меня прямо сильно отозвались внутри. Очень важный для меня момент на 41:02:

«Люди продолжат делать крутые вещи. А общество найдёт способ вознаграждать тех, кто их делает. Мы так устроены. Мы хотим творить, мы хотим быть полезными. Это никуда не денется».

Фраза прозвучала в контексте разговора о вознаграждении авторов контента, на котором обучается ИИ. Сэм ясно дал понять, что его не сильно заботит нарушает ли обучение ИИ существующие законы об авторском праве, но он согласен с тем, что авторы контента должны в том или ином виде получать компенсацию за его использование, и убеждён, что со временем так и будет. Однако что вероятно это потребует перехода к какой-то иной модели взаимоотношений.

По сути Сэм признает, что сегодня ИИ обучается на чужой интеллектуальной собственности, что фактически это пиратство, и что сегодня авторы не получают за это компенсацию. При этом Сэм явно не считает это большой проблемой и уж тем более поводом останавливать обучение ИИ до завершения юридических разборок.

Фактически Сэм заявляет, что существующие законы об авторском праве устарели и не подходят к новой реальности, и что сейчас главная задача это завершение построения этой самой новой реальности, а вопросы компенсаций авторам должны решаться уже в ней. Авторы не исчезнут, а общество найдёт устраивающую всех модель вознаграждения.

Я поражён насколько идеи Сэма Альтмана соответствуют моим собственным убеждениям. Я тоже открыто пропагандирую одновременно пиратство и донаты непосредственно авторам, и тоже считаю, что существующая модель копирайта это тормоз как для креативной экономики, так и для прогресса в целом. Готовлю отдельный пост об этом.

Ещё один очень близкий мне момент на 1:20:16:

«Я считаю когда-то реклама была необходима для того чтобы интернет существовал и развивался, но сегодня [интернет] это зрелая индустрия, мир стал богаче... Я хочу чтобы люди знали что ответы которые они получают от ChatGPT не находятся под влиянием рекламодателей… Мне не нравится чувство которое я испытываю когда пользуюсь сервисами, существующими благодаря деньгам рекламодателей… Я думаю мы можем построить бизнес-модель способную оплачивать наши вычислительные мощности без рекламы».

Высказывания Сэма созвучны моему прошлому посту. Тоже считаю, что реклама должна исчезнуть как явление, во всяком случае что информация которую мы потребляем должна быть полностью очищена от влияния рекламодателей.

Другие интересные, на мой взгляд, тезисы из интервью:

• Ресурсные ограничения для тренировки ИИ в порядке важности по мнению Сэма: энергия > физические дата центры > чипы. Я думал всё с точностью да наоборот.

• Нам кажется что каждый новый продукт Open AI это резкий скачок по сравнению с прошлым (GPT-4 и ChatGPT, например), но на самом деле они стараются чтобы улучшения были постепенными, а не резкими. То есть то, что с нашей точки зрения огромные качественные скачки, с их точки зрения таковыми не являются.

• Ни ChatGPT, ни GPT-4 по мнению Сэма не являются важными вехами, потому они на самом деле никак не изменили мир или экономику, а в лучшем случае изменили ожидания людей. Сэм рассчитывает создать системы которые более заметно повлияют на экономику. Причём это будет ещё не AGI. AGI же по мнению Сэма это ИИ способный заметно повлиять на скорость научного прогресса. Это по его мнению более сложная задача чем повлиять на экономику. Но он рассчитывает что и она будет достигнута к концу этого десятилетия.

Очень неприятная для меня новость: из компании Stability AI уходит основатель и бессменный CEO Эмад Мостак. Почему это важно и почему я считаю это очень плохо? Stability AI главным образом известны благодаря своей модели Stable Diffusion (далее SD). Летом 2022 SD 1.4 стала одной из трёх text-to-image моделей (наряду с Midjourney v3 и DALL-E 2 от Open AI) которые взорвали интернет и попали в СМИ, потому что тогда впервые в человеческой истории ИИ научился рисовать сносные картинки по текстовому запросу. Главное отличие SD от упомянутых конкурентов в том, что SD была open source моделью. Её веса выложили в открытый доступ и любой владелец приличной игровой видеокарты мог во-первых скачать и запускать модель у себя на ПК, а во-вторых дообучать её на своих данных.

Благодаря весам в свободном доступе SD очень быстро обзавелась огромной экосистемой. Зайдите на сайт civitai и вы увидите библиотеку из сотен моделей на базе SD под самые разные задачи, от рисования порнографии, до рисования персонажей из игры Genshin Impact. Все их создала не сама компания Stabilty AI, но независимое сообщество продвинутых пользователей SD. Оно же создало удобные веб-интерфейсы для использования SD и всего что с ней связано.

Базовая модель SD со временем заметно отстала от конкурентов вроде Midjourney, Open AI и Ideogram как по качеству генерируемых картинок, так и по «интеллекту», то есть пониманию запросов. Однако если рассматривать всю экосистему SD как единое целое, она превосходит по возможностям любую другую картиночную модель, и самое главное, по прежнему только SD можно свободно скачать и запускать у себя на ПК, не покупая никаких подписок.

Поскольку Stability AI все свои модели выкладывали в свободный доступ, было непонятно на чём они зарабатывают или собираются зарабатывать деньги. По сути компания существовала на инвестиции, которые ей удалось привлечь в самом начале. Почти все были уверены что долго это продолжаться не может и летом прошлого года Блумберг написал, что у компании большие проблемы и из неё уходят ключевые люди. Если бы Stability AI закрылась тогда, это было бы печально, но предсказуемо.

Однако к большому удивлению многих, включая меня, Stability AI не только остались на плаву, но и начали одну за другой выкладывать одни из лучших в своём классе модели: Stable Audio (музыка из текста), Stable Video 1.1 (видео из текста), TripoSR (3d модели по 2d картинке), StableLM 2 1.6B (миниатюрная версия ChatGPT). Но для меня самой приятной неожиданностью стал анонс Stable Diffusion 3 — новой версии SD, которая судя по research paper и примерам от тестировщиков, получивших ранний доступ, прямо из коробки будет вероятно лучшей картиночной моделью на рынке (я сравнивал в Твиттере генерации SD3 с генерациями Ideogram 1.0, вышедшей месяц назад). Самое главное — SD3 как и раньше обещали выложить в свободный доступ и она должна была запускаться на лучших из обычных видеокарт, вроде RTX 3090 за 1000$, а не только на специализированных GPU, стоящих десятки тысяч долларов.

Доступ к SD3 уже есть у избранных тестировщиков, модель, очевидно, готова к релизу, все ждали её буквально со дня на день… Но в свете сегодняшней новости, теперь всё, увы, под очень большим вопросом. Я мало что знал об Эмаде Мостаке. Репутация у него противоречивая. Не уверен что он был хорошим CEO. В чём, однако, я уверен на 100% — Эмад Мостак был абсолютистом опенсорса и децентрализации. Делать ИИ доступным для всех было его миссией, в которую он верил и которой придерживался. Ни разу он не дал поводов в этом усомниться. И вот в свете того что его, судя по всему, выпнули, похоже Stability AI, поняв, что у них впервые с 2022 года в руках модель, которая из коробки конкурентоспособна с лучшими платными моделями конкурентов, решили не дарить её всему миру, а попробовать заработать на ней деньги. Очень сильно надеюсь, что я ошибаюсь.

Вы когда-нибудь задумывались какие ограничения накладывает скорость света на цивилизацию? Скорость света в вакууме приблизительно равна 300 тысяч километров в секунду. Ни материя, ни информация не могут перемещаться быстрее скорости света — это один из краеугольных камней современных научных представлений о мире. Это одно из тех ограничений, которые по нашим представлениям не могут быть преодолены никогда вообще, вне зависимости что изобретут в будущем и как далеко уйдёт научный прогресс. Но что это ограничение значит для всех нас?

Обычно когда говорят о скорости света, первое что приходит на ум это межзвёздные перелёты. 300к километров это большое расстояние в масштабах Земли. Длинна экватора всего 40к километров, свет преодолевает это расстояние чуть больше чем за 1/10 секунды. В масштабах космоса, однако, 300к километров это очень мало. До ближайшей звезды — 40 триллионов километров. Даже со скоростью света лететь до неё 4 года. А в известной нам вселенной есть места до которых свету лететь миллиарды лет. Но на самом деле и без дальнего космоса скорость света нас много где ограничивает.

Возьмём обычный ПК. Представьте себе два вычислительных ядра размещённых на расстоянии в 10 см друг от друга на печатной плате. 3 ГГц — вполне рядовая тактовая частота для современного процессора. Эта цифра значит, что за одну секунду процессор совершает 3 миллиарда тактов работы или что один такт работы совершается за трёхмиллиардную долю секунды. Предположим ядра хотят обменяться данными друг с другом. За 1/(3*10^9) сек свет пролетает как раз 10 см.

То есть уже сегодня на реальных расстояниях в пределах печатной платы максимально возможная в природе скорость обмена данными уже сопоставима или даже ниже, чем скорость рабочих операций. И это уже накладывает реальные ограничения на архитектуру и производительность процессоров. Мы не можем размещать быструю память далеко от ядер, иначе процессор будет дольше гонять данные в пространстве со скоростью света, чем обрабатывать их внутри себя. И поэтому мы не делаем гигантские процессоры: в них нет и видимо никогда не будет смысла.

Рассмотрели пример из микромира, теперь пример из макромира. Вы играете в компьютерную игру по интернету. Игровой сервер в Германии, а вы в Кыргызстане. Расстояние по проводам от Бишкека до Берлина (они идут через Казахстан и Россию) в районе 10 тысяч километров. Свет проходит это расстояние за 0.03 сек. То есть 30 миллисекунд это минимально возможная задержка в одну сторону В две стороны уже 60 мс. Вы кликнули мышкой, совершили действие в игре, оно пришло на сервер, было там мгновенно обработано и на ваш ПК сервер выслал результат действия, который вы видите на своём экране. Между нажатием и результатом не может быть меньше 60 мс. В реальности я вижу цифры в районе 100-120 мс в играх. Вдумайтесь насколько это близко к теоретически возможному пределу! И да, поверьте, есть много игр в которых задержка 100 мс вполне ощущается и заметно влияет на игровой процесс и на результаты.

С задержкой в лишнюю секунду уже не очень комфортно разговаривать по телефону. Разговоры с Луной всегда будут такими: до неё 300к километров. В компьютерные игры колонисты на Луне смогут играть только друг с другом, но не с друзьями на Земле: задержка в секунду уже абсолютно невыносима. До Марса в среднем 280 миллионов километров, поэтому между Землёй и Марсом никогда не будет не только созвонов, но даже чатов! Задержка — 12 минут. Представьте насколько изолированным марсианское сообщество будет от земного.

Напоследок представьте виртуальную реальность с полным погружением. Какая задержка зрительных, слуховых и особенно тактильных ощущений для вас не испортит эффект присутствия? Я думаю максимум — десятки миллисекунд. Поэтому на самом деле одно из главных обещаний виртуальной реальности — возможность быть рядом и делать что-то вместе в реальном времени с человеком на другом конце Земли — несбыточно. В лучшем случае с человеком из соседней страны такое будет возможно.

Приглашаю своих подписчиков из Бишкека 29 марта в 19:00 в ololoOrmonKhan на встречу, посвящённую истории аниме и косплей сообщества в Кыргызстане, которую будут проводить мои друзья.

В прошлом году основатель сети коворкингов ololo Данияр Аманалиев, человек которого я очень уважаю, призвал развивать в рамках ololo клубное движение. Я сам одним из первых стал участником этого движения, мой ИИ-клуб появился вторым после книжного клуба. Идея клубов в том, что во-первых, людям важны горизонтальные связи и объединения, а во-вторых, многие проживают всю свою жизнь в окружении, которое они не выбирают: среди родственников, однокурсников и коллег. Идея в том, чтобы дать людям возможность присоединиться к сообществам, которые они выберут сами и где они смогут найти знакомых по своим интересам.

Мне почти сразу пришла в голову мысль, что было бы здорово, если в ololo появился бы клуб аниме и манги. Во-первых, я сам очень люблю их, это одно из моих главных увлечений. Во-вторых я вижу что аниме и манга очень популярны в Бишкеке, особенно среди подростков и молодых людей. Косплей фестивалей каждый год проходит несколько штук, аниме магазинов кругом полно. В какой-то момент в ololo появился киноклуб в котором пару раз крутили аниме и я спросил у основателя насколько оно пользовалось спросом. Оказалось спрос был очень большой, что и основателя киноклуба натолкнуло на мысль, что аниме нужно по уму в отдельный клуб выносить.

У некоторых может возникнуть вопрос: зачем нужен аниме клуб, если аниме можно смотреть и дома, а обсуждать в интернете. Ответов есть несколько, но самый главный лично для меня — клуб это прежде всего сообщество людей в реальной жизни. Я уже проходил через это со своим клубом по Искусственному Интеллекту. Ведь по ИИ тоже полно и обучающих материалов, и сообществ, и мероприятий в онлайне. Но не стоит недооценивать важность знакомства, личного присутствия и совместного времяпровождения. Интернет общение это хорошо, но встречи в реальной жизни оно полностью никогда не заменит.

Оставалось только найти организаторов. К сожалению, у меня самого не было возможности полноценно заниматься организацией ещё одного клуба. Я начал спрашивать друзей и знакомых кому это может быть интересно и к счастью нашёлся человек, который согласился попробовать взять организацию в свои руки, за что я ему очень благодарен. Я очень надеюсь что встреча 29 марта станет лишь первой в череде регулярных мероприятий по аниме и всему что с ним связано. Поэтому приду сам и всех зову!

Регистрируйтесь по ссылке.

Сегодня хочу поговорить об эвтаназии. У меня очень неконвенциональное отношение к добровольному уходу из жизни. С одной стороны, я уважаю естественное право человека умереть если он этого по-настоящему хочет. Любого человека, не только безнадёжно больного или страдающего. Естественным я право умереть называю потому, что любой физически здоровый человек почти всегда может покончить с собой, если он вдруг этого пожелает. Обществу невероятно сложно спасать от смерти тех, кто её активно ищет.

Когда-то я верил что все люди в глубине души хотят жить вечно, что если предложить им на выбор умереть или прожить ещё один день — они всегда выберут второе. Тех кто по каким-то причинам хотел умереть я считал психически нездоровыми, которых надо лечить и не давать им убить себя. Потом мои взгляды начали плыть.

Сперва я стал делать исключения для тяжело больных, не желающих обременять родственников. Потом я признал, что самоубийство может быть политическим жестом или свидетельством искренности и силы чувств, веры или убеждений. Потом меня заинтересовал прецедент, когда человек выбрал эвтаназию чтобы заморозить свой мозг до того, как его необратимо разрушит нейродегенеративное заболевание, с надеждой, что когда-нибудь наука будущего сможет его оживить.

В какой-то момент я пришёл к непростому для себя выводу, что бывают люди которые хотят умереть и это действительно проистекает из их искренних глубинных установок и картины мира. Что для них это не болезнь, это часть того, кем они являются. И тогда я решил, что максимум что должно брать на себя общество — проверять искренность. Телефоны доверия и программы предотвращения суицида это благо, потому что большинство самоубийц передумают умирать, если дать им время разобраться в себе. Но небольшой процент не передумает. И этот процент мы останавливать не должны, это их право. Среди безнадёжно больных этот процент, наверное, заметный.

И тут мы подходим к вопросу об эвтаназии. Есть люди, которые хотят, но физически не могут покончить с собой, например, парализованные. А ещё есть люди, которые не хотят создавать никому проблем своим уходом из жизни. Если мы признаём право людей на добровольный уход из жизни, перед нами встаёт вопрос о социально приемлемом механизме реализации этого права. Эвтаназия, то есть ассистированный суицид, выглядит разумным решением. Поэтому вроде бы её легализация это очевидный шаг.

Проблема в том, что на практике никак не получается легализовать добровольный уход из жизни и при этом не сделать его ожидаемым. После легализации эвтаназии, рано или поздно её начинают предлагать. Валидной причиной для эвтаназии становится бедность. Появляется реклама эвтаназии. Родственникам терминальных больных начинают делать намёки врачи и страховые компании, родственники начинают давить на самих больных. Создаются социальные ожидания, что порядочный человек должен выбрать «добровольный» уход из жизни.

К сожалению, Окно Овертона работает как часы. Раньше в развитых странах дебаты шли вокруг того, нужно ли вообще легализовывать эвтаназию. Потом полемика сдвинулась на обсуждение этичных границ её применимости. Эти границы все время только расширяются. Легализуется уже эвтаназия детей. До сегодняшнего дня я, по крайней мере, видел универсальный консенсус, что социальное давление на пациентов является проблемой с которой необходимо бороться. Сегодня я был шокирован, увидев в британском Таймс статью, автор которой признаёт, что давление на безнадёжных больных поторопить свою смерть обязательно будет и что это хорошо. Оригинал статьи доступен только по платной подписке, но к счастью есть способ обойти пэйволл.

Выбирая из двух зол — мир где эвтаназия полностью нелегальна, и мир где её активно предлагают и ждут от людей, что они её выберут — я однозначно предпочитаю первое. На сегодняшний день я, увы, противник легализации эвтаназии. В теории я должен быть её сторонником, но теория, к сожалению, разбивается об практику.

Совершенно неожиданно для меня ИИ достиг огромного прогресса в аудио. Сперва я стал массово встречать творчество в духе «известная песня, спетая совершенно другим голосом и в другом жанре», сгенерированное Suno AI. Например, песня «Бетономелашка» группы Кувалда, но в жанре аниме-опенинга. Меня сильно удивило насколько правдоподобно звучит Suno AI — если заранее не знать, что это ИИ, я бы подумал что это какие-то тиктокеры развлекаются, записывая смешные каверы.

Suno это прямо очень большой шаг вперёд по сравнению со всем, что было до него, но я ни разу не слышал от него песен или композиций, которые хотелось бы включить второй раз. Мемные и вирусные песни — да, музыка, которую хочется слушать — пока нет.

Затем пару недель назад вышла модель Stable Audio 2.0 от Stability AI. По сравнению с Suno в ней ничего впечатляющего нет, но фоновую музыку (так называемый мьюзак) она генерирует вполне сносно. Stabilty запустили сайт на котором работает что-то вроде круглосуточного радио, вся музыка на котором генерируется Stable Audio на ходу. Что в Stable Audio 2.0 по-настоящему прорывное так это её мизерные требования к вычислительным мощностям. Как я узнал, она требует всего 5 Гб видеопамяти, то есть она могла бы стать «народной». К сожалению, это чуть ли не единственная модель Stability AI, которую они по какой-то причине не выкладывают в открытый доступ. Если они хотят на ней зарабатывать, я не думаю, что у них это получится, потому что она всё же уступает и Suno, и ещё сильнее — следующему конкуренту.

Буквально несколько дней назад вышел прямой конкурент Suno под названием Udio и вот эта модель впечатлила меня прямо сильно. Она умеет генерировать музыку практически в любых жанрах, а также сама пишет тексты. Я первым делом попросил её сгенерировать песню о том, что Udio лучше чем Suno в жанре тяжелого рока и она сгенерировала очень прилично звучащий 30-секундный отрывок с вполне неплохим текстом. Под впечатлением я пошёл изучать чужие генерации и понял, что я вполне комфортно могу слушать всё подряд как плейлист по жанрам.

Иерархию музыкальных нейросетей относительно человеческого творчества я бы выразил так. Stable Audio 2.0 делает сносный мьюзак — то есть фоновое музыкальное заполнение, которое не отвлекает и не режет уши, но которое не захочется слушать просто так. Suno на хорошем человеческом уровне делает музыкальный контент в котором музыка не главное. То есть какие-нибудь смешные или тематические песни, где фишка в тексте или в сочетании текста и жанра. Но в чисто музыкальном смысле Suno пока в лучшем случае на уровне посредственного человеческого творчества.

Udio же уже на уровне добротного человеческого творчества. Не выдающегося, но именно добротного. Возьмите неплохой, но не самый лучший альбом неплохой, но не самой лучшей рок или поп группы. На нём скорее всего будет одна-две песни которые можно назвать хорошими, а остальные просто можно слушать. Вот Udio, на мой взгляд, ещё не умеет делать хиты или композиции, которые можно было бы назвать прямо хорошими, но он уже умеет делать композиции, которые вполне сошли бы за проходные у хороших коллективов.

С нетерпением жду, что будет дальше!

На днях произошли два важнейших события в мире ИИ, которые, мне кажется, привлекли недостаточно внимания. Во-первых, появился открытый рейтинг для медицинских ИИ. Он ранжирует нейросети конкретно по медицинским и биологическим компетенциям.

Не будучи специалистом в медицине я не могу оценить насколько адекватно составлен сам бенчмарк, на основе которого оцениваются нейросети. Кроме того, нейросеть MedPaLM-2 от Deepmind формально числится в рейтинге, но поскольку доступа к ней нет, протестировать её в равных условиях с остальными нет возможности, поэтому за её рейтинг взяты её оценки из статьи от самих Deepmind.

Но даже если к рейтингу есть серьёзные вопросы, для меня само появление такого рейтинга это очень большой шаг вперёд. Главное что он открытый, поэтому обоснованная критика в любом случае будет учитываться и устраняться. Либо появится альтернативный рейтинг.

Вторая важнейшая новость — опенсорсная нейросеть OpenBioLLM-70B вышла на первое место в этом рейтинге, формально обогнав MedPaLM-2 и GPT-4 (результаты последней также взяты из статьи, а не основаны на реальных тестах). Главное в этой новости даже не достигнутый результат, а сам факт, что началась гонка опенсорсных медицинских нейросетей. Значит рейтинг заработал и начал привлекать заслуженное внимание.

Я считаю что именно конкуренция среди опенсорсных моделей очень важна. Дело в том, что как показывает опыт того же MedPaLM-2, сколько-нибудь массового доступа к закрытым моделям от лидеров рынка нет даже у врачей, не говоря уж о простых людях. А большие языковые модели общего назначения вроде GPT-4 крайне «неохотно» отвечают на медицинские темы. Если вы попросите GPT-4 отыгрывать врача, она скажет что не имеет права давать вам медицинские консультации и посоветует обратиться к специалисту. Если задавать вопросы определённым образом, то ответы из неё выудить на самом деле можно, но это пока. Подобные лазейки постоянно закрывают и они в любом случае всегда будут достоянием немногих знатоков, а не чем-то, чем может пользоваться массовый пользователь.

При этом медицина — одна из самых очевидных сфер применения ИИ. Тот же MedPaLM-2, вышедший более года назад (это целая эпоха по меркам ИИ), уже был на уровне ведущих экспертов. Весьма вероятно, что GPT-5 будет самым компетентным врачом-консультантом на планете, но при этом и самым капризным, наотрез отказывающимся консультировать из-за настроек цензуры. Вместе с тем огромное количество людей в бедных странах не имеет доступа к врачам даже средней квалификации, не говоря уж о ведущих экспертах. А в развитых странах далеко не у всех есть деньги на консультации хороших врачей. Тогда как доступ к языковым моделям есть плюс-минус у всех, у кого есть мобильный телефон и интернет.

Вот почему я думаю что именно опенсорсные медицинские модели получат массовое распространение. И может быть они в итоге и убедят лидеров рынка начать давать доступ к своим передовым медицинским моделям. Очень рад, что открытая, публичная гонка в этой сфере наконец-то началась. Буду следить с интересом.

На этой неделе я принимал экзамен по своему курсу "ИИ в Креативных Индустриях" у студентов Compass College. В рамках подготовки к экзамену я написал эссе в котором изложил основные по состоянию на май 2024 года вещи, которые, на мой взгляд, полезно знать про ИИ как минимум всем креаторам. Я думаю они будут интересны и широкой аудитории. Поэтому решил выложить своё эссе и в этот канал.

Буду рад вашей обратной связи!

В первой половине 2024 одна из самых хайповых тем в мире ИИ это видео. На рынок ИИ видео выходят новые игроки, на обучение моделей тратятся огромные финансовые и вычислительные ресурсы. Хочу объяснить, почему я не разделяю хайпа.

Нейросети, создающие короткие видео по текстовому описанию или анимирующие картинки, существовали как минимум с 2023 года. Основными игроками были Runway и Stable Video, но в поле зрения широкой аудитории они не попадали, поскольку результаты были скромные. Анимация обычно сводилась к простому движению камеры или одного из объектов сцены, а всё остальное в кадре оставалось практически неподвижным. Примеры как выглядело видео от ИИ в 2023 можете посмотреть на сайте Stable Video.

Массовый интерес к теме ИИ видео возник в феврале этого года благодаря анонсу модели Sora от компании Open AI. Если ещё не видели, по ссылке можете увидеть несколько отобранных примеров. Sora произвела фурор: сгенерированные ей видео на беглый взгляд можно перепутать с реальными съёмками, а анимации будто бы сделаны на хорошем физическом движке. Sora до сих пор не вышла и Open AI пока делали только закрытые демонстрации, в основном для профессионалов из киноиндустрии.

Но уже в июне появился конкурент сопоставимого уровня из Китая под названием Kling AI. В отличие от Sora, доступ к тестовой версии Kling получили многие простые люди, правда я не интересовался как это можно было сделать.

Почти сразу после Kling появилась модель Dream Machine от компании Luma Labs. Они, кажется, вообще давали доступ к тестовой версии всем желающим.

Наконец, бывшие лидеры рынка Runway не захотели отправляться на свалку истории и присоединись к празднику.

К сожалению, я считаю все эти модели игрушками без практического применения. И я так считаю поскольку хорошо знаком с рынком ИИ для картинок и его историей. Дело в том, что создание видео и картинок по своей сути близкие задачи с похожими проблемами, но видео сложнее и примерно на два порядка дороже.

ИИ видео обычно генерируется в два этапа: сперва рисуется картинка, а потом она анимируется. Поэтому генерация видео включает в себя все сложности генерации картинок, но к ним добавляются требования консистентности объектов в кадре и реалистичности движений. Требования к железу как при обучении, так и при использовании видео моделей значительно выше, чем у картиночных. Встречал оценки, согласно которым Sora тратит час работы видеокарты H100 (цена 30k$, аренда от 3$/час) на генерацию 5 минут видео. Для сравнения, за час H100 может сгенерировать больше тысячи картинок.

Логично, что видео — следующий рубеж после картинок. Проблема в том, что генерация картинок за 2 года так и не решена. В 2022 появились первые модели, изредка рисующие что-то сносное. В 2023 появились модели рисующие красиво почти всегда, но только простые сцены. В 2024 картиночные модели «поумнели» и стали понимать более сложные запросы.

Вместе с тем, несмотря на то, что сгенерированные ИИ картинки потихоньку проникают в реальную жизнь (реклама, обложки, иллюстрации, и т. п.), их ИИ происхождение до сих пор почти всегда бросается в глаза. Ни одна из лучших на сегодняшний день нейросетей не умеет консистентно запоминать сгенерированных персонажей, чтобы можно было, например, делать полноценный комикс. Ни одна нейросеть до сих пор не справляется со сложными сценами. Картиночные нейросети уже осторожно применяются профессионалами, но ограничено и чаще всего — не с первого раза.

Последнее очень важно. Если вы работаете с ИИ картинками и отбраковываете 9 картинок из 10, это всё ещё нормальный темп работы, поскольку картинки ИИ рисует за секунды. А теперь представьте что вы отбраковываете 9 видеороликов из 10, при этом каждый генерируется по 10-20 минут.

Картиночным моделям до по-настоящему массового применения остались одна, максимум две итерации, но они явно самые сложные. И к сожалению, вместо того, чтобы бросить основные ресурсы на эти итерации, все переключились на ИИ для видео, который упрётся в те же проблемы, только в гораздо более крупном масштабе.

Я недавно писал про нейросети для музыки Suno и Udio. И вот буквально вчера вышла новость, что против обоих стартапов подали иск динозавры музыкального рынка: RIAA, Universal, Warner и Sony. Суть обвинений — Suno и Udio незаконно использовали защищённую авторским правом музыку для обучения своих моделей. Хоть иск и очень ожидаемый, это одно из самых важных событий на планете, которое может определить будущее на десятилетия.

Я давно ждал войну между AI и копирайтом. Она с самого начала была неизбежна. Одним из главных узких мест в развитии ИИ является нехватка данных для обучения. Большие языковые модели вроде ChatGPT давно обучаются на архиве буквально всего интернета, по крайней мере его текстовой части — и этого уже не хватает. Картиночная модель Midjourney, судя по всему, уже вовсю использует для обучения нарезки стоп-кадров из фильмов. Почему они полезли в фильмы понятно — хороших изображений не хватает, все какие могли достать уже задействованы. Компания Adobe недавно поменяла лицензию и теперь оставляет за собой право делать снимки вообще всего что вы делаете в её программах, с тем чтобы потом на вашем рабочем процессе обучать свой ИИ. Adobe поступает так не из наглости и не от хорошей жизни — всё что она могла использовать не залезая к вам в экран она уже использует, и этого не хватает.

С музыкой всё ещё хуже — почти все существующие в природе записи, особенно записи хорошей музыки, защищены авторским правом. Если не обучать модели на записях защищённых авторским правом, то обучать будет практически не на чем. Конечно, существует какое-то количество свободных аудиозаписей, но их на несколько порядков меньше. Когда для обучения ИИ не хватает всего цифрового наследия человечества, отказываться от 99.99%+ контента в каком-то медиуме почти равносильно тому, чтобы не пытаться вообще.

Главный вопрос который предстоит решать судьям, является ли использование защищённой авторским правом музыки для обучения ИИ пиратством? Вопрос не очевидный, поскольку в праве есть понятие fair use. Вы можете использовать защищённые авторским правом материалы в некоторых целях. Например, вы можете их цитировать в научных публикациях, вы можете их высмеивать, делать пародии, и т. п. По своей сути копирайт призван защищать авторские произведения от незаконного копирования, распространения и воспроизведения. Но ИИ не запоминает произведения как есть и не воспроизводит их 1 в 1. Поэтому нарушает ли он авторское право вопрос дискуссионный и неочевидный, решать это будет суд. Но поскольку в США прецедентное право, исход судебного иска скорее всего определит судьбу всех последующих исков и де факто установит правила игры на десятилетия.

Лично я в рамках обозначенного спора придерживаюсь позиции, что нейросети должны обладать теми же правами что и люди в отношении авторского права. Художники могут обучаться рассматривая, срисовывая и воспроизводя чужие картины, защищенные авторским правом. Музыканты могут обучаться слушая, анализируя и воспроизводя защищённую авторским правом музыку. Люди имеют право создавать свои произведения в чьём-то стиле, сознательно делая их похожими на чужие. Я считаю что и нейросети должны иметь возможность видеть, слышать, и обучаться на том что они увидели и услышали в той же степени, что и человек.

Несколько лет назад открыл для себя рынки предсказаний и с тех пор периодически сверяюсь с ними. Рынки предсказаний это что-то вроде букмекерских контор, где люди делают ставки на предстоящие события. Только в отличие от букмекеров, которые устанавливают коэффициенты сами, на рынках предсказаний коэффициенты рассчитываются по прозрачным формулам, исходя из сделанных ставок. Расскажу про два из них, которые регулярно просматриваю.

Первый называется Metaculus. На этом рынке предсказаний ставки делаются только на игровую валюту, не на реальные деньги. Что, конечно же, огромный минус: при прочих равных, там где люди ставят реальные деньги, качество прогнозов будет намного лучше. Но Metaculus уникален тем, что у него очень продвинутая система ставок. Там ставишь не просто на исходы да/нет. Предсказание на Metaculus может представлять собой, например, набор оценок вероятностей тех или иных исходов. Или ожидаемый диапазон некоторого параметра. Коэффициенты вознаграждений рассчитываются исходя из качества вашего прогноза относительно среднего по сообществу.

Главная причина, почему Metaculus неплохо работает — он ориентирован не на широкую аудиторию, а на нердов определённого толка. Случайные люди на Metaculus, как правило, не задерживаются, ведь денег там не заработаешь, а значит азарта мало. На Metaculus сидят в основном не азартные люди, а люди с серьёзным интересом к прогнозированию, к калибровке своей модели мира. В частности Metaculus популярен среди членов сообщества LessWrong. Это видно и по набору открытых прогнозов на Metaculus. Любой человек может опубликовать свой вопрос на который будут делаться ставки, главные требования к вопросам это чёткие временные рамки и чёткие критерии разрешения. Однако исторически на Metaculus помимо основных мировых событий вроде выборов в США или войны в Украине, всегда много прогнозов связанных, например, с развитием ИИ.

Второй называется Polymarket. Это рынок предсказаний на реальные деньги (криптовалюты). Механизм ставок тут классический: просто ставишь сумму на исход да/нет. Коэффициент вознаграждения зависит от пропорции ставок. Про Polymarket я к своему стыду узнал совсем недавно и почти сразу же случились два события, сильно возвысившие его в моих глазах.

Во-первых, когда на днях президент Байден объявил, что снимает свою кандидатуру со следующих выборов, это, кажется, стало сюрпризом для многих, но не для тех, кто следил за Polymarket. За день до новости её вероятность там уже превышала 70%.

Во-вторых, к команде Polymarket на днях присоединился человек, которого я очень уважаю — Нейт Сильвер (Nate Silver). В прошлом он был главным редактором ресурса fivethirtyeight (538), который агрегировал данные соцопросов и строил на их основе сложную прогностическую модель по американским выборам. В избирательных циклах 2016 и 2020 именно 538 под руководством Нейта Сильвера, на мой взгляд, давал наиболее качественные прогнозы и нейтральную аналитику. Потом 538 перешёл под управление ABC News и приобрёл сильный крен в пользу демократов, а Нейт Сильвер ушёл оттуда на свою собственную платформу. Я очень сильно сомневаюсь что Нейта просто купили, поэтому сотрудничество Нейта с Polymarket, а также его теплый отзыв об этом рынке предсказаний, лично для меня очень существенно. К сожалению, я слишком недолго слежу за Polymarket чтобы иметь обоснованное личное мнение, но первые впечатления очень позитивные.

Ставки делать никого не призываю, а вот следить за рынками предсказаний я считаю намного полезнее чем читать прогнозы "экспертов" в популярных СМИ.

Я жуткий аэрофоб и когда в 2017 у меня возникло желание пожить в Таиланде я решил ехать туда из России по земле, устроив заодно турне по Китаю и странам Юго-Восточной Азии. С китайской частью маршрута вопросов не было — до Пекина на поезде, а сам Китай опутан сетью скоростных поездов. Вопрос был куда дальше.

Если вы посмотрите на карту, то из Китая в Таиланд можно попасть по земле двумя путями: либо напрямую через Лаос сразу в Таиланд, либо через Вьетнам и Камбоджу. Я начал изучать варианты и в итоге выбрал вариант через Вьетнам и Камбоджу, хотя через Лаос на первый взгляд было проще и быстрее. Всё дело в том, что северный Лаос это горы, а в 2017 году проехать его можно было только на автобусе по горным серпантинам. Я предпочёл более безопасный маршрут.

И тогда же изучая маршруты я первый раз услышал, что Китай планирует построить железную дорогу до Таиланда через Лаос. Вот только планировал построить он её на тот момент уже 15 лет. Строить железную дорогу через горы очень дорого, а Лаос очень бедная страна, плюс дальше в Таиланде другая колея. Годами шли согласования по поводу финансирования, коррупционные скандалы. Я был уверен, что проект так и останется болтовнёй.

Но оказалось, что уже в том же 2017 году Китай построил 20% железной дороги, в 2019 построил 80%, а в 2021 она заработала. И это несмотря на Ковид. 75 туннелей, 167 мостов, 15% маршрута проходит по виадукам. К 2024 по ж/д Ботен—Вьентьян перевезли уже 30 млн. пассажиров и 30 млн. тонн грузов. Так что если бы я ехал из Китая в Таиланд сейчас, я бы, конечно, ехал через Лаос по железной дороге.

Оказалось, что строить китайцы умеют очень быстро и никакие горы им не помеха. Согласования занимают гораздо больше времени чем стройка. Я это к чему. У нас тут недавно согласовали строительство железной дороги Китай—Кыргызстан—Узбекистан. В рамках всё той же китайской инициативы «Пояс и Путь». Ситуация практически идентична той, что была в Лаосе. Кыргызстан тоже небогатая горная страна, тоже потом колея другая, тоже проект уже 20 лет обсуждается, тоже наверняка многие думали (а кто-то может быть и до сих пор думает), что ни черта никогда не построят.

Но я вот после истории с Лаосом в китайцев верю. И жду, что скоро и Кыргызстан с Узбекистаном благополучно присоединятся к китайским железным дорогам.

Наверное не все мои подписчики знают, что я экономист по образованию, потому что я ничего не пишу про экономику. Я сильно разочаровался в экономике как в науке ещё во время учёбы, ни дня не работал по специальности и в целом потерял интерес к экономике сразу после выпуска. Моя главная претензия к экономической науке отлично сформулирована в «Цепочках» Юдковского: если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль. Экономисты прекрасно умеют всё объяснять задним числом, но в прогнозировании будущего они лишь немногим лучше медианного обывателя.

Что значит «лишь немногим лучше медианного обывателя»? Это значит, что медианный обыватель всегда в минусе, а настоящий экономист всегда при своих, потому что он не делает ставок. Поясню подробнее. В экономике есть замечательный тезис: лучшим априорным прогнозом будущей цены на какой-либо актив является… его сегодняшняя цена! За этим тезисом стоит очень простая логика. Если все ждут, что какой-то товар подорожает через день, то люди кинутся его покупать пока он «недооценён», чтобы заработать на перепродаже. В итоге ажиотажный спрос приведёт к росту цены до ожидаемой уже сегодня, в случае цифровых активов практически мгновенно. Другими словами сегодняшняя цена актива уже включает в себя усреднённые ожидания изменений его цены в будущем.

Вообще в каком-то смысле это один из главных выводов из всей экономической науки: рынок съедает халяву. Как только где-то возникает способ предсказуемо заработать, он сразу же перестаёт работать, потому что все кидаются им воспользоваться. Если товар продаётся ниже рынка, он немедленно будет куплен и выставлен на продажу уже по рыночной цене. Эта же логика в определённой мере распространяется даже на предприятия. Если на каком-то перекрёстке уже есть 3 аптеки и они все приносят большую прибыль, на нём скоро откроется и четвёртая, и пятая, и так пока средняя прибыль с точки не упадёт близко к нулю. Но это в теории, на практике же четвёртая точка вероятнее всего сгорит вскоре после открытия, а все остальные поймут намёк и открывать новых уже не будут.

Это, кстати, ещё одна причина почему я разлюбил экономику. В Новосибирске, где я начинал учиться на экономиста, очень долго не было McDonald's. Любой экономист который попытался бы объяснить этот феномен через рентабельность и прочие экономические факторы выставил бы себя клоуном. Реальная причина была в том, что мафия, стоящая за KFC (тогда ещё «Ростикс») и другими местными фастфудами обладала достаточной властью, чтобы не пускать конкурентов. К сожалению, на экономических факультетах про такой ключевой в реальной жизни фактор как бандиты во власти почему-то не рассказывают. А ведь это важная часть реальности, значит учёный обязан её изучать.

Так вот, я говорил о том, что экономисты при всей своей бесполезности всё же лучше медианного обывателя. Хороший экономист знает, что лучшего прогноза чем сегодняшняя цена он не сделает, поэтому не покупает активов и не делает ставок. Медианный обыватель же формирует свои ожидания исходя не из соображения «сегодняшняя цена будет продолжаться и дальше», а из соображения «сегодняшняя тенденция будет продолжаться и дальше».

Поэтому на любом рынке большинство игроков всегда в минусе. Систематически зарабатывают те, кто обладает инсайдерской информацией, и те, кто располагает достаточно большими активами чтобы самостоятельно провоцировать колебания рынка (в каком-то смысле это тоже можно считать инсайдерской информацией: ты заранее знаешь в какую сторону пойдёт рынок, потому что ты сам толкнёшь его туда). Поскольку есть прослойка систематически выигрывающих, весь остальной рынок систематически проигрывает. А экономисты остаются при своих, потому что не участвуют.

Когда меня друзья или знакомые спрашивают в какую сторону пойдёт тот или иной курс, я всегда честно отвечаю: я не знаю. И я не ленюсь отвечать, это мой честный educated best guess как экономиста.

Несколько часов назад в США завершились дебаты между кандидатами в президенты — Дональдом Трампом и Камалой Харрис. Судя по реакции рынков предсказаний Харрис победила. Трамписты ноют, что модераторы ABC были на стороне Харрис и фактически Трамп дебатировал 1 против 3. На этот счёт я могу лишь привести свою любимую цитату Сунь-Цзы: «воины-победители сперва побеждают, а потом отправляются на войну; а побеждённые сперва отправляются на войну, а потом пытаются победить».

Я убеждён, что победа Трампа на прошлых дебатах над Джо Байденом был пирровой. Вынудив Байдена сняться с выборов, Трамп получил соперника против которого у него мало шансов. Нападки Трампа на возраст Байдена обернулись против него самого: теперь уже Трамп выглядит престарелым на фоне Харрис. Некогда атакующая кампания трампистов превратилась в сплошное нытьё о том как система работает против их кандидата.

Суть грядущих выборов — в соревновании антирейтингов. У Трампа он стабильно высокий. У Байдена он стал выше только когда его недееспособность стало физически невозможно скрывать. В этом смысле Харрис даже не требовалось побеждать Трампа на дебатах. Всё что ей надо было это показать что она адекватна и физически дееспособна. Реальность такова, что при выполнении этих критериев для победы на выборах ей достаточного того, что она не Трамп. Хотя прямо сейчас рынки предсказаний всё ещё показывают 50 на 50, лично я считаю Харрис абсолютным фаворитом. И не могу сказать что меня это радует.

В моём кругу главное что интересует людей в американских выборах это отношение к войне в Украине. Трамп кажется хочет как можно скорее закончить войну путём шантажа обеих сторон прекращением или увеличением военной помощи Украине. Мир как можно скорее означает мир исходя из положения как есть. Он неизбежно будет включать в себя безусловный отказ Украины как минимум от Крыма и Донбасса. В сознании большинства людей это однозначно будет большой победой РФ: «агрессор своего добился». Уже за одно это Трампа очень сильно не любят.

Харрис кажется планирует продолжить текущий курс, то есть оказывать Украине достаточную помощь, чтобы не дать России победить. Но и наносить России поражение военным путём она вроде не собирается. Позиция «умереть не дадим, но и победить не дадим» людоедская, но массовой ненависти она не вызывает.

Лично мне одинаково не нравятся обе позиции, поэтому на мои относительные симпатии к кандидатам их отношение к войне в Украине, как ни странно, почти не влияет. На первое место для меня выходят другие соображения. В первую очередь регулирование интернета, технологий, а также свобода слова, риски злоупотребления властью и отношение к глобальному истеблишменту. И возможно многих это удивит, но мои симпатии тут однозначно на стороне Трампа.

Я полностью согласен что у Трампа есть диктаторские замашки и мания величия, а у Харрис нет! Но дело в том, что шансы стать персональным диктатором одинаково нулевые что у Трампа, что у Харрис. У Харрис потому что нет таких амбиций, а у Трампа потому что ему никто не даст. Чего я реально боюсь, это сосредоточения слишком большой власти у системы, а не у конкретного человека. Демократы уже уверенно контролируют мейнстримные медиа, БигТех и спецслужбы. И свой контроль они давно и активно конвертируют в цензуру и преследование инакомыслия. От Трампа вообще не требуется быть за свободу в плане личных убеждений. Ему достаточно быть враждебным демократам и истеблишменту — и свободы автоматически будет становится больше если он придёт к власти. Потому что власти станет меньше у тех, кто её ограничивает сейчас.

К сожалению, похоже нужно морально готовиться к будущему, в котором будет больше цензуры, больше контроля и в котором история, которая недавно приключилась с Павлом Дуровым, неизбежно произойдёт с Илоном Маском.