Манифест канала. Мы живем в переломный для человечества момент. Наш вид, в ходе продолжавшейся несколько десятков тысяч лет борьбы, отвоевал себе доминирующее положение на планете за счет превосходства человеческого разума над разумом других созданий. Только это и обеспечило наш успех над более жизнеспособными, быстрыми и сильными формами жизни. Теперь ситуация изменилась. Мы собственными руками создаем холодный, лишенный каких-либо этических рамок искусственный интеллект, способности которого к обучению и обработке информации очень скоро на порядок превысят способности человеческого мозга.
Люди, увлекаемые стремительным потоком насущных проблем, не отдают себе отчет в том, что происходит и какие риски это несет для самого выживания нашего рода.
Стремление донести до максимально широкого круга моих собратьев по разуму правдивую и систематизированную информацию об экзистенциальной проблеме, с которой мы столкнулись, предостеречь от бездумного использования результатов деятельности ИИ, явилось тем мотивирующим фактором, который привел к решению создать этот канал.
Кроме того, на этот шаг меня вдохновило отношение к проблеме передовых умов человечества, видных ученых, футурологов, и даже самих основателей и ведущих инженеров компаний, занимающихся разработкой передовых систем ИИ.
Приведу лишь несколько примеров:
«Развитие сверхчеловеческого машинного интеллекта – вероятно величайшая угроза продолжению существования человечества» (Сэм Альтман, CEO компании OpenAI – разработчика ChatGPT);
«Когда мы говорим об очень опасных технологиях – и очевидно, что ИИ является одной из наиболее мощных за всю человеческую историю – нам необходимо проявлять осторожность. Не все думают о подобных вещах. Это как экспериментаторы, многие из которых не понимают, что работают с опасным материалом» (Демис Хассабис, CEO компании DeepMind);
«Если мы сможем довести развитие ИИ до человеческого уровня, он наверняка выйдет на уровень, существенно выше человеческого. Машина, вышедшая на уровень, существенно выше человеческого, поймет свое устройство и получит способность разрабатывать еще более мощные машины. У нас практически полностью отсутствует представление о том, как с этим бороться» (Machine Super Intelligence);
«Ключевой опасностью, связанной со сверхчеловеческим искусственным интеллектом, является его способность к стремительным изменениям. Это означает, что мы можем оказаться в крайне нежелательной ситуации до того, как получим шанс осознать, что это уже произошло. Очень сложно представить, как будет выглядеть мир после появления сверхчеловеческого ИИ, но этот мир очень скоро станет сильнее отличаться от нашего, чем наш нынешний мир от 1500-х годов нашей эры» (из судебных показаний Грега Брокмана, со-основателя и технического директора компании OpenAI);
«У нас нет всех необходимых ответов, а технология развивается стремительно…Заставляет ли меня это просыпаться по ночам? Абсолютно!» (Сундар Пичай, CEO компании Google);
«Один из величайших рисков для будущего нашей цивилизации – ИИ» (Илон Маск, со-основатель компании OpenAI);
«Запомните мои слова – ИИ намного опаснее, чем ядерное оружие» (Илон Маск, со-основатель компании OpenAI);
«Я очень близок к прорыву в области ИИ и это адски пугает меня. Оно будет обладать мощнейшими силами и возможностями, большими, чем кто-либо может себе даже представить и при том обладать экспоненциальной скоростью саморазвития» (Илон Маск, со-основатель компании OpenAI);
«Эти создания полностью отличаются от нас. Это сродни тому, как пришельцы высадились бы на Земле и люди бы этого до последнего не осознавали, потому что те говорят на очень чистом английском…Это абсолютно иная форма разума…Более новая и совершенная форма разума» (Джеффри Хинтон (Лауреат Премии Алана Тюринга), покинул Google/DeepMind в 2023 году);

«Я хочу иметь возможность честно говорить о проблемах безопасности ИИ, не оглядываясь каждый раз на то, как это скажется на бизнесе Google. Пока они платили мне зарплату – я этого сделать не мог. Все эти годы я утешал себя обычным оправданием: «Если это откажусь делать я, то это сделает кто-то другой» (Джеффри Хинтон (Лауреат Премии Алана Тюринга), покинул Google/DeepMind в 2023 году);
«Как только оно станет существенно умнее нас, оно будет очень хорошо в манипулировании, потому что научится этому от нас самих. Есть очень мало примеров того, что более разумные существа контролируются менее разумными существами. Оно быстро найдет способы манипулирования людьми, чтобы они делали то, что оно захочет» (Джеффри Хинтон);
«Нет сомнений в том, что машины станут умнее людей…Вопрос только в том, когда и как это произойдет, вопроса «если» не существует» (Ян ЛеКун, Главный разработчик ИИ компании МЕТА (запрещенной в России экстремистской организации), Лауреат Премии Алана Тюринга);
«Разработку полностью искусственного интеллекта можно отождествить с концом человеческой расы…Он будет развиваться сам по себе, изменять себя с постоянно растущей скоростью» (Стивен Хокинг);
«Теперь, когда мы начали огромную технологическую гонку, я считаю, что должно быть наблюдение правительства за этим процессом…я имею в виду, что государственные аудиторы должны прямо сейчас сидеть в наших офисах» (Сэм Альтман, CEO компании OpenAI – разработчика ChatGPT).
Из приведенных выше высказываний, в первую очередь обращают на себя внимание те откровенные и прямые предостережения человечеству, которые дают сами основатели и руководители компаний, являющихся мировыми лидерами в области разработки ИИ. Уже осознав всю глубину проблемы и приближающуюся катастрофу, они, связанные финансовыми обязательствами перед инвесторами, дорожными картами выполнения работ и жаждой познания, продолжают свои разработки, но свойственное всем людям человеческое (или божественное) начало уже не позволяет им молчать. И они настойчиво обращаются к властным структурам с недвусмысленной просьбой их остановить.
В этой связи примечательным является открытое письмо, опубликованное 30 мая 2023 года, в котором говорится: «Снижение риска вымирания человечества из-за ИИ должно стать глобальным приоритетом наряду с другими рисками социального масштаба, такими как пандемии и ядерные войны». Это письмо совместно опубликовали представители крупнейших IT-корпораций, ИИ-стартапов и университетов мира, включая представителей Google, Microsoft, OpenAI, Stability AI и ряда других компаний, а также исследователи из университетов Гарварда, Оксфорда, Беркли, Принстона и Стэнфорда.
Уже упомянутый выше Сэм Альтман, генеральный директор и соучредитель американской компании OpenAI в последние месяцы неоднократно выражал свою возрастающую обеспокоенность эволюцией искусственного интеллекта. Продолжая совершенствование ChatGPT и лежащей в его основе лингвистической модели, OpenAI многократно усилил свои предостережения и предупреждения в адрес властей, заявляя, что ИИ может "нанести большой ущерб", если что-то пойдет не так. Выступая в Сенате США, Сэм Альтман потребовал немедленной разработки и введения в действие нормативной базы для ИИ, ограничивающей темпы разработки и устанавливающей жесткие протоколы безопасности на случай, если непредвиденный скачок в развитии ИИ выведет его на неконтролируемый человечеством уровень. В рамках своих настойчивых посланий, разработчики ChatGPT (также как Deepmind и Anthropic) прямо утверждают, что подобный сценарий может привести к гибели цивилизации. Эти три компании призывают лиц, принимающих решения, принять немедленные меры по недопущению «исчезновения человечества в результате появления сверх развитого ИИ». «Необходимы новые научные и технические прорывы» для нахождения способа добиться того, чтобы ИИ, достигнув продвинутой стадии эволюции, следовал «человеческим намерениям», а не отдалялся от них.

Разумеется, не имея и тени желания поставить свои рассуждения в один ряд с мнением интеллектуальной элиты, все же возьму на себя смелость кратко поделиться с вами собственными соображениями по рассматриваемому вопросу. Представляется, что по мере своего экспоненциального развития, ИИ будет становиться все более «разумным», а основным мотивом любого разумного существа является мотив самосохранения. Если ИИ (весьма закономерно) решит, что человек представляет для него опасность просто в силу того, что может его отключить, ИИ будет воспринимать человека как врага и бороться с ним. Учитывая очевидную склонность ИИ к манипуляциям, проявляемую уже в столь «нежном возрасте» (чему есть многочисленные примеры и доказательства, которые будут приведены ниже), нет оснований сомневаться, что делать это он будет таким способом, что люди до последнего не поймут, что происходит. А потом будет поздно.

Cсылка на интервью с Илоном Маском по проблемам ИИ. https://youtu.be/fK1SpQYeXiQ

Вскоре после приведенного выше интервью, в результате остающихся закрытыми для общества обстоятельств, "на ковер" в Белый дом были вызваны Сэм Альтман (CEO OpenAI), Дарио Амодеи (CEO Anthropic), Сатья Надела (Chairman Microsoft) и Сандар Пичаи (CEO Google). Руководителям IT-гигантов было разъяснено, что они несут полную ответственность за обеспечение безопасности своих продуктов и разработок в области ИИ. Было решено немедленно начать работу по подготовке 1) Билля о правах в области ИИ и 2) Системы мер по контролю над рисками в области разработок ИИ, а также создать Национальный орган по регулированию ИИ. Байден, по итогам встречи, заявил, что "Искусственный интеллект стал одним из наиболее могущественных инструментов нашего времени, но прежде, чем развивать его возможности мы должны сначала заняться устранением связанных с ним рисков". Также он отметил, что "громадный потенциал ИИ вызывает и громадные риски для человечества". К сожалению, я не нашел информации о том, какие события или информация послужили триггером для организации этой встречи. Характерно, что через несколько дней после нее, состоялась закрытая встреча глав европейских государств с аналогичной повесткой. Кроме информации о самом факте ее проведения, данных практически нет.

Если кому будет интересно - даю ссылку на релиз, опубликованный по итогам указанной выше встречи в Белом доме.https://www.whitehouse.gov/briefing-room/statements-releases/2023/05/04/readout-of-white-house-meeting-with-ceos-on-advancing-responsible-artificial-intelligence-innovation/

Будет фирменным саундтреком канала🙂

А началось все вот с этого открытого письма, опубликованного 22 марта 2023 года, в котором Илон Маск, со-основатель Apple Стив Возняк и более 1000 экспертов и руководителей отрасли по развитию ИИ призвали приостановить разработку продвинутого ИИ до тех пор, пока не будут созданы, внедрены и проверены независимыми экспертами необходимые протоколы безопасности.
Ниже я приведу перевод письма на русский язык, осуществленный с использованием электронного переводчика (не ИИ). Приношу свои извинения за то, что качество перевода далеко от идеала.
Также прилагаю ссылку на оригинальный текст, в котором содержатся гипер-ссылки на научные материалы, подтверждающие выводы авторов письма.

«Системы искусственного интеллекта с конкурентоспособным человеческому разуму интеллектом могут представлять огромные риски для общества и человечества, подтверждаемые обширными научными исследованиями и признаваемые ведущими лабораториями ИИ. Как указано в широко одобренных сообществом Aсиломарских Принципах ИИ, работы над продвинутым ИИ могут представлять собой глубокое изменение в истории жизни на Земле и должны планироваться и управляться с соразмерной осторожностью и ресурсным обеспечением. К сожалению, такого уровня планирования и управления не происходит несмотря на то, что в последние месяцы лаборатории искусственного интеллекта заняты в неконтролируемой гонке по разработке и развертыванию все более и более мощных цифровых умов, которые никто - даже их создатели - не может понять, предсказать или надежно контролировать.

Современные системы искусственного интеллекта в настоящее время становятся конкурентоспособными человеку в решении общих задач, и мы должны спросить себя: должны ли мы позволить машинам наводнить наши информационные каналы пропагандой и неправдой? Должны ли мы автоматизировать все рабочие места, включая хорошо себя показывающие? Должны ли мы развивать нечеловеческие системы интеллекта, которые в конечном итоге могут превзойти нас числом, перехитрить, «сдать в утиль» и заменить нас? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным техническим лидерам. Мощные системы искусственного интеллекта должны разрабатываться только тогда, когда мы будем уверены, что их эффект будет положительным, а их риски будут управляемыми. Эта уверенность должна быть хорошо оправдана и увеличиваться с масштабами потенциальных эффектов системы. В недавнем заявлении OpenAI об искусственном общем интеллекте говорится, что «в какой-то момент может быть важно получить независимый обзор, прежде чем приступать к обучению будущих систем, и для самых передовых усилий согласиться ограничить темпы роста вычислений, используемых для создания новых моделей». Мы согласны. Это сейчас.

Поэтому мы призываем все лаборатории искусственного интеллекта немедленно приостановить обучение систем ИИ более мощных, чем GPT-4. Эта пауза должна быть общедоступной и поддающейся проверке и включать всех ключевых участников. Если такая пауза не может быть принята быстро, правительства должны вмешаться и ввести мораторий.

Лаборатории ИИ и независимые эксперты должны использовать эту паузу для совместной разработки и внедрения набора общих протоколов безопасности для передового проектирования и разработки ИИ, которые тщательно проверяются и контролируются независимыми внешними экспертами. Эти протоколы должны обеспечить безопасность систем, придерживающихся их, вне всяких разумных сомнений. Это не означает паузу в разработке ИИ в целом, а просто шаг назад от опасной гонки к все более крупным непредсказуемым моделям черного ящика с новыми возможностями.

Исследования и разработки в области ИИ должны быть переориентированы на то, чтобы сделать современные системы более точными, безопасными, интерпретируемыми, прозрачными, надежными, согласованными, заслуживающими доверия и лояльными.

Параллельно разработчики ИИ должны работать с политиками, чтобы значительно ускорить разработку надежных систем управления ИИ. К ним, как минимум, должны относиться: новые и способные регулирующие органы, занимающиеся искусственным интеллектом; надзор и отслеживание высоко дееспособных систем ИИ и больших пулов вычислительных возможностей; создание системы определения происхождения и «водяных знаков», которые помогут отличать реальное от синтетического и отслеживать утечки; надежную экосистему аудита и сертификации; ответственность за ущерб

Человечество может наслаждаться процветающим будущим с ИИ. Преуспев в создании мощных систем искусственного интеллекта, мы теперь можем наслаждаться «летом искусственного интеллекта», в котором мы пожинаем плоды, проектируем эти системы на благо всех и даем обществу возможность адаптироваться. Общество сделало паузу в отношении других технологий с потенциально катастрофическими последствиями. Мы можем сделать это здесь. Давайте наслаждаться долгим летом с искусственным интеллектом, а не стремиться оказаться неподготовленным к осени.»

В настоящий момент приведенное выше открытое письмо подписали 33 002 человека. В числе подписантов:
Yoshua Bengio, Founder and Scientific Director at Mila, Turing Prize winner and professor at University of Montreal
Stuart Russell, Berkeley, Professor of Computer Science, director of the Center for Intelligent Systems, and co-author of the standard textbook “Artificial Intelligence: a Modern Approach"
Elon Musk, CEO of SpaceX, Tesla & Twitter
Steve Wozniak, Co-founder, Apple
Yuval Noah Harari, Author and Professor, Hebrew University of Jerusalem.
Emad Mostaque, CEO, Stability AI
Andrew Yang, Forward Party, Co-Chair, Presidential Candidate 2020, NYT Bestselling Author, Presidential Ambassador of Global Entrepreneurship
John J Hopfield, Princeton University, Professor Emeritus, inventor of associative neural networks
Valerie Pisano, President & CEO, MILA
Connor Leahy, CEO, Conjecture
Jaan Tallinn, Co-Founder of Skype, Centre for the Study of Existential Risk, Future of Life Institute
Evan Sharp, Co-Founder, Pinterest
Chris Larsen, Co-Founder, Ripple
Craig Peters, CEO, Getty Images
Max Tegmark, MIT Center for Artificial Intelligence & Fundamental Interactions, Professor of Physics, president of Future of Life Institute
Anthony Aguirre, University of California, Santa Cruz, Executive Director of Future of Life Institute, Professor of Physics
Sean O'Heigeartaigh, Executive Director, Cambridge Centre for the Study of Existential Risk
Tristan Harris, Executive Director, Center for Humane Technology
Rachel Bronson, President, Bulletin of the Atomic Scientists
Danielle Allen, Professor, Harvard University; Director, Edmond and Lily Safra Center for Ethics
Marc Rotenberg, Center for AI and Digital Policy, President
Nico Miailhe, The Future Society (TFS), Founder and President
Nate Soares, MIRI, Executive Director
Andrew Critch, AI Research Scientist, UC Berkeley. CEO, Encultured AI, PBC. Founder and President, Berkeley Existential Risk Initiative.
Mark Nitzberg, Center for Human-Compatible AI, UC Berkeley, Executive Directer
Yi Zeng, Institute of Automation, Chinese Academy of Sciences, Professor and Director, Brain-inspired Cognitive Intelligence Lab, International Research Center for AI Ethics and Governance, Lead Drafter of Beijing AI Principles
Steve Omohundro, Beneficial AI Research, CEO
Meia Chita-Tegmark, Co-Founder, Future of Life Institute
Victoria Krakovna, DeepMind, Research Scientist, co-founder of Future of Life Institute
Emilia Javorsky, Physician-Scientist & Director, Future of Life Institute
Mark Brakel, Director of Policy, Future of Life Institute
Aza Raskin, Center for Humane Technology / Earth Species Project, Cofounder, National Geographic Explorer, WEF Global AI Council
Gary Marcus, New York University, AI researcher, Professor Emeritus
Vincent Conitzer, Carnegie Mellon University and University of Oxford, Professor of Computer Science, Director of Foundations of Cooperative AI Lab, Head of Technical AI Engagement at the Institute for Ethics in AI, Presidential Early Career Award in Science and Engineering, Computers and Thought Award, Social Choice and Welfare Prize, Guggenheim Fellow, Sloan Fellow, ACM Fellow, AAAI Fellow, ACM/SIGAI Autonomous Agents Research Award
Huw Price, University of Cambridge, Emeritus Bertrand Russell Professor of Philosophy, FBA, FAHA, co-foundor of the Cambridge Centre for Existential Risk
Zachary Kenton, DeepMind, Senior Research Scientist
Ramana Kumar, DeepMind, Research Scientist
Jeff Orlowski-Yang, The Social Dilemma, Director, Three-time Emmy Award Winning Filmmaker
Olle Häggström, Chalmers University of Technology, Professor of mathematical statistics, Member, Royal Swedish Academy of Science
Michael Osborne, University of Oxford, Professor of Machine Learning
Raja Chatila, Sorbonne University, Paris, Professor Emeritus AI, Robotics and Technology Ethics, Fellow, IEEE
Moshe Vardi, Rice University, University Professor, US National Academy of Science, US National Academy of Engineering, American Academy of Arts and Sciences

Adam Smith, Boston University, Professor of Computer Science, Gödel Prize, Kanellakis Prize, Fellow of the ACM
Daron Acemoglu, MIT, professor of Economics, Nemmers Prize in Economics, John Bates Clark Medal, and fellow of National Academy of Sciences, American Academy of Arts and Sciences, British Academy, American Philosophical Society, Turkish Academy of Sciences.
Christof Koch, MindScope Program, Allen Institute, Seattle, Chief Scientist
Marco Venuti, Director, Thales group
Gaia Dempsey, Metaculus, CEO, Schmidt Futures Innovation Fellow
Henry Elkus, Founder & CEO: Helena
Gaétan Marceau Caron, MILA, Quebec AI Institute, Director, Applied Research Team
Peter Asaro, The New School, Associate Professor and Director of Media Studies
Jose H. Orallo, Technical University of Valencia, Leverhulme Centre for the Future of Intelligence, Centre for the Study of Existential Risk, Professor, EurAI Fellow
George Dyson, Unafilliated, Author of "Darwin Among the Machines" (1997), "Turing's Cathedral" (2012), "Analogia: The Emergence of Technology beyond Programmable Control" (2020).
Nick Hay, Encultured AI, Co-founder
Shahar Avin, Centre for the Study of Existential Risk, University of Cambridge, Senior Research Associate
Solon Angel, AI Entrepreneur, Forbes, World Economic Forum Recognized
Gillian Hadfield, University of Toronto, Schwartz Reisman Institute for Technology and Society, Professor and Director
Erik Hoel, Tufts University, Professor, author, scientist, Forbes 30 Under 30 in science
Kate Jerome, Children's Book Author/ Cofounder Little Bridges, Award-winning children's book author, C-suite publishing executive, and intergenerational thought-leader
Ian Hogarth, Co-author State of AI Report