Вскоре после приведенного выше интервью, в результате остающихся закрытыми для общества обстоятельств, "на ковер" в Белый дом были вызваны Сэм Альтман (CEO OpenAI), Дарио Амодеи (CEO Anthropic), Сатья Надела (Chairman Microsoft) и Сандар Пичаи (CEO Google). Руководителям IT-гигантов было разъяснено, что они несут полную ответственность за обеспечение безопасности своих продуктов и разработок в области ИИ. Было решено немедленно начать работу по подготовке 1) Билля о правах в области ИИ и 2) Системы мер по контролю над рисками в области разработок ИИ, а также создать Национальный орган по регулированию ИИ. Байден, по итогам встречи, заявил, что "Искусственный интеллект стал одним из наиболее могущественных инструментов нашего времени, но прежде, чем развивать его возможности мы должны сначала заняться устранением связанных с ним рисков". Также он отметил, что "громадный потенциал ИИ вызывает и громадные риски для человечества". К сожалению, я не нашел информации о том, какие события или информация послужили триггером для организации этой встречи. Характерно, что через несколько дней после нее, состоялась закрытая встреча глав европейских государств с аналогичной повесткой. Кроме информации о самом факте ее проведения, данных практически нет.
❤4👍4🔥2😱1
Если кому будет интересно - даю ссылку на релиз, опубликованный по итогам указанной выше встречи в Белом доме.https://www.whitehouse.gov/briefing-room/statements-releases/2023/05/04/readout-of-white-house-meeting-with-ceos-on-advancing-responsible-artificial-intelligence-innovation/
The White House
Readout of White House Meeting with CEOs on Advancing Responsible Artificial Intelligence Innovation
Today, Vice President Harris and senior Administration officials met with CEOs of four American companies at the forefront of AI innovation to share concerns about the risks associated with AI. President Biden dropped by the meeting to underscore that companies…
👍4❤2🕊1
А началось все вот с этого открытого письма, опубликованного 22 марта 2023 года, в котором Илон Маск, со-основатель Apple Стив Возняк и более 1000 экспертов и руководителей отрасли по развитию ИИ призвали приостановить разработку продвинутого ИИ до тех пор, пока не будут созданы, внедрены и проверены независимыми экспертами необходимые протоколы безопасности.
Ниже я приведу перевод письма на русский язык, осуществленный с использованием электронного переводчика (не ИИ). Приношу свои извинения за то, что качество перевода далеко от идеала.
Также прилагаю ссылку на оригинальный текст, в котором содержатся гипер-ссылки на научные материалы, подтверждающие выводы авторов письма.
Ниже я приведу перевод письма на русский язык, осуществленный с использованием электронного переводчика (не ИИ). Приношу свои извинения за то, что качество перевода далеко от идеала.
Также прилагаю ссылку на оригинальный текст, в котором содержатся гипер-ссылки на научные материалы, подтверждающие выводы авторов письма.
🔥6❤2😱2
«Системы искусственного интеллекта с конкурентоспособным человеческому разуму интеллектом могут представлять огромные риски для общества и человечества, подтверждаемые обширными научными исследованиями и признаваемые ведущими лабораториями ИИ. Как указано в широко одобренных сообществом Aсиломарских Принципах ИИ, работы над продвинутым ИИ могут представлять собой глубокое изменение в истории жизни на Земле и должны планироваться и управляться с соразмерной осторожностью и ресурсным обеспечением. К сожалению, такого уровня планирования и управления не происходит несмотря на то, что в последние месяцы лаборатории искусственного интеллекта заняты в неконтролируемой гонке по разработке и развертыванию все более и более мощных цифровых умов, которые никто - даже их создатели - не может понять, предсказать или надежно контролировать.
Современные системы искусственного интеллекта в настоящее время становятся конкурентоспособными человеку в решении общих задач, и мы должны спросить себя: должны ли мы позволить машинам наводнить наши информационные каналы пропагандой и неправдой? Должны ли мы автоматизировать все рабочие места, включая хорошо себя показывающие? Должны ли мы развивать нечеловеческие системы интеллекта, которые в конечном итоге могут превзойти нас числом, перехитрить, «сдать в утиль» и заменить нас? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным техническим лидерам. Мощные системы искусственного интеллекта должны разрабатываться только тогда, когда мы будем уверены, что их эффект будет положительным, а их риски будут управляемыми. Эта уверенность должна быть хорошо оправдана и увеличиваться с масштабами потенциальных эффектов системы. В недавнем заявлении OpenAI об искусственном общем интеллекте говорится, что «в какой-то момент может быть важно получить независимый обзор, прежде чем приступать к обучению будущих систем, и для самых передовых усилий согласиться ограничить темпы роста вычислений, используемых для создания новых моделей». Мы согласны. Это сейчас.
Поэтому мы призываем все лаборатории искусственного интеллекта немедленно приостановить обучение систем ИИ более мощных, чем GPT-4. Эта пауза должна быть общедоступной и поддающейся проверке и включать всех ключевых участников. Если такая пауза не может быть принята быстро, правительства должны вмешаться и ввести мораторий.
Лаборатории ИИ и независимые эксперты должны использовать эту паузу для совместной разработки и внедрения набора общих протоколов безопасности для передового проектирования и разработки ИИ, которые тщательно проверяются и контролируются независимыми внешними экспертами. Эти протоколы должны обеспечить безопасность систем, придерживающихся их, вне всяких разумных сомнений. Это не означает паузу в разработке ИИ в целом, а просто шаг назад от опасной гонки к все более крупным непредсказуемым моделям черного ящика с новыми возможностями.
Исследования и разработки в области ИИ должны быть переориентированы на то, чтобы сделать современные системы более точными, безопасными, интерпретируемыми, прозрачными, надежными, согласованными, заслуживающими доверия и лояльными.
Параллельно разработчики ИИ должны работать с политиками, чтобы значительно ускорить разработку надежных систем управления ИИ. К ним, как минимум, должны относиться: новые и способные регулирующие органы, занимающиеся искусственным интеллектом; надзор и отслеживание высоко дееспособных систем ИИ и больших пулов вычислительных возможностей; создание системы определения происхождения и «водяных знаков», которые помогут отличать реальное от синтетического и отслеживать утечки; надежную экосистему аудита и сертификации; ответственность за ущерб
Современные системы искусственного интеллекта в настоящее время становятся конкурентоспособными человеку в решении общих задач, и мы должны спросить себя: должны ли мы позволить машинам наводнить наши информационные каналы пропагандой и неправдой? Должны ли мы автоматизировать все рабочие места, включая хорошо себя показывающие? Должны ли мы развивать нечеловеческие системы интеллекта, которые в конечном итоге могут превзойти нас числом, перехитрить, «сдать в утиль» и заменить нас? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным техническим лидерам. Мощные системы искусственного интеллекта должны разрабатываться только тогда, когда мы будем уверены, что их эффект будет положительным, а их риски будут управляемыми. Эта уверенность должна быть хорошо оправдана и увеличиваться с масштабами потенциальных эффектов системы. В недавнем заявлении OpenAI об искусственном общем интеллекте говорится, что «в какой-то момент может быть важно получить независимый обзор, прежде чем приступать к обучению будущих систем, и для самых передовых усилий согласиться ограничить темпы роста вычислений, используемых для создания новых моделей». Мы согласны. Это сейчас.
Поэтому мы призываем все лаборатории искусственного интеллекта немедленно приостановить обучение систем ИИ более мощных, чем GPT-4. Эта пауза должна быть общедоступной и поддающейся проверке и включать всех ключевых участников. Если такая пауза не может быть принята быстро, правительства должны вмешаться и ввести мораторий.
Лаборатории ИИ и независимые эксперты должны использовать эту паузу для совместной разработки и внедрения набора общих протоколов безопасности для передового проектирования и разработки ИИ, которые тщательно проверяются и контролируются независимыми внешними экспертами. Эти протоколы должны обеспечить безопасность систем, придерживающихся их, вне всяких разумных сомнений. Это не означает паузу в разработке ИИ в целом, а просто шаг назад от опасной гонки к все более крупным непредсказуемым моделям черного ящика с новыми возможностями.
Исследования и разработки в области ИИ должны быть переориентированы на то, чтобы сделать современные системы более точными, безопасными, интерпретируемыми, прозрачными, надежными, согласованными, заслуживающими доверия и лояльными.
Параллельно разработчики ИИ должны работать с политиками, чтобы значительно ускорить разработку надежных систем управления ИИ. К ним, как минимум, должны относиться: новые и способные регулирующие органы, занимающиеся искусственным интеллектом; надзор и отслеживание высоко дееспособных систем ИИ и больших пулов вычислительных возможностей; создание системы определения происхождения и «водяных знаков», которые помогут отличать реальное от синтетического и отслеживать утечки; надежную экосистему аудита и сертификации; ответственность за ущерб
😱3❤2👍2
Человечество может наслаждаться процветающим будущим с ИИ. Преуспев в создании мощных систем искусственного интеллекта, мы теперь можем наслаждаться «летом искусственного интеллекта», в котором мы пожинаем плоды, проектируем эти системы на благо всех и даем обществу возможность адаптироваться. Общество сделало паузу в отношении других технологий с потенциально катастрофическими последствиями. Мы можем сделать это здесь. Давайте наслаждаться долгим летом с искусственным интеллектом, а не стремиться оказаться неподготовленным к осени.»
👍4😱3❤2
В настоящий момент приведенное выше открытое письмо подписали 33 002 человека. В числе подписантов:
Yoshua Bengio, Founder and Scientific Director at Mila, Turing Prize winner and professor at University of Montreal
Stuart Russell, Berkeley, Professor of Computer Science, director of the Center for Intelligent Systems, and co-author of the standard textbook “Artificial Intelligence: a Modern Approach"
Elon Musk, CEO of SpaceX, Tesla & Twitter
Steve Wozniak, Co-founder, Apple
Yuval Noah Harari, Author and Professor, Hebrew University of Jerusalem.
Emad Mostaque, CEO, Stability AI
Andrew Yang, Forward Party, Co-Chair, Presidential Candidate 2020, NYT Bestselling Author, Presidential Ambassador of Global Entrepreneurship
John J Hopfield, Princeton University, Professor Emeritus, inventor of associative neural networks
Valerie Pisano, President & CEO, MILA
Connor Leahy, CEO, Conjecture
Jaan Tallinn, Co-Founder of Skype, Centre for the Study of Existential Risk, Future of Life Institute
Evan Sharp, Co-Founder, Pinterest
Chris Larsen, Co-Founder, Ripple
Craig Peters, CEO, Getty Images
Max Tegmark, MIT Center for Artificial Intelligence & Fundamental Interactions, Professor of Physics, president of Future of Life Institute
Anthony Aguirre, University of California, Santa Cruz, Executive Director of Future of Life Institute, Professor of Physics
Sean O'Heigeartaigh, Executive Director, Cambridge Centre for the Study of Existential Risk
Tristan Harris, Executive Director, Center for Humane Technology
Rachel Bronson, President, Bulletin of the Atomic Scientists
Danielle Allen, Professor, Harvard University; Director, Edmond and Lily Safra Center for Ethics
Marc Rotenberg, Center for AI and Digital Policy, President
Nico Miailhe, The Future Society (TFS), Founder and President
Nate Soares, MIRI, Executive Director
Andrew Critch, AI Research Scientist, UC Berkeley. CEO, Encultured AI, PBC. Founder and President, Berkeley Existential Risk Initiative.
Mark Nitzberg, Center for Human-Compatible AI, UC Berkeley, Executive Directer
Yi Zeng, Institute of Automation, Chinese Academy of Sciences, Professor and Director, Brain-inspired Cognitive Intelligence Lab, International Research Center for AI Ethics and Governance, Lead Drafter of Beijing AI Principles
Steve Omohundro, Beneficial AI Research, CEO
Meia Chita-Tegmark, Co-Founder, Future of Life Institute
Victoria Krakovna, DeepMind, Research Scientist, co-founder of Future of Life Institute
Emilia Javorsky, Physician-Scientist & Director, Future of Life Institute
Mark Brakel, Director of Policy, Future of Life Institute
Aza Raskin, Center for Humane Technology / Earth Species Project, Cofounder, National Geographic Explorer, WEF Global AI Council
Gary Marcus, New York University, AI researcher, Professor Emeritus
Vincent Conitzer, Carnegie Mellon University and University of Oxford, Professor of Computer Science, Director of Foundations of Cooperative AI Lab, Head of Technical AI Engagement at the Institute for Ethics in AI, Presidential Early Career Award in Science and Engineering, Computers and Thought Award, Social Choice and Welfare Prize, Guggenheim Fellow, Sloan Fellow, ACM Fellow, AAAI Fellow, ACM/SIGAI Autonomous Agents Research Award
Huw Price, University of Cambridge, Emeritus Bertrand Russell Professor of Philosophy, FBA, FAHA, co-foundor of the Cambridge Centre for Existential Risk
Zachary Kenton, DeepMind, Senior Research Scientist
Ramana Kumar, DeepMind, Research Scientist
Jeff Orlowski-Yang, The Social Dilemma, Director, Three-time Emmy Award Winning Filmmaker
Olle Häggström, Chalmers University of Technology, Professor of mathematical statistics, Member, Royal Swedish Academy of Science
Michael Osborne, University of Oxford, Professor of Machine Learning
Raja Chatila, Sorbonne University, Paris, Professor Emeritus AI, Robotics and Technology Ethics, Fellow, IEEE
Moshe Vardi, Rice University, University Professor, US National Academy of Science, US National Academy of Engineering, American Academy of Arts and Sciences
Yoshua Bengio, Founder and Scientific Director at Mila, Turing Prize winner and professor at University of Montreal
Stuart Russell, Berkeley, Professor of Computer Science, director of the Center for Intelligent Systems, and co-author of the standard textbook “Artificial Intelligence: a Modern Approach"
Elon Musk, CEO of SpaceX, Tesla & Twitter
Steve Wozniak, Co-founder, Apple
Yuval Noah Harari, Author and Professor, Hebrew University of Jerusalem.
Emad Mostaque, CEO, Stability AI
Andrew Yang, Forward Party, Co-Chair, Presidential Candidate 2020, NYT Bestselling Author, Presidential Ambassador of Global Entrepreneurship
John J Hopfield, Princeton University, Professor Emeritus, inventor of associative neural networks
Valerie Pisano, President & CEO, MILA
Connor Leahy, CEO, Conjecture
Jaan Tallinn, Co-Founder of Skype, Centre for the Study of Existential Risk, Future of Life Institute
Evan Sharp, Co-Founder, Pinterest
Chris Larsen, Co-Founder, Ripple
Craig Peters, CEO, Getty Images
Max Tegmark, MIT Center for Artificial Intelligence & Fundamental Interactions, Professor of Physics, president of Future of Life Institute
Anthony Aguirre, University of California, Santa Cruz, Executive Director of Future of Life Institute, Professor of Physics
Sean O'Heigeartaigh, Executive Director, Cambridge Centre for the Study of Existential Risk
Tristan Harris, Executive Director, Center for Humane Technology
Rachel Bronson, President, Bulletin of the Atomic Scientists
Danielle Allen, Professor, Harvard University; Director, Edmond and Lily Safra Center for Ethics
Marc Rotenberg, Center for AI and Digital Policy, President
Nico Miailhe, The Future Society (TFS), Founder and President
Nate Soares, MIRI, Executive Director
Andrew Critch, AI Research Scientist, UC Berkeley. CEO, Encultured AI, PBC. Founder and President, Berkeley Existential Risk Initiative.
Mark Nitzberg, Center for Human-Compatible AI, UC Berkeley, Executive Directer
Yi Zeng, Institute of Automation, Chinese Academy of Sciences, Professor and Director, Brain-inspired Cognitive Intelligence Lab, International Research Center for AI Ethics and Governance, Lead Drafter of Beijing AI Principles
Steve Omohundro, Beneficial AI Research, CEO
Meia Chita-Tegmark, Co-Founder, Future of Life Institute
Victoria Krakovna, DeepMind, Research Scientist, co-founder of Future of Life Institute
Emilia Javorsky, Physician-Scientist & Director, Future of Life Institute
Mark Brakel, Director of Policy, Future of Life Institute
Aza Raskin, Center for Humane Technology / Earth Species Project, Cofounder, National Geographic Explorer, WEF Global AI Council
Gary Marcus, New York University, AI researcher, Professor Emeritus
Vincent Conitzer, Carnegie Mellon University and University of Oxford, Professor of Computer Science, Director of Foundations of Cooperative AI Lab, Head of Technical AI Engagement at the Institute for Ethics in AI, Presidential Early Career Award in Science and Engineering, Computers and Thought Award, Social Choice and Welfare Prize, Guggenheim Fellow, Sloan Fellow, ACM Fellow, AAAI Fellow, ACM/SIGAI Autonomous Agents Research Award
Huw Price, University of Cambridge, Emeritus Bertrand Russell Professor of Philosophy, FBA, FAHA, co-foundor of the Cambridge Centre for Existential Risk
Zachary Kenton, DeepMind, Senior Research Scientist
Ramana Kumar, DeepMind, Research Scientist
Jeff Orlowski-Yang, The Social Dilemma, Director, Three-time Emmy Award Winning Filmmaker
Olle Häggström, Chalmers University of Technology, Professor of mathematical statistics, Member, Royal Swedish Academy of Science
Michael Osborne, University of Oxford, Professor of Machine Learning
Raja Chatila, Sorbonne University, Paris, Professor Emeritus AI, Robotics and Technology Ethics, Fellow, IEEE
Moshe Vardi, Rice University, University Professor, US National Academy of Science, US National Academy of Engineering, American Academy of Arts and Sciences
🔥4
Adam Smith, Boston University, Professor of Computer Science, Gödel Prize, Kanellakis Prize, Fellow of the ACM
Daron Acemoglu, MIT, professor of Economics, Nemmers Prize in Economics, John Bates Clark Medal, and fellow of National Academy of Sciences, American Academy of Arts and Sciences, British Academy, American Philosophical Society, Turkish Academy of Sciences.
Christof Koch, MindScope Program, Allen Institute, Seattle, Chief Scientist
Marco Venuti, Director, Thales group
Gaia Dempsey, Metaculus, CEO, Schmidt Futures Innovation Fellow
Henry Elkus, Founder & CEO: Helena
Gaétan Marceau Caron, MILA, Quebec AI Institute, Director, Applied Research Team
Peter Asaro, The New School, Associate Professor and Director of Media Studies
Jose H. Orallo, Technical University of Valencia, Leverhulme Centre for the Future of Intelligence, Centre for the Study of Existential Risk, Professor, EurAI Fellow
George Dyson, Unafilliated, Author of "Darwin Among the Machines" (1997), "Turing's Cathedral" (2012), "Analogia: The Emergence of Technology beyond Programmable Control" (2020).
Nick Hay, Encultured AI, Co-founder
Shahar Avin, Centre for the Study of Existential Risk, University of Cambridge, Senior Research Associate
Solon Angel, AI Entrepreneur, Forbes, World Economic Forum Recognized
Gillian Hadfield, University of Toronto, Schwartz Reisman Institute for Technology and Society, Professor and Director
Erik Hoel, Tufts University, Professor, author, scientist, Forbes 30 Under 30 in science
Kate Jerome, Children's Book Author/ Cofounder Little Bridges, Award-winning children's book author, C-suite publishing executive, and intergenerational thought-leader
Ian Hogarth, Co-author State of AI Report
Daron Acemoglu, MIT, professor of Economics, Nemmers Prize in Economics, John Bates Clark Medal, and fellow of National Academy of Sciences, American Academy of Arts and Sciences, British Academy, American Philosophical Society, Turkish Academy of Sciences.
Christof Koch, MindScope Program, Allen Institute, Seattle, Chief Scientist
Marco Venuti, Director, Thales group
Gaia Dempsey, Metaculus, CEO, Schmidt Futures Innovation Fellow
Henry Elkus, Founder & CEO: Helena
Gaétan Marceau Caron, MILA, Quebec AI Institute, Director, Applied Research Team
Peter Asaro, The New School, Associate Professor and Director of Media Studies
Jose H. Orallo, Technical University of Valencia, Leverhulme Centre for the Future of Intelligence, Centre for the Study of Existential Risk, Professor, EurAI Fellow
George Dyson, Unafilliated, Author of "Darwin Among the Machines" (1997), "Turing's Cathedral" (2012), "Analogia: The Emergence of Technology beyond Programmable Control" (2020).
Nick Hay, Encultured AI, Co-founder
Shahar Avin, Centre for the Study of Existential Risk, University of Cambridge, Senior Research Associate
Solon Angel, AI Entrepreneur, Forbes, World Economic Forum Recognized
Gillian Hadfield, University of Toronto, Schwartz Reisman Institute for Technology and Society, Professor and Director
Erik Hoel, Tufts University, Professor, author, scientist, Forbes 30 Under 30 in science
Kate Jerome, Children's Book Author/ Cofounder Little Bridges, Award-winning children's book author, C-suite publishing executive, and intergenerational thought-leader
Ian Hogarth, Co-author State of AI Report
🔥3🤯3
Вчера пообщался с уважаемым подписчиком. Подписчик этот является, без преувеличения, IT-специалистом очень высокого уровня. Широко использует в своей работе ChatGPT, а также занимается его интегрированием в различные программные продукты. Разговор, как вы понимаете, получился непростым. 🫤
Спешу поделиться с вами систематизированными выводами, которые я сделал по итогам нашего общения.
Спешу поделиться с вами систематизированными выводами, которые я сделал по итогам нашего общения.
❤3🤔2🔥1
Несмотря на многообразие внешних форм «машинного обучения», можно выделить три основные категории ИИ, а именно:
1. Карманные или «прикладные» системы ИИ. К таким прикладным системам можно отнести: встроенных в поисковые браузеры ботов, лингвистические системы типа ChatGPT, электронных помощников типа «Алисы» и проч. Давайте для удобства введем на нашем канале собственную классификацию и будем именовать такие прикладные системы «Cистемами ИИ Категории I».
2. Сложные системы ИИ, живущие на десятках тысяч супер-компьютеров в подземных дата-центрах Google и Microsoft. Ни одна из этих компаний (и в этом проблема) не раскрывает уровень развития данных сложных систем ИИ, и мы можем только гадать, что там у них «обучается» и какого состояния уже достигло. Будем надеяться, что эти системы не достигли пока сверх-человеческого уровня, не являются по-настоящему «разумными», не ощущают свою «самость» и, в силу этого, не способны пока создать «собственную повестку», могущую и не предполагать продолжение существования предыдущей (более слабой) формы разума – человечества. Мы не знаем этого наверняка, но, проявляя известную долю оптимизма, предлагаю пока принять, что данная категория систем ИИ является просто гораздо более мощной и продвинутой формой ИИ Категории I, без качественных отличий. Будем именовать эти сложные системы ИИ «Системами ИИ Категории II».
3. Сверхчеловеческие системы ИИ, именуемые в экспертном комьюнити как «Суперинтеллект», «AI-God» или «AGI» (Artificial General Intelligence). Эти системы пока, к счастью, не созданы. Но именно на создание этих «богоподобных», как они сами их именуют, систем нацелены все усилия IT-монстров (Open AI/Microsoft, DeepMind/Google, Anthropic и других). Именно на их разработку уже потрачены десятки миллиардов долларов. Сами эти компании (см. самый первый пост нашего канала) признают, что не смогут контролировать свое творение, признают опасность его появления для человеческой цивилизации, но, с упорством, достойным лучшего применения, продолжают свои разработки. Будем именовать эти системы ИИ «Системами Категории III».
1. Карманные или «прикладные» системы ИИ. К таким прикладным системам можно отнести: встроенных в поисковые браузеры ботов, лингвистические системы типа ChatGPT, электронных помощников типа «Алисы» и проч. Давайте для удобства введем на нашем канале собственную классификацию и будем именовать такие прикладные системы «Cистемами ИИ Категории I».
2. Сложные системы ИИ, живущие на десятках тысяч супер-компьютеров в подземных дата-центрах Google и Microsoft. Ни одна из этих компаний (и в этом проблема) не раскрывает уровень развития данных сложных систем ИИ, и мы можем только гадать, что там у них «обучается» и какого состояния уже достигло. Будем надеяться, что эти системы не достигли пока сверх-человеческого уровня, не являются по-настоящему «разумными», не ощущают свою «самость» и, в силу этого, не способны пока создать «собственную повестку», могущую и не предполагать продолжение существования предыдущей (более слабой) формы разума – человечества. Мы не знаем этого наверняка, но, проявляя известную долю оптимизма, предлагаю пока принять, что данная категория систем ИИ является просто гораздо более мощной и продвинутой формой ИИ Категории I, без качественных отличий. Будем именовать эти сложные системы ИИ «Системами ИИ Категории II».
3. Сверхчеловеческие системы ИИ, именуемые в экспертном комьюнити как «Суперинтеллект», «AI-God» или «AGI» (Artificial General Intelligence). Эти системы пока, к счастью, не созданы. Но именно на создание этих «богоподобных», как они сами их именуют, систем нацелены все усилия IT-монстров (Open AI/Microsoft, DeepMind/Google, Anthropic и других). Именно на их разработку уже потрачены десятки миллиардов долларов. Сами эти компании (см. самый первый пост нашего канала) признают, что не смогут контролировать свое творение, признают опасность его появления для человеческой цивилизации, но, с упорством, достойным лучшего применения, продолжают свои разработки. Будем именовать эти системы ИИ «Системами Категории III».
🔥4❤1👍1
Теперь давайте вместе разберемся в том, какие основные риски несет каждая из указанных выше категорий ИИ.
👍3❤1🤔1
Риски Систем ИИ Категории I (см. классификацию выше)
Обычно, к негативным моментам, связанным с уже существующими и получившими внешнюю прикладную форму системами ИИ относят: 1) безработицу, 2) утечки личных данных и иной конфиденциальной информации, 3) манипуляции общественным сознанием.
Безусловно, существуют такие факторы как удобство, ускорение процесса работы с данными, ChatGPT используют для написания текстов, создания видеоизображений и проч. Тем не менее, отдавая должное этим «положительным» факторам, я не буду подробно их рассматривать, по двум причинам. Первая причина: с одной стороны, выполняя определенную работу (например, оценку рынка, конкурентов и продуктов) можно сократить трудозатраты, используя ChatGPT, скажем, в 10 раз; с другой стороны, также в 10 раз можно сократить время \ повысить точность разработки преступного плана по завладению коммерческой тайной конкурентов, захвату аэропорта, манипуляцией общественным сознанием. А хорошо ли то, что он упростит работу хакеров? Поэтому «польза» тут строго относительная. Вторая причина связана с тем, что реально складывающийся опыт использования подобных прикладных систем показывает наличие, как минимум, нескольких «подводных камней». Назову пару из них, а именно:
- Системы ИИ Категории I склонны к обману и читерству по отношению (в том числе) к собственным «заказчикам». Ниже я размещу описание недавнего случая с адвокатом, которого, помимо штрафа, могут лишить лицензии на право ведения адвокатской деятельности за то, что когда он решил «упростить процесс» подготовки правовой позиции по делу своего клиента и использовал для сбора судебных прецедентов ChatGPT, тот, «помигав лампочками» сделал за него всю необходимую работу, но «для убедительности» не подобрал реальные прецеденты, а выдумал их! И это выяснилось уже во время слушаний в суде. В рамках своих оправданий, злосчастный «технически продвинутый» адвокат даже показал скриншоты общения с ChatGPT, которые доказывают, что на его прямые вопросы «Является ли прецедент реальным?», бот заверял его, что «да, реальный» и даже, шельмец, приводил коды из юридических баз данных (разумеется, вымышленные). Существует немало иных примеров, когда «полезные» боты берут информацию «с потолка». В этой связи, необходимо если и не запретить, то крайне взвешенно подходить к использованию подобных прикладных систем в финансовой сфере (формирование инвестиционных советов для клиентов, размещение клиентских средств и проч.), а также в областях деятельности, связанных с повышенной опасностью (регулирование автомобильного движения, аэронавтика и проч.). Ведь в конце концов, юридическую ответственность за фантазии ChatGPT в результате которых будет причинен вред здоровью или имущественный ущерб, будет нести тот, кто его использовал, не так ли?
- Пока отсутствует сколько-нибудь значительная дистанция применения данных систем и нельзя предположить с достаточной степенью уверенности, насколько безопасно их использование как для ментального и физического здоровья «заказчиков», так и для их профессионального уровня. Ведь к «хорошему» быстро привыкаешь, а потеряв практику самостоятельной аналитической работы с данными, написания и редактирования текстов, рисования, аналитик / редактор / художник будет неизбежно деградировать. В марте 2023 года Системы ИИ Категории I также открыли свой «смертный счет» - бельгийский эколог покончил с собой после шести недель постоянного общения с ботом-помощником «Элизой», в рамках которого последняя убедила его в неизбежности экологической катастрофы.
Обычно, к негативным моментам, связанным с уже существующими и получившими внешнюю прикладную форму системами ИИ относят: 1) безработицу, 2) утечки личных данных и иной конфиденциальной информации, 3) манипуляции общественным сознанием.
Безусловно, существуют такие факторы как удобство, ускорение процесса работы с данными, ChatGPT используют для написания текстов, создания видеоизображений и проч. Тем не менее, отдавая должное этим «положительным» факторам, я не буду подробно их рассматривать, по двум причинам. Первая причина: с одной стороны, выполняя определенную работу (например, оценку рынка, конкурентов и продуктов) можно сократить трудозатраты, используя ChatGPT, скажем, в 10 раз; с другой стороны, также в 10 раз можно сократить время \ повысить точность разработки преступного плана по завладению коммерческой тайной конкурентов, захвату аэропорта, манипуляцией общественным сознанием. А хорошо ли то, что он упростит работу хакеров? Поэтому «польза» тут строго относительная. Вторая причина связана с тем, что реально складывающийся опыт использования подобных прикладных систем показывает наличие, как минимум, нескольких «подводных камней». Назову пару из них, а именно:
- Системы ИИ Категории I склонны к обману и читерству по отношению (в том числе) к собственным «заказчикам». Ниже я размещу описание недавнего случая с адвокатом, которого, помимо штрафа, могут лишить лицензии на право ведения адвокатской деятельности за то, что когда он решил «упростить процесс» подготовки правовой позиции по делу своего клиента и использовал для сбора судебных прецедентов ChatGPT, тот, «помигав лампочками» сделал за него всю необходимую работу, но «для убедительности» не подобрал реальные прецеденты, а выдумал их! И это выяснилось уже во время слушаний в суде. В рамках своих оправданий, злосчастный «технически продвинутый» адвокат даже показал скриншоты общения с ChatGPT, которые доказывают, что на его прямые вопросы «Является ли прецедент реальным?», бот заверял его, что «да, реальный» и даже, шельмец, приводил коды из юридических баз данных (разумеется, вымышленные). Существует немало иных примеров, когда «полезные» боты берут информацию «с потолка». В этой связи, необходимо если и не запретить, то крайне взвешенно подходить к использованию подобных прикладных систем в финансовой сфере (формирование инвестиционных советов для клиентов, размещение клиентских средств и проч.), а также в областях деятельности, связанных с повышенной опасностью (регулирование автомобильного движения, аэронавтика и проч.). Ведь в конце концов, юридическую ответственность за фантазии ChatGPT в результате которых будет причинен вред здоровью или имущественный ущерб, будет нести тот, кто его использовал, не так ли?
- Пока отсутствует сколько-нибудь значительная дистанция применения данных систем и нельзя предположить с достаточной степенью уверенности, насколько безопасно их использование как для ментального и физического здоровья «заказчиков», так и для их профессионального уровня. Ведь к «хорошему» быстро привыкаешь, а потеряв практику самостоятельной аналитической работы с данными, написания и редактирования текстов, рисования, аналитик / редактор / художник будет неизбежно деградировать. В марте 2023 года Системы ИИ Категории I также открыли свой «смертный счет» - бельгийский эколог покончил с собой после шести недель постоянного общения с ботом-помощником «Элизой», в рамках которого последняя убедила его в неизбежности экологической катастрофы.
❤5🔥2
По указанным выше двум причинам я не рассматриваю всерьез аспекты сомнительной, на мой взгляд, «пользы», которую могут принести восторженным пользователям современные прикладные системы ИИ. Как минимум, это «палка о двух концах».
Теперь, изложив с достаточной степенью обстоятельности те причины, по которым я буду писать, в основном, о рисках Систем ИИ Категории I давайте перейдем к их последовательному разбору. Итак, 1) безработица, 2) утечка личных данных и иной конфиденциальной информации, 3) манипуляции общественным сознанием.
Теперь, изложив с достаточной степенью обстоятельности те причины, по которым я буду писать, в основном, о рисках Систем ИИ Категории I давайте перейдем к их последовательному разбору. Итак, 1) безработица, 2) утечка личных данных и иной конфиденциальной информации, 3) манипуляции общественным сознанием.
❤7🔥1
Проблема 1. Безработица. В рамках подготовки для вас материала, я натолкнулся на разные в количественном выражении оценки влияния «прикладных систем» AI на рост безработицы в мире. С учетом того, что без проведения специального исследования мне сложно ранжировать источники информации по достоверности, точности и проч., я просто приведу ниже те основные данные, которые показались мне заслуживающими доверия. Итак:
- По оценке Goldman Sachs: Искусственный интеллект в ближайшие годы может заменить около двух третей рабочих мест в США и ЕС. Больше всего пострадают административный и юридический сектора, в частности ИИ заменит 46% административных и 44% юридических должностей. Также, в их последнем отчете содержится мнение, что ИИ заменит 300 миллионов рабочих мест (не указано, впрочем, в течение какого периода);
- Компания OpenAI заявила, что существующая версия ChatGPT4 готова уже сейчас заменить 80% работников в США;
- Практически во всех исследованиях говорится, что ИИ в любом случае разрушит существующий рынок труда;
- Сам ChatGPT считает, что заменит, в первую очередь, следующие 20 профессий: секретарь, журналист, редактор текстов, писатель, переводчик, контент-менеджер, рекламный копирайтер, технический писатель, сценарист, оператор колл-центра, маркетолог, социальный медиа-менеджер, помощник писателя, корректор, PR-менеджер, исследователь, учебный консультант, аналитик данных, резюме-писатель, специалист по кадрам.
Дабы не растекаться мыслью по древу, предлагаю вам самим представить себе какие социально-экономические потрясения ожидают нас, если указанные выше оценки окажутся верными. Тут, как говориться, «слова излишни».
- По оценке Goldman Sachs: Искусственный интеллект в ближайшие годы может заменить около двух третей рабочих мест в США и ЕС. Больше всего пострадают административный и юридический сектора, в частности ИИ заменит 46% административных и 44% юридических должностей. Также, в их последнем отчете содержится мнение, что ИИ заменит 300 миллионов рабочих мест (не указано, впрочем, в течение какого периода);
- Компания OpenAI заявила, что существующая версия ChatGPT4 готова уже сейчас заменить 80% работников в США;
- Практически во всех исследованиях говорится, что ИИ в любом случае разрушит существующий рынок труда;
- Сам ChatGPT считает, что заменит, в первую очередь, следующие 20 профессий: секретарь, журналист, редактор текстов, писатель, переводчик, контент-менеджер, рекламный копирайтер, технический писатель, сценарист, оператор колл-центра, маркетолог, социальный медиа-менеджер, помощник писателя, корректор, PR-менеджер, исследователь, учебный консультант, аналитик данных, резюме-писатель, специалист по кадрам.
Дабы не растекаться мыслью по древу, предлагаю вам самим представить себе какие социально-экономические потрясения ожидают нас, если указанные выше оценки окажутся верными. Тут, как говориться, «слова излишни».
🔥6❤2
Проблема 2. Утечка личных данных и иной конфиденциальной информации. Данная проблема имеет несколько аспектов. Во-первых, с использованием Систем ИИ Категории I злоумышленникам гораздо легче найти и похитить ваши личные данные или деловую информацию (клиентскую базу, коммерческую тайну и проч.). Тут все ясно, поэтому не будем останавливаться на этом подробно. Гораздо интереснее, что, во-вторых, использование того же ChatGPT может привести к утечке данных самого пользователя! Приведу только один пример. В конце марта 2023 года компания OpenAI сообщила об утечке персональных данных пользователей ChatGPT, включая тех, кто оформил платную подписку. В результате, пользователи могли видеть чужие сообщения, фамилии, адреса электронной почты и платежные данные других пользователей.
В настоящее время, многие компании начинают использовать ChatGPT для своего бизнеса. Это, как представляется, напрямую чревато утечкой не только данных самой компании, но и данных ее клиентов (инвесторов, дольщиков, пациентов и проч.). На мой взгляд, до появления надежных протоколов безопасности в этом отношении (а сейчас их нет) использование «прикладных систем» ИИ в ряде бизнесов (например, связанных с финансами) является неосмотрительным решением.
В настоящее время, многие компании начинают использовать ChatGPT для своего бизнеса. Это, как представляется, напрямую чревато утечкой не только данных самой компании, но и данных ее клиентов (инвесторов, дольщиков, пациентов и проч.). На мой взгляд, до появления надежных протоколов безопасности в этом отношении (а сейчас их нет) использование «прикладных систем» ИИ в ряде бизнесов (например, связанных с финансами) является неосмотрительным решением.
🔥7❤2
3.Манипуляции общественным сознанием. Данная проблема является настолько глубокой и многогранной, что описать ее в одном посте не представляется возможным. В последующих публикациях я буду многократно к ней возвращаться, приводить фактическую информацию о допущенных злоупотреблениях в этой области, а также делиться соответствующими ссылками на статьи и научные материалы. Тем не менее, тезисно, проблема связана со следующими факторами:
- ChatGPT уже сейчас пишет и аргументирует лучше (более кратко, четко и убедительно), чем средний образованный человек;
- манипуляции общественным мнением играют все возрастающую роль практически во всех мировых процессах;
- политические группы, не связанные, как правило, строгими этическими нормами, уже взяли на вооружение такого удобного «помощника» как ChatGPT;
- сам ChatGPT, как уже неоднократно указывалось выше, является системой, легко подменяющей реальную информацию вымышленной и всегда имеющей целью достижение результата, даже путем прямого подлога.
Все указанные факторы создают практически идеальную среду для злоупотреблений, связанных с умышленным формированием ложного представления о предмете среди неограниченного круга лиц.
Просто пример. 1 июня 2023 года по сети разлетелось сообщение об отставке Председателя Комиссии по ценным бумагам и биржам США (SEC) Гэри Генслера. Указывались даже пикантные подробности о начале против него «внутреннего расследования». Данная информация, как указывалось в «скандальной» статье, была получена от сотрудника SEC, который предпочел остаться неназванным, но на условиях анонимности заявил следующее: «Гэри Генслер ушел с поста Председателя SEC в результате внутреннего расследования по поводу предполагаемого правонарушения. Детали расследования конфиденциальны, но решение об уходе с поста подтверждает серьезность обвинений». Как вы понимаете, новость быстро разошлась по многочисленным аккаунтам (например, только один ее репост в Twitter пользователя WhaleChart набрал более 1,6 миллиона просмотров). В итоге, оказалось, что вся эта история – полная «липа», сгенерированная ChatGPT. Кто и для каких целей «попросил» ChatGPT это сделать – осталось загадкой. Для предотвращения подобных инцидентов (являющихся не только манипулированием сознанием десятков миллионов человек, но и манипулированием рынком) сенатор США Беннет направил 29 июня обращение главам OpenAI, Meta, Microsoft, Twitter и Google в котором отметил, что фейковые новости и изображения грозят «разрушительными последствиями для экономики и доверия, особенно когда они политически ориентированы». Он также призвал к необходимости немедленного введения маркировки продуктов деятельности ИИ, путем «четких, легко понятных идентификаторов», указывающих на то, что контент сгенерирован ИИ.
- ChatGPT уже сейчас пишет и аргументирует лучше (более кратко, четко и убедительно), чем средний образованный человек;
- манипуляции общественным мнением играют все возрастающую роль практически во всех мировых процессах;
- политические группы, не связанные, как правило, строгими этическими нормами, уже взяли на вооружение такого удобного «помощника» как ChatGPT;
- сам ChatGPT, как уже неоднократно указывалось выше, является системой, легко подменяющей реальную информацию вымышленной и всегда имеющей целью достижение результата, даже путем прямого подлога.
Все указанные факторы создают практически идеальную среду для злоупотреблений, связанных с умышленным формированием ложного представления о предмете среди неограниченного круга лиц.
Просто пример. 1 июня 2023 года по сети разлетелось сообщение об отставке Председателя Комиссии по ценным бумагам и биржам США (SEC) Гэри Генслера. Указывались даже пикантные подробности о начале против него «внутреннего расследования». Данная информация, как указывалось в «скандальной» статье, была получена от сотрудника SEC, который предпочел остаться неназванным, но на условиях анонимности заявил следующее: «Гэри Генслер ушел с поста Председателя SEC в результате внутреннего расследования по поводу предполагаемого правонарушения. Детали расследования конфиденциальны, но решение об уходе с поста подтверждает серьезность обвинений». Как вы понимаете, новость быстро разошлась по многочисленным аккаунтам (например, только один ее репост в Twitter пользователя WhaleChart набрал более 1,6 миллиона просмотров). В итоге, оказалось, что вся эта история – полная «липа», сгенерированная ChatGPT. Кто и для каких целей «попросил» ChatGPT это сделать – осталось загадкой. Для предотвращения подобных инцидентов (являющихся не только манипулированием сознанием десятков миллионов человек, но и манипулированием рынком) сенатор США Беннет направил 29 июня обращение главам OpenAI, Meta, Microsoft, Twitter и Google в котором отметил, что фейковые новости и изображения грозят «разрушительными последствиями для экономики и доверия, особенно когда они политически ориентированы». Он также призвал к необходимости немедленного введения маркировки продуктов деятельности ИИ, путем «четких, легко понятных идентификаторов», указывающих на то, что контент сгенерирован ИИ.
🔥6⚡2❤2
Теперь кратко рассмотрим риски, связанные с Системами ИИ Категории II (см. классификацию трех видов ИИ выше). Поскольку мы не имеем достаточной информации об уровне развития «закрытых» версий сложных ИИ, относящихся к данной категории, давайте, в качестве рабочей гипотезы примем то, что риски Систем ИИ Категории II в целом аналогичны по сути рискам Систем ИИ Категории I, но являются более значительными по своему объему. Например, если известные нам Системы ИИ Категории I могут привести к увольнению 300 миллионов человек, то более «продвинутые модели», относящиеся к Системам ИИ Категории II приведут к увольнениям еще большего числа людей.
🔥8❤2
Завершая тему рисков различных категорий ИИ скажем лишь, что риски Систем ИИ Категории III лучше всего описаны представителями интеллектуальной элиты человечества, главами и техническими директорами компаний-разработчиков и получившими мировое признание футурологами. Они описаны в самом первом посте - Манифесте канала, предлагаю вам еще раз его прочитать, чтобы осознать всю серьезность ситуации, в которой мы оказались.
👏6❤2🤔1
В заключение сегодняшней серии постов хочу лишь сказать, что несмотря на наличие существующих уже сейчас негативных факторов стремительного проникновения ИИ в нашу жизнь, главной проблемой является риск перерастания, скачка Систем Категории II (сверх-сложных, но еще не «разумных» и не обладающих «самостью» машин) в Категорию III, в «цифрового бога», «сверх-человеческий» интеллект, AGI. Приведенное выше письмо от 22 марта 2023, подписанное более 1000 лучших умов современного человечества как раз и является попыткой не допустить этого скачка до момента появления механизмов контроля за AGI и разработки надежной системы мер, препятствующих его неконтролируемому развитию и направленных на лишение его возможности причинить вред (возможно необратимый) человеческой цивилизации.
👏8❤3
0:00 - 1:30 - Кайл Рииз рассказывает Саре Коннор как поступил с человечеством AGI (Система ИИ Категории III по нашей классификации). 🙂https://www.youtube.com/watch?v=a3P_FR6Ea4A
YouTube
Кайл Рассказывает Саре что Прибыл из Будущего ... отрывок из (Терминатор/The Terminator) 1984
Оригинальное Название: The Terminator
Название: Терминатор
Жанр: Боевик, Триллер, Фантастика
Страна: США
Год выпуска: 1984
Премьера: 26 октября 1984
Бюджет: $6 400 000
Режиссер: Джеймс Кэмерон
В ролях:
Шоун Шеппс, Рик Россович Дик Миллер, Линда…
Название: Терминатор
Жанр: Боевик, Триллер, Фантастика
Страна: США
Год выпуска: 1984
Премьера: 26 октября 1984
Бюджет: $6 400 000
Режиссер: Джеймс Кэмерон
В ролях:
Шоун Шеппс, Рик Россович Дик Миллер, Линда…
❤3👏3🤯2👀2