Сегодня делюсь с вами эссе «The Bitter Lesson» («Горький урок»), которое написал Ричард Саттон (Rich Sutton) в 2019 году. Интересно будет узнать, что вы думаете по его поводу.
Горький урок, по мнению Саттона, заключается в том, что исследователи ИИ всю дорогу пытаются повторить процессы, которые происходят в человеческом мозгу, создают сложные системы, и всю дорогу безнадежно проигрывают статистическим методам.
Например, в 1997 году компьютер впервые обыграл в шахматы чемпиона мира Гарри Каспарова. Долгое время исследователи бились над тем, чтобы математически описать механику игры и понять, как играют люди. А потом подешевели вычислительные мощности, и победный алгоритм был получен перебором вариантов.
Тогда исследователи отказались принять поражение: может, в этот раз и получилось решить задачу «в лоб», но этот подход сработает не везде. А в 2017 году компьютер победил людей в Го. Эта игра сложнее шахмат, но статистический подход все равно оказался успешнее, чем подход, основанный на воспроизведении механик человеческого сознания.
Потом распознавание речи: к этой проблеме тоже пытались подойти с позиций изучения работы мозга и речевого аппарата, определения слов и взаимосвязей между ними, но победила упрямая статистика и большие наборы данных.
И в компьютерном зрении то же самое. Позиция Саттона заключается в том, что человеческий мозг слишком сложен для воспроизведения, и это безнадежная цель. К тому же, зачем нам повторять что-то, что уже и так есть? Можно воспользоваться плодами прогресса и делать новое, обучая ИИ-агентов подражать познанию, но не воспроизводить его.
Звучит убедительно.
С другой стороны, мы с вами уже говорили о том, что у нас данные для обучения заканчиваются (не прям буквально, но каждое следующее поколение моделей требует больше данных), да и с мощностями для обучения трудно: то ли ядерный реактор под это дело приспосабливать, то ли переходить к нейроморфным вычислениям.
В общем, как будто у статистических методов тоже есть свой потолок. Мне не хватает знаний, чтобы сказать, где он, но где-то точно есть. Так, может, все-таки не так безнадежны исследования в области воспроизведения возможностей человеческого мозга? Может, эти два направления: статистическое и человековдохновленное, – не противоречат друг другу и мы найдем решение в точке их слияния?
Горький урок, по мнению Саттона, заключается в том, что исследователи ИИ всю дорогу пытаются повторить процессы, которые происходят в человеческом мозгу, создают сложные системы, и всю дорогу безнадежно проигрывают статистическим методам.
Например, в 1997 году компьютер впервые обыграл в шахматы чемпиона мира Гарри Каспарова. Долгое время исследователи бились над тем, чтобы математически описать механику игры и понять, как играют люди. А потом подешевели вычислительные мощности, и победный алгоритм был получен перебором вариантов.
Тогда исследователи отказались принять поражение: может, в этот раз и получилось решить задачу «в лоб», но этот подход сработает не везде. А в 2017 году компьютер победил людей в Го. Эта игра сложнее шахмат, но статистический подход все равно оказался успешнее, чем подход, основанный на воспроизведении механик человеческого сознания.
Потом распознавание речи: к этой проблеме тоже пытались подойти с позиций изучения работы мозга и речевого аппарата, определения слов и взаимосвязей между ними, но победила упрямая статистика и большие наборы данных.
И в компьютерном зрении то же самое. Позиция Саттона заключается в том, что человеческий мозг слишком сложен для воспроизведения, и это безнадежная цель. К тому же, зачем нам повторять что-то, что уже и так есть? Можно воспользоваться плодами прогресса и делать новое, обучая ИИ-агентов подражать познанию, но не воспроизводить его.
Звучит убедительно.
С другой стороны, мы с вами уже говорили о том, что у нас данные для обучения заканчиваются (не прям буквально, но каждое следующее поколение моделей требует больше данных), да и с мощностями для обучения трудно: то ли ядерный реактор под это дело приспосабливать, то ли переходить к нейроморфным вычислениям.
В общем, как будто у статистических методов тоже есть свой потолок. Мне не хватает знаний, чтобы сказать, где он, но где-то точно есть. Так, может, все-таки не так безнадежны исследования в области воспроизведения возможностей человеческого мозга? Может, эти два направления: статистическое и человековдохновленное, – не противоречат друг другу и мы найдем решение в точке их слияния?
Хотите философский вопрос?
Я знаю, что хотите. Еще чтобы он был неоднозначный и желательно политический.
Итак, должны ли крупные компании, которые делают передовые технологии в области ИИ, сотрудничать с государством вообще и с оборонным комплексом в частности?
Начнем с того, что они уже сотрудничают:
- Meta* разрешила военное использование Llama;
- Google, Microsoft и Amazon бьются за проекты по облачным вычислениям для военного применения;
- Anthropic сотрудничает с Palantir;
- OpenAI получает жирные военные контракты.
Сотрудники этих компаний активно сопротивляются с разной степенью успеха.
Честно говоря, я здесь на стороне сотрудников. Я понимаю, что в оборонке любой страны водятся большие деньги – прям Большие Деньги. И желание компаний подзаработать я осуждать не буду, мы все живем в суровом материальном мире.
И я понимаю, что оборонные компании и так сами разрабатывают ИИ для целей массового уничтожения представителей вида homo sapiens sapiens. И казалось бы, что изменит просто еще один контракт?
С другой стороны, а зачем помогать военным и передавать им передовые разработки? Этим людям вообще ничего нельзя передавать опаснее чайного пакетика, по-моему. Пускай себе разрабатывают что им там хочется, но без дополнительной помощи. Половину бюджета, может, попилят себе на дачи, а на оставшееся не снесут человечество к какой-то там матери.
Тот же Anthropic утверждает, что все это военное сотрудничество свершается во имя защиты демократии от всяких злобных троглодитов. Но мы-то с вами знаем, что это за скользкая дорожка: сегодня товарищ майор объявил охоту на экстремистов, а завтра объявил экстремистом тебя. И приложение с картинками**.
Наконец, мы все знаем, что ИИ – инструмент несовершенный, а его разработчики – несовершенные люди (как все мы), и ошибки в военной области будут стоить несоизмеримо дороже, чем где-нибудь в потребительском бизнесе. Так что не надо совать ИИ куда попало.
Как это несование куда попало обеспечить, я не знаю. Мне приходилось принимать участие в проектах, которые относятся к разработкам двойного назначения, и понимаю, что возможности для активного (и результативного, что важно) протеста весьма ограничены. Я работала над консалтинговыми проектами – делала отчеты о развитии технологий. Каковы возможности у тех, кто прям разработками занимается, не представляю.
Рада тому, что могу развиваться в соцсетях и строить себе таким образом что-то, что позволит в будущем (надеюсь) не зависеть от единственного места работы и единственного источника дохода.
* Вынуждена напомнить, что в России Meta – экстремист.
** На всякий случай уточняю, что имею в виду Instagram.
Я знаю, что хотите. Еще чтобы он был неоднозначный и желательно политический.
Итак, должны ли крупные компании, которые делают передовые технологии в области ИИ, сотрудничать с государством вообще и с оборонным комплексом в частности?
Начнем с того, что они уже сотрудничают:
- Meta* разрешила военное использование Llama;
- Google, Microsoft и Amazon бьются за проекты по облачным вычислениям для военного применения;
- Anthropic сотрудничает с Palantir;
- OpenAI получает жирные военные контракты.
Сотрудники этих компаний активно сопротивляются с разной степенью успеха.
Честно говоря, я здесь на стороне сотрудников. Я понимаю, что в оборонке любой страны водятся большие деньги – прям Большие Деньги. И желание компаний подзаработать я осуждать не буду, мы все живем в суровом материальном мире.
И я понимаю, что оборонные компании и так сами разрабатывают ИИ для целей массового уничтожения представителей вида homo sapiens sapiens. И казалось бы, что изменит просто еще один контракт?
С другой стороны, а зачем помогать военным и передавать им передовые разработки? Этим людям вообще ничего нельзя передавать опаснее чайного пакетика, по-моему. Пускай себе разрабатывают что им там хочется, но без дополнительной помощи. Половину бюджета, может, попилят себе на дачи, а на оставшееся не снесут человечество к какой-то там матери.
Тот же Anthropic утверждает, что все это военное сотрудничество свершается во имя защиты демократии от всяких злобных троглодитов. Но мы-то с вами знаем, что это за скользкая дорожка: сегодня товарищ майор объявил охоту на экстремистов, а завтра объявил экстремистом тебя. И приложение с картинками**.
Наконец, мы все знаем, что ИИ – инструмент несовершенный, а его разработчики – несовершенные люди (как все мы), и ошибки в военной области будут стоить несоизмеримо дороже, чем где-нибудь в потребительском бизнесе. Так что не надо совать ИИ куда попало.
Как это несование куда попало обеспечить, я не знаю. Мне приходилось принимать участие в проектах, которые относятся к разработкам двойного назначения, и понимаю, что возможности для активного (и результативного, что важно) протеста весьма ограничены. Я работала над консалтинговыми проектами – делала отчеты о развитии технологий. Каковы возможности у тех, кто прям разработками занимается, не представляю.
Рада тому, что могу развиваться в соцсетях и строить себе таким образом что-то, что позволит в будущем (надеюсь) не зависеть от единственного места работы и единственного источника дохода.
** На всякий случай уточняю, что имею в виду Instagram.
👍3❤2
Мне очень нравится писать код с gemini-2.5-pro. Я командую, главным образом, – она пишет. Красота.
И совсем недавно, в мае этого года DeepMing выпустили статью про агента для написания кода на базе Gemini, что выглядит любопытно.
Агент называется AlphaEvolve, он сочетает в себе две модели: Gemini Flash и Gemini Pro. Еще у него есть встроенная система оценки качества кода и база данных с кодом, написанным ранее, и он использует эволюционный подход.
Детали реализации раскрыты в технической документации:
1) Пользователь предоставляет исходный вариант программы, который надо усовершенствовать, ставит задачу, подбирает модели и методы оценки кода;
2) AlphaEvolve запускает эволюцию:
- отдельный компонент системы создает несколько промптов на основе запроса пользователя и с использованием базы данных с кодом;
- языковые модели генерируют несколько вариантов улучшенного кода;
- все варианты проходят автоматическую оценку;
- лучшие варианты записываются в базу данных и затем используются для дальнейших усовершенствований;
3) пункт 2 повторяется несколько раз, пока не получится очень хорошее решение.
Процесс эволюции может занимать разное время в зависимости от того, насколько сложная стоит задача.
Промпты тоже можно подвергнуть эволюции, сделав для них отдельную базу данных. Похожий подход мы уже обсуждали некоторое время назад.
В приложении B к публикации авторы собрали перечень задач, которые удалось решить с использованием AlphaEvolve, заглядывайте, если интересно. Они также выложили код экспериментов в открытый доступ, с ним можно ознакомиться и поработать самостоятельно.
И совсем недавно, в мае этого года DeepMing выпустили статью про агента для написания кода на базе Gemini, что выглядит любопытно.
Агент называется AlphaEvolve, он сочетает в себе две модели: Gemini Flash и Gemini Pro. Еще у него есть встроенная система оценки качества кода и база данных с кодом, написанным ранее, и он использует эволюционный подход.
Детали реализации раскрыты в технической документации:
1) Пользователь предоставляет исходный вариант программы, который надо усовершенствовать, ставит задачу, подбирает модели и методы оценки кода;
2) AlphaEvolve запускает эволюцию:
- отдельный компонент системы создает несколько промптов на основе запроса пользователя и с использованием базы данных с кодом;
- языковые модели генерируют несколько вариантов улучшенного кода;
- все варианты проходят автоматическую оценку;
- лучшие варианты записываются в базу данных и затем используются для дальнейших усовершенствований;
3) пункт 2 повторяется несколько раз, пока не получится очень хорошее решение.
Процесс эволюции может занимать разное время в зависимости от того, насколько сложная стоит задача.
Промпты тоже можно подвергнуть эволюции, сделав для них отдельную базу данных. Похожий подход мы уже обсуждали некоторое время назад.
В приложении B к публикации авторы собрали перечень задач, которые удалось решить с использованием AlphaEvolve, заглядывайте, если интересно. Они также выложили код экспериментов в открытый доступ, с ним можно ознакомиться и поработать самостоятельно.
✍1
P.S.:
Сейчас в сообществе специалистов по машинному обучению идет бурное обсуждение того, что такое ИИ-агент. Мы говорили об ИИ-агентах ранее: это программное обеспечение, которое действует автономно и решает поставленную задачу без вашего непосредственного участия. Но степень требуемой автономности пока не определена: если вы поставили задачу и объяснили, как решать, это уже недостаточно автономно с точки зрения некоторых практиков. И одной модели тоже может быть недостаточно: вот AlphaEvolve как раз управляет ансамблем, например. Придерживаясь более раннего определения агентов, мы бы назвали такую архитектуру мультиагентной системой.
Я пока по старинке буду называть агентами всё то, что идет решать задачу самостоятельно по заранее данной инструкции, чтобы не создавать путаницу. Но вы, если встретите разночтения, не пугайтесь: область развивается, терминология пока не устоялась, это нормально
Сейчас в сообществе специалистов по машинному обучению идет бурное обсуждение того, что такое ИИ-агент. Мы говорили об ИИ-агентах ранее: это программное обеспечение, которое действует автономно и решает поставленную задачу без вашего непосредственного участия. Но степень требуемой автономности пока не определена: если вы поставили задачу и объяснили, как решать, это уже недостаточно автономно с точки зрения некоторых практиков. И одной модели тоже может быть недостаточно: вот AlphaEvolve как раз управляет ансамблем, например. Придерживаясь более раннего определения агентов, мы бы назвали такую архитектуру мультиагентной системой.
Я пока по старинке буду называть агентами всё то, что идет решать задачу самостоятельно по заранее данной инструкции, чтобы не создавать путаницу. Но вы, если встретите разночтения, не пугайтесь: область развивается, терминология пока не устоялась, это нормально
Давайте еще обсудим «сильный» ИИ (AGI). Ранее мы обсуждали, что это такое вообще [1], а теперь, раз уж зашла речь [2] об алгоритмах, вдохновленных человеческим мозгом, самое время разобрать статью «When Brain-inspired AI Meets AGI» [3] о том, как исследователи ищут путь к «сильному» ИИ, распутывая человеческие извилины
[1] Первый пост про "сильный" ИИ
[2] "Горький урок" Саттона
[3] Ссылка на текст статьи
[1] Первый пост про "сильный" ИИ
[2] "Горький урок" Саттона
[3] Ссылка на текст статьи
Telegraph
Сильный ИИ, вдохновленный мозгом
Наш мозг восхищает своим функционалом: 86 млрд. нейронов, каждый из которых способен сформировать до 10 000 связей с другими нейронами – вы представляете, какая это мощь? Мозг умеет обрабатывать разные типы данных и интегрировать их в целостную картину мира…
Этот инструмент мне коллега посоветовал, а теперь я бегаю и советую его всем подряд.
Он называется Napkin и генерирует схемы по вашему тексту. Это волшебно. Вместо тысячи слов я вам просто покажу на скриншотах.
[На этом моменте вы с восхищением рассматриваете скриншоты]
Как это работает: вы пишете текст, тыкаете кнопку «сгенерировать» – и выбираете из нескольких вариантов визуализации наиболее подходящий. Затем выбираете стиль и цветовую гамму. Потом сгенерированное изображение можно свободно менять, как вам захочется.
И все это доступно без VPN и бесплатно. Платные тарифы есть, в них немного побольше возможностей, но это, наверное, пригодится только если вы генерируете инфографику в промышленных масштабах.
Посмотрите обязательно: я кому ни расскажу, все в восторге. Недавно даже обнаружила диаграммы, созданные с использованием Napkin, в одной из научных работ, так что вещь стоящая
#инструменты
Он называется Napkin и генерирует схемы по вашему тексту. Это волшебно. Вместо тысячи слов я вам просто покажу на скриншотах.
[На этом моменте вы с восхищением рассматриваете скриншоты]
Как это работает: вы пишете текст, тыкаете кнопку «сгенерировать» – и выбираете из нескольких вариантов визуализации наиболее подходящий. Затем выбираете стиль и цветовую гамму. Потом сгенерированное изображение можно свободно менять, как вам захочется.
И все это доступно без VPN и бесплатно. Платные тарифы есть, в них немного побольше возможностей, но это, наверное, пригодится только если вы генерируете инфографику в промышленных масштабах.
Посмотрите обязательно: я кому ни расскажу, все в восторге. Недавно даже обнаружила диаграммы, созданные с использованием Napkin, в одной из научных работ, так что вещь стоящая
#инструменты
👍1
11072025_Градиентный спуск_1.1.mp4
584 MB
Хочу немного рассказать о том, как же обучается этот ваш ИИ
Это первое видео с монтажом в моей жизни, так что на 15 минут результата ушло почти 2 часа работы
Приложите ко мне подорожник, пжлст
Это первое видео с монтажом в моей жизни, так что на 15 минут результата ушло почти 2 часа работы
🔥1👏1
Сначала я задала себе вопрос: «У кого больше круг общения: у нас или у наших предков (был)?»
Потом: «Правда ли то, что у предков связи были теснее и более значимыми?»
Наконец: «Как на все это влияют социальные сети?»
По итогам моего мини-исследования ответ звучит так: «Зависит от угла зрения».
С одной стороны, наших предков было в целом меньше и жили они более маленькими группами. С другой стороны, кажется, мы так и так общаемся с парой сотен человек в среднем. Даже если Данбар промахнулся с числом, он ошибся не на порядки.
Внутри малой группы людей проще установить тесные связи, чем внутри большой группы, просто потому что на выстраивание отношений нужно время.
Соцсети сами по себе – не добро и не зло в чистом виде. Это инструмент, и его важно уметь использовать. Любой инструмент, начиная с палки-копалки, требует освоения, которое требует времени и сил, опять же.
Вот как-то так: никаких ответов, одни вопросы.
Потом: «Правда ли то, что у предков связи были теснее и более значимыми?»
Наконец: «Как на все это влияют социальные сети?»
По итогам моего мини-исследования ответ звучит так: «Зависит от угла зрения».
С одной стороны, наших предков было в целом меньше и жили они более маленькими группами. С другой стороны, кажется, мы так и так общаемся с парой сотен человек в среднем. Даже если Данбар промахнулся с числом, он ошибся не на порядки.
Внутри малой группы людей проще установить тесные связи, чем внутри большой группы, просто потому что на выстраивание отношений нужно время.
Соцсети сами по себе – не добро и не зло в чистом виде. Это инструмент, и его важно уметь использовать. Любой инструмент, начиная с палки-копалки, требует освоения, которое требует времени и сил, опять же.
Вот как-то так: никаких ответов, одни вопросы.
vc.ru
Про социальные связи: раньше было лучше? — Соцсети на vc.ru
ИИ, жизнь, баланс Соцсети 1м
🔥2
У меня есть стойкое ощущение, что я про этот инструмент уже рассказывала. Но пост такой не нашла, так что давайте для верности еще расскажу.
Инструмент – платформа Dream Machine от Luma AI. Это для создания картинок и видео. У Luma AI есть разные модели и есть API для их использования, но сегодня давайте про картинки поговорим и про использование через интерфейс.
Зарегистрироваться и зайти в аккаунт у меня получилось без VPN, но всё было так медленно, что VPN всё-таки пришлось включить – пошло пободрее.
Работа ведется на досках: один проект – одна доска (или как вам удобнее).
После создания доски можно сразу писать свой промпт или воспользоваться подсказками.
Я сразу запускаю свой паучий тест. Суть теста в том, что я прошу модель нарисовать мне милого паучка, который работает за компьютером. Почему паучка? Во-первых, они мне нравятся. Во-вторых, его не так просто нарисовать: много лапок, много глазок и хелицеры – не все модели справляются хорошо.
Для изображений используется модель Photon. Получилось неплохо, но, как видите, с лапками вышли проблемы. Это не страшно, до сих пор единственная модель, которая раз за разом успешно проходит паучий тест – PaLM.
Дальше можно выбрать лучший вариант и попросить сгенерировать больше похожих. Можно запросить изменения, погенерировать новые идеи в режиме мозгового штурма или скачать картинку.
Видео доступно только на платных аккаунтах. К сожалению, протестировать функцию до того, как заплатить, не получится.
Я решилась заплатить 10 долларов за месяц подписки (чтобы вам не пришлось, как говорится).
Видео генерирует модель Ray. Ray2 – это самая новая и мощная, доступна еще предыдущая Ray1.6 и более быстрая Ray2-flash. Видеоэффект можно выбрать из предложенных, а я сделала свой запрос: «Паук активно печатает на клавиатуре».
«Активно» не получилось, но он печатает. Что мне особенно нравится, так это возможность добавить звук, который тоже будет сгенерирован по вашему описанию. Я добавила, смотрите со звуком :)
Еще я нашла в AppStore их приложение. На Google Play именно Dream Machine нет, но есть Luma AI: 3D Capture (это тоже есть в AppStore). Приложениями пользоваться я не пробовала, может, попробую как-нибудь и отпишусь тогда по впечатлениям.
#инструменты
Инструмент – платформа Dream Machine от Luma AI. Это для создания картинок и видео. У Luma AI есть разные модели и есть API для их использования, но сегодня давайте про картинки поговорим и про использование через интерфейс.
Зарегистрироваться и зайти в аккаунт у меня получилось без VPN, но всё было так медленно, что VPN всё-таки пришлось включить – пошло пободрее.
Работа ведется на досках: один проект – одна доска (или как вам удобнее).
После создания доски можно сразу писать свой промпт или воспользоваться подсказками.
Я сразу запускаю свой паучий тест. Суть теста в том, что я прошу модель нарисовать мне милого паучка, который работает за компьютером. Почему паучка? Во-первых, они мне нравятся. Во-вторых, его не так просто нарисовать: много лапок, много глазок и хелицеры – не все модели справляются хорошо.
Для изображений используется модель Photon. Получилось неплохо, но, как видите, с лапками вышли проблемы. Это не страшно, до сих пор единственная модель, которая раз за разом успешно проходит паучий тест – PaLM.
Дальше можно выбрать лучший вариант и попросить сгенерировать больше похожих. Можно запросить изменения, погенерировать новые идеи в режиме мозгового штурма или скачать картинку.
Видео доступно только на платных аккаунтах. К сожалению, протестировать функцию до того, как заплатить, не получится.
Я решилась заплатить 10 долларов за месяц подписки (чтобы вам не пришлось, как говорится).
Видео генерирует модель Ray. Ray2 – это самая новая и мощная, доступна еще предыдущая Ray1.6 и более быстрая Ray2-flash. Видеоэффект можно выбрать из предложенных, а я сделала свой запрос: «Паук активно печатает на клавиатуре».
«Активно» не получилось, но он печатает. Что мне особенно нравится, так это возможность добавить звук, который тоже будет сгенерирован по вашему описанию. Я добавила, смотрите со звуком :)
Еще я нашла в AppStore их приложение. На Google Play именно Dream Machine нет, но есть Luma AI: 3D Capture (это тоже есть в AppStore). Приложениями пользоваться я не пробовала, может, попробую как-нибудь и отпишусь тогда по впечатлениям.
#инструменты
👍2