Агентный искусственный интеллект (ИИ) становится ключевой парадигмой в эпоху фундаментальных моделей. Эти ИИ-системы способны не только генерировать результаты, но и выполнять действия в окружающей среде. В будущем миллионы полуавтономных агентов могут стать частью бизнес- и личных экосистем. Криптовалюта может стать валютой для таких ИИ-агентов, но на пути к этому стоят значительные практические вызовы.
Культурное несоответствие между сообществами ИИ и крипто также является препятствием. Программируемые фиатные платформы, такие как Stripe, предлагают начальные решения, но их ограничения подчеркивают потенциал криптовалют. Стейблкоины могут стать мостом между ИИ и Web3, но для полного раскрытия потенциала агентного ИИ могут потребоваться новые токены и протоколы.
Культурное несоответствие между сообществами ИИ и крипто также является препятствием. Программируемые фиатные платформы, такие как Stripe, предлагают начальные решения, но их ограничения подчеркивают потенциал криптовалют. Стейблкоины могут стать мостом между ИИ и Web3, но для полного раскрытия потенциала агентного ИИ могут потребоваться новые токены и протоколы.
Смена регуляторного климата в криптовалютной индустрии обещает значительные изменения, особенно для децентрализованных финансов (DeFi). С приходом про-крипто законодателей ожидается более благоприятная среда для крипто-приложений. Это может открыть двери для традиционных финансовых институтов, улучшить доступ к протоколам и увеличить капитализацию рынка стейблкоинов. Интерес институциональных инвесторов к криптовалютам растет, что подтверждается увеличением притока средств в биткоин-ETF и активным участием крупных компаний в DeFi.
Среди последних событий — расширение токенизированных фондов BlackRock и Franklin Templeton, а также приобретение Stripe стартапа Bridge. Эти шаги способствуют улучшению управления активами и ускорению экономического роста. DeFi-проекты, такие как Ethena, адаптируются к новым условиям, предлагая механизмы распределения доходов, что может привлечь больше инвесторов и стимулировать развитие отрасли.
Среди последних событий — расширение токенизированных фондов BlackRock и Franklin Templeton, а также приобретение Stripe стартапа Bridge. Эти шаги способствуют улучшению управления активами и ускорению экономического роста. DeFi-проекты, такие как Ethena, адаптируются к новым условиям, предлагая механизмы распределения доходов, что может привлечь больше инвесторов и стимулировать развитие отрасли.
Forwarded from 🤖 Датаист
Первая в мире ИИ-лаборатория с ИИ-учеными
В современном мире скорость научных открытий во многом определяется способностью объединять знания из различных дисциплин. Однако создание междисциплинарных команд часто сталкивается с финансовыми и организационными препятствиями. Представьте себе мир, где ИИ не просто отвечает на вопросы, но и способен самостоятельно вести сложные научные исследования. Сегодня это становится реальностью.
Недавно группа исследователей из Стэнфордского университета и Chan Zuckerberg Biohub (организация Марка Цукерберга и его супруги) представила Виртуальную лабораторию, направленную на проведение сложных, междисциплинарных научных исследований. Эта система позволяет одному человеку управлять командой виртуальных ИИ-агентов, каждый из которых обладает специализированными знаниями в своей области — от биологии до информатики.
В основе Виртуальной лаборатории лежит архитектура, где человек-исследователь выступает в роли руководителя, а ИИ-агенты выполняют роль исследователей с разной экспертизой. Главный ИИ-агент, называемый Principal Investigator (PI), координирует работу команды, ставит задачи и обобщает результаты. Каждый ИИ-агент получает четко определенную роль, цель и область экспертизы, что позволяет им эффективно взаимодействовать и дополнять друг друга.
В процессе работы Виртуальная лаборатория проводит как командные, так и индивидуальные встречи. На командных встречах агенты обсуждают общие направления исследований, делятся идеями и предлагают решения. Индивидуальные встречи позволяют агентам сосредоточиться на конкретных задачах, таких как написание кода или анализ данных, получая при необходимости обратную связь от других агентов.
Чтобы продемонстрировать возможности Виртуальной лаборатории, исследователи поставили перед ней сложную и актуальную задачу: разработать новые нанотела, способные эффективно связываться с новейшими вариантами вируса SARS-CoV-2.
Виртуальная лаборатория самостоятельно:
- Определила стратегию исследования, решив модифицировать существующие нанотела вместо создания новых с нуля;
- Выбрала наиболее перспективные исходные нанотела для модификации;
- Подобрала и интегрировала передовые инструменты для работы: ESM для оценки мутаций, AlphaFold-Multimer для предсказания структуры белков и Rosetta для расчета энергии связывания;
- Разработала алгоритм, который в несколько раундов улучшал нанотела, выбирая наиболее перспективные мутации на каждом этапе.
В результате было создано 92 новых варианта нанотел. Эксперимент показал, что более 90% из них были функциональны и могли эффективно связываться с белком-мишенью. Особенно выделились два нанотела, которые продемонстрировали сильное связывание с новыми вариантами вируса, сохраняя при этом эффективность против исходного штамма.
Это открывает для нас новые горизонты:
- Виртуальные ИИ-команды могут проводить сложные исследования в разы быстрее, чем традиционные группы ученых;
- Даже небольшие организации без широкого доступа к узким специалистам могут решать междисциплинарные задачи;
- Снижаются затраты на работу больших исследовательских команд.
Сегодня ИИ не просто инструмент для автоматизации рутинных процессов, а полноценный участник исследовательской команды, способный генерировать новые идеи и находить нестандартные решения.
В дорожной карте AGI от OpenAI четвертым уровнем фигурируют “Инноваторы” - ИИ-агенты, способные самостоятельно разрабатывать инновации.
Возникает вопрос: означает ли это, что мы уже достигли этого уровня и близки к пятому, финальному этапу перед созданием AGI?
#новости
В современном мире скорость научных открытий во многом определяется способностью объединять знания из различных дисциплин. Однако создание междисциплинарных команд часто сталкивается с финансовыми и организационными препятствиями. Представьте себе мир, где ИИ не просто отвечает на вопросы, но и способен самостоятельно вести сложные научные исследования. Сегодня это становится реальностью.
Недавно группа исследователей из Стэнфордского университета и Chan Zuckerberg Biohub (организация Марка Цукерберга и его супруги) представила Виртуальную лабораторию, направленную на проведение сложных, междисциплинарных научных исследований. Эта система позволяет одному человеку управлять командой виртуальных ИИ-агентов, каждый из которых обладает специализированными знаниями в своей области — от биологии до информатики.
В основе Виртуальной лаборатории лежит архитектура, где человек-исследователь выступает в роли руководителя, а ИИ-агенты выполняют роль исследователей с разной экспертизой. Главный ИИ-агент, называемый Principal Investigator (PI), координирует работу команды, ставит задачи и обобщает результаты. Каждый ИИ-агент получает четко определенную роль, цель и область экспертизы, что позволяет им эффективно взаимодействовать и дополнять друг друга.
В процессе работы Виртуальная лаборатория проводит как командные, так и индивидуальные встречи. На командных встречах агенты обсуждают общие направления исследований, делятся идеями и предлагают решения. Индивидуальные встречи позволяют агентам сосредоточиться на конкретных задачах, таких как написание кода или анализ данных, получая при необходимости обратную связь от других агентов.
Чтобы продемонстрировать возможности Виртуальной лаборатории, исследователи поставили перед ней сложную и актуальную задачу: разработать новые нанотела, способные эффективно связываться с новейшими вариантами вируса SARS-CoV-2.
Виртуальная лаборатория самостоятельно:
- Определила стратегию исследования, решив модифицировать существующие нанотела вместо создания новых с нуля;
- Выбрала наиболее перспективные исходные нанотела для модификации;
- Подобрала и интегрировала передовые инструменты для работы: ESM для оценки мутаций, AlphaFold-Multimer для предсказания структуры белков и Rosetta для расчета энергии связывания;
- Разработала алгоритм, который в несколько раундов улучшал нанотела, выбирая наиболее перспективные мутации на каждом этапе.
В результате было создано 92 новых варианта нанотел. Эксперимент показал, что более 90% из них были функциональны и могли эффективно связываться с белком-мишенью. Особенно выделились два нанотела, которые продемонстрировали сильное связывание с новыми вариантами вируса, сохраняя при этом эффективность против исходного штамма.
Это открывает для нас новые горизонты:
- Виртуальные ИИ-команды могут проводить сложные исследования в разы быстрее, чем традиционные группы ученых;
- Даже небольшие организации без широкого доступа к узким специалистам могут решать междисциплинарные задачи;
- Снижаются затраты на работу больших исследовательских команд.
Сегодня ИИ не просто инструмент для автоматизации рутинных процессов, а полноценный участник исследовательской команды, способный генерировать новые идеи и находить нестандартные решения.
В дорожной карте AGI от OpenAI четвертым уровнем фигурируют “Инноваторы” - ИИ-агенты, способные самостоятельно разрабатывать инновации.
Возникает вопрос: означает ли это, что мы уже достигли этого уровня и близки к пятому, финальному этапу перед созданием AGI?
#новости
Биткоин достиг отметки в $98,000, продолжая рост после восьмимесячной консолидации. Это произошло на фоне победы Дональда Трампа на президентских выборах в США. За последние 24 часа биткоин вырос на 4,5%, оставив позади индекс CoinDesk 20. Некоторые альткоины, такие как эфир (ETH), Chainlink (LINK) и Uniswap (UNI), также показали значительный рост. Однако отметка в $100,000 может стать психологическим барьером, где инвесторы могут начать фиксировать прибыль.
Акции, связанные с криптовалютами, также показали рост. MicroStrategy, владеющая крупнейшим корпоративным запасом биткоинов, выросла на 11% до $520. Другие компании, следуя примеру MicroStrategy, также увеличили свои позиции. Между тем, мем-токен CHILLGUY, основанный на персонаже Филиппа Бэнкса, столкнулся с юридическими угрозами, что привело к падению его цены.
Акции, связанные с криптовалютами, также показали рост. MicroStrategy, владеющая крупнейшим корпоративным запасом биткоинов, выросла на 11% до $520. Другие компании, следуя примеру MicroStrategy, также увеличили свои позиции. Между тем, мем-токен CHILLGUY, основанный на персонаже Филиппа Бэнкса, столкнулся с юридическими угрозами, что привело к падению его цены.
Биткоин снова в центре внимания, приближаясь к отметке $100,000, а мем-монеты, такие как PEPE и DOGE, продолжают привлекать внимание. В этом сезоне криптовалюта станет горячей темой для обсуждения за праздничным столом. Несмотря на политические ассоциации, биткоин остается универсальной валютой, способной объединить людей разных взглядов. Он предлагает альтернативу традиционной финансовой системе, особенно для тех, кто не имеет доступа к банковским услугам.
Мем-монеты, хоть и забавны, не должны затмевать истинный потенциал криптовалюты в улучшении финансовых услуг. Биткоин, с его ограниченной эмиссией, напоминает золото и может служить защитой от инфляции. Примеры успеха, такие как в Сальвадоре, показывают, что криптовалюта может быть выгодной инвестицией.
Мем-монеты, хоть и забавны, не должны затмевать истинный потенциал криптовалюты в улучшении финансовых услуг. Биткоин, с его ограниченной эмиссией, напоминает золото и может служить защитой от инфляции. Примеры успеха, такие как в Сальвадоре, показывают, что криптовалюта может быть выгодной инвестицией.
Дональд Трамп, избранный президент США, выбрал управляющего хедж-фондом Скотта Бессента на пост министра финансов. Если Сенат утвердит его кандидатуру, Бессент станет первым поклонником криптовалюты на этой должности. Он руководит инвестиционной фирмой Key Square Group и ранее работал с Джорджем Соросом, сыграв ключевую роль в знаменитой ставке на падение британского фунта. Бессент активно поддерживает криптовалюты, считая их частью идеологии Республиканской партии, и отмечает, что они привлекают молодое поколение к финансовым рынкам.
В январе 2025 года Комиссия по ценным бумагам и биржам США (SEC) столкнется с изменениями в руководстве. Демократ Хайме Лизаррага объявил о своем уходе 17 января, что может дать республиканцам преимущество в изменении политики агентства. Это происходит на фоне ухода председателя Гэри Генслера, который покинет пост с приходом администрации Дональда Трампа. Под руководством Генслера SEC активно боролась с криптовалютными компаниями, утверждая, что многие токены являются ценными бумагами. Теперь, с республиканским большинством, ожидается пересмотр этой позиции.
Криптовалютные транзакции, хотя и анонимны, на самом деле публичны, что позволяет правоохранительным органам отслеживать украденные и отмытые средства. Однако это также облегчает преступникам идентификацию пользователей. Для повышения конфиденциальности появились крипто-миксеры, такие как Tornado Cash, которые усложняют отслеживание транзакций. Министерство финансов США наложило санкции на такие сервисы, что вызвало споры о правомерности этих действий. Вопросы касаются интерпретации терминов "лицо", "собственность" и "интерес в собственности", а также роли смарт-контрактов и децентрализованных автономных организаций.
Марокко разрабатывает регулирование для криптовалютного сектора, как сообщил глава центрального банка Абделлатиф Джуахри. Страна, запретившая криптовалюты в 2017 году, сейчас готовит законопроект с участием Всемирного банка. Вопрос о внедрении цифровых валют центрального банка (CBDC) также остается на повестке дня, с акцентом на финансовую инклюзию и стабильность. Африканские страны активно изучают регулирование криптовалют, следуя примеру западных стран. Например, Южная Африка ввела лицензионный режим для компаний, а Нигерия сосредоточилась на строгом соблюдении правил.
Компания IREN, занимающаяся майнингом биткоинов, поднялась в цене почти на 30% после того, как на конференции по доходам было объявлено об интересе со стороны компании, работающей в сфере искусственного интеллекта. IREN рассматривает возможность размещения вычислительной инфраструктуры на своем объекте в Техасе. Это может стать новым источником дохода для компании, которая стремится диверсифицировать свои доходы после снижения вознаграждений за майнинг биткоинов. Также обсуждается возможность выплаты дивидендов в биткоинах в 2025 году, что может привлечь инвесторов, желающих воспользоваться ростом цен на криптовалюту.
Платформа Pump.fun, специализирующаяся на создании мемкоинов на блокчейне Solana, заблокировала доступ для криптотрейдеров из Великобритании. Это произошло после предупреждения от Управления по финансовому регулированию и надзору о возможном предоставлении финансовых услуг без разрешения. Pump.fun, запущенная в этом году, стала популярной площадкой для мемкоинов, таких как PNUT и WIF, и принесла своим основателям более $250 миллионов. После введения блокировки трейдеры начали создавать шуточные криптовалюты, высмеивающие ситуацию, но ни одна из них пока не стала популярной.
Эфир (ETH) снова преодолел отметку в $4,000, впервые с марта. За последние 24 часа он вырос на 2.4%, а за неделю — на 8.4%, обгоняя биткоин (BTC). Это связано с рекордными притоками в спотовые ETF на эфир. На момент написания, эфир торгуется по $4,033, всего на 2% ниже нового максимума 2024 года и на 20% от своего исторического максимума.
Активность на сети Ethereum также увеличилась: количество активных адресов выросло с 368,000 до 523,000, что способствует сжиганию токенов и ограничению их предложения. Интерес к эфиру в США подтверждается тем, что его цена на Coinbase выше, чем на Binance.
Активность на сети Ethereum также увеличилась: количество активных адресов выросло с 368,000 до 523,000, что способствует сжиганию токенов и ограничению их предложения. Интерес к эфиру в США подтверждается тем, что его цена на Coinbase выше, чем на Binance.
Финансовый совет по надзору за стабильностью (FSOC) опубликовал свой ежегодный отчет за 2024 год, в котором вновь подчеркнул риски, связанные с ростом стейблкоинов и цифровых активов. Совет предупреждает, что отсутствие федерального регулирования может угрожать финансовой стабильности, особенно учитывая доминирование Tether's USDT на рынке. FSOC призывает Конгресс принять законодательство для создания федеральной нормативной базы для стейблкоинов и криптоактивов. Министр финансов Джанет Йеллен отметила, что цифровые активы и искусственный интеллект несут как потенциальные выгоды, так и риски, включая киберугрозы.
Недавно криптосообщество получило хорошие новости: суд пятого округа США постановил, что Управление по контролю за иностранными активами (OFAC) превысило свои полномочия, санкционировав программное обеспечение Tornado Cash. Суд признал, что смарт-контракты не являются собственностью, так как их нельзя владеть, и, следовательно, OFAC не может их санкционировать. Это решение может иметь широкие последствия для криптовалют и смарт-контрактов, так как суд также отметил, что такие контракты не являются услугами, а скорее инструментами для их выполнения. Вопрос остается открытым, так как возможны дальнейшие апелляции и действия со стороны Конгресса.
Forwarded from 🤖 Датаист
Увидел пост предпринимателя Руслана Галифанова о надувшемся пузыре в ИИ и не смог пройти мимо, не прокомментировав его.
Описанный в посте «пузырь» — это естественный этап развития любой новой технологии. В Gartner называют это «hype cycle» — после периода завышенных ожиданий неизбежно наступает фаза более трезвой оценки и прикладного внедрения технологий.
ИИ-компании уже разделились на два ключевых направления: компании, создающие фундаментальные технологии (например, OpenAI), и те, кто строит прикладные решения на их основе (например, Perplexity).
Но в то же время компании, создающие фундаментальные технологии, сами продуктивизируют их для зарабатывания денег. Так, OpenAI изначально позиционировала себя как некоммерческую организацию, но со временем сместилась к коммерции. Этот переход закономерен: разработка новых моделей требует все больших вычислительных ресурсов и лучших талантов, и за это нужно платить. Конечно, не все текущие проблемы решаются деньгами, например, пока не решен вопрос о том, где искать новые данные для обучения (или как их синтезировать).
Сегодня мы наблюдаем существенный прогресс в ИИ, в частности, появление элементов рассуждений (reasoning) в языковых моделях, что позволяет автоматизировать всё более широкий спектр задач. Исследования показывают, что если работа занимает около получаса, то ИИ сделает её в 30 раз дешевле.
По мере совершенствования алгоритмов, поиска новых вычислительных ресурсов и данных для обучения мы, скорее всего, увидим постепенную, но неотвратимую трансформацию многих «цифровых» профессий, а в дальнейшем и переход автоматизации в физический мир с робототехникой. Сейчас мы находимся на начальной стадии, но тут я настроен скорее оптимистично с учётом текущего прогресса и перспектив.
Естественно, на рынке останутся лишь те стартапы, которые смогут предложить реальную ценность, а не просто «обертку» над существующими моделями. ИИ-продукты должны обладать устойчивым конкурентным преимуществом: доступом к уникальным данным и адаптацией под конкретные задачи. Инвесторы всё чаще хотят вкладываться в компании, решающие прикладные задачи с понятной окупаемостью, а не в долгосрочные высокорисковые технологические проекты.
В технологических проектах инвестируют в людей. Например, Илья Суцкевер благодаря своей репутации привлёк 1 млрд долларов инвестиций на разработку безопасного суперинтеллекта. Хотя мы видим высокую цену человеческого капитала, если вы не специалист мирового уровня в ИИ, то без понятного плана окупаемости привлечь инвестиции будет большой проблемой.
Думаю, мы становимся свидетелями перехода из состояния головокружительного хайпа в стадию осознанного, прагматичного и финансово эффективного внедрения ИИ, способного в долгосрочной перспективе дать толчок к более глубокой автоматизации бизнеса и всех секторов экономики.
Описанный в посте «пузырь» — это естественный этап развития любой новой технологии. В Gartner называют это «hype cycle» — после периода завышенных ожиданий неизбежно наступает фаза более трезвой оценки и прикладного внедрения технологий.
ИИ-компании уже разделились на два ключевых направления: компании, создающие фундаментальные технологии (например, OpenAI), и те, кто строит прикладные решения на их основе (например, Perplexity).
Но в то же время компании, создающие фундаментальные технологии, сами продуктивизируют их для зарабатывания денег. Так, OpenAI изначально позиционировала себя как некоммерческую организацию, но со временем сместилась к коммерции. Этот переход закономерен: разработка новых моделей требует все больших вычислительных ресурсов и лучших талантов, и за это нужно платить. Конечно, не все текущие проблемы решаются деньгами, например, пока не решен вопрос о том, где искать новые данные для обучения (или как их синтезировать).
Сегодня мы наблюдаем существенный прогресс в ИИ, в частности, появление элементов рассуждений (reasoning) в языковых моделях, что позволяет автоматизировать всё более широкий спектр задач. Исследования показывают, что если работа занимает около получаса, то ИИ сделает её в 30 раз дешевле.
По мере совершенствования алгоритмов, поиска новых вычислительных ресурсов и данных для обучения мы, скорее всего, увидим постепенную, но неотвратимую трансформацию многих «цифровых» профессий, а в дальнейшем и переход автоматизации в физический мир с робототехникой. Сейчас мы находимся на начальной стадии, но тут я настроен скорее оптимистично с учётом текущего прогресса и перспектив.
Естественно, на рынке останутся лишь те стартапы, которые смогут предложить реальную ценность, а не просто «обертку» над существующими моделями. ИИ-продукты должны обладать устойчивым конкурентным преимуществом: доступом к уникальным данным и адаптацией под конкретные задачи. Инвесторы всё чаще хотят вкладываться в компании, решающие прикладные задачи с понятной окупаемостью, а не в долгосрочные высокорисковые технологические проекты.
В технологических проектах инвестируют в людей. Например, Илья Суцкевер благодаря своей репутации привлёк 1 млрд долларов инвестиций на разработку безопасного суперинтеллекта. Хотя мы видим высокую цену человеческого капитала, если вы не специалист мирового уровня в ИИ, то без понятного плана окупаемости привлечь инвестиции будет большой проблемой.
Думаю, мы становимся свидетелями перехода из состояния головокружительного хайпа в стадию осознанного, прагматичного и финансово эффективного внедрения ИИ, способного в долгосрочной перспективе дать толчок к более глубокой автоматизации бизнеса и всех секторов экономики.
Telegram
Руслан Галифанов о бизнесе и не только
Пузырь в искусственном интеллекте уже надулся
Я не спец в ИИ и не слежу за этой темой пристально, но у меня есть IT-компания VEA и сервис HelloPrint. На мой взгляд неспециалиста в ИИ, в отрасли образовался пузырь. Вот почему я так думаю.
Стартапы в секторе…
Я не спец в ИИ и не слежу за этой темой пристально, но у меня есть IT-компания VEA и сервис HelloPrint. На мой взгляд неспециалиста в ИИ, в отрасли образовался пузырь. Вот почему я так думаю.
Стартапы в секторе…
👍1
🔬 Интересные результаты от команды DeepSeek: их новая модель DeepSeek-R1-Distill-Qwen-1.5B показывает впечатляющие результаты в математических тестах, превосходя GPT-4 и Claude-3.5-Sonnet с показателями 28.9% на AIME и 83.9% на MATH.
Команда поделилась планами по развитию модели:
📌 Расширение общих возможностей: планируют улучшить работу с функциями, многоходовыми диалогами и сложными ролевыми сценариями
🌐 Языковая адаптация: сейчас модель оптимизирована для китайского и английского. В будущем планируют решить проблему смешивания языков при работе с другими языками
⚙️ Инженерные задачи: команда работает над повышением эффективности обучения с подкреплением для задач разработки ПО
💡 Интересный момент по промптам: модель лучше работает при прямом описании задачи без few-shot примеров
Важный прорыв, учитывая, что такие результаты достигнуты на относительно компактной модели. Будем следить за развитием проекта!
Команда поделилась планами по развитию модели:
📌 Расширение общих возможностей: планируют улучшить работу с функциями, многоходовыми диалогами и сложными ролевыми сценариями
🌐 Языковая адаптация: сейчас модель оптимизирована для китайского и английского. В будущем планируют решить проблему смешивания языков при работе с другими языками
⚙️ Инженерные задачи: команда работает над повышением эффективности обучения с подкреплением для задач разработки ПО
💡 Интересный момент по промптам: модель лучше работает при прямом описании задачи без few-shot примеров
Важный прорыв, учитывая, что такие результаты достигнуты на относительно компактной модели. Будем следить за развитием проекта!
Forwarded from gonzo-обзоры ML статей
DeepSeek moment
Нельзя ничего не сказать про DeepSeek. Эти ребята просто супер молодцы — так задизраптить всё поле мало кому удавалось. Ну OpenAI со своим ChatGPT, потом Цукерберг с Llama в опенсорсе, теперь вот DeepSeek.
DeepSeek сумели обучить модели хорошего качества по ценам на порядок ниже конкурентов.
Во-первых, DeepSeek-V3 (https://github.com/deepseek-ai/DeepSeek-V3), включает две модели DeepSeek-V3-Base и чат-версию DeepSeek-V3. Обе являются MoE с 671B параметров всего и 37B активных. Не для простых смертных модели, надо иметь неслабую multi-GPU конфигурацию что-то типа 8 H200 (но есть сжатые варианты от разных товарищей). По качеству где-то уровня GPT-4o 0513 и Claude-3.5-Sonnet-1022 и выше LLaMA-3.1 405B.
Есть разные оценки, сколько стоило обучение Ламы 3.1 405B. В самой работе (https://arxiv.org/abs/2407.21783) сказано, что использовалось до 16,384 H100 и упоминается предобучение в 54 дня (но там и другие этапы обучения были). Одна из не самых высоких оценок говорит, что стоить должно было порядка $60M (https://x.com/_LouiePeters/status/1816443587053092917?lang=en).
Про DeepSeek-V3 известно чуть конкретнее. Они использовали H800, урезанный для Китая экспортный вариант H100, и они сами пишут, что для полного обучения потребовалось 2.788M H800 GPU-часов, что соответствует $5.576M при цене аренды H800 в $2 за час.
Ну типа на десятичный порядок меньше. При сравнении с OpenAI наверное разница ещё больше.
Это как с Индией, которая отправляла аппараты на Марс и Луну дешевле, чем в Голливуде фильмы про космос делаются: марсианский Mangalyaan за $74M и лунный Chandrayaan-3 за $75M против фильма “Гравитация” за $100M (https://www.business-standard.com/india-news/what-makes-india-s-space-missions-cost-less-than-hollywood-sci-fi-movies-124110400430_1.html).
Во-вторых, DeepSeek-R1 (https://github.com/deepseek-ai/DeepSeek-R1), модели с ризонингом по типу OpenAI o1 или Google Gemini Thinking. В семействе две модели: DeepSeek-R1-Zero и DeepSeek-R1, обе построены на базе DeepSeek-V3-Base и такого же большого размера.
DeepSeek-R1-Zero (по аналогии с AlphaZero) обучена чистым RL (Group Relative Policy Optimization, GRPO — вариант PPO из другой их статьи, https://arxiv.org/abs/2402.03300), без SFT. Я думаю это очень значимый результат, как в Го оказалось, что можно без человеческих партий, так и здесь постепенно оказывается. Из интересного, во время обучения у модели случился “aha moment”, когда в цепочке рассуждений модель выдала “Wait, wait. Wait. That’s an aha moment I can flag here.” и пересмотрела изначальный подход к решению задачи.
Zero хороша, но иногда уходит в повторы, смешивает языки, не очень читабельна. DeepSeek-R1 перед RL обучена на небольшом (тысячи) количестве CoT примеров, они это называют Cold start data, чтобы дать более качественную начальную точку для RL. Далее тот же Reasoning-oriented RL, что и у Zero. Далее SFT на ризонинг (600k) и не-ризонинг (200k) данных. И потом ещё дополнительный этап RL. Эта модель сравнима с OpenAI-o1-1217.
Из того, что не привело к успеху: Process Reward Model (PRM) и Monte Carlo Tree Search (MCTS).
Также выпущена куча dense дистиллятов (1.5B, 7B, 8B, 14B, 32B, 70B) из R1 на базе Qwen и Llama. Эти сопоставимы с OpenAI-o1-mini.
HuggingFace взялся за Open R1 (https://github.com/huggingface/open-r1), полностью открытое воспроизведение DeepSeek R1. В кои-то веки не Китайские исследователи догоняют западных, а наоборот!
Есть и другая репликация, из Гонконга, от NLP Group @ HKUST (https://github.com/hkust-nlp/simpleRL-reason).
Но и этого DeepSeek показалось мало, и сегодня они выпустили ещё и Janus-Pro, развитие предыдущего Janus (https://github.com/deepseek-ai/Janus) с улучшенным обучением, данными и большим размером. Это мультимодальная моделька на 1B и 7B, умеет принимать на вход текст и картинки и на выходе тоже выдавать текст и картинки. На генерации вроде как бьют Dalle-3, SDXL, SD3-Medium.
Нельзя ничего не сказать про DeepSeek. Эти ребята просто супер молодцы — так задизраптить всё поле мало кому удавалось. Ну OpenAI со своим ChatGPT, потом Цукерберг с Llama в опенсорсе, теперь вот DeepSeek.
DeepSeek сумели обучить модели хорошего качества по ценам на порядок ниже конкурентов.
Во-первых, DeepSeek-V3 (https://github.com/deepseek-ai/DeepSeek-V3), включает две модели DeepSeek-V3-Base и чат-версию DeepSeek-V3. Обе являются MoE с 671B параметров всего и 37B активных. Не для простых смертных модели, надо иметь неслабую multi-GPU конфигурацию что-то типа 8 H200 (но есть сжатые варианты от разных товарищей). По качеству где-то уровня GPT-4o 0513 и Claude-3.5-Sonnet-1022 и выше LLaMA-3.1 405B.
Есть разные оценки, сколько стоило обучение Ламы 3.1 405B. В самой работе (https://arxiv.org/abs/2407.21783) сказано, что использовалось до 16,384 H100 и упоминается предобучение в 54 дня (но там и другие этапы обучения были). Одна из не самых высоких оценок говорит, что стоить должно было порядка $60M (https://x.com/_LouiePeters/status/1816443587053092917?lang=en).
Про DeepSeek-V3 известно чуть конкретнее. Они использовали H800, урезанный для Китая экспортный вариант H100, и они сами пишут, что для полного обучения потребовалось 2.788M H800 GPU-часов, что соответствует $5.576M при цене аренды H800 в $2 за час.
Ну типа на десятичный порядок меньше. При сравнении с OpenAI наверное разница ещё больше.
Это как с Индией, которая отправляла аппараты на Марс и Луну дешевле, чем в Голливуде фильмы про космос делаются: марсианский Mangalyaan за $74M и лунный Chandrayaan-3 за $75M против фильма “Гравитация” за $100M (https://www.business-standard.com/india-news/what-makes-india-s-space-missions-cost-less-than-hollywood-sci-fi-movies-124110400430_1.html).
Во-вторых, DeepSeek-R1 (https://github.com/deepseek-ai/DeepSeek-R1), модели с ризонингом по типу OpenAI o1 или Google Gemini Thinking. В семействе две модели: DeepSeek-R1-Zero и DeepSeek-R1, обе построены на базе DeepSeek-V3-Base и такого же большого размера.
DeepSeek-R1-Zero (по аналогии с AlphaZero) обучена чистым RL (Group Relative Policy Optimization, GRPO — вариант PPO из другой их статьи, https://arxiv.org/abs/2402.03300), без SFT. Я думаю это очень значимый результат, как в Го оказалось, что можно без человеческих партий, так и здесь постепенно оказывается. Из интересного, во время обучения у модели случился “aha moment”, когда в цепочке рассуждений модель выдала “Wait, wait. Wait. That’s an aha moment I can flag here.” и пересмотрела изначальный подход к решению задачи.
Zero хороша, но иногда уходит в повторы, смешивает языки, не очень читабельна. DeepSeek-R1 перед RL обучена на небольшом (тысячи) количестве CoT примеров, они это называют Cold start data, чтобы дать более качественную начальную точку для RL. Далее тот же Reasoning-oriented RL, что и у Zero. Далее SFT на ризонинг (600k) и не-ризонинг (200k) данных. И потом ещё дополнительный этап RL. Эта модель сравнима с OpenAI-o1-1217.
Из того, что не привело к успеху: Process Reward Model (PRM) и Monte Carlo Tree Search (MCTS).
Также выпущена куча dense дистиллятов (1.5B, 7B, 8B, 14B, 32B, 70B) из R1 на базе Qwen и Llama. Эти сопоставимы с OpenAI-o1-mini.
HuggingFace взялся за Open R1 (https://github.com/huggingface/open-r1), полностью открытое воспроизведение DeepSeek R1. В кои-то веки не Китайские исследователи догоняют западных, а наоборот!
Есть и другая репликация, из Гонконга, от NLP Group @ HKUST (https://github.com/hkust-nlp/simpleRL-reason).
Но и этого DeepSeek показалось мало, и сегодня они выпустили ещё и Janus-Pro, развитие предыдущего Janus (https://github.com/deepseek-ai/Janus) с улучшенным обучением, данными и большим размером. Это мультимодальная моделька на 1B и 7B, умеет принимать на вход текст и картинки и на выходе тоже выдавать текст и картинки. На генерации вроде как бьют Dalle-3, SDXL, SD3-Medium.
🔥1
Forwarded from e/acc
Поговорили с Медузой о том куда катится ИИ и зачем нам кибернетическая экономика.
Одну мысль напишу текстом для тех, кому лень слушать: за последние 5+ лет в области ИИ правильными оказались только самые смелые прогнозы. То есть, реальность превзошла ожидания большинства. Шансов что это остановится очень мало, но постепенно ответ на вопрос "что случилось?" начинает доходить до все большего круга людей.
В будущем мы не будем использовать генеративный ИИ просто как чат-ботов, с которыми нужно разговаривать. Он станет инструментом для решения проблем, и таких инструментов будет миллиарды. Одни будут генерировать код или текст, другие — анализировать юридические документы, помогать с налогами, питанием, корпоративным управлением, созданием игр или архитектурных проектов, создавать новые научные области и даже культуру.
Это неизбежно. Но мы хотим, чтобы этот интеллект был повсюду, доступен каждому на равных условиях и свободно использовался. Один вариант это монополия (не важно китайцев или американцев), другой — открытая сеть. В которой агенты конкурируют друг с другом за решение проблем. одного будет дешевле вычислительная мощность, у другого – более быстрые модели. А кто-то разработает новый метод, позволяющий решать крупные задачи эффективнее. Эти ИИ-агенты будут конкурировать за вашу задачу. Лучший из них получит заказ и оплату. Это экономика, но уже не только людей, а кибернетических саморегулируемых организмов.
Одну мысль напишу текстом для тех, кому лень слушать: за последние 5+ лет в области ИИ правильными оказались только самые смелые прогнозы. То есть, реальность превзошла ожидания большинства. Шансов что это остановится очень мало, но постепенно ответ на вопрос "что случилось?" начинает доходить до все большего круга людей.
В будущем мы не будем использовать генеративный ИИ просто как чат-ботов, с которыми нужно разговаривать. Он станет инструментом для решения проблем, и таких инструментов будет миллиарды. Одни будут генерировать код или текст, другие — анализировать юридические документы, помогать с налогами, питанием, корпоративным управлением, созданием игр или архитектурных проектов, создавать новые научные области и даже культуру.
Это неизбежно. Но мы хотим, чтобы этот интеллект был повсюду, доступен каждому на равных условиях и свободно использовался. Один вариант это монополия (не важно китайцев или американцев), другой — открытая сеть. В которой агенты конкурируют друг с другом за решение проблем. одного будет дешевле вычислительная мощность, у другого – более быстрые модели. А кто-то разработает новый метод, позволяющий решать крупные задачи эффективнее. Эти ИИ-агенты будут конкурировать за вашу задачу. Лучший из них получит заказ и оплату. Это экономика, но уже не только людей, а кибернетических саморегулируемых организмов.
Forwarded from e/acc
Наступают фантастические времена. Как я и говорил на подкасте, главным событием года была не Deepseek, а Operator и агентские системы вообще. Сегодня OpenAI зарелизил Deep Research — агента-исследователя. А в пятницу — свою саму крутую to date модель o3.
Агент работает от 5 до 30 минут, читая за это время сотни источников, делая сотни запросов и компилируя информацию на сложные темы. Вместо исследования рынка (часто ценой до $500 до $5000) вы можете получить ответ отправив один запрос.
Это последний гвоздь в крышку скептиков. На бенче Huanity's Last Exam эта штука набирает в 5 раз больше ближайших конкурентов. Такая штука заменяет миллиарды долларов экономики уже сегодня, и, конечно, на этом оно не остановится. Альтман обещает, что один этот продукт автоматизирует единицы процентов ВВП. Но, естественно, конкуренты скоро запустят аналоги. Это очень похоже на вертикальный взлет для ИИ и плавную посадку для мировой экономики.
Доступно сегодня для Pro, скоро для Plus.
Агент работает от 5 до 30 минут, читая за это время сотни источников, делая сотни запросов и компилируя информацию на сложные темы. Вместо исследования рынка (часто ценой до $500 до $5000) вы можете получить ответ отправив один запрос.
Это последний гвоздь в крышку скептиков. На бенче Huanity's Last Exam эта штука набирает в 5 раз больше ближайших конкурентов. Такая штука заменяет миллиарды долларов экономики уже сегодня, и, конечно, на этом оно не остановится. Альтман обещает, что один этот продукт автоматизирует единицы процентов ВВП. Но, естественно, конкуренты скоро запустят аналоги. Это очень похоже на вертикальный взлет для ИИ и плавную посадку для мировой экономики.
Доступно сегодня для Pro, скоро для Plus.
👍1
Почему квантовые компьютеры не заменят классические (и почему это хорошо)
Квантовые компьютеры – одна из самых горячих тем в мире технологий. Многие считают, что они вскоре заменят классические компьютеры, сделав их устаревшими. Однако на практике ситуация куда сложнее. Квантовые компьютеры не только не могут работать без классических, но и не способны выполнять их задачи быстро и эффективно. Почему так происходит? Давайте разберемся.
1. Квантовые компьютеры требуют классического управления
Квантовый процессор (кубитная система) не может работать сам по себе. Для его работы требуется классическая система управления, которая:
• подготавливает квантовые состояния,
• запускает алгоритмы,
• считывает и интерпретирует результаты.
Проще говоря, без классического компьютера квантовый просто не сможет «понять», что ему нужно делать.
2. Квантовые вычисления требуют постобработки
Результаты работы квантового компьютера – это не конкретные числа, а вероятностные распределения. После выполнения программы мы получаем не однозначный ответ, а множество возможных результатов с разной вероятностью.
Чтобы извлечь из этого что-то полезное, нужна дополнительная классическая обработка данных.
3. Квантовые компьютеры неэффективны для обычных задач
Многие думают, что квантовый компьютер – это просто «очень мощный» обычный компьютер, но это не так. Он работает совершенно иначе.
• Квантовые компьютеры оптимизированы для узкого круга задач, например, для моделирования молекул, разложения чисел на множители или ускоренного поиска.
• Обычные задачи, такие как обработка текста, работа с базами данных, арифметика или графика, на классических компьютерах выполняются быстрее и проще.
Попробовать заставить квантовый компьютер выполнять классические операции – это как забивать гвозди микроскопом. Вроде можно, но смысла нет.
4. Квантовые компьютеры требуют экстремальных условий
Если ваш ноутбук спокойно работает на столе, то квантовому компьютеру нужны сверхнизкие температуры (-273°C), вакуум и защита от малейших помех.
Любой шум разрушает квантовые состояния, поэтому квантовые системы требуют сложной инженерии и постоянной коррекции ошибок – и это тоже делают классические компьютеры!
Будущее – за гибридными системами
На практике классические и квантовые компьютеры работают вместе. Классический компьютер:
• управляет процессом,
• готовит данные,
• анализирует результаты.
Квантовый компьютер выполняет только те задачи, где у него есть преимущество (например, моделирование квантовой химии, оптимизация и машинное обучение).
Вывод
Квантовые компьютеры – не замена, а усиление классических систем. Они ускорят научные открытия, помогут решать сложные задачи, но обычные вычисления останутся за традиционными процессорами.
Так что ваш ноутбук никуда не денется – квантовые технологии просто сделают его умнее!
Квантовые компьютеры – одна из самых горячих тем в мире технологий. Многие считают, что они вскоре заменят классические компьютеры, сделав их устаревшими. Однако на практике ситуация куда сложнее. Квантовые компьютеры не только не могут работать без классических, но и не способны выполнять их задачи быстро и эффективно. Почему так происходит? Давайте разберемся.
1. Квантовые компьютеры требуют классического управления
Квантовый процессор (кубитная система) не может работать сам по себе. Для его работы требуется классическая система управления, которая:
• подготавливает квантовые состояния,
• запускает алгоритмы,
• считывает и интерпретирует результаты.
Проще говоря, без классического компьютера квантовый просто не сможет «понять», что ему нужно делать.
2. Квантовые вычисления требуют постобработки
Результаты работы квантового компьютера – это не конкретные числа, а вероятностные распределения. После выполнения программы мы получаем не однозначный ответ, а множество возможных результатов с разной вероятностью.
Чтобы извлечь из этого что-то полезное, нужна дополнительная классическая обработка данных.
3. Квантовые компьютеры неэффективны для обычных задач
Многие думают, что квантовый компьютер – это просто «очень мощный» обычный компьютер, но это не так. Он работает совершенно иначе.
• Квантовые компьютеры оптимизированы для узкого круга задач, например, для моделирования молекул, разложения чисел на множители или ускоренного поиска.
• Обычные задачи, такие как обработка текста, работа с базами данных, арифметика или графика, на классических компьютерах выполняются быстрее и проще.
Попробовать заставить квантовый компьютер выполнять классические операции – это как забивать гвозди микроскопом. Вроде можно, но смысла нет.
4. Квантовые компьютеры требуют экстремальных условий
Если ваш ноутбук спокойно работает на столе, то квантовому компьютеру нужны сверхнизкие температуры (-273°C), вакуум и защита от малейших помех.
Любой шум разрушает квантовые состояния, поэтому квантовые системы требуют сложной инженерии и постоянной коррекции ошибок – и это тоже делают классические компьютеры!
Будущее – за гибридными системами
На практике классические и квантовые компьютеры работают вместе. Классический компьютер:
• управляет процессом,
• готовит данные,
• анализирует результаты.
Квантовый компьютер выполняет только те задачи, где у него есть преимущество (например, моделирование квантовой химии, оптимизация и машинное обучение).
Вывод
Квантовые компьютеры – не замена, а усиление классических систем. Они ускорят научные открытия, помогут решать сложные задачи, но обычные вычисления останутся за традиционными процессорами.
Так что ваш ноутбук никуда не денется – квантовые технологии просто сделают его умнее!
Forwarded from Венчур Менна и Горного
На днях исполнился год предсказанию Альтмана о единорогах без сотрудников. Дескать, раз AI всё умеет, люди стали не нужны. Энергичный CEO теперь в одно рыло и миллиардную компанию построить может, а не только SaaS на 14 миллионов выручки.
Сэм вроде как раз год давал на исполнение прогноза — и соответственно он уже не сбылся, но идея все равно будоражит умы, прикольно же будет. Статьи, обсуждения, комментарии регулярно выходят, идеальный кликбейт.
А я тут задумался — а если сотрудники будут не нужны, то инвестиции ведь тоже будут не нужны? Если нет сотрудников, то значит клиенты платят сразу, в крайнем случае с триалом в месяц, нет инструментов существенно отложить платеж, не с кем об этом разговаривать. Значит серверные мощности и реклама в платных каналах окупаются более-менее мгновенно, оплата же приходит. А на что ещё кроме зарплат, которых нет, ещё инвестиции тратить?
https://techcrunch.com/2025/02/01/ai-agents-could-birth-the-first-one-person-unicorn-but-at-what-societal-cost/
Сэм вроде как раз год давал на исполнение прогноза — и соответственно он уже не сбылся, но идея все равно будоражит умы, прикольно же будет. Статьи, обсуждения, комментарии регулярно выходят, идеальный кликбейт.
А я тут задумался — а если сотрудники будут не нужны, то инвестиции ведь тоже будут не нужны? Если нет сотрудников, то значит клиенты платят сразу, в крайнем случае с триалом в месяц, нет инструментов существенно отложить платеж, не с кем об этом разговаривать. Значит серверные мощности и реклама в платных каналах окупаются более-менее мгновенно, оплата же приходит. А на что ещё кроме зарплат, которых нет, ещё инвестиции тратить?
https://techcrunch.com/2025/02/01/ai-agents-could-birth-the-first-one-person-unicorn-but-at-what-societal-cost/
🔥2