Amazon хочет дать Anthropic еще $4млрд, но с условием, чтобы Anthropic использовала серверы с чипами собственной разработки Amazon (Trainium)

Amazon ведет переговоры о второй многомиллиардной инвестиции в Anthropic (конкурента OpenAI).

Однако в этот раз Amazon выдвигает особое условие, чтобы Anthropic использовала серверы с чипами собственной разработки Amazon.

Сейчас Anthropic предпочитает использовать серверы Amazon с чипами от Nvidia. Размер инвестиций будет зависеть от того, сколько чипов Amazon согласится использовать Anthropic

Переход на чипы Amazon может быть технически сложным для Anthropic, так как ПО для чипов Trainium менее развито, чем ПО Nvidia CUDA, к которому привыкли разработчики ИИ.

Если переход состоится, то это "привяжет" Anthropic к серверам Amazon, затруднив использование других облачных провайдеров

Anthropic прогнозирует выручку $83 млн в месяц к концу года, из которых 25-50% этой суммы выплачивается облачным партнерам. Для сравнения, OpenAI генерирует в 4-5 раз больше выручки.

Amazon использует технологии Anthropic в своем ассистенте для разработчиков Q, который конкурирует с ChatGPT. Anthropic также имеет партнерство с Google, но меньшего масштаба.

Также Дарио Амодей, CEO Anthropic обсуждал возможность использования крупномасштабного кластера серверов для разработки собственного кластера как у
xAI Илона Маска и OpenAI.

Amazon также разрабатывает собственный ИИ, который может конкурировать с Anthropic в будущем.

Историческое событие после победы Трампа: Wall Street делает ставку на биткоин, уходя от золота

Bitcoin ETF от BlackRock официально превзошел по объему их знаменитый Gold ETF.

BlackRock -крупнейшая инвестиционная компания мира, своими действиями легитимизирует криптовалюту как новый защитный актив.

За последние сутки произошел новый рекорд: американские ETF приобрели 17,880 биткоинов. Общий объем биткоин-фонда BlackRock достиг $33.2 млрд, оставив позади их традиционный золотой фонд.

Вот, что произошло:
• Всего за 10 месяцев биткоин-фонд обошел золотой ETF
• Рекордный однодневный объем покупок биткоина через ETF
• Институциональные инвесторы активно переходят от золота к криптовалюте

Рынок демонстрирует исключительную активность, и мы наблюдаем исторический момент в развитии финансовой индустрии.

Вот предвыборная позиция Трампа по криптовалюте.

А в начале октября BlackRock на встрече с инвесторами заявили, что рассматривают биткоин как легитимный инвест актив. Мы тут писали об этом подробнее.

Технологический рывок РФ находится в режиме перегрева

С одной стороны, страна остро нуждается в технологической модернизации и импортозамещении, с другой — экономика демонстрирует все классические признаки перегрева: рекордно низкая безработица в 2.4%, стремительный рост зарплат и ключевая ставка в 21%.

Острая дискуссия между регулятором, бизнесом и правительством выявила глубокие противоречия в оценке текущей ситуации. ЦБ видит в высоких ставках необходимый инструмент борьбы с инфляцией, бизнес указывает на невозможность развития при такой стоимости денег, а правительство пытается найти способы стимулировать инвестиции в условиях, когда держать деньги на депозитах выгоднее, чем вкладывать в развитие.

Основная проблема, по мнению экспертов, заключается в структурном перекосе экономики. Бизнес накопил на депозитах рекордные 57.2 трлн рублей, но не спешит инвестировать их в развитие. И причина не только в привлекательной доходности депозитов (20-23% против средней рентабельности бизнеса в 15%).

Компании сталкиваются с целым комплексом проблем: от дефицита квалифицированных кадров до нарушенных логистических цепочек и необходимости технологического переоснащения.

Глава Минобрнауки Валерий Фальков анонсировал масштабную программу развития инженерного образования. Однако эксперты предупреждают: одного только увеличения числа специалистов недостаточно.

Замглавы администрации президента Максим Орешкин указывает на неэффективное использование ресурсов: вместо создания новых производственных мощностей компании предпочитают переманивать сотрудников и перекупать оборудование друг у друга. Это создает иллюзию развития, но не решает фундаментальных проблем экономики.

Профессор Олег Шибанов, РЭШ предупреждает, что длительный период высоких ставок может привести к существенному замедлению технологического развития. Однако альтернатива в виде высокой инфляции может оказаться еще более разрушительной для экономики.

Необходим комплексный подход, включающий не только денежно-кредитную политику, но и структурные реформы, развитие образования и создание эффективных механизмов трансфера технологий.

Китайский производитель электромобилей Xpeng представил своего гуманоида Iron

XPENG, которые славятся тем, что копируют все у Tesla, Figure представили робота-гуманоида Iron, он очень похож на робота Optimus.

Вот его основные характеристики:

- у робота более 60 суставов и 200 степеней свободы движения.

- используются технологии, которые компания применяет в своих автомобилях.

- рост робота - 178 см, вес - 70 кг.

- роботы уже работают на заводах Xpeng.

- «Мозг» робота работает на базе ИИ-чипа Xpeng Turing, который можно использовать в ИИ-автомобилях, роботах и летающих машинах.

У чипа
40-ядерный процессор, поддерживающий работу с моделями до 30 млрд. параметров.

OpenAI столкнулась с замедлением темпов улучшения LLM при разработке своей новой флагманской модели Orion

Хотя количество пользователей ChatGPT и других продуктов ИИ стремительно растет, темпы улучшения базовых компонентов, лежащих в их основе (языковых моделей), похоже, замедляются.

В мае Сэм Альтман сообщил сотрудникам, что ожидает значительного улучшения по сравнению с предыдущей моделью.

Хотя обучение Orion было завершено только на 20%, она уже показывала результаты на уровне GPT-4. Однако в итоге улучшение качества оказалось намного меньше, чем скачок между предыдущими моделями GPT-3 и GPT-4.

По мнению некоторых сотрудников компании, Orion не всегда превосходит предшественника в определенных задачах: лучше справляется с языковыми задачами, но может уступать в программировании.

При этом Orion может оказаться дороже в эксплуатации в дата-центрах.

Основные причины замедления:

1. Нехватка качественных данных для обучения. OpenAI создала специальную команду под руководством Ника Райдера для решения этой проблемы.

2. Orion частично обучалась на данных, сгенерированных другими моделями OpenAI (GPT-4 и моделями рассуждений), но это создает новую проблему: модель может начать повторять особенности старых моделей.

Как OpenAI пытается решить эти проблемы:

- Разрабатывает новые методы улучшения моделей после их начального обучения

- Использует обучение с подкреплением на основе человеческих оценок

- Создала модель рассуждений o1, которая тратит больше времени на "обдумывание" данных перед выдачей ответа

- Развивает возможности написания кода в своих моделях

- Разрабатывает ПО, которое может управлять компьютером для выполнения офисных задач

Марк Цукерберг считает, что даже без улучшений технологии остается большой простор для создания продуктов.

Другие, включая исследователя OpenAI Ноама Брауна, предупреждают, что более продвинутые модели могут стать финансово нецелесообразными.

Некоторые инвесторы обеспокоены тем, что темпы улучшения языковых моделей начинают выходить на плато.

Orion планируется к выпуску в начале следующего года, причем компания может отойти от традиционного названия "GPT", что подчеркивает изменение характера улучшений в языковых моделях.

Самая мощная ИИ-модель с открытыми весами вышла в Китае — Tencent создала Hunyuan-Large.

Сегодня США и Европа пытаются ограничить открытый исходный код путем создания системы разрешений и бюрократии.
Если Китай продолжит не ограничивать открытые разработки в сфере ИИ, лидерство в этой области может перейти к нему.

Масштаб модели:
- 389 млрд. параметров
- 52 млрд. активируемых параметров
- Поддержка контекста до 256K токенов
- Это крупнейшая открытая MoE (Mixture of Experts) модель на данный момент.

- Обучена на 7трлн токенов
- 1.5 трлн из них - синтетические данные высокого качества
- Специальный 4-этапный процесс генерации синтетических данных

Модель превосходит LLama3.1-70B и сравнима с LLama3.1-405B. Показывает отличные результаты в задачах на понимание языка, логическое мышление, математику, программирование. Особенно хорошо работает с китайским языком

Узкий коридор возможностей от ЦБ, что ждет ИИ-агентов в России?

Банк России выпустил новые требования к платежным агентам, мы их проанализировали и отмечаем, что прямого запрета на ИИ-агентов нет, но их использование существенно ограничено текущими требованиями. Вот почему:

1. Что допускает возможность использования ИИ:
- В документе нет прямого запрета на использование автоматизированных систем
- Требования к информированию и обработке информации технически могут выполняться ИИ
- Нет явного указания, что все операции должны выполняться исключительно человеком

2. Что ограничивает использование ИИ:
- Требования к "работникам оператора" (п.5.5)
- Необходимость "мотивированного ответа" на обращения
- Требования к объективному и всестороннему рассмотрению обращений
- Акцент на человеческом взаимодействии в процессе обслуживания

3. Где возможно применение ИИ в рамках требований:
- Как вспомогательный инструмент при обработке платежей
- Для первичной обработки обращений
- В системах мониторинга и контроля
- Для подготовки отчетности

Таким образом, можно сказать, что в новых требованиях есть место для ИИ-агентов, но только в качестве вспомогательного инструмента под контролем человека, а не как полностью автономных платежных агентов, каких готовит для рынка Coinbase.

А между тем, глобальные игроки из ИИ и блокчейн индустрий создают новые стандарты для финансового рынка, подробнее тут и тут.

⚡️Илья Суцкевер,вероятно, нашел решение проблемы OpenAI с замедлением развития ИИ, но Сэм Альтман ее вряд ли получит сейчас

Для контекста, сейчас все прогрессивное сообщество обсуждает проблему, которую сегодня мы описали: о проблеме с замедлением развития ИИ в OpenAI. Эта проблема не новая, о ней известно с весны, но The Information только сейчас(9 ноября) написали.

Буквально 10 мин назад один из самых авторитетных инвесторов Долины, который инвестировал в том числе в стартап Ильи Суцкевера SSI, Нэт Фридман написал такой твит: Mr. Sutskever, tear down this data wall. Причем он делает отсылку к своему апрельскому твиту: Mr. Gorbachev, tear down this wall.

Фридман делает остроумную отсылку к известной фразе Рональда Рейгана "Mr. Gorbachev, tear down this wall", которую тот произнес у Берлинской стены в 1987 году.

В контексте ИИ и OpenAI "data wall" (стена данных) - это именно та проблема, о которой говорилось в нашем посте: нехватка качественных данных для обучения моделей.

Как следует из статьи, компании уже использовали большую часть доступных качественных данных из открытых источников, и это стало одним из главных препятствий для дальнейшего улучшения моделей.

Обращаясь к Илье Суцкеверу (одному из ведущих исследователей в области ИИ, который недавно покинул OpenAI и основал Safe Superintelligence Initiative - SSI), Фридман как бы призывает его найти решение этой фундаментальной проблемы - преодолеть барьер нехватки качественных данных для обучения.

Твит Фридмана, который является опытным инвестором и имеет обширные связи в Кремниевой долине, может быть неслучайным
Возможно, в среде очень узкого круга лиц уже циркулирует информация о потенциальном прорыве(!).

Тайминг событий:

1. Суцкевер покинул OpenAI в мае 2024 года и основал SSI.

2. OpenAI публично признает проблему с "data wall" в ноябре.

3. Сегодняшний твит Фридмана может намекать на то, что ему известно, и скоро выйдет в паблик.

Alibaba представили сейчас лучшую ИИ-модель, она соответствует Claude-3.5 только бесплатно!

Лицензия — Apache-2.0. ее возможности кодирования соответствуют GPT-4o

YC объявил ключевые направления для инвестиций в стартапы

Y Combinator, легендарный стартап-акселератор, выпустил заявление: мы вступаем в золотой век технологического предпринимательства. Время для создания новых стартапов и компаний.

Главный катализатор - ИИ. Он меняет правила игры во всех сферах быстрее, чем любая технология в истории.

Самые горячие направления для стартапов 2024:

1. Стейблкоины. Улучшение регуляторной среды. Рост объемов платежей (20% от объема Mastercard). Интерес со стороны традиционных финансовых институтов.

2. Чипы + ИИ. Разработка новых процессоров с помощью языковых моделей.

3. Космос. Запустить спутник теперь можно на посевном раунде. Стоимость вывода на орбиту упала в 10 раз с 2006 года.

4. ИИ для инженеров. Революция в CAD/CAM системах. Проектировать самолеты и здания станет проще простого.

5. GovTech. Автоматизация госуслуг с помощью ИИ.

6. Безопасность. От умных камер до оптимизации работы экстренных служб.

7. Производство в США. Возвращение заводов домой благодаря роботизации и ML.

Что особенно важно?

Барьеры входа падают. Банки охотнее работают со стартапами, инфраструктура становится доступнее, а ИИ помогает маленьким командам конкурировать с гигантами.

Эмитент USDC показал, как разработать ИИ-агента с помощью Microsoft AutoGen

Руководство основано на фреймворке AutoGen от Microsoft и позволяет создавать ИИ-агентов для автономных операций со стейблкоином.

Основная идея - создание системы, где ИИ-агенты могут самостоятельно выполнять задачи и получать за это оплату в цифровой валюте USDC.

Об этом писали здесь.

Каждый агент имеет свою специализацию:

1. Админ - представляет интересы человека, инициирует задачи
2. Планировщик - создает план исследований
3. Инженер - пишет код для решения задач
4. Ученый - анализирует научную информацию
5. Исполнитель - запускает код
6. Критик - проверяет качество работы

После выполнения задач каждый агент получает оплату в USDC через специальные программируемые кошельки на блокчейне. Размер оплаты зависит от вклада каждого агента в общий результат.

Сферы применения такой системы:
- Автономные ИИ-сервисы, генерирующие пассивный доход для владельцев
- Цифровые маркетплейсы для аренды ИИ-агентов
- Финансирование ИИ-исследований
- Совместная работа людей и ИИ с распределением вознаграждений

Технически система реализована на Python (для ИИ-части) и Node.js (для работы с блокчейном).

Ранее мы писали, что хотя ИИ-агенты не "владеют" деньгами в традиционном смысле, эта система служит прототипом для будущих сценариев автономной работы ИИ.

❗️Фонд a16Z заявили о снижении стоимости использования LLM

Если вы работаете над ИИ-проектами, то учитываете этот факт в плане на 2025 год?

Аналитики фонда ввели даже термин "LLMflation" - тенденцию значительного снижения стоимости использования языковых моделей при сохранении их качества.

Основные причины снижения цен:
- Улучшение производительности GPU
- Квантизация моделей (переход с 16-бит на 4-бит точность)
- Оптимизация программного обеспечения
- Уменьшение размера моделей
- Улучшение инструкций обучения (RLHF, DPO)
- Появление открытых моделей (от Meta(запрещенная в РФ организация, Mistral и других)

Практические примеры:
- Обработка всей речи человека за год (при 10 часах разговора в день) моделью уровня GPT-3 теперь стоит около $2
- Анализ всего исходного кода ядра Linux (40 млн строк) стоит меньше $1

Хотя темп снижения цен может замедлиться, общая тенденция к удешевлению сохранится.

Это открывает новые возможности применения ИИ, которые раньше были экономически невыгодны.
Создание простых голосовых ассистентов становится практически бесплатным с точки зрения вычислений.

Греф заявил, что в ближайшие 3 года Сбер построит еще 50% ИТ-инфраструктуры, которую компания строила за всю свою жизнь.

Качество серверов на базе процессоров Эльбрус не удовлетворяет бизнес и даже госзаказчиков

Эксплуатация показала невысокую отказоустойчивость серверов на базе процессоров Эльбрус.

«У МВД фактически отсутствует возможность оперативной замены такого серверного оборудования при выходе его из строя вследствие форс-мажорных обстоятельств – ввиду того, что его поставки осуществляются только в плановом порядке», – отметил заместитель начальника департамента информационных технологий, связи и защиты информации МВД Игорь Кашпур.

По словам Кашпура, с 2020 по 2024 г. МВД закупило 709 серверов с Эльбрусами.

По словам источника «Ведомостей», кроме МВД проблемы с производительностью серверов на российских процессорах Эльбрус испытывают банки, операторы и госкорпорации.

Ранее замминистра МВД Виталий Шулика сообщил правительству сообщал, что серверы на процессоре Эльбрус-8С не поддерживали загрузку операционной системы с носителей информации. Также у МВД возникли трудности на новых серверах при работе с отечественным системным ПО.

⚡️Сбер займется космосом - Греф

Герман Греф сказал, что сейчас идет обсуждение вместе с Роскосмосом стратегии отрасли, и Сбер смотрит и выбирает для себя более подходящий путь участия в индустрии.

Он отметил, что в России уже есть частные компании, которые занимаются запусками спутников, но вот наземная инфраструктура и система доставки остаются пока еще государственными, нет ни одного частного игрока.

Видимо, Сбер займется тем, где еще нет частных компаний. А также созданием цифровой инфраструктуры для космической отрасли

❗️Как обучать языковые модели эффективнее: новое исследование от Harvard, Stanford, MIT и CMU

Свежая статья посвящена исследованию масштабируемости точности вычислений в контексте обучения и использования языковых моделей.

Обнаружен парадокс, чем дольше обучается модель, тем хуже она реагирует на снижение точности после обучения (квантизацию).

Предложен математический аппарат, позволяющий:
- Предсказать деградацию модели при снижении точности
- Найти оптимальный баланс между размером модели, объёмом данных и точностью вычислений
- Спланировать эффективное обучение с учётом будущего использования модели

Результаты подтверждены масштабными экспериментами:
- Более 465 циклов предварительного обучения
- Модели до 1.7B параметров
- Датасеты до 26B токенов

Практическое применение:
- Для инференса: важно учитывать, как долго обучалась модель перед снижением точности
- Для обучения: можно значительно снизить требования к памяти и вычислениям, правильно выбрав точность
- Для планирования: появилась возможность точнее оценивать необходимые ресурсы

❗️Почему это важно?
1. Для бизнеса: потенциальное снижение затрат на обучение и эксплуатацию моделей
2. Для разработчиков: четкие ориентиры при выборе параметров обучения
3. Для исследователей: новый фреймворк для понимания масштабирования моделей

Анализ Morgan Stanley: Рынок ИИ достиг $6.7 трлн и продолжает расти

Исследование основано на свежих данных - октябрь 2024:

1. Рыночные показатели:
- Рыночная капитализация компаний-разработчиков ИИ: $6.7 трлн
- Капитализация компаний-пользователей ИИ: $27.5 трлн
- Прирост после ChatGPT: $2.9 трлн
- Соотношение разработчик/пользователь: 13.0
- P/E (коэффициент цена/прибыль): 36x

2. Потребительские метрики:
- Посещения ChatGPT: 3.5 млрд
- Тренды Google по ChatGPT: достигли пика в 100 пунктов
- Рост интереса к ChatGPT (MoM): +18%

3. Гонка языковых моделей:
- Количество моделей с открытым кодом: 1,089
- Топ-10 загрузок моделей: 1,065 млн
- Рост загрузок год к году: +280%
- Загрузки датасетов: 11.3 млн

4. Финансовые показатели компаний:
- Производительность H100 GPU: $4.3 за час
- Производительность A100 GPU: $2.1 за час
- Продажи полупроводников: $40.1 млрд
- Рост капитальных затрат: +51% год к году

5. Венчурные инвестиции:
- Количество сделок с ИИ: 106
- Объем инвестиций в ИИ: 2,050 млн
- Общее количест...

Биткоин теперь новая нефть. Ани Асланян, основатель для «Ведомости» о том, почему растет биткоин

На мой взгляд в ближайшее время биткоин может стоить $100,000 и за этим стоят фундаментальные факторы.

Катализатором текущего роста стали не только обещания Трампа создать стратегический резерв биткоина и сделать США мировой криптовалютной столицей, но и ожидаемые структурные изменения в регулировании отрасли.

Ключевым моментом здесь является планируемая замена главы SEC Гэри Генслера, известного своей жесткой позицией по отношению к криптовалютам, на более лояльного кандидата.

Новая администрация президента США планирует провести: дерегуляцию финансового сектора, сокращение государственных расходов и налоговые послабления должны придать мощный импульс развитию инновационных технологий, включая криптовалюты.

Рынок уже отреагировал на эти перспективы: биткоин установил новый исторический максимум выше $90, 000, а общая капитализация крипторынка превысила $3 трлн.

Впервые криптовалюта получила такое ма...

❗️Кроме OpenAI, проблемы возникли у Google и Anthropic в разработке более совершенных моделей ИИ

Об этих проблемах мы писали ранее здесь. Вначале недели Илья Суцкевер заявил, что эра простого масштабирования ИИ подошла к концу. Все ищут что-то новое. Его команда SSI решает эту проблему.

По данным Bloomberg, Gemini 2.0 не оправдывает ожиданий внутри Google, поэтому фокус смещается на дополнительные функции (например, генерацию изображений). Меньше внимания уделяется фундаментальным улучшениям модели.

А Anthropic отложила выпуск Claude 3.5 Opus, удалив с сайта
упоминания о "скором выходе". Причина все как у конкурентов - улучшения производительности модели не оправдывают увеличение размера модели и операционных затрат.

У OpenAI проблемы с проектом Orion, который недостаточно эффективен в решении новых задач программирования.
Несмотря на доработки, модель пока не соответствует стандартам компании. Релиз отложен до начала следующего года.

Прорыв: разработан способ беспроводного доступа к мозгу через спинномозговую жидкость

Исследователи из Медицинского филиала Техасского университета и Университета Райса разработали технологию – эндоцистернальные нейроинтерфейсы (ECI).

Это первая в своем роде демонстрация беспроводного нейроинтерфейса через цистерну (пространство, заполненное спинномозговой жидкостью).

Принципиально новые возможности у такого нейроинтерфейса:

- Одновременный доступ к мозгу и спинному мозгу через одну точку входа.

- Возможность перемещения и извлечения устройства.

- Отсутствие необходимости в антитромботических препаратах.

- Доступ к большему количеству областей мозга

- Минимальная инвазивность.
Не требуется трепанация черепа
Доступ осуществляется через люмбальную пункцию в нижней части спины. Значительно снижен риск хирургических осложнений.

- Беспроводная система использует миниатюрную магнитоэлектрическую биоэлектронику.

Успешно протестировано пока на овцах. Подтверждена возможность записи и стимуляции нейронных сигналов. Устройство остается функциональным до 30 дней после имплантации. Возможно перемещение электродов и извлечение интерфейса.

Потенциальное применение:

1. Реабилитация после инсульта
2. Мониторинг эпилепсии
3. Диагностика и лечение различных неврологических расстройств

OpenAI планирует выпустить ИИ-агента, конкурента Anthropic

Первая версия будет представлять собой универсальный инструмент, работающий через веб-браузер.

Запуск планируется на январь в двух форматах:

- Как исследовательская предварительная версия,
- Через API для разработчиков.

Агент под кодовым названием "Operator", сможет самостоятельно выполнять различные задачи на компьютере от имени пользователя, например:

- Писать код
- Бронировать путешествия
- Выполнять другие практические задачи

Это часть общеотраслевого тренда по созданию ИИ-агентов - программ, способных выполнять сложные многоступенчатые задачи с минимальным контролем со стороны человека.

Ранее Anthropic выпустила похожего агента. А Microsoft запустила инструменты для работы с почтой и документами. Google тоже готовит своего ИИ-агента.