Copilot может взять на себя на себя 80% работы кодеров

Гендиректор GitHub Томас Домке рассказал о своём видении того, как будет развиваться ИИ Copilot — инструмент, который помогает программистам дописывать код. Copilot уже обрабатывает около 40% кода у программистов, которые участвуют в бета-тестировании. А в следующие пять лет «второй пилот» будет выполнять в два раза больше работы, то есть около 80%. Уже и тут «вкалывают роботы, а не человек».

Спикер считает, что сейчас мы проходим третью волну повышения производительности в мире кодирования. Сам он начинал работать в первую волну, когда мир только-только отошёл от использования перфокарт, а интернета ещё не было. Вторым этапом он назвал появление интернета, а третьим — открытого исходного кода. При этом ИИ пока не может взять на себя 100% работы разработчика. Он не способен создать себя без участия пользователя. Copilot не изобретает новых алгоритмов.

Стабильные новости

Вчера у Stability AI был большой день. Во-первых, независимая компания получила хорошее финансирование. А во-вторых, анонсировала запуск нового сервиса.

Сколько денег и от кого?

В Stability AI инвестировали 101 млн, при этом саму компанию оценили в 1 млрд. В раунде финансирования участвовали Coatue, Lightspeed Venture Partners и O'Shaughnessy Ventures.

На что пойдут деньги инвесторов?

— На поддержание кластера из более чем 4 тыс графических чипов NVIDIA A100, который используется для обучение систем ИИ. Сейчас расходы на него составляют примерно 50 млн долларов в год.

— На развёртывание пользовательских версий Stable Diffusion с большей вычислительной мощностью.

— На наём дополнительных сотрудников (хотят увеличить штат со 100 до 300 людей в течение 2023 года).

Что ещё анонсировали?

В компании сказали, что в разработке сейчас сразу несколько коммерческих проектов. Среди них — ИИ-модели для генерации языка, 3D-моделей и музыки. Про последний (Dance Stability) мы уже немного знаем, пару недель о нём подробно рассказывали на TechCrunch.

Ещё стоит ждать отдельного сервиса для генерации анимаций и видео — самый свежий тренд сезона. Инструмент надеются выпустить уже в течение нескольких недель.

State of AI 2022: что важно знать

Наконец-то ознакомилась с отчётом State of AI 2022. Если кто не знает, это один важнейших документов в сфере ИИ, который ежегодно подготавливают инвесторы Нейтан Бенайх и Ян Хогарт. Каждый выпуск State of AI отличается высоким качеством аналитики и большой точностью прогнозов — всё, как мы любим.

Кратко расскажу о моментах, которые показались мне наиболее интересными.

Аналитики возлагают большие надежды на нейросети, способные писать код. Искусственный напарник-программист GitHub Copilot от OpenAI доказал свою эффективность, я писала о нём выше. Уже в ближайшее время на рынке может появиться интегрированная среда разработки на основе ИИ, уверены Бенайх и Хогарт.

Главный прорыв 2022 года. Диффузионные модели растоптали конкурентов в области генерации визуального и звукового контента. DALL-E 2, Midjourney и Stable Diffusion, с которыми мы играемся последние несколько месяцев, — это как раз диффузионные модели, если вы не знали.

Инвестиции в ИИ заметно снизились. По прогнозу аналитиков, по итогам 2022 года отрасль привлечёт около $70,9 млрд (против $111,4 млрд годом ранее).

США лидируют по числу ИИ-стартапов с оценкой свыше $1 млрд (292 компании суммарной стоимостью $4,6 трлн). На втором месте Китай (69 компаний на $1,4 трлн), на третьем — Великобритания (24 компании на $207 млрд).

Вместе с тем Китай значительно обгоняет США по масштабу исследований в области ИИ. С 2010 года китайские институты опубликовали в 4,5 раза больше работ, чем их американские коллеги. Сильнее всего в Китае сфокусированы на технологиях наблюдения, автономного управления, интерпретации сцен и распознавания объектов.

NVIDIA фактически монополизировали рынок аппаратного обеспечения для нейросетей. Исследователи ИИ используют “железо” этой компании в десятки раз чаще, чем оборудование от других производителей.

При этом в сфере программного обеспечения ситуация обратная. Благодаря снижению стоимости вычислений появилось множество независимых лабораторий, которые более охотно открывают исходный код и не дают крупным игрокам монополизировать исследования в сфере ИИ.

Разработчики искусственного интеллекта стали уделять больше внимания вопросам безопасности. Если в 2021 году в крупных ИИ-лабораториях работало менее 100 исследователей безопасности, то в 2022-м их число выросло до 300. Но этого всё ещё недостаточно, считают Бенайх и Хогарт.

Научные исследования с использованием ИИ обязательно приведут к новым прорывам. Однако учёным следует опасаться методологических ошибок — например, включения в наборы для обучения нейросетей нерелевантных данных. Если уделять методологии недостаточно внимания, это может усугубить кризис воспроизводимости научных исследований.

Российские учёные улучшили разработку карт глубины

Краем глаза слежу за научной конференцией о VR и AR, которая сейчас проходит в Сингапуре. Интересно вдвойне, потому что там ещё и участвуют исследователи из России. Вот, сотрудники Института AIRI представили крутую модель ИИ для построения карт глубины.

Что это за карты?

Карты глубины содержат информацию о расстоянии от точки обзора до поверхностей. Они нужны для ориентации в пространстве роботов и беспилотных авто.

Как их получают?

Обычно с помощью лидаров или RGB-камер. Хотя в обоих случаях есть ограничения, касающиеся радиуса действия.

Другой вариант — улучшать показания датчиков и прогнозов с помощью глубоких нейронок. Но и здесь есть сложности: приходится предварительно очищать исходные данные от шумов и помех.

В чём инновация?

Учёные объединили два подхода и разработали архитектуру с использованием глобальной пространственной информации. Она сочетает преимущества трансформеров и свёрточных архитектур.

При новом методе модели настраиваются с помощью самообучения. То есть данные датчиков глубины здесь вообще не нужны!

Что это даёт?

Упрощение обучения. А если точнее, процесс будет стоить значительно дешевле.

Метод уже проверили на независимых наборах данных. На конференции говорят, что модель показала одни из лучших в мире результатов.

Правда, научная статья еще не опубликована, но сборник конференции скоро выйдет, а в AIRI обещают выложить в открытый доступ модельки. Что ж, ждём.

Решила разнообразить наш ламповый канал новым форматом. Давно хотела позадавать вопросы знакомым экспертам. Скоро будет!

Это вот так я спешу задать вопрос, по мнению "Кандинского" 🫦

Пока бегу к эксперту, решила поиграть с веб-сервисом на основе алгоритма Stable Diffusion, который позволяет часть фотки менять по текстовому запросу. Например, Теслу на шакала. Шакал - ведь вы этого достойны!

Превращаем текст в музыку

Готова поспорить, что все уже наигрались в художников и хотели бы попробовать что-нибудь новое. Как насчёт роли композитора?

Сервис для создания генеративной музыки Mubert научился делать короткие музыкальные треки по текстовому запросу. Функция на основе API платформы уже доступна в виде демо-версии (можно посмотреть на GitHub), а в скором времени её обещают прикрутить и к основному сайту.

Какие у меня впечатления

Результаты пока угловатые и не всегда точно соответствуют запросу. Кроме того, в генерации контента всё-таки принимают участие люди — нейросеть “склеивает” композиции из семплов, подготовленных живыми музыкантами и саунд-дизайнерами.

Однако я уверена, что всё это лишь временные шероховатости и “костыли”. В конце концов, ещё год назад почти никто не поверил бы, что сгенерированные нейросетью изображения можно будет разместить на обложке журнала или отправить на художественный конкурс.

Ниже размещу треки, которые получились у меня в ходе тестирования 🔽

Потестила бесплатный интерфейс для новой модели Stable Diffusion. Инструмент дорисовывает картинку по вашим подсказкам. Правда, не всегда понимает, что от него хотят — нормально воспроизвести штаб-квартиру Twitter ему (и мне) так и не удалось. Но вышло всё равно забавно.

Ждём TensorFlow 3

Чуть не упустила важное. Пару дней назад Google анонсировала выход новой версии TensorFlow. А это, на секундочку, одна из главных платформ для тренировки нейросетей — как гугловских, так и сторонних (с инструментом работают Apple, Netflix, Twitter и др).

Чего ждать?

Упор на XLA-компилятор, который «должен стать отраслевым стандартом». Он ускоряет обучение моделей на CPU и GPU.

Распределенные вычисления. Компания инвестирует в DTensor — новый API для параллелизма моделей. Инструмент помогает разделять нейросети на фрагменты и обучать каждый из них на отдельной системе. Это удобно при тренировке больших моделей.

Кроме компиляции, разработчики обещают не забыть про алгоритмические методы оптимизации производительности — речь про вычисления смешанной и пониженной точности, которые могут сильно ускорить обучение на GPU и TPU.

Появятся новые инструменты для CV и NLP, включая большой набор предварительно обученных моделей. А заодно станет больше ресурсов для разработчиков — добавят примеры кода и свежие руководства.

Говорят, экспорт на мобильные устройства, микроконтроллеры и серверы станет проще. А все API TensorFlow хотят консолидировать и упростить, чтобы пользоваться ими было удобнее.

Если что, не переживайте — полная обратная совместимость с предыдущей TensorFlow 2 будет предусмотрена.

Когда ждать?

Точной даты пока нет. Но говорят, что предварительная версия выйдет во втором квартале 2023-го. А производственная — ещё позже, но в том же году.

Что будет, если скрестить Minecraft и Stable Diffusion?

Minecraft — уникальная игра, она привлекает и ещё не научившихся разговаривать детей, и прожжённых датасаентистов.

Помню, как летом спецы из OpenAI обучили нейросеть добывать в «Майне» ресурсы и пищу, охотиться и бегать. А теперь художник и энтузиаст Шон Саймон показал эксперимент со Stable Diffusion.

DiffusionCraft AI (так называется скрещённая версия) превращает постройки из блоков в красивые концепты. Причём делает это в реальном времени!

Работает это так: скрипт на Python передаёт изображение с экрана геймера в инструмент Img2Img (туда же вписывается текстовая подсказка). Картинка обновляется раз в определённый интервал времени или сразу после того, как игрок ставит новый блок в игре.

Выглядит залипательно.