эйай ньюз
58.5K subscribers
1.4K photos
732 videos
7 files
1.72K links
Культурно освещаю самые и не самые важные новости из мира AI, и облагораживаю их своим авторитетным профессиональным мнением.

В свободное время работаю как Staff Research Scientist в Meta Generative AI в Швейцарии.

Aвтор: @asanakoy

PR: @kander426
Download Telegram
OpenAI в 2021 году оценивалась в $14 млрд. Сейчас же после безудержного хайпа с ChatGPT Wall Street Journal говорит, что компанию оценивают в $29 млрд.

еплохой рост на фоне падающих акций FAANG.]

И по этой оценке OpenAI планируют продать shares венчурным капиталистам как минимум на $300 млн.

Что я думаю по этому поводу? Думаю, что это очередной пузырь, и в течение 6 месяцев появится не одна компания, которая покажет похожих по мощности чат ботов. Да и в опен-соурс что-то к тому времени просочится.

@ai_newz
⚡️Вот и первый конкурент ChatGPT подъехал, о чем я и говорил в предыдущем посте! Это чат бот Claude от стартапа AntropicAI. Он пока в пре-релизе, но уже есть примеры его работы.

Для теста Claude против ChatGPT их обоих попросили сравнить себя с машиной из книги "Кибериада" Станислава Лемма, которая может создавать объекты, чье название начинается на букву "n".

Мне кажется, Claude тут переплюнул ChatGPT.

Для выбора абсолютного победителя было бы интересно посмотреть, как они друг с другом переписываются в стиле рэп батла, например 😁.

@ai_newz
Нейродайджест за неделю

🚨 Атака на PyTorch
Злоумышленники подменили бинарник torchtriton в PyPI, из за чего PyTorch-nightly установленный через pip в период с 25 по 30 декабря содержал вредоносный код. [Подробнее на официальном сайте]

🎹 Творческий вайб от AI-сгенерированного репа в канале [Прыгнуть на пост с AI-Drake]

🧠 GPT позволяет диагностировать деменцию на ранней стадии
Для этого нейросети необходим фрагмент текста обычной речи пациента, вместо традиционных медицинских обследований.

📉 Продажи видеокарт для ПК упали до 20 летнего минимума
После бурного роста продаж по время пандемии, в 3 квартале 22 года продажи упали на 42% до уровня 2005 года.

🔎 Помните предыдущий пост про панику в Гугле из за ChatGPT?
По слухам, Microsoft уже планируют интегрировать ChatGPT в Bing. [Прыгнуть на пост]

🌦 DeepMind представили SOTA модель GraphCast для прогноза погоды
По заверениям авторов, GraphCast значительно обходит конкурентов по точности предсказаний, а так же отличается эффективностью: предсказание на 10 суток вперед (35 Гб предсказанных данных) занимает менее минуты.

🔋 ML в ядерной энергетике
На хайпе от первых успешных опытов по достижению "грааля" ядерной энегретики [подробнее в канале Дениса], департамент энергетики США выделил $33M на исследования, связанные с машинным обучением, которые бы способствовали дальнейшему развитию технологии ядерного синтеза с чистым приростом энергии.

🔄 MetaAI представили Data2vec 2.0
Работа опирается на опубликованную в начале 2022 года статью data2vec - универсальный фреймворк, который обучается аналогичным образом на тексте / картинках / речи. Data2vec второй версии сравним по качеству с предшественником, однако оказывается на порядок быстрее. Опубликовали код и веса.

Читать предыдущий дайджест

@ai_newz
Друзья, я сейчас в Тбилиси!

Было бы здорово собраться, пообсуждать эйай (и не только), попивая грузинское. Как вы на это смотрите? Жду вас в комментариях.

Я тут до четверга.

UPD. Предлагаю встретиться во вторник.

@ai_newz
эйай ньюз
Друзья, я сейчас в Тбилиси! Было бы здорово собраться, пообсуждать эйай (и не только), попивая грузинское. Как вы на это смотрите? Жду вас в комментариях. Я тут до четверга. UPD. Предлагаю встретиться во вторник. @ai_newz
Для нашей встречи я забронировал стол [где напишу в лс] на вторник (10 января) в 18:00. Места там не много, бронь только на 10 человек, так что подтвердите в комментах, что точно придёте и лучше не опаздывайте 😊.

UPD. Ребят, в Тбилиси оказалось очень активное комьюнити! Следующий раз нужно делать митап в хакспейсе со слайдами:) а в этот раз, хотел бы просто пообщаться, поэтому не могу пригласить слишком много людей.
Microsoft планирует внедрить языковые модели, разработанные в OpenAI (GPT-3-like и прочие) в Ofiice365. Хотят, чтобы языковые модели помогали юзерам писать и улучшать текст прямо в Word, Outlook, Power Point и других приложения офиса.

@ai_newz
эйай ньюз
Друзья, я сейчас в Тбилиси! Было бы здорово собраться, пообсуждать эйай (и не только), попивая грузинское. Как вы на это смотрите? Жду вас в комментариях. Я тут до четверга. UPD. Предлагаю встретиться во вторник. @ai_newz
А вот и фото со встречи в Тбилиси. Было много вина и интересных разговоров про карьеру, эмиграцию, конференции, как хайпануть в тиктоке 😂, да и просто про жизнь.

Друзья, спасибо что пришли, было очень кайфово!
Как я читаю Arxiv, и как справляюсь с количеством статей

Я вернулся в Цюрих, а значит пора искать новые статьи!

Читать голый arxiv.org в поисках новых статей за неделю подвластно лишь, наверное, полубогам. Каждый день ребята из Поднебесной заливают десятки, а то и сотни статей на архив. И, конечно, 99% из них – шлак или на абсолютно не релевантные темы. Хотелось бы иметь возможность искать статьи похожие по тематике и в идеале сортировать их по качеству, что довольно нетривиально сделать.

Раньше я использовал Arxiv-sanity от Карпатого для поиска похожих статей. Механика там довольно примитивная. Для каждой статьи обучается Exemplar-SVM на tf-idf фичах из абстракта, а затем статьи ранжируются по похожести. Текстовый поиск только по ключевым словам. Соответственно и качество поиска выходит не очень.

Раньше там ещё был счётчик количества упоминаний статьи в Твиттер, что говорило об уровне хайпа вокруг работы, но в новой версии его больше нет.

Сейчас кто-то наконец сделал толковый поиск по статьям на Arxiv, который удостоен технологиями 2023 года — https://arxivxplorer.com. В разделе CS – около 500к статей, и для каждой статьи посчитали текстовые эмбеддинги по абстракту, используя API к текстовым моделькам от OpenAI, о которых я писал тут. Это обошлось автору в $50. Зато теперь в строку поиска можно ввести любые фразы либо даже вопросы, по которым будет считаться эмбеддинг и выдаваться наиболее релевантные статьи из базы. Я очень рад таким инновациям и уже пересел на этот сервис!

@ai_newz
Shutterstock расширяет давние отношения с Meta

Прошла новость, что Shutterstock партнерится с Meta по теме датасетов с картинками: "By tapping into Shutterstock's collection of millions of images, videos and music, Meta plans to use these datasets to develop, train and evaluate its machine learning capabilities."

@ai_newz
У этой нейронки можно спросить про любого человека, либо вообще про все что угодно. Я считаю, очень забавно посмотреть, что интернет знает про тебя и твоих друзей, поэтому cпросил "Крут ли Юрген Шмудхубер?" (кто не знает Шмидхебера, я про него писал тут).

За интерфейсом крутится сетка от компании kagi.com, которая пытается создать более удобную альтернативу google поиску. Стоит их поиск $10 в месяц, поэтому я пока на утенке duckduckgo.com.

Ну, а доступ к своей Large Languаge Model пока предоставляют бесплатно. Сетка рабтает по типу WebGPT, то есть она умеет отвечать на вопросы, и в тоже время умеет искать актуальную инфу в интернете и использовать ее в своих ответах.

Вперед играться! https://labs.kagi.com/ai/contextai

@ai_newz
Так нейросеть видит или не видит? Что скажете?

Кажется, что-то видит 🧐

@ai_newz
Нейродайджест за неделю (#3)

🐞 Код, написанный при помощи AI-ассистентов, содержит больше ошибок и уязвимостей
Хорошие новости для разработчиков! Исследователи из Стенфорда сравнили код, который программисты писали самостоятельно, и код, написанный при помощи Codex. В результате исследования оказалось, что баги и уязвимости вероятнее окажутся в коде, написанном при помощи AI-ассистента. При этом разработчики, использовавшие AI-ассистент, считали свой код более безопасным.

👩‍🔬 ChatGPT - соавтор научных работ
Еще в декабре вышла первая научная работа, прошедшая рецензию, в которой среди авторов указан ChatGPT. Паралелльно с этим, организаторы ICML запрещают использование AI-сгенерированного текста (за исключением, конечно, примеров работы модели) в статьях. Видимо, все потому что ...

🧐 Абстракты статей, написанные ChatGPT, с легкостью вводят ученых в заблуждение
Абстракты, написанные AI, для фейковых статей выглядят очень убедительно, а антиплагиат считает текст на 100% оригинальным.

🤑 Microsoft ведет переговоры об инвестировании уже 10 миллиардов долларов в OpenAI
При этом доля Microsoft составит 49%, а так же 75% дохода до покрытия инвестиций. Также планируется внедрить модели от OpenAI в продукты Microsoft Office. [Прыгнуть на пост]

🔎 Поисковик по Arxiv'y нового поколения
Поисковая система использует эмбеддинги абстрактов, полученные из текстовых моделей OpenAI, и позволяет искать по любым фразам. [Прыгнуть на пост]

💎 DeepMind представил DreamerV3
DreamerV3 — это универсальная модель, которая способна обучаться под различные задачи "из коробки" (и даже способна обходить узкоспециализированные алгоритмы). Кроме того, DreamerV3 это первый алгоритм, который может с нуля научиться собирать алмазы в майнкрафте.

❱❱ Читать нейродайджест #2

@ai_newz
Артисты подали в суд на Stability AI и Midjourney за нелицензированное использовагие их работ для обучении сетей. Это первый прецедент такого рода и очень интересно, чем это кончится, ведь это очень сильно может повлиять на развитие генеративных сетей и SD в частности.

Надеюсь, прогресс победит ретроградов и использование публичных датасетов в некоммерческих моделях все же не запретят.

Забавно, что на OpenAI DALL-E в суд не подали. Видимо, сказать про них особо нечего, там прозорливо молчали про используемый датасет и код никому не показывали.

Бомбежка в реддите: “you stand accused of illegal math on your computer”.

@ai_newz
Я как-то упустил перл от Tencent — нейронка Different Dimension Me, которая довольно забавно превращает фото в аниме.

Прилагаю результаты вам на обозерние.

После скандалов из-за неполиткорректности сетки (см. пост ниже), доступ к ней с западных IP закрыли. Но затем это обошли через VPN, и потыкать все еще можно тут.

@ai_newz