AI Для Всех
12.8K subscribers
1.15K photos
147 videos
10 files
1.37K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
PyTorch позволяет компилировать NumPy код для параллельных вычислений

Хотя NumPy частично основан на API для операций линейной алгебры (BLAS), а библиотеки BLAS по умолчанию используют несколько потоков для ускорения некоторых операций, сам NumPy напрямую не поддерживает параллельные вычисления.

Начиная с версии 2.1, PyTorch может компилировать NumPy в оптимизированный для параллельных вычислений C-код, без необходимости изменять исходный код. Все, что нужно - скомпилировать NumPy код используя torch.compile. В результате код NumPy будет скомпилирован в распараллеленный OpenMP код, а операции будут объединены, где это возможно, для еще более эффективных вычислений.

Более того, PyTorch также позволяет выполнять код NumPy на CUDA, просто запустив его в контексте torch.device("cuda")! В этом случае код будет скомпилирован в triton.

Простой бенчмарк на примере kmeans показывает 9х прирост в производительности OpenMP кода на одном ядре, по сравнения с обычным NumPy, 57х на 32 ядрах и 200х на RTX 2060.

📰 Источник
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ от NVIDIA научил робота крутить ручку как человек

Компания NVIDIA разработала ИИ-агента Eureka, который учит роботов сложным навыкам. Он настолько хорош, что с его помощью обучили робо-руку крутить ручку не хуже человека.

Eureka автоматически генерирует награду для обучения с подкреплением методом проб и ошибок. Так роботы научились открывать ящики, ловить мячи, пользоваться ножницами и другим.

Для создания программ Eureka использует генеративный ИИ GPT-4 от OpenAI (уже представили Intelligence as a Service?). Он не требует специальных подсказок или шаблонов. Также агент учитывает отзывы людей, чтобы лучше соответствовать их цели.

Моделирование в NVIDIA Omniverse позволяет Eureka быстро оценить качество генерируемых программ. Затем ИИ улучшает их путём самообучения.

Агент Eureka успешно обучил разных роботов - двуногих, летающих дронов, манипуляторов. Он превзошёл программы, написанные экспертами, более чем в 80% задач.

Это прорыв, который открывает новые возможности в обучении роботов и создании реалистичной 3D-анимации.

😄 Блог-пост
🐙 GitHub
📚 Статья
Новый способ эффективно кодировать пространственные данные для нейросетей

Исследователи предложили улучшенный способ кодирования географических координат (широты и долготы) для использования в нейронных сетях.

Обычно координаты преобразуют в векторы признаков при помощи тригонометрических функций. Но эти методы не оптимальны для данных на сферической поверхности Земли.

Ученые предлагают использовать сферические гармоники - специальные ортогональные функции на сфере. Они лучше подходят для геоданных.

Сферические гармоники можно представить как набор математических функций, которые вместе образуют своего рода "карту" поверхности сферы. Каждая функция отвечает за свою "зону" на сфере. Их комбинацией можно точно описать любую точку на сфере, в нашем случае - на Земле. Таким образом, сферические гармоники - это как бы географическая сетка, накладываемая на планету.

Кроме того, в качестве нейросети предлагается архитектура Siren. Она эффективно обрабатывает плавные сигналы от сферических гармоник.

Архитектура нейросетей Siren в свою очередь похожа на радар, который умеет улавливать плавные сигналы. В отличие от обычных нейросетей, построенных из прямоугольных импульсов, Siren использует плавные синусоидальные сигналы. Это позволяет ей лучше понимать данные от сферических гармоник.

Таким образом, сферические гармоники задают удобную "сетку" для геоданных, а Siren как радар умеет извлекать из неё нужную информацию. Вместе они обеспечивают эффективное кодирование местоположений.

Преимущества нового подхода:

- Устойчивость в полярных областях, где старые методы дают сбои.

- Вычислительная эффективность за счёт предварительных вычислений.

- Простая настройка разрешения путём изменения числа многочленов.

Получается, что данный метод позволяет лучше кодировать геоданные для использования в нейросетях!

📚Статья
🖥 Код
🖥 Туториал на колабе
Please open Telegram to view this post
VIEW IN TELEGRAM
Обучение влияет на мораль искусственного интеллекта

Исследователи выяснили: то, на каких диалогах обучают ИИ, влияет на его представления о добре и зле.

Например, если показывать боту диалоги про заботу и справедливость - он станет "добрее". А если про традиции и авторитеты - "строже".
Это важно, ведь мораль влияет на реальные решения ИИ. "Добрый" бот может предлагать мягкие наказания, "строгий" - суровые.

Значит, выбор обучающих диалогов - мощный инструмент.

🔖 Статья
Новый курс: создание диалоговых агентов на основе LangChain

Компания LangChain (совершенно пропустил момент когда они стали компанией) выпустила бесплатный курс о последних достижениях в области языковых моделей и как их можно использовать для создания диалоговых агентов.

В курсе рассматриваются новые возможности, такие как вызов функций в ChatGPT. Также вводится новый синтаксис LangChain Expression Language для настройки поведения агентов.

Слушатели научатся:

- Генерировать структурированный вывод с помощью вызова функций
- Использовать LCEL для настройки цепочек обработки запросов
- Применять вызовы функций для задач вроде тегирования данных
- Понимать маршрутизацию запросов с помощью инструментов LangChain

Курс рассчитан на 1 час и доступен бесплатно в течение ограниченного времени. Рекомендуется базовое знание Python и опыт написания промптов для языковых моделей.

Это отличная возможность изучить новейшие инструменты для создания приложений на основе ИИ и улучшить свои навыки в этой области!

🦜🔗 Курс
GitHub Copilot Chat и его влияние на качество кода

GitHub провел исследование, в котором попросил 36 опытных разработчиков, которые никогда не использовали Copilot Chat, оценить его полезность при решении задачи.

Некоторым из участников случайным образом было поручено использовать Copilot Chat и оценить написанный код по следующим критериям: читаемость, универсальность, краткость, удобность в обслуживании и отказоустойчивость.

Затем разработчики получили два пул запроса без информации, был ли исходный код написан с помощью Copilot. Ревью выполнялось с Copilot Chat и без него по вышеописанным критериям.

После получения ревью, авторы решали какие из комментариев были более полезны. И, конечно же, авторы не знали какой из комментариев был написан с помощью Copilot.

Какие результаты? 👀

- 85% разработчиков отметили большую уверенность в качестве кода

- Участники отметили улучшение скорости проверки кода на 15%

- 88% разработчиков сообщили о сохранении фокуса (flow state)

🤓 Блог
Сверточные нейросети догнали трансформеры на больших данных

Долгое время бытовало мнение, что трансформеры лучше масштабируются и превосходят сверточные сети при обучении на огромных наборах данных из интернета. Однако недавнее исследование опровергает это убеждение.

Ученые обучали мощные сверточные модели семейства NFNet на наборе данных JFT-4B, содержащем 4 миллиарда изображений. Бюджет обучения варьировался от 400 до 110 000 часов на TPU v4. Чем больше вычислительных ресурсов тратилось, тем лучше работали модели. После дополнительного обучения на ImageNet лучшая модель достигла точности 90.4%, что сопоставимо с результатами трансформеров при аналогичных вычислительных затратах.

Ключевыми факторами остаются объем данных и вычислительная мощность. Результаты ставят под сомнение распространенное мнение о превосходстве трансформеров. В будущем важно проводить честное сравнение архитектур с учетом одинаковых вычислительных затрат на обучение.

🖥 Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
LLEMMA - языковая модель для математики

Недавно исследователи из Princeton и компании EleutherAI представили LLEMMA - большую языковую модель, специализированную для математических задач.

Модель была обучена на огромном массиве научных текстов и кода, связанных с математикой - всего 55 миллиардов слов!

В результате LLEMMA научилась решать математические задачи, доказывать теоремы и даже использовать специальные компьютерные программы для математических вычислений.

По сравнению с общими языковыми моделями, LLEMMA показала гораздо лучшие результаты на тестах по математическому выводу. Например, в формате 4-shot она решила 43% задач из набора MATH.

Вся модель, данные и код для её обучения выложены в открытый доступ. Это позволит ученым улучшать модели для математики и смежных областей.

В будущем подобные модели смогут автоматизировать рутинные задачи, помогать с доказательствами теорем и делать открытия!

👍 Статья
🎉 Код
Please open Telegram to view this post
VIEW IN TELEGRAM
Большая языковая модель для наук о Земле K2

Ученые создали первую в мире большую языковую модель, специализированную в области геологии, географии и других наук о Земле. Её назвали K2 - в честь второй по высоте горы на планете.

Модель K2 научили отвечать на вопросы и решать задачки по географии и геологии. Для этого ей "дали прочитать" 5.5 миллиарда слов из научных статей и Википедии про науки о Земле.

Кроме того, K2 может сама искать нужную информацию в поисковиках и базах данных. Таким образом она становится помощником для геологов и географов в их исследованиях.

По сравнению с обычными языковыми моделями, K2 лучше отвечала на вопросы из экзаменов для поступающих в аспирантуру по геологии и географии. Это показывает, что она действительно хорошо "разбирается" в геонауках.

Разработчики K2 выложили в открытый доступ все данные и код, которые использовали для её обучения. Это позволит улучшать такие "модели-геологи" и создавать похожие модели для других областей науки.

🔖 Статья
🐙 Код
🗻 Поговорить с K2
Please open Telegram to view this post
VIEW IN TELEGRAM
Друзья, нужен совет сообщества 🤝

Последнее время я столкнулся с проблемой - несмотря на сильное резюме, меня редко приглашают на собеседования по ИИ и Data Science.

Не могу понять, в чём причина. Возможно, в моём резюме есть какие-то ошибки или недочёты, которые снижают интерес HR.

Хотелось бы услышать ваше мнение - какие проблемы или упущения вы видите в моём резюме? Что в нём нужно улучшить, чтобы привлекать больше внимания работодателей?

Я открыт к любым предложениям и советам от вас! Давайте вместе разберёмся, как сделать моё резюме по-настоящему конкурентным 💪

В целом, если кому-то нужны мои навыки в области ИИ и анализа данных, пишите мне в личку @crimeacs. Я готов рассмотреть интересные предложения о работе или сотрудничестве!

Жду ваши идеи в комментариях. Буду благодарен за помощь и советы! Рефералы тоже очень приветствуются.
Слили количество параметров в ChatGPT

Исследователи из Microsoft опубликовали количество параметров в gpt-3.5-turbo. Их оказалось 20B. Как думаете, это типа дистиллят? А сколько параметров в GPT-4?

Ссылка
RedPajama - новый датасет на 30 триллионов токенов!

Компания Together Computer представила обновлённую версию открытого набора текстовых данных RedPajama. Теперь он содержит 30 триллионов токенов - в 30 раз больше, чем было в первой версии!

Это колоссальный объём информации, отфильтрованной из сотен миллиардов веб-страниц. Такие данные послужат фундаментом для обучения по-настоящему масштабных открытых языковых моделей.

Преимущества нового датасета не заканчиваются на внушительных размерах. В набор добавлены десятки готовых аннотаций качества текста. Они позволят исследователям гибко фильтровать и взвешивать данные под конкретные задачи.

Все это существенно упростит и ускорит разработку открытых моделей ИИ. Каждый сможет с лёгкостью создать свою собственную уникальную выборку на основе RedPajama. А значит, ждём новую волну экспериментов и прорывных результатов!

В общем, RedPajama 2 - это мощный импульс для всего сообщества ИИ. Крупные данные, гибкость, доступность - так рождается прогресс!

🦙 Блог-пост
🦙 Датасет
🐙 Git
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Как услышать болезнь сердца?

Исследователи из Google нашли способ распознавать болезнь сердца по звуку. Для этого предлагается использовать обычные наушники с активным подавлением шума.

Этот метод называется аудиоплетизмография. Он позволяет измерять частоту сердечных сокращений и вариабельность сердечного ритма без добавления дополнительных датчиков или снижения срока службы батареи.

Устройство посылает ультразвуковую волну низкой интенсивности, регистрирует отраженную волну через встроенные микрофоны и выявляет важную информацию о сердечном ритме, например, дикротические вырезки. Диагностический сигнал совершенно не слышен и на него не влияет воспроизведение музыки.

Два раунда экспериментов с 153 участниками показали, что этот универсальный метод обеспечивает неизменно точные измерения частоты сердечных сокращений и вариабельности сердечного ритма.

Аудиоплетизмография превращает любые наушники с активным шумоподавлением в карманного ушного кардиолога с помощью простого обновления ПО.

💊 Блог
Открытый вебинар для разработчиков уровня Middle+, Senior и Architect

Ждем вас на открытом вебинаре [Технический лидер] 1 ноября в 19:00 по МСК.

Что вы узнаете:
- как растёт инженер и какие роли доступны после уровня Senior
- какие hard- и soft-скилы нужны TechLead, чтобы двигаться по карьерной лестнице
- какие задачи выполняют TeamLead и TechLead
- как получать за свои навыки 2х в компаниях CША и Европы
- поймёте текущую ситуацию на рынке IT и прогнозы развития на 2024 год

После вебинара вас ждет бонус — рекомендации по поиску работы Senior-инженеру и выше

👉 Регистрация на вебинар

#реклама
AI Для Всех
Друзья, нужен совет сообщества 🤝 Последнее время я столкнулся с проблемой - несмотря на сильное резюме, меня редко приглашают на собеседования по ИИ и Data Science. Не могу понять, в чём причина. Возможно, в моём резюме есть какие-то ошибки или недочёты…
Как улучшить CV

На днях провел небольшой эксперимент - выложил свое CV в наш канал @nn_for_science и попросил помочь его улучшить.

Вот ключевые советы и рекомендации по улучшению резюме, которые были даны в комментариях к посту:

- Четко определить желаемую должность и направление - научная работа или индустрия.

- Адаптировать резюме под конкретную целевую позицию.

- Больше акцентировать внимание на практических результатах и бизнес-ориентированности опыта.

- Добавить цифры, факты, конкретные достижения.

- Использовать более простой и понятный широкой аудитории язык, избегать сложных терминов.

- Выделить в отдельный раздел ключевые технические навыки и "мягкие навыки".

- Добавить мотивационное письмо, чтобы полнее раскрыть сильные стороны.

- Сделать резюме более визуально привлекательным, используя современные шаблоны.

- Под каждую конкретную вакансию подготавливать персонализированное резюме и сопроводительное письмо.

- Расширять профессиональную сеть на мероприятиях и платформах типа LinkedIn.

- Попробовать пройти стажировку в интересной компании.

В целом, основная рекомендация - сделать резюме максимально ориентированным на практическую ценность для бизнеса и удобным для восприятия HR.
GPT-4 почти прошел тест Тюринга

Новое исследование ставит волнующий вопрос: может ли ИИ GPT-4 пройти знаменитый тест Тьюринга на разумность? Ученые решили проверить это в публичном онлайн-эксперименте.

Люди и машина сражались в увлекательной битве. Суть теста - убедить собеседника в чате, что проходящий тест - человек.

Результаты оказались любопытны: GPT-4 обманул людей в 41% случаев. Впечатляет, но недостаточно, чтобы объявить победу ИИ.

Есть подозрение, что эту цифру можно увеличить с помощью дополнительного файн-тюна. А вы что думаете?

🔖 Статья
PhaseHunter - SOTA детектор землетрясений

Я очень рад представить вам PhaseHunter - SOTA нейронную сеть, предназначенную для обнаружения землетрясений.

В преддверии выхода моей статьи, хочу собрать фидбек. Даже если сейсмология - это не ваш конек, я буду рад, если вы примите участие в тестировании проекта.

PhaseHunter использует сверточную нейронную сеть для обнаружения сейсмических фаз P и S в непрерывных записях путем извлечения иерархических признаков и регрессии. Главная особенность модели - то, что она знает когда она не права.

PhaseHunter использует операцию Masksembles для оценки неопределенности предсказаний фаз P и S. Masksembles применяет разные маски к входным данным, чтобы создать множество слегка измененных представлений. Затем модель делает предсказания для каждого представления и анализирует их распределение, чтобы оценить уверенность в обнаружении фазы. Чем шире распределение, тем выше неопределенность и соответсвенно меньше уверенности в предсказании.

Как вы можете помочь?
1. Установка: потестируйте процесс установки (все ли гладко?)
2. Функциональность: Работает ли PhaseHunter так, как ожидалось? Есть ли какие-либо заминки?
3. Документация: Все ли понятно? Что-нибудь упущено или непонятно?
4. Производительность: Насколько быстро/медленно работает? Выскакивают ли какие-либо ошибки?
5. Общие замечания: От дизайна до структуры кода - все мнения приветствуются.

Помимо этого, если вы не умеете в код, но умеете в дизайн - очень нужны поясняющие картинки/видео/анимации, что бы проект стал более доступным для широкой аудитории. Советы от специалистов по UX тоже очень приветствуются!

🔗 PhaseHunter (git)
Вот что думает Сэм Альтман, который и заварил всю эту кашу.

Недавно был принят исполнительный приказ (EO) Президентом США, касающийся искусственного интеллекта. Этот документ регулирует подход правительства США к разработке, регулированию и внедрению технологий ИИ.

В контексте нашей научной области, такое решение может оказать влияние на деятельность малых исследовательских групп и стартапов. @Sama подчеркнул важность того, чтобы, реализуя этот приказ, не замедлять инновационную деятельность. Особое внимание стоит уделить тому, чтобы малые команды и исследовательские группы могли продолжать свою работу без лишних препятствий.

Ссылка
Илон Маск представил твиттер чат бота ИИ Grok

Прямо перед закрытием биржи на выходные Илон Маск анонсировал запуск Grok - чат бота, который живет в Твиттере.

Слово "grok" в переводе с английского означает "понимать интуитивно, сопереживая".

Таким образом, название Grok отражает одну из особенностей системы - умение понимать людей и сопереживать им.

Grok умеет обрабатывать естественный язык и вести диалоги. В твиттере Маск продемонстрировал возможности системы в шуточном диалоге.

Особенность Grok - способность реагировать на шутки и глупые вопросы с юмором, но этично.

По словам Маска, Grok имеет прямой доступ к актуальной информации в твиттере (то есть по сути real-time информацию со всей планеты). Это важное преимущество перед другими чат-ботами.

Выход Grok - значимое событие на рынке ИИ. Появление публичной системы от Илона Маска может дать новый импульс развитию больших языковых моделей.

Твит