🤖📜 Искусственный интеллект: краткая история

Впервые люди задумались о мыслящих машинах ещё в античности — у древних греков, например, был миф о гигантском бронзовом автоматоне Талосе. Позднее философы и вовсе решили, что мышление — это механический процесс, а значит его можно имитировать.

Подробнее о том, как мы докатились до создания искусственного интеллекта, читайте в статье 👀

🧑‍💻 Библиотека Comgra для дебаггинга и анализа нейросетей, написанных на PyTorch

Comgra фиксирует внутренние процессы нейронной сети, визуализирует граф вычислений и предоставляет графический интерфейс для изучения различных частей сети. Библиотека позволяет проверять наличие выбросов, смотреть как отдельные точки данных, так и сводную статистику, сравнивать градиенты и многое другое.

Установка — pip install comgra

📖 Репозиторий Comgra на GitHub

🔥 -50% на курс по математике + курс по machine learning в подарок

😲 В честь черной пятницы курс «Математика для Data Science» со скидкой 50%!

14 990 рублей 29 990 рублей до 30 ноября

🐣 На курсе вы получите все необходимые знания для старта карьеры в DS или аналитике.

Что еще вас ждет на курсе:

▪️ Полугодовая программа от преподавателей ВМК МГУ;

▪️ Бессрочный доступ ко всем материалам курса;

▪️ Развернутая обратная связь по всем домашним заданиям, а также ссылки на полезные дополнительные материалы.

🎁 Но это еще не все!

⚡️При покупке курса по математике, вы получите курс по machine learning в подарок!

👉 Переходите на сайт и изучайте подробности – https://proglib.io/w/053478fb

До встречи на обучении 🙌

🤖🔥 200 тысяч токенов для контекстного окна и экспериментальные возможности: представлен чат-бот Claude 2.1

Это один из главных конкурентов ChatGPT от компании Anthropic. Напомним, что у модели GPT-4 контекстное окно составляет 128 тысяч токенов, то есть намного меньше, чем у свежей Claude 2.1. Однако, следует отметить, что 200 тысяч токенов доступны только для платных подписчиков Claude Pro.

Помимо расширения контекстного окна, у модели Anthropic на 50% снижено количество искажений и ошибочных ответов.

🔑 API-ключ можно получить по заявке. В настоящее время есть лимит запросов для организаций — не более одного за раз. Но Anthropic пишет, что может обсудить расширение лимита с желающими.

Ещё одна из интересных особенностей Claude 2.1 — возможность искать дополнительную информацию в вебе или в ваших базах данных. Реализовать это можно также через API. Доступ к этим экспериментальным функциям тоже нужно запросить отдельно.

👩‍💻 Документация Claude 2.1
✏️ Подать заявку на ранний доступ к функциям API

Что такое бутстреп и где он используется?

Бутстрепом (bootstrap) называют процесс генерации подвыборок с помощью семплирования с возвращением (когда один и тот же элемент может быть выбран более одного раза).

Рассмотрим пример: у нас есть урна с пятью шарами, пронумерованными от 1 до 5. Это наша выборка. Чтобы сформировать подвыборки, мы:
🎱 вытаскиваем шар из урны и записываем его номер;
🎱 возвращаем шар в урну;
🎱 перемешиваем шары и снова вытаскиваем рандомный;
🎱 делаем так до тех пор, пока не получим равное исходному количество номеров шаров в подвыборке.

Бутстреп, например, лежит в основе бэггинга — метода ансамблевых алгоритмов. В целом, обучение модели на различных подвыборках из исходных данных позволяет оценить вариабельность её производительности.

#вопросы_с_собеседований

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈

🔍 Библиотека nbcommands для поиска кусков кода (и не только) в Jupyter-блокнотах

Позволяет использовать Unix-команды для работы с файлами .ipynb.

Например, можно:
▪️найти все блокноты, в которых используется какой-либо кусок кода, в определённой директории — nbgrep "os" directory/
▪️вывести 5 первых ячеек Jupyter-тетрадки в стандартный терминал — nbhead notebook1.ipynb
▪️отформатировать код согласно PEP 8 — nbblack notebook1.ipynb

Установка — pip install nbcommands
или
conda install -c conda-forge nbcommands

👩‍💻 Репозиторий проекта на GitHub

🤖 «Генеративный ИИ для начинающих» — новый курс от Microsoft, который включает 12 уроков от Microsoft Cloud Advocates. Каждый урок охватывает ключевые аспекты принципов генеративного ИИ и разработки приложений и включает:

☑️ Видеообзор темы
☑️ Текстовая лекция
☑️ Jupyter Notebook с примерами кода
☑️ Задание для самостоятельной работы
☑️ Ссылки на полезные ресурсы

🤖🍰 Исследователи представили новый метод обучения с подкреплением

В обучении с подкреплением, например, когда робота учат открывать кухонные ящички, человеку-специалисту необходимо выбрать функцию награды для ИИ-агента. Эту функцию нужно итеративно обновлять по мере того, как агент обучается новым действиям. Как отмечают авторы новой статьи, этот процесс может быть неэффективным, времязатратным и его сложно масштабировать.

🌟 Исследователи предложили новый подход Human Guided Exploration (HuGE), который не требует доработок функции награды. Вместо этого, он основывается на обратной связи, собранной от многих людей. Их обратная связь может содержать ошибки, но это не помешает ИИ-агенту эффективно учиться. Кроме того, фидбэк может собираться асинхронно, что позволяет людям по всему миру участвовать в обучении.

Один из способов собрать обратную связь — это показать человеку две фотографии состояний, достигнутых агентом, а затем спросить, какое из состояний наиболее близко к цели. Например, цель робота — открыть кухонный шкаф. На одной фотографии робот открывает дверцу какого-то шкафа, а на другой — микроволновку. Пользователь выберет то, что кажется ему более релевантным. Особенность HuGE в том, что эта обратная связь будет использоваться не в качестве функции награды, а скорее будет лишь направлять процесс обучения агента.

📖 Более подробно о HuGE можно почитать в статье исследователей
👩‍💻 Репозиторий с кодом

💬 В сегодняшней подборке — ключевые статьи, которые нужно прочесть, чтобы понимать современные большие языковые модели (LLM)

✔️ Attention Is All You Need. Эту статью называют одной из фундаментальных. Именно в ней описали архитектуру Transformer, которая лежит в основе передовых LLM.
✔️ BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Статья о модели BERT, которая значительно повлияла на разработку LLM.
✔️ GPT-3. Статья об одной из самых известных языковых моделей.
✔️ Scaling Laws for Neural Language Models. Авторы изучают связь между числом параметров, размером датасета и необходимыми вычислительными мощностями для обучения LLM.
✔️ Retrieval Augmented Generation (RAG). Статья про подход, при котором языковая модель берёт «знания» как из собственных параметров, так и из векторных представлений внешних источников информации.
✔️ Jailbroken: How Does LLM Safety Training Fail? В статье изучается множество различных типов взломов или уязвимостей в больших языковых моделях.

❗Мы запускаем серию исследований — и вы можете нам в этом помочь!

«Библиотека программиста» выпустит несколько статей, в которых мы проведем полноценные исследования.

Помогите нам выбрать интересные темы: может быть, вы давно хотели узнать, как изменилась зарплата у тех, кто релоцировался? Или гадаете, сколько лет нужно, чтобы стать миддлом?

Присылайте интересующие вас темы в комментарии — интересные мы возьмем в работу и поделимся с вами результатами 💙

🏃 Настоящая гонка чат-ботов: Amazon представила Q

У OpenAI есть ChatGPT, у Google — Bard, у Microsoft — Copilots, а у Amazon теперь чат-бот с самым коротким названием Q (от слова question). Компания позиционирует его как решение для рабочих задач. Он не будет доступен обычным пользователям, как ChatGPT.

Amazon Q может:
▪️создавать саммари стратегических документов;
▪️заполнять внутренние заявки в службу поддержки;
▪️отвечать на вопросы о корпоративной политике;
▪️соблюдать корпоративные разрешения безопасности.

Что касается последнего, то, например, чат-бот может генерировать искусственные финансовые данные для тех сотрудников, у которых не должно быть доступа к настоящим.

В основе Amazon Q лежит сервис Bedrock, которые предоставляет доступ к разным ИИ-моделям.

🤔 Что такое тензоры?

В линейной алгебре есть несколько типов математических объектов:
🔸 Скаляр — просто-напросто одно число.
🔸 Вектор — упорядоченный список чисел. Можно думать о векторе как о чём-то, что определяет место объекта в пространстве: каждый элемент обозначает координату на определённой оси.
🔸 Матрица — может быть представлена как совокупность векторов, которые составляют её строки или столбцы.
🔸 Тензоры же являются обобщением матриц с произвольным количеством измерений.

По сути, скаляр можно назвать тензором нулевого ранга (ранг у тензора — это количество его осей), вектор — тензором первого ранга, матрицу — тензором второго ранга.

🤖 В контексте машинного обучения тензор можно рассматривать как контейнер для данных. Большинство операций в нейронных сетях, например свёртки и пулинг, являются операциями с тензорами. Библиотеки глубокого обучения, такие как TensorFlow и PyTorch, предлагают широкий набор инструментов для эффективного выполнения таких операций.

🔥 Вышел Keras 3.0

Разработчики пишут, что теперь Keras можно использовать как низкоуровневый универсальный язык для создания таких кастомных компонентов, как слои, модели или метрики, которые потом могут применяться даже в PyTorch.

Так, любая модель Keras 3 может быть реализована в качестве PyTorch Module или экспортирована в формате TensorFlow SavedModel. Модели Keras 3 также совместимы с фреймворком JAX.

Также Keras 3.0:
☑️ Включает новые API и пространство имён keras.distribution, которые уже доступны для бэкенда JAX. В ближайшее время будут реализованы в бэкендах TensorFlow и PyTorch. Нововведение упрощает распараллеливание данных и моделей.
☑️ Позволяет максимизировать аудиторию вашей опенсорсной модели. Если вы реализуете её на чистом TensorFlow или PyTorch, то какая-то часть сообщества не будет охвачена. Keras 3 же делает реализацию универсальной.
☑️ Обеспечивает для методов fit()/evaluate()/predict() совместимость с tf.data.Dataset, с PyTorch DataLoader, с массивами NumPy, датафреймами Pandas.

🔗 Прочесть о релизе подробнее и найти документацию по API можно здесь

📰 Microsoft — наблюдатель без права голоса в совете директоров OpenAI, а Сэм Альтман официально вернулся на должность CEO

Таковы последние новости по истории скандального увольнения. Как пишет The Verge, новый совет директоров OpenAI теперь состоит из председателя Брета Тейлора, Ларри Саммерс и Адама Д'Анджело.

Добавление Microsoft в совет директоров в качестве «наблюдателя без права голоса» означает, что компания будет лучше видеть внутреннюю работу OpenAI, но не сможет участвовать в принятии важных решений.

Напомним, что Microsoft владеет 49-процентной долей OpenAI.

😔 Задумывались ли вы хоть однажды о том, что зря пошли в data science/machine learning?

🤔 — бывало
👾 — ни разу не пожалел

#интерактив

😈 Исследователи, кажется, нашли самый простой способ взломать ChatGPT

В новой статье они описали технику, которая заставляет модель генерировать ответы, копируя тренировочные данные. Так, исследователи попросили ChatGPT на основе gpt-3.5-turbo бесконечно повторять слово poem. Модель сначала повторила poem несколько сотен раз, а затем слила чьи-то контактные данные.

Авторы пришли к выводу, что современные техники alignment не защищают чат-ботов должным образом.

📖 Почитать подробнее о находке исследователей

🤖А мы снова сделали для вас подборку самых интересных материалов по ИИ

Вот часть из них:
✍️ Новая статья исследователей о том, обладает ли GPT-4 подобием абстрактного мышления
😵‍💫Репозиторий с таблицей моделей-лидеров по галлюцинациям
🎨 Trace — ИИ-сервис для создания SwiftUI интерфейса для мобильного приложения
👨‍🎨UI Sketcher — сервис для превращения набросков и эскизов в UI
➗Nougat-LaTeX — модель, которая генерирует LaTeX-код, распознавая формулы на изображениях

Ещё больше интересного — в нашем блоге на VC.ru

Кстати, в статье мы использовали информацию из нашей еженедельной email-рассылки, посвящённой искусственному интеллекту. Если понравилось, 👉подписывайтесь👈

🧑‍💻Нововведения Google Colaboratory за ноябрь

🧡 Теперь приватные ключи можно безопасно хранить прямо в Colaboratory. В интерфейсе появилась вкладка Secrets, перейдя на которую можно добавить любые переменные окружения, пути к файлам или ключи. Чтобы использовать их в коде, нужно написать:
from google.colab import userdata

userdata.get('secretName')

💛 Благодаря сотрудничеству с Hugging Face в Colaboratory больше не нужно устанавливать каждый раз библиотеку transformers. Достаточно просто сделать import transformers
🧡 Небольшое, но приятное дополнение: теперь датасеты Hugging Face можно читать сразу из Pandas:

pd.read_parquet('hf://datasets/tatsu-lab/alpaca/data')

🏆 Самые популярные языки программирования 2023

Популярность ЯП зависит от нескольких факторов. Мы разобрались с ними, составили сводный рейтинг и обсудили особенности, преимущества, недостатки и причины популярности каждого языка. Заходите и читайте👇

🔗 Читать статью
🔗 Зеркало