🔥Подборка источников датасетов для машинного обучения

🕸Google Dataset Search
Ищет релевантные наборы данных на разных сайтах, показывает дату обновления датасета и используемую лицензию.
🔤Kaggle
Нельзя не упомянуть эту платформу. Содержит наборы данных по разным темам, у многих датасетов есть подробное описание.
🖥 UCI Machine Learning Repository
Обновляемая база датасетов. Как правило, каждый набор данных имеет описание, в котором указано, есть ли пропущенные значения, какого типа переменные содержатся, сколько признаков и т.д.
🧩Amazon Datasets
Amazon опубликовал некоторые наборы данных, доступные на их серверах, как общедоступные.
🔠Yahoo WebScope
Содержит датасеты, разделённые по категориям: языковые данные, графовые данные, рыночные данные и др.
💬Datasets subreddit
Сабреддит, в котором можно поискать наборы данных или опубликовать собственный запрос.
🌐Geo Reviews Dataset 2023
Крупнейший русскоязычный датасет отзывов об организациях, опубликованных на Яндекс Картах. В целом, можно следить за Яндексом, так как компания периодически выкладывает свои наборы данных в общий доступ.

🤖 Итоги недели в мире ИИ и обзоры новых сервисов

У нас вышла интересная статья на 📰 по мотивам еженедельной рассылки про последние новости и тенденции в мире ИИ.

Ниже — небольшая подборка, а целиком читайте здесь 👈

📰 Новости

▫️ Вышла новая мультимодальная модель Unified-IO 2. Это вызов для грядущего ChatGPT-5, который не должен уступать опенсорсным собратьям.
▫️NVIDIA выпустила модель для распознавания речи Parakeet, которая по всем показателям превосходит OpenAI Whisper.
▫️ByteDance представила новую модель MagicVideo-V2 для генерации видео, которая, кажется, превосходит Stable Diffusion Video.

🛠 Инструменты

▫️Auto Wiki – генерирует вики-документацию для GitHub репозиториев.
▫️Code to Flow – визуализирует, анализирует и объясняет код, написанный на всех популярных языках и фреймворках.
▫️Corgea – исправляет уязвимые фрагменты кода.
▫️My AskAI – создает чат-ботов для экономии времени сотрудников техподдержки и пользовательского сервиса.

🪛 Сделай сам

OpenVoice – опенсорный инструмент для мгновенного клонирования голоса.

🎓 Туториалы

▫️Туториал по работе с новым API Query Pipelines показывает примеры создания простых линейных цепочек и сложных ациклических графов из модулей LlamaIndex.
▫️Туториал по объединению LLM с помощью mergekit.

🌳Решение задачи про вырубку деревьев

Обозначим расстояние между деревьями после вырубки d. Тогда существует n – d х (m – 1) – m + 1 способов вырубить деревья. Чтобы найти все варианты, нужно просуммировать способы по всем d. Кроме того, нужно учесть 2 частных случая – когда количество оставшихся после вырубки деревьев равно 0 или 1.

1️⃣ вариант:

n, m = list(map(int, input().split()))
trees = 0
if m == 0:
    trees = 1
elif m == 1:
    trees = n
else:
    for d in range(1, n):
        trees += (n - d) // (m - 1)
print(trees)

2️⃣ вариант:

n, m = map(int, input().split())
trees = 0
if m == 0:
    trees = 1
elif m == 1:
    trees = n
else:
    for d in range(1, (n - 1) // (m - 1) + 1):
        trees += n - (m - 1) * d
print(trees)

👉Ещё четыре олимпиадных задачи с решениями ищите в нашей статье👈

🕵️ Кто такие LLM-агенты

Давайте представим LLM-приложение (Large Language Models, большие языковые модели), которое помогает финансовому аналитику отвечать на вопросы о компании. Используя RAG (Retrieval-Augmented Generation), модель может легко ответить, например, на вопрос «Какой был общий доход у компании X за 2022 финансовый год?». А теперь допустим, что аналитику нужен ответ на следующий вопрос: «Каковы были три вывода из отчёта о прибылях и убытках за второй квартал 2023 финансового года? Сосредоточьтесь на главных продуктах компании». Ответ на него требует более сложного подхода: нужно использовать разные инструменты, разбить запрос на части и т.д. Объединить всё это сможет LLM агент.

Так, агент — это система для взаимодействия с динамической средой, которая воспринимает её и действует, выполняя заложенные в неё цели или задачи.

✔️ Вот ещё простой пример:
Автономные агенты часто выполняют свои задачи, принимая на себя определённые роли. Например, можно добавить к запросу специальный промпт (system prompt) с описанием «ты — опытный Python-разработчик». Можно даже делегировать создание таких system prompt другой модели. Так делает RecAgent — агент для пользовательских симуляций, например, в области рекомендаций фильмов. Ему дают лишь базовую информацию в виде таблицы, на основании которой формируется более полное описание агента.

➡️Таким образом LLM-агенты способны автоматизировать выполнение многих сложных задач, используя для этого различные инструменты, память и, собственно, языковые модели. Применять их можно везде, где способностей самих LLM недостаточно для решения задачи.