Суперкомпьютеры для AI: две разработки и одно решение

AI-задачи требуют высоких вычислительных мощностей — нужно быстро обрабатывать и анализировать большие объёмы данных. На суперкомпьютерах, обладающих такими возможностями, модели обучают, файнтюнят и тестируют 💻

Поэтому компании стараются приобрести самое высокопроизводительное оборудование, учёные — разработать всё более совершенные системы, а руководства стран — найти на это средства 🤬

✅ В Ок-Риджской национальной лаборатории, к примеру, замахнулись на создание суперкомпьютера, который превзойдёт нынешнего лидера Frontier (в 2028 году истекает срок его службы 🤪). Назвали будущую звезду вычислений Discovery (специалисты используют наименование OLCF-6). Мощность установки должна превысить показатели предшественника в 3-5 раз 👏

✅ Амбиции разработчиков стартапа SingularityNET ещё масштабнее проекта Ок-Риджа. На мелочи они не размениваются и на своём компе планируют сразу создать AGI 🥶 Для этого у модульного суперкомпьютера будет всё! Процессоры Nvidia L40S, AMD Instinct и Genoa, стойки Tenstorrent Wormhole с H200 и системы GB200 Blackwell (мощностью 720 петафлопс каждая).

✅ А в правительстве Великобритании прямо сейчас идут жаркие споры на тему финансирования разработок AI-суперкомпьютеров. Месяц назад выделение средств приостановили, но эксперты требуют продолжить вложения 😠 Дело в том, что страна отстаёт в этой сфере от конкурентов. Два полнофункциональных компьютера Exascale (способных на миллиард миллиардов операций в секунду и важных для внедрения AI) есть у США, ещё как минимум один — в Китае. При этом все крупные экономики мира — от Японии с Европой до Саудовской Аравии — инвестируют большие средства в такие проекты.

Изображение создано для канала Душа Питона с помощью Kandinsky 3.1

LLMBox: AI для профи и начинающих

Исследователи из Китая представили фреймворк, унифицирующий работу с языковыми моделями на разных этапах.

Он содержит как наборы данных, позволяющие адаптировать различные стратегии обучения под конкретную модель, так и бенчмарки для оценки перформанса 🥰 Что не менее важно, LLMBox прост в использовании и относительно дружелюбен к пользователям без большого опыта в программировании 🙏

Фреймворк поддерживает работу с самыми разными языковыми моделями — от привычных LLaMA* до специализирующихся на китайском языке (Qwen) или математике (Llemma).

Что внутри:

🌟 интерфейс для работы с данными, поддерживающий широкий набор форматов. В LLMBox интегрированы 10 наиболее популярных датасетов для файнтюнинга моделей с помощью инструкций (включая FLAN v2 и Alpaca-52K). Есть и инструменты для имплементации RLHF-алгоритмов и специализированные наборы данных для этого — HH-RLHF, SHP (для поддержки дообучения на отзывах людей)

🌟 модули LoRA и QLoRA. Архитектурно библиотека строится на DeepSpeed (а это доступ к множеству инструментов для обучения и оптимизации языковых моделей — вроде оптимизатора ZeRO)

🌟 инструменты для квантизации, in-context learning и CoT

🌟 большое количество тестов для оценки перформанса моделей. Доступные бенчмарки объединяют 18 различных областей для проверки способностей LLM и 56 тестовых датасетов. Например, здесь есть MMLU и его китайский аналог CMMLU, тесты на генерацию кода (HumanEval), суммаризацию текста (XSum) и многие другие

🌟 из интересного — калькулятор для расчёта затрат GPU на обучение модели (можно также подобрать наиболее оптимальный подход)

Важно, что при проверке ряда моделей (LLaMA-2*, GPT-NeoX, OPT*, BLOOM) результаты на бенчмарках MMLU и HellaSwag были сопоставимы с теми, что заявляли создатели 🤩 Это позволяет убедиться в воспроизводимости моделей при использовании LLMBox. А с кэшированием можно добиться и ускорения инференса 🔜

* продукт экстремистской организации, деятельность которой запрещена на территории РФ

Изображение Renmin University of China, Xidian University

Столько лет назад древние вавилоняне нанесли на глиняную табличку надпись, которую учёные расшифровали с помощью AI только сейчас 🔥

Чтобы понять, о чём хотели рассказать предки, археологи бились над клинописным текстом больше столетия. Коллекция артефактов содержится в Британском музее. AI-технологии помогли прочитать текст на четырёх из них.

Полная расшифровка опубликована в журнале Journal of Cuneiform Studies. К слову, речь в ней идёт о различных предсказаниях астрологов Месопотамии — одной из старейших цивилизаций человечества 🧑‍🎓

AI в медицине: какую работу врачей и учёных доверяют моделям

В здравоохранении AI может быть крайне полезен, но эта сфера связана с повышенными рисками. Поэтому разработчики уделяют особое внимание обучению и тестированию таких моделей перед использованием в клинической практике 💎

✔️ Safety-гайдлайны LLM обычно не позволяют им отвечать на вопросы, связанные с медициной 🔒. А вот модели Med42-v2, созданные на архитектуре LLaMA 3*, можно смело внедрять в практику. Они подобные задачи понимают и могут оказать ценную помощь врачам.

✔️ Результаты медицинских исследований фиксируются в протоколах ✍️ После необходимо обработать данные и отобрать из них полезные (и не допустить ошибок). Вручную это делается медленно. А вот AI-алгоритм от Veridix AI может не просто оцифровать протокол, но и составить по нему график или отчёт 📈.

✔️ Медицинских данных собирается очень много, человеческими силами обработать их очень тяжело. Компания Aidoc выпустила сразу 17 AI-моделей, одобренных FDA. Теперь все они работают на платформе aiOS (не путать с iOS), запущенной в 13 больницах и многих амбулаторных учреждениях ➕ Инструменты сразу же анализируют результаты обследований пациентов, поступающих в неотложку.

✔️ Можно ли улучшить AlphaFold — легендарную модель, умеющую прогнозировать структуру белка? Оказывается, можно. Алгоритм OpenFold — открытый вариант инструмента — обучается на пользовательских данных (в оригинальной AlphaFold 2 такой опции нет). А вскоре ему добавят знаний о связи взаимодействии разных молекул с белками, что облегчит процесс разработки лекарств 💊

* продукт экстремистской организации, деятельность которой запрещена на территории РФ

Что будет, если внедрить LLM в процесс обучения информатике

Финские исследователи рассмотрели способность опенсорсных и проприетарных языковых моделей давать детальный фидбек с объяснением возможных багов.

Детали процесса:

🎓 использовался датасет из бенчмарка Socratic (57 заданий начального уровня по программированию, в которых студенты должны были писать простые Python-функции)

💬 каждое задание шло совместно с тестами, неправильными решениями, описанием багов, которые нужно поправить, и примерами диалога между студентом и учителем

🔈 на этом датасете оценивали, как модели дают обратную связь по задачам, предлагают улучшения и генерируют подсказки для студентов

В эксперименте участвовали опенсорсные Gemma-2B, Phi-3-mini, Mistral-7B, LLaMA 3 8B* и LLaMA 3 70B*, а также проприетарные GPT-3.5 Turbo и GPT-4o. Тесты проводились в двух конфигурациях: без описания багов в решении и вместе с ним.

И в генерации фидбека, и в оценке других LLM GPT-4o превосходит всех конкурентов 🔝 (авторы выделили 6 критериев оценки ответов, среди которых точность объяснения и правок, отсутствие указания на несуществующие баги и так далее).

Интересно, что LLaMA 3 70B* показала перформанс на уровне GPT-3.5 Turbo, а модели поменьше (вроде Gemma-2B) ожидаемо оказывались хуже ❌

* продукт экстремистской организации, деятельность которой запрещена на территории РФ

Изображение создано для канала Душа Питона с помощью Kandinsky 3.1

Новые функции известных инструментов: как правильно пользоваться AI

Настраиваем модели под себя, но без фанатизма 😙

1️⃣ Microsoft возвращает функцию Recall в Copilot+ PC. Революционный AI компании, способный практически угадывать желания пользователя, не зашёл с точки зрения конфиденциальности ⛔️ Microsoft быстро свернула запуск, но вот теперь обещает снова открыть доступ в октябре.

2️⃣ Не успели мы нарадоваться релизу полноценной веб-версии Midjourney с бесплатными генерациями, как сюрприз преподнесла OpenAI. Компания дала возможность файнтюнить GPT-4o под разные задачи. Бонусом дарят миллион обучающих токенов в день 💰 (сроки акции ограничены, но всё же). Датасет, кстати, можно взять совсем небольшой, а все ваши данные будут под надёжной защитой (OpenAI уверяет 💯).

3️⃣ Google научил Gemini работать с черновиками ваших мейлов ✉️ Речь о новой функции AI Polish, которая будет доступна в Gmail. LLM может довести до ума ваш вариант письма или предложить свой собственный. Апдейт открыли пока только пользователям премиум-аккаунтов.

4️⃣ С помощью GPT-4 учёные доказали, что не стоит самому себе ставить диагноз “по интернету”. Шутка (с долей правды). Ряду моделей предложили диагностировать заболевания по описанию симптомов, сформулированных профессиональным языком врачей (как в учебниках 😎). Справились они по-разному, но GPT-4 выдала наибольшую точность (90%). А вот когда запросы переписали "языком пациентов", результативность рухнула до 1%. Ещё одно доказательство того, что применять AI надо с умом 🆗

Geekbench AI 1.0: бенчмарк, который объединяет

Пробную версию инструмента для тестирования, известного ранее как Geekbench ML, Primate Labs запустили официально.

Geekbench AI оценивает CPU, GPU и NPU вашего устройства, чтобы определить, подходит ли оно для обучения современных моделей.

Что обещают разработчики:

🎮 стандартизировать измерения, чтобы можно было сравнивать возможности AI на различных платформах и архитектурах

🤪 широкую поддержку платформ (OpenVINO в Linux и Windows, а также TensorFlow Lite от Samsung ENN, ArmNN и Qualcomm QNN на Android)

🧑‍💻 бенчмарк включает три общие оценки для неоднородных рабочих AI-нагрузок (такая система способна учесть разные уровни точности и оптимизации оборудования)

⚡️ рабочие нагрузки в Geekbench AI 1.0 выполняются в течение 1 секунды

💻  интеграцию с браузером Geekbench

Доступен для Windows, macOS и Linux на сайте Primate Labs, а также в Google Play Store и Apple App Store для мобильных устройств ⛔️

Изображение Primate Labs