#ОбзорГены №2

Неделька выдалась мультимодальной, необычно много внимания привлекли аудио-музыкальные модели.

{ Свежак }

🔠 Spotify запустил плейлисты, которые собираются по текстовым запросам (пример LLM рекомендательной системы, которую я несколько раз подсвечивал)
🔠 SberDevices представили Giga Acoustic Model — семейство моделей для обработки звучащей речи, обученных на русском языке. В частности у них появился GigaAM-Emo для определения эмоций по речи как русскоязычный аналог Hume.ai
🔠 Cohere выпустили Command R+ — прекрасную open-sourse LLM, для которой не нужен супер компьютер (но 2x3090). Вообще Cohere — теневые лидеры в поставке LLM-моделей для RAG-чатботов и других корпоративных решений.
🔠 Теперь ChatGPT может редактировать изображения DALL-E (делать inpainting выделенной области).

{ Пульс }

⚡️ AssemblyAI со своей моделью Universal-1 перехватили пальму первенства по качеству расшифровки аудио в текст
⚡️ Anthropic обнаружили новый способ взлома LLM (с длинным контекстом) — many-shot jailbreaking. Этот прием возник именно из-за длинного контекста.
⚡️ DeepMind представили исследование про генерацию токенов в LLM с разным количеством ресурсов / энергии. Это движение в сторону так называемой "Системы 2", когда LLM будет способна "напрягаться", чтобы спланировать свой ответ и лишь потом его генерировать.

{ Текстуры }

✅ Туториал для Suno v3 (лучшей text2musiс модели) от "эйай ньюз".
✅ Нерешаемая задачка для ChatGPT, которую решили за 3 суток — первоначальная неразрешимость задачи предполагалась в сложной алгоритмичности и решении на уровне отдельных символов, но это не преграда для умелых промпт-инженеров.
✅ Общение с реализовавшимся сценарием футуролога — мастерство промптинга в действии.
✅ Краткая шпаргалка по блокам лендинга — заготовка для ChatGPT, чтобы быстро собрать веб-страницу.

{ Перекресток мнений }

❓ Позиционирование естественного интеллекта. Присутствие ИИ в определенных задачах (tasks) фрустрирует людей и проблематизирует их место в работе (job). На мой взгляд, у людей возникла путаница между результатом и процессом. ИИ часто обыгрывает человека в определенной задаче по результату, используя совсем не человеческий процесс. Нейросети вообще натренированы на результат с попыткой хакнуть процесс. При этом для ИИ достижим отличный результат далеко не во всех сферах, а еще далеко не всегда результат — это главное. Иногда главное — это присутствие в процессе, для которого самое важное мгновенно оценивать изменяющийся контекст и адекватно на него реагировать.

#multimodal #llm #audio #music #image #dalle #recommend #tutorial #jailbreaking #promptgramming

#ОбзорГены №3

{ Пульс }

⚡️ GPT-4 вернул лидерство среди LLM и стал заметно лучше в математике / рассуждениях.
⚡️ ChatGPT-момент в генерации песен. Кроме того, новичок Udio обошел Suno.
⚡️ Общение с цифровым аватаром — создали первую open-source сборку, где можно пообщаться с ИИ, как по зуму.
⚡️ ИИ видит сквозь стены благодаря Wi-Fi — анализ Wi-Fi волн позволяет ИИ фиксировать присутствие людей.

{ Свежак }

🔠 Adobe добавит AI в видеоредактор Premiere — причем как свои нейросети, так и сторонние (Sora).
🔠 YandexGPT 3 Pro появилась в голосовом помощнике «Алиса».
🔠 Amazon включил в состав совета директоров Эндрю Ына (Andrew Ng) — одного из наиболее уважаемых экспертов в AI-индустрии.

{ Текстуры }

✅ AI Index Report 2024 — ежегодный отчет от Стенфорда про тренды в AI.
✅ Системный промпт Claude — пример лаконичного промптинга.
✅ Карта ИИ-стартапов 2024 года — самая полная ИИ-карта.
✅ 43% студентов используют в учебе ИИ — исследование от НИУ-ВШЭ с подтверждением мысли о повальном использовании ChatGPT среди студентов.
✅ VoiceCraft: Zero-Shot редактор речи — прототип аудиоредактора, где речь можно изменять правкой текста.

{ Находки }

😯 Noctie — Шахматный ИИ-тренер.
😯 Real-time 3D generation — связка Dreams, Krea and 3daistudio для создания трехмерного персонажа.
😯 gpt-llm-trainer — упрощает процесс до-обучения ИИ-моделей под конкретную задачу.

{ Перекресток мнений }

❓ AI-FOMO. Никто не успевает за событиями в AI-мире. Это нормально. Успевать — кажется, вообще неважно, потому что отношения с ИИ надолго сохранятся, хотя будут и трансформироваться. Сейчас мы используем самые сильные нейросети как исполнителя, а позже (когда они станут умнее нас) будем учиться у самых сильных нейросетей как студент / подмастерье. Опоздать здесь нельзя.

#llm #text #music #speech #video #research #games #fomo #edu #map #promptgramming

⚡️ Стартап Reka показал новую мультимодальную LLM Reka Core

🟡Стартап Reka, основанный бывшими разработчиками DeepMind, представил свою последнюю разработку в области искусственного интеллекта — мультимодальную языковую модель (LLM) под названием Reka Core. Эта передовая нейросеть способна обрабатывать текст, изображения, аудио и видео, чем выделяется среди других технологий в своем классе.

🟡Reka Core обладает впечатляющим контекстным окном на 128 000 токенов и поддерживает обработку данных на 32 языках, что делает её одной из самых мощных и универсальных систем на рынке. Эта функциональность открывает новые возможности для разработчиков и исследователей в области ИИ, позволяя модели эффективно справляться с задачами обработки больших объемов разнообразных данных.

🟡В ряде мультимодальных оценок Reka Core продемонстрировала результаты, превосходящие показатели таких известных моделей, как Claude 3 Opus и Gemini Ultra. Особенно заметно это стало в области обработки видеоконтента, где Reka Core вышла на первое место, превзойдя Gemini Ultra. Кроме того, модель показала конкурентоспособные результаты с GPT-4 в задачах по пониманию изображений, что свидетельствует о высоком качестве и универсальности разработки.

🟡Компания Reka активно сотрудничает с такими гигантами, как Oracle и Snowflake, что позволяет ей расширять свои возможности и укреплять позиции на рынке.

▶️ Сайт Reka.ai (можно сразу открыть чат)

@ai_machinelearning_big_data

#ОбзорГены №4

Минувшая неделя отметилась очередью релизов, а также интересно наблюдать за применением AI в отраслях от маркетинга до спорта.

{ Свежак }

🔠 LLaMa-3 — новый лидер среди open source LLM. Результаты ChatBot Arena. На Hugging Face опубликовали обучающий датасет LLaMA-3.
🔠 Adobe выпустил Acrobat AI Assistant — чат-бот для поиска по PDF, также компания представила VideoGigaGAN — 8х апскейлер для видео.
🔠 Boston Dynamics представила Atlas, нового гуманоида на электродвигателях вместо поршней.
🔠 Вышла Reka Core — мультимодальная языковая модель, которая по Vision не хуже лидеров.
🔠 Яндекс релизнул сервис Нейро (аналог Perplexity).

{ Пульс }

⚡️ Легковесные LLM (LLaMA-3 8B / CodeQwen1.5-7B), размещаемые локально, обошли ChatGPT-3.5.
⚡️ Грядет новое поколение анимированных аватаров — VASA от Microsoft.
⚡️ Исследование: LLM лучше людей в фактчекинге.

{ Текстуры }

✅ Мысли про prompt-gramming (программирование на естественном языке) — ожидаем бум программируемой электроники.
✅ Каким станет веб-сайт в эпоху AI-чатботов / агентов — маркетологи не готовы полностью от него отказаться, но веб-сайт будет совершенно иным.
✅ Как запустить LLaMA-3 8В на локальном компьютере — используйте LM Studio.
✅ Как AI научился рекомендовать тактические приемы при угловых в футболе — разбор проекта DeepMind.
✅ Примеры применения Knowledge Maps в LLM-чатботах — подборка от тг-канала "LLM под капотом".
✅ Подборка ИИ-сервисов для ученых — от исследовательницы.
✅ Учёные, исследовавшие ДНК кишечной микрофлоры, встроили в Borderlands мини-игру, в которой игроки чинили реальные последовательности ДНК. В игру поиграло более 4 млн человек.

{ Находки }

😯 Lightning AI — альтернатива Google Colab для запуска нейросетей и GenAI-приложений.
😯 Vision Arena — таблица лидеров среди Vision-моделей.
😯 Waicas — всемирный конкурс среди создателей AI-инфлюенсеров.

{ Перекресток мнений }

❓ Великий ограничитель. В добавление к предыдущему посту интересный момент, что речь не о тотальной нехватки энергии, а о сконцентрированной в одном месте. Грубо говоря, датацентры (сверхкомпьютеры) начнут строить сразу вместе с электростанциями. Многие в индустрии ждут и надеются на прорыв в термоядерном синтезе, что символично для моего родного Троицка. Вряд ли советские ученые 1970-х думали, что создают технологию для искусственного интеллекта 😃

#llm #text #rag #robotics #research #promptgramming #industry #energy