AI Для Всех
12.8K subscribers
1.17K photos
153 videos
10 files
1.38K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
Заканчиваем дела на этот год

В последний месяц я с головой ушел в свой проект, и совсем забыл про то, что я - это не только голова, но и тело. Спасибо что у меня есть такие чудесные друзья, как Ася.

Самый лучший способ выключится из дел и почувствовать свое тело - это ритуал какао. Рецепт такой: греем молоко, в него какао порошок, каенский перец и немножко корицы. Перед тем как пить, задаем intention (намерение, что мы хотим получить от ритуала).

После того как выпьете какао, лучше всего остановиться и посидеть помедитировать 20 минут (ставите таймер и дышите, каждый раз когда уносит в мысли, возвращаетесь к дыханию).

И вот, спустя час, все дела забыты, а впереди уже Новый год!

А вы как заканчиваете год?
Наш канал поздравляет всех подписчиков с Новым Годом 🎄

Желаем вам в новом году душевности, тепла, равновесия и достижения целей!
Инсайдерская инфа - OpenAI запустят свой GPT Store на следующей неделе.

Готовьтесь слышать слово агент из каждого утюга!
Бесплатные облачные кредиты для стартапов

Многие из нас что-то пилят (или как говорят в Долине we are building). Одно дело делать блокнотик в колабе, и совсем другое запускать что-то в продакшен. Для этого нужны деньги.

К счастью, у больших организаций типа AWS, Microsoft, NVidia и Google есть программы для стартапов, в которых они дают бесплатные облачные кредиты для реализации ваших идей.

Мне удалось получить их все, без официальной регистрации компании.

Формы заявки довольно простые для заполнения:

AWS Activate - $1000+
NVidia Inception - $10000+
Microsoft for Startups -$1000+
Google for Startups - $2000+

Попадание в каждую из этих программ дает множество дополнительных плюшек, типа бесплатных кредитов на Notion, Miro, Assana, Vercel и тд.

Happy building!
Магия Долины

На днях, сидел себе листал твиттер, как вдруг увидел пост Joscha Bach в котором он зовёт всех, кто пост прочитает, смотреть новый мультфильм Миядзаки в кино в Mountain View.

Не долго думая, я ответил что мне бы хотелось присоединиться, прыгнул в машину и приехал (примерно 40 минут от Сан-Франциско).

Во-первых, мультфильм мне очень понравился, он очень красиво нарисован и в нем очень красивая музыка.

А во-вторых, мы зависли на креслах в холле кинотеатра на 4 часа и это был просто космос! 4 часа живого общения с одним из самых интересных людей на планете!

Говорили про вселенную, разум, AI, Миядзаки, снова про вселенную, культуру, Дюну, экономикум софт для кожаных мешков и о чем только еще не говорили.

Самое сюреальное в происходящем было то, что люди вокруг понятия не имели, что происходило и обсуждалось на том диване (ну сидят какие-то нёрды и сидят 🤷‍♂️)

Вот такая у нас тут магия 🪄
GPT, который помнит все

OpenAI включает функцию AI всегда с тобой (она официально никак не называется).

Работать это будет так: все наше общение в разных чатах будет каким-то образом суммаризироваться и сохранятся (возможно, что то типа одного global thread, но для системного промпта).

По задумке OpenAI, GPT станет намного более персонализированным и полезным (alignment with persona’s preferences).

X
Mixtral 8x7B оптимизировали для работы на слабых GPU

Mixtral 8x7B — это большая языковая модель (LLM) с открытыми весами, производительность которой выше, чем у GPT-3.5. Mixtral 8x7B представляет собой собрание экспертов (Mixture of Experts (MoE)).

Такие модели архитектурно отличаются от традиционных LLM. Вместо отправки каждого токена в dense layer, модель использует набор экспертов (слои со специализацией) и роутер, который направляет токены к наиболее подходящему эксперту.

Здесь очень подходит аналогия с консалтинговой компанией, в которой работают консультанты разной специализации.

Если традиционные модели, например Llama2, взаимодействуют со всей информацией одновременно, то экспертные модели эффективно распределяют задачи среди своих экспертов, что позитивно сказывается на их производительности.

Все бы хорошо, но чтобы запустить Mixtral 8x7B нужно много гигабайт оперативной памяти на GPU, что зачастую недоступно простым смертным обычным юзерам.

Ребята из МФТИ оптимизировали прожорливую Mixtral 8x7B для работы на небольших (consumer grade) GPU.

Исходная модель была квантована в режиме смешанной точности, используя полуквадратичное квантование (HQQ). Также была разработана специальная стратегия разгрузки ресурсов.

Авторы изучили, как экспертная модель использует своих экспертов между токенами, и выявили некоторые закономерности:

1) Модель повторно использует определенных экспертов для последовательных токенов

2) Скрытые состояния ранних уровней уже предвидят, какие эксперты будут использоваться на последующих уровнях.

В результате был разработан метод разгрузки для MoE моделей, который использует эти шаблоны:

1) Используется кэш LRU для уменьшения обмена данными между графическим процессором и оперативной памятью, что увеличивает производительность

2) Метод заранее предсказывает, какие эксперты будут нужны и формирует очередность их загрузки на основе требуемых вычислений


🪄 Блог

🐈‍⬛ Код

🐙 GitHub

📖 Статья

🕸 Сайт
Онлайн с Microsoft for AI

Сегодня буду вести +- онлайн с конференции Microsoft AI Tour. Расскажу вам все свеженькие подробности, чем там занимается самая дорогая компания мира
🚀 Keynote: Следующее поколения ИИ для разработчиков

На докладе был продемонстрирован ряд новых интересных инструментов для работы с искусственным интеллектом и облачными вычислениями, что подчеркивает стремление компании интегрировать искусственный интеллект в свои основные сервисы.

- Microsoft Cloud и Copilot Stack: Интеграция искусственного интеллекта в каждое облачное решение, преобразующее работу разработчиков с Azure, которая теперь предлагает платформу для приложений, данных и искусственного интеллекта.

- Copilot для Microsoft 365: Использование больших языковых моделей (LLM) OpenAI и Microsoft Graph, обеспечивающих улучшенный пользовательский опыт.

- Security Copilot: Предлагает специализированные знания для обеспечения безопасности организации.

- Microsoft Copilot Studio: No/low code решение без кода с тысячами готовых плагинов, упрощающее создание новых приложений Copilot.

- GitHub Copilot: Теперь более мощный, с такими возможностями, как объяснение кода в Visual Studio Code и быстрое исправление ошибок.

- Синергия данных и ИИ: Признавая важность данных, Microsoft подчеркнула успех ChatGPT, работающего на базе Azure Cosmos DB, и представила Microsoft Fabric для расширенной аналитики данных.

- Инновационные функции: Векторный поиск в Azure AI Search и полный доступ к лучшим моделям OpenAI.

- Партнерство с NVidia: Продвижение NeMO для расширения возможностей ИИ.

- Chat Studio: Интуитивно понятная платформа для создания и настройки решений для чатов с легкой интеграцией поиска Azure AI и озер данных.

- PromptFlow: Визуальный интерфейс для создания цепочек промптов, Python и RAG, развертываемый как Azure endpoint.

- Azure Content Safety: Внедрение фильтров контента и настраиваемых параметров допустимости для более безопасного контента.

Выводы
Акцент Microsoft на простоте использования, безопасности и надежной аналитике данных указывает на значительный сдвиг в сторону ИИ-ориентированных решений, упрощающих сложные задачи и стимулирующих инновации среди разработчиков.
🌐 Break-Out Session Insights: Векторный поиск и передовые технологии поиска для приложений ИИ

Потенциал и проблемы векторного поиска в приложениях генеративного ИИ.

На второй сессии мы погрузились в запутанный мир векторного поиска и передовых методов извлечения информации для приложений генеративного ИИ, обсудив возможности и ограничения, присущие современным большим языковым моделям (LLM).

- Ограничения LLM: устаревшие знания и отсутствие доступа к внутренним данным (например компании)

- Инкорпорирование знаний о домене:
Обсуждались такие стратегии, как промптинг, файнтюнинг (навыки и знания навсегда) и RAG (временные навыки и знания)

- Стоимость файнтюнинга: По общему мнению сотрудников Microsoft, файнтюнинг - это дорого, обратил внимание, что многие не знают об экономически эффективных методах, таких как LoRA.

- Retrieval Augmented Generation (RAG): Этот подход предполагает преобразование вопроса пользователя в оптимальный поисковый запрос для поиска документов, а затем ответ от LLM с цитатами.

- Robust Retrieval: Акцент на важности надежного поиска данных с использованием векторных методов семантического сходства.

- Векторные базы данных и эмбеддинги: Обсуждение того, как разные модели дают разные вкрапления, причем эмбединги OpenAI отличаются тем, что кодируют как буквы, так и семантику. (“Dog” ~ “god”)

- Возможности для бизнеса: Потенциал для встраивания источников знаний и предложения поиска по сходству в качестве услуги (Vector Search as a Service)

Azure AI Search
Возможности включают автоматическое индексирование из баз данных Azure, комплексный векторный поиск и мульти-язычные текстовые эмбединги.

- Стратегии векторного поиска: Такие методы, как приближенный поиск ближайших соседей (ANN) и исчерпывающий поиск KNN, были отмечены за их эффективность в различных сценариях.

- Гибридный поиск: Сочетание точного поиска текста с векторным поиском для повышения релевантности.

- Чанкинг и векторизация: Azure работает над предложением "Chunking as a Service, которая предполагает разбиение длинного текста на более короткие фрагменты для более целенаправленного анализа содержимого.

- Azure AI SDK и приложения: SDK облегчает векторный поиск в различных приложениях, включая рекомендательные системы.

Выводы
Сессия подчеркнула быструю эволюцию методов поиска в ИИ и подчеркнула важность векторного поиска и RAG для улучшения приложений генеративного ИИ.

Дальнейшее развитие Microsoft в этой области, особенно с помощью Azure AI и возможностей векторного поиска, свидетельствует о твердом намерении развивать технологии ИИ для более точного, релевантного и эффективного поиска и обработки данных.
AI Для Всех
🌐 Break-Out Session Insights: Векторный поиск и передовые технологии поиска для приложений ИИ Потенциал и проблемы векторного поиска в приложениях генеративного ИИ. На второй сессии мы погрузились в запутанный мир векторного поиска и передовых методов извлечения…
Ценники на Azure

У Microsoft прям таки мега супер дорогой Semantic Reranking! Определенно возможность для маленького стартапчика (покидайте какие уже такое делают).

Semantic reranking - это процесс, используемый в области обработки естественного языка и информационного поиска, где первоначальные результаты запроса переупорядочиваются на основе их семантического содержания. Цель этого процесса - улучшить релевантность и точность результатов, предоставляемых поисковой системой или другим алгоритмом обработки языка.

В типичном сценарии использования, система сначала генерирует список потенциальных ответов или документов на основе некоторых начальных критериев (например, ключевых слов). Затем эти результаты анализируются более глубоко с точки зрения их семантического содержания - то есть понимания и интерпретации естественного языка, в контексте которого они были созданы. Этот анализ может включать в себя оценку релевантности текста к запросу, понимание намерений пользователя, учет контекста и смысловых связей между словами.

После семантического анализа результаты могут быть переупорядочены так, чтобы наиболее релевантные и полезные ответы были представлены первыми. Это повышает вероятность того, что пользователь найдет наиболее удовлетворительный ответ на свой запрос в начале списка результатов.

Semantic reranking широко используется в современных поисковых системах, системах рекомендаций, чат-ботах и других приложениях, где важно точно понимать и отвечать на запросы на естественном языке.
AI Для Всех
Ценники на Azure У Microsoft прям таки мега супер дорогой Semantic Reranking! Определенно возможность для маленького стартапчика (покидайте какие уже такое делают). Semantic reranking - это процесс, используемый в области обработки естественного языка и…
От самого Azure пока ощущение так себе. Пришел на воркшоп, там была пошаговая инструкция как запустить PromptFlow. Мы потратили 1.5 часа, никто из 40 человек и не справился с тем что бы дойти собственно до самого PromptFlow. Бесконечная настройка и подключение чего-то куда-то.

Так что если вы можете хостить AI приложения и предоставлять их как сервис - все у вас будет хорошо (давай я настрою облако за тебя)
This media is not supported in your browser
VIEW IN TELEGRAM
InseRF: Генеративная вставка объектов в нейронные 3D-сцены посредством текста

Google представила InseRF - метод добавление объектов в NeRF сцены. InseRF умеет органично встраивать новые объекты в существующие сцена, не требуя явной 3D-информации, которая была ограничением для существующих методов. Для добавления объекта всего лишь нужно выделить область в сцене рамкой и подать промпт.

Это достигается следующим образом:
- Генерируется 2D-изображение желаемого объекта с помощью диффузных моделей на основе текстового описания;
- Это изображения реконструируется в 3D с помощью NeRF в указанном рамкой месте;
- С помощью монокулярной оценки глубины определяется трехмерное размещение объекта в сцене;
- NeRF объекта и сцены объединяются в одну сцену так, чтобы объект был привязан к желаемым 3D координатам.

Конечно, этот метод не идеален. На примерах видно, что новые объекты никак не взаимодействуют с освещением: не отбрасывают тени и не имеют отражений. Подозреваю, что прозрачные объекты не будут таковыми.

📜 Пейпер | 🎦 Примеры
Что обсуждают самые активные стартапы (в Хакерской AI тусовке) в Долине?

Провел несколько дней в AGI House (наверное самый эпицентр e/acc на планете), и спешу поделиться инсайтами.

1. CEO Cresta:
- Важно решать существующие проблемы клиентов, а не придумывать новые.
- Очень важно найти правильно сооснователя.
- Строить продукты на базе ИИ очень легко
- Стратегию разработки продукта можно определить через сегментацию рынка

2. Том (Chai Research):
- Blending is all you need
- Chaiverse.com - маркетплейс для LLM
- Демография Chai App: 60% женщин 14-25 лет.
- Пользователи предпочитают вовлеченность фактичности.

3. Матан (Pika):
- Платформа "idea2video".
- Уникальные функции: расширение холста и модификация изображения.

4. Алекс Волков (Weights and Biases):
- WandB - видеоняня для вашего BabyAGI
- Указал, что лучшие специалисты по файнтюнингу используют W&B.
- Упомянул легкость интеграции W&B с Together Ai.

5. Три Дао (Together Ai):
- Разработчик FlashAttention.
- Представил модель Mamba для линейного временного моделирования с выборочными состояниями).
- Обсудил важность глубоких последовательных моделей в современном глубоком обучении.
- Рассмотрел архитектуру SSM - модель с выборочным состоянием.

6. Харрисон (LangChain):
- Работает над агентами.
- Описал 5 уровней агентов:
- Уровень 1: Сама LLM.
- Уровень 2: Цепочка RAG; запрос -> извлечение -> запрос -> LLM -> ответ.
- Уровень 3: Агент; выбор источников для поиска ответа.
- Уровень 4: Использование gpt-researcher для генерации задач и запросов.
- Уровень 5: Агент Рефлексии/Автоматизации.

Вот такие вот инсайты из Долины 🚀
Please open Telegram to view this post
VIEW IN TELEGRAM