Сергей Булаев AI 🤖
12.6K subscribers
759 photos
638 videos
3 files
787 links
Publora.com - коннектор для ваших AI агентов к соцсетям.

Co.actor - помощники по созданию постов для вас и вашей команды

Так же в прошлом соосновывал: Купи Батон! Lifehacker.ru, Взахлёб!

tg: @sergeonsamui
in: linkedin.com/in/sbulaev
Download Telegram
🧠 Исследователи из Стэнфорда, UC San Diego и UC Berkeley представили новый подход к обучению языковых моделей - Test-Time Training (TTT) layers. Это может стать важным шагом в создании более эффективных и масштабируемых ИИ-систем.

Ключевые моменты:

🔄 TTT layers используют самообучение в процессе работы. Их скрытое состояние - это модель, которая обучается на каждом токене входной последовательности.

📊 Представлены две реализации: TTT-Linear и TTT-MLP. Обе показывают результаты на уровне или лучше современных моделей вроде Transformer и Mamba при меньших вычислительных затратах.
🚀 TTT-Linear уже быстрее Transformer на контекстах от 8К токенов и сравнима по скорости с Mamba.
📏 TTT слои лучше работают на длинных контекстах, сохраняя способность учиться даже после 16К токенов, в отличие от Mamba.


Это исследование показывает, как переосмысление базовых принципов обучения ИИ может привести к значительным улучшениям. TTT layers предлагают интересный компромисс между эффективностью RNN и выразительностью self-attention.

Этот подход может помочь в создании более компактных и энергоэффективных ИИ-систем, способных обучаться "на лету". Это может быть особенно полезно для конечных устройств и приложений, требующих адаптации к изменяющимся условиям.

#ИнновацииИИ #НовыеМодели

Сергей Булаев AI 🤖 - об AI и не только
841
🧠 RNN (Recurrent Neural Networks) и Self-Attention - это два ключевых механизма обработки последовательных данных в нейронных сетях. Оба широко используются в обработке естественного языка, но имеют разные подходы и характеристики.

RNN (Рекуррентные нейронные сети):

🔁 Обрабатывают данные последовательно, элемент за элементом.
💾 Имеют "память" - скрытое состояние, которое обновляется на каждом шаге.
🔗 Хорошо работают с зависимостями в коротких последовательностях.
⏱️ Быстрые и эффективные по памяти (линейная сложность).
🚫 Трудности с долгосрочными зависимостями из-за проблемы затухающего градиента.


Self-Attention (Механизм самовнимания):

👀 Каждый элемент "смотрит" на все другие элементы последовательности.
🔢 Вычисляет веса важности для всех элементов относительно друг друга.
🌐 Отлично обрабатывает долгосрочные зависимости.
💪 Более мощный и гибкий механизм, чем RNN.
🐢 Медленнее и требует больше памяти (квадратичная сложность).

🤔 Выбор между RNN и Self-Attention зависит от конкретной задачи:

- RNN лучше для задач, требующих быстрой обработки и ограниченных ресурсов.
- Self-Attention предпочтительнее для задач, где важны сложные долгосрочные зависимости.

Интересно, что исследование TTT layers, пытается объединить преимущества обоих подходов: эффективность RNN и способность обрабатывать длинные зависимости как в Self-Attention.

Сергей Булаев AI 🤖 - об AI и не только
1242
Media is too big
VIEW IN TELEGRAM
Как модифицировать Claude Engineer для переключения его на новую модель OpenAI gpt-4o-mini с помощью Claude Engineer.

Сергей Булаев AI 🤖 - об AI и не только
1175
У меня эта неделя - отпуск, еду с семьей на машине по очень любимому мной маршруту:

Лос Анджелес -> Санта Барбара -> Сан Хосе -> Пало Альто -> Напа -> Сан Франциско

Посты будут редкими, можно сказать эпизодическими. Может про поездку что то напишу ;)

P.S. Вообще про путешествия я пишу в личном канале.
1476
Бенчмарки новой, опенсорсной LLAMA 3.1 уж какие то совсем чудесные. Неужели она правда так хороша?

Модель тренировали в течении нескольких месяцев на 15 триллионах токенов с помощью 16 тысяч карт NVIDIA H100.

Сергей Булаев AI 🤖 - об AI и не только
632
TheVerge сделал краткий

Референс по основным понятиям в ИИ для людей

Искусственный интеллект (ИИ) - Artificial Intelligence (AI). Область компьютерных наук, направленная на создание систем, способных выполнять задачи, требующие человеческого интеллекта. Это включает обучение, решение проблем, распознавание образов и принятие решений.

Машинное обучение - Machine Learning. Подраздел ИИ, фокусирующийся на разработке алгоритмов и статистических моделей, позволяющих компьютерным системам улучшать свою производительность на конкретной задаче с опытом, без явного программирования.

Искусственный интеллект общего назначения - Artificial General Intelligence (AGI). Гипотетическая форма ИИ с интеллектом человеческого уровня, способная выполнять любую интеллектуальную задачу, которую может выполнить человек. AGI должен иметь способность передавать знания между доменами.

Генеративный ИИ - Generative AI. Тип ИИ, способный создавать новый контент, такой как текст, изображения, музыка или даже код, основываясь на обучении на больших наборах данных. Примеры включают ChatGPT и DALL-E.

Галлюцинации - Hallucinations. Феномен в генеративном ИИ, когда модель производит информацию, которая кажется правдоподобной, но фактически неверна или не имеет смысла. Это происходит из-за ограничений в обучающих данных или самой модели.

Предвзятость - Bias. Систематическая ошибка в результатах ИИ, часто отражающая предубеждения, присутствующие в обучающих данных или алгоритме. Может приводить к несправедливым или дискриминационным результатам.

Модель ИИ - AI Model. Математическое представление системы или процесса, обученное на данных для выполнения конкретной задачи. Модели ИИ могут варьироваться от простых линейных регрессий до сложных нейронных сетей.

Большие языковые модели - Large Language Models (LLMs). Модели глубокого обучения, обученные на огромных объемах текстовых данных, способные понимать и генерировать человекоподобный текст. Примеры включают GPT (Generative Pre-trained Transformer) и BERT.

Диффузионные модели - Diffusion Models. Класс генеративных моделей, которые обучаются постепенно удалять шум из данных. Особенно эффективны для генерации изображений высокого качества из текстовых описаний.

Фундаментальные модели - Foundation Models. Большие модели ИИ, обученные на разнообразных неразмеченных данных, которые могут быть адаптированы для широкого спектра задач с минимальной дополнительной подготовкой.

Пограничные модели - Frontier Models. Передовые модели ИИ, находящиеся на границе технологических возможностей. Они представляют собой следующее поколение моделей, потенциально более мощных и способных, чем существующие.

Обучение - Training. Процесс, в котором модель ИИ улучшает свою производительность на заданной задаче путем многократного воздействия на данные и корректировки своих внутренних параметров.

Обучающие данные - Training Data. Набор данных, используемый для обучения модели ИИ. Качество и разнообразие этих данных критически важны для производительности и обобщающей способности модели.

Параметры - Parameters. Внутренние переменные модели ИИ, которые она учится оптимизировать во время обучения. Количество параметров часто используется как мера сложности модели.

Обработка естественного языка - Natural Language Processing (NLP). Область ИИ, фокусирующаяся на взаимодействии между компьютерами и человеческим языком. Включает задачи, такие как понимание текста, генерация текста, перевод и анализ настроений.

Выдача - Inference. Процесс использования обученной модели ИИ для получения предсказаний или генерации выходных данных на основе новых входных данных.

Токены - Tokens. Базовые единицы текста, используемые языковыми моделями. Могут быть словами, частями слов или символами. Токенизация - это процесс разбиения текста на эти единицы для обработки.

Нейронная сеть - Neural Network. Вычислительная модель, вдохновленная структурой человеческого мозга. Состоит из взаимосвязанных узлов ("нейронов"), организованных в слои, которые обрабатывают информацию.

Сергей Булаев AI 🤖 - об AI и не только
124
Трансформер - Transformer. Архитектура нейронной сети, использующая механизм "внимания" для обработки последовательных данных. Особенно эффективна для задач NLP и лежит в основе многих современных языковых моделей.

Генерация с извлечением информации - RAG (Retrieval-Augmented Generation). Метод, комбинирующий извлечение информации из внешних источников с генеративными возможностями языковой модели. Позволяет модели обращаться к актуальной информации, снижая риск галлюцинаций.

Графический процессор - GPU (Graphics Processing Unit) Специализированный процессор, изначально разработанный для рендеринга графики, но широко используемый для параллельных вычислений в обучении моделей ИИ.

Нейронный процессор - NPU (Neural Processing Unit). Специализированный процессор, оптимизированный для выполнения операций, типичных для нейронных сетей, часто используемый в мобильных устройствах для эффективного выполнения задач ИИ.

Триллион операций в секунду - TOPS (Trillion Operations Per Second). Мера производительности, используемая для оценки вычислительной мощности чипов ИИ. Указывает на количество операций, которые чип может выполнить за секунду.

Сергей Булаев AI 🤖 - об AI и не только
166
Пара примеров использования Meta AI Vision на Quest 3. Теперь изображение с камер очков передается вместе с вашими вопросами. Так же это должно работать на умных очках Meta Ray-Ban.

Сергей Булаев AI 🤖 - об AI и не только
521
This media is not supported in your browser
VIEW IN TELEGRAM
Плагин для прямой интеграции ChatGPT в Гугл таблицы и Excel.


Сергей Булаев AI 🤖 - об AI и не только
161041
Media is too big
VIEW IN TELEGRAM
Удивительно как эволюционируют AI сгенерённые видео. Просто какой то новый уровень.

Сделано @endlesstaverns на Runway Gen-3 + Suno

Сергей Булаев AI 🤖 - об AI и не только
2784
This media is not supported in your browser
VIEW IN TELEGRAM
Пока я отдыхал, Bing выкатил генеративный поиск. С помощью больших и малых языковых моделей генерируются ответы на основе большого числа источников. На видео пример результата по запросу "Что такое спагетти-вестерн?". Вроде бы не для всех, но у меня работает. Смотрится интересно, но немного запутанно.

В это же время Reddit перестал индексироваться всеми поисковиками, кроме Google, потому что он запретил использовать свой контент для тренировки ИИ-моделей. По словам представителя Reddit, это не связано с их сделкой (по которой Google платит компании $60 млн в год). Просто они вели переговоры со всеми, и ни с кем больше не смогли договориться. Некоторые не хотят давать нужных обещаний относительно способов использования контента, включая использование/неиспользование для тренировки моделей.

Сергей Булаев AI 🤖 - об AI и не только
853👎11
🤖📚 Посмотрел очередное видео с советами для чего лучше использовать, а для чего не использовать AI. Вот ключевые моменты:

ИИ хорош для:

🗣️ Перевода и генерации текста - черновики постов для соц аккаунтов, небольшие отрывки
📝 Суммаризации контента - мета тексты, категоризация
🐞 Обнаружения спама или оценка качества лидов
🧑‍💻 Помощи в программировании - CSV формулы, написание различных автоматизаций
🎭 Стилизации текста - типа напиши "в стиле Эдгара По"

ИИ не стоит использовать для (или использовать с большой осторожностью)

🧮 Сложных математических вычислений
🤔 Задач, требующих здравого смысла
😂 Создания юмора
📅 Анализа текущих событий
🧠 Эмоционального интеллекта

💡 ИИ - ассистента, а не замена человека. Он часто выполняет задачу на 60-70%. Избегайте слишком общих задач. Разбивайте их на конкретные, небольшие подзадачи. Всегда должен быть человек, контролирующий результаты работы ИИ.

🔬 Не забывайте о возможных предубеждениях моделей. Одна компания пыталась использовать фотки гольфистов для генерации выдуманных фотографий. ИИ отлично справлялся пока не дошёл до спортсменов с другим цветом кожи, которых он поместил в совершенно другие декорации. Это яркая иллюстрация проблемы предвзятости в ИИ.

Ну и как я обычно говорю всем - эксперименты, эксперименты и эксперименты.

Сергей Булаев AI 🤖 - об AI и не только
963
Уже слышали про моторизованные брюки?

Arc'teryx и Skip (подразделение Google X Labs) представили MO/GO pants - брюки с электромотором для любителей пеших прогулок.

- Вес около 3кг
- Скрытые карбоновые крепления
- Мотор на колене
- Аккумулятор на 3 часа работы
- Усиливают мощность ног при подъеме в гору
- Амортизируют удары при спуске
- Автоматически регулируют помощь в реальном времени
- Могут "облегчить" вес человека примерно на 14 кг


💰 Цена удовольствия: ~$5000
🗓️ Начало продаж: конец 2025 года

🌍 Экзоскелеты активно развиваются:

Verve Motion создала SafeLift для работников складов
German Bionic разработала Apogee+ для медсестер
Wandercraft представила Atalante X для реабилитации после инсульта

🏃‍♂️Паралимпиец Кевин Пьетт нес олимпийский огонь в Париже, используя экзоскелет Wandercraft!

#Экзоскелеты

Сергей Булаев AI 🤖 - об AI и штанах.
144👎222
Media is too big
VIEW IN TELEGRAM
Ну ладно там брюки, проект Друг (Friend), потратив $1,8 млн на домен friend.com (из инвестиций $2,5 млн) предлагает вам заказать кулончик, у которого всегда включен микрофон, который всегда должен быть подключен к интернету через ваш телефон и присылает вам пуши со своими "мыслями", ну типа коучит и поддерживает...

Но так то, записывать всё что происходит вокруг хоть и спорно, но может быть очень полезно. Записывает же Tesla, всё что видит, а так же решения водителей. Не знаю только на сколько это всё легально.

Сергей Булаев AI 🤖 - об AI и вымышленных друзьях.
106👎31
Не знаю, может про это уже писали в обзорах год назад, просто я не читал.

Буквально позавчера в Сан-Франциско, в Apple Store на Union Square (который, кстати, очень красив), я наконец попробовал Apple Vision Pro - очки виртуальной/дополненной реальности от Apple. И за 32 минуты демонстрации чувство восторга было испытано несколько раз (но все мои друзья знают, что я бываю слишком впечатлительным). Неоднократно были использованы мои любимые слова: amazing, awesome и даже estupendo!

В общем, чтобы попробовать, надо записаться на сайте Apple заранее (на самом деле можно записаться через час). Тебе выдают персонального инструктора, который буквально на пальцах показывает, как управлять прибором, ведёт тебя через user journey, даёт советы.

Мини-дисклеймер. В моей семье присутствуют аж целых два Meta Quest 3. Я сам ими не пользуюсь, но, безусловно, пробовал и хорошо знаю. Считаю их достойным продуктом. Понимаю, что цена отличается в 5 раз.

Так что же меня впечатлило?

- Ощущение полной реальности в прозрачном режиме, когда ты видишь всё вокруг себя. Я испытываю такое же чувство, когда смотрю в глазок своего беззеркального фотоаппарата Fuji, понимая, что это видеоэкран, но ощущаю его как отраженное зеркало моего предыдущего зеркального Nikon.
- Spatial Video - впечатлило больше всего. Я не знаю, есть ли научные исследования по этой теме, но для меня видео всегда передаёт жизнь гораздо лучше, чем фото. Так вот, Spatial Video передаёт жизнь лучше видео не на порядок, а на 5. Мне показали видео, снятое на 15-й айфон, и показали видео, снятое на устройстве. Разница есть, но не велика. Я был в шоке, что моя жена (просто у неё 15-й) уже сейчас может снимать такие видео (позднее оказалось, что их прямо сейчас уже можно смотреть на наших Meta Quest!) - я про это совершенно не знал!
- У Apple есть Immersive видео - снятые на 360-градусные камеры, и они тоже впечатляют, будь то девушка на канате между двумя скалами на огромной высоте или слоны, купающиеся в грязи у ваших ног. Но главное не видео, главное - ощущение реальности.
- Я попробовал Freeform (рисовать легко), попробовал Notes (набирать текст на виртуальной клавиатуре ужасно неудобно).
- Управление взглядом работает очень чётко. Сравнимо с моим первым использованием первого iPhone после нескольких лет общения с Palm-подобными устройствами. Когда ты в шоке от того, что пальцем ты можешь точнее выбирать места на экране, чем неудобным стилусом. Наверное, вы не помните или даже не испытывали.
- Было много ещё всего, но впечатления не такие яркие.

К сожалению, я не попробовал ещё один важный для меня кейс. Хочется понять, насколько реально в этих очках заниматься программированием. Хочется надевать их, видеть клавиатуру и руки (на руки свои, я, кстати, смотрел неоднократно, смотреть на руки для меня своеобразный ритуал, привитый практикой осознанных сновидений в детстве) и видеть 6 огромных мониторов вокруг себя. Мне кажется - это реально, но я этого ощутить не смог.

Также я не ощутил вес устройства, то, что было на моей голове, было очень комфортным, лучше квеста, но дополнительный аккумулятор лежал рядом, на диванчике. Интересно, как с этим передвигаться. Сидеть с ним, надетым, часами, я точно готов. Понимаю, что мы в самом начале, но в самом начале чего-то реально нового и крутого. Хочу купить Apple Vision Pro. Пока не понимаю, как это сделать.

Сергей Булаев AI 🤖 - об AI и не только
1533
This media is not supported in your browser
VIEW IN TELEGRAM
ChatGPT в новом расширенном голосовом режиме попросили быстро сосчитать до 10, потом ещё быстрее до 10 и ещё быстрее до 50. Удивительно как он может, а какие зачётные паузы на вдохи делает!

Сергей Булаев AI 🤖 - об AI и не только
1774
This media is not supported in your browser
VIEW IN TELEGRAM
Попросил его сделать тоже самое по-русски. Так же быстро у него не получилось, но всё равно какой у него приятный американский акцент.

Сергей Булаев AI 🤖 - об AI и не только
1233
На этой неделе свои финансовые отчёты опубликовали Microsoft и Meta 📈. Инвесторы пытаются понять достаточно, не достаточно или даже лишнего компании тратят на ИИ, окупится ли это когда нибудь.

Microsoft:
- Доход на акцию - $2.95 (ожидалось $2.93)
- Доход
- $64.73 миллиарда (ожидалось $64.39)

Акции Microsoft упали на 5%, но практически сразу вернулись назад 🔄. Руководство прогнозирует ускорение роста облачных сервисов в первой половине 2025 года 🚀. За четвёртый квартал доход Microsoft вырос на 15%, составив $64.73 миллиарда, а чистая прибыль достигла $22.04 миллиарда. Сегмент Intelligent Cloud принес $28.52 миллиарда дохода, что на 19% больше, чем в прошлом году, но ниже прогноза аналитиков в $28.68 миллиарда. Azure и другие облачные услуги выросли на 29%, что оказалось ниже ожидаемых 31%. Из этого роста 8% обеспечили ИИ-сервисы 🤖.

Meta:
- Доход за второй квартал - $39 миллиардов (ожидалось $38.2)
- Капитальные расходы
- $8.4 миллиарда (ожидалось $9.2)

Несмотря на убытки в размере $4.48 миллиарда от подразделения Reality Labs, акции Meta выросли на 5% до почти $500 📈. Марк Цукерберг отметил, что Meta AI на пути к тому, чтобы стать самым используемым ИИ-ассистентом в мире к концу года 🌐. Он также подтвердил планы значительных капитальных расходов на ИИ в 2024 году, ожидаемых на уровне от $35 до $50 миллиардов, с дальнейшим ростом в 2025 году 💰.

Другие игроки рынка также активно инвестируют в ИИ. Alphabet недавно сообщила о росте доходов от облачных сервисов на 29%, однако её акции упали на 5% после публикации отчета, вызвав опасения инвесторов по поводу чрезмерных затрат на ИИ 📉.

Nvidia, поставщик оборудования для ИИ, получает более 40% своих доходов от Microsoft, Amazon, Google и Oracle. Акции Nvidia выросли на 131% в этом году после роста на 239% в 2023 году, что отражает высокий спрос на их продукты 🔺.

Завтра ждём отчета Apple.

Сергей Булаев AI 🤖 - об AI и не только
9
Тем временем кто-то ищет ИИ-подругу для отца, с деменцией. Пробелма в том что отец весь день общается с мошенниками в Facebook и Whatsapp, которые в итоге вымагают у него деньги.

Требуется безопасное приложение с аватарами красивых женщин, которое будет поддерживать приятные и безопасные разговоры, интересоваться его жизнью и интересами (например, обсуждать Вторую мировую войну, рекомендовать музыку), а также поощрять здоровые привычки, такие как прогулки и снижение потребления алкоголя.

Приложение должно быть простым в использовании и предлагать положительный опыт, заменяя токсичные разговоры с мошенниками.

Сергей Булаев AI 🤖 - об AI и не только
974