О контенте

Качественный и интересный контент по теме технологий, бизнеса, инвестиций делают только люди, для которых создание контента не является основной деятельностью, потому что без реальной практики руками им нечем будет поделиться.

Отсюда парадокс: те, кто пытаются заработать не создании контента не смогут это сделать из-за посредственного качества, а для тех, кто успешно может зарабатывать на контенте это не является главным или важным источником дохода.

Особенно хорошо это видно на примере твиттера. Например, Илон Маск лично получает ~$500,000 в месяц выплат через revenue share программу твиттера в качестве процента от показов рекламы и подписок на аккаунт (это не считая того, что он владелец компании и прибыли самой компании), но для него это совершенно не значительная сумма. В среднем 1 млн подписчиков дает $3,000 дохода от рекламы в месяц для любого премиум пользователя тви.

Обвинять LLM в том, что это кража контента — это то же самое что обвинять писателя или поэта, что его работы это derivative work от Шекспира и Дюма.

Кому нужен копирайт в век, когда все идеи и мысли человечества доступны любому, всегда и абсолютно бесплатно. Не можешь делать для человечества — не делай. Надутся те, кто будет творить, потому что не могут иначе. И даже придумают как на этом заработать.

ИИ, который читает чаты за вас (часть II)

Улучшил этот эксперимент, добавив суммаризацию больших чатов. Сделал обзор разговора в чате с выделением основных тем, интересов и мотиваций каждого пользователя. Плюс, попросил GPT ADA сделать трёхмерную визуализацию чата.

Теперь просканировав за 30 секунд страничку вы поймете что вы пропустили из последних 3,5 тысяч сообщений в чате/слаке/дискорде (если пропустили вообще).

Видео того как это работает.

Все записи вебинаров, эксперименты, ссылки на чаты и исходный код я выкладываю в Boosty (для карт СНГ) и BuyMeaCoffee.

Примерно 9 из 10 стартапов закрываются, потому что не находят инвесторов.

Почему так?

В первую очередь, потому что у фаундера замыливается взгляд. Он так долго смотрит на свое детище изнутри, что не всегда осознаёт как выглядит стартап в глазах инвестора.

Здесь будет полезен канал Андрея Резинкина - действующего бизнес-ангела, который успешно проинвестировал в Educate Online, Refocus, EBAC и другие.

Фишка канала Андрея - показать процесс привлечения инвестиций в стартап именно с точки зрения инвестора.

Вот несколько характерных постов, предлагаю начать с них:

1. Сколько денег просить у инвестора? Пост про простой калькулятор, который позволяет посчитать инвестиции в ваш проект без сложной фин модели в Excel.

2. Как писать инвестору, чтобы он точно ответил. Андрей предлагает универсальную формулу из 5 элементов. Так вероятность попасть инвесторам в сердечко сильно возрастает.

3. Инвестиции без оценки. А что, так можно было? Оценить проект на ранний стадии - это жуткий головняк как для инвестора, так и для фаундера. Пост про то, как получить деньги от VC и при это НЕ определять оценку вашего проекта. Метод Y Combinator.

Короче говоря, если вы - фаундер, планируете им стать или просто работаете в стартапе, то этот канал точно вам пригодится. Рекомендую подписаться.

#партнерский_пост

Буду скидывать этот скриншот (отсюда) всем, кто спрашивает "а сколько стоит дообучить мою LLM чтобы она умела Х?"

Есть ли сознание у LLM?

Сложный вопрос, учитывая что определить сознание толком не получается. Но авторы этого чудесного 88-страничного пейпера попытались ответить на вопрос. Для начала они выделили основные современные теории, которые определяют что такое вообще сознание:

Recurrent processing theory. Сознание возникает из рекуррентной обработки, при которой сигналы распространяются туда-сюда между различными уровнями кортикальной иерархии. Рекуррентные петли позволяют интегрировать информацию и сформировать организованное представление зрительной сцены.

Global workspace theory. Сознание включает "трансляцию" информации во многие различные области мозга через глобальное рабочее пространство. Только какая-то информация отбирается с помощью внимания и конкуренции, чтобы попасть в рабочее пространство ограниченной емкости и стать сознательной.

Higher-order theories. Сознание требует некоторого рода представления высшего порядка, такого как мысль или метакогнитивный процесс, направленный на ментальное состояние более низкого порядка. Представление высшего порядка делает нас осведомленными или сознательными о состоянии более низкого порядка.

Integrated information theory. Сознанию соответствует способность системы к интегрированной информации. То есть, количество информации, генерируемой взаимодействиями между частями, которое нельзя свести к самим частям.

Attention schema theory. Сознание зависит от построения упрощенной модели внимания - "схемы внимания", которая представляет обработку вниманием информации в мозге. Содержание этой схемы соответствует сознательному опыту.

Predictive processing theory. Мозг постоянно генерирует прогнозы сверху вниз и обновляет их на основе ошибок прогнозирования. Некоторые теоретики утверждают, что основные свойства сознания возникают из динамики предиктивной обработки.

Embodiment and enactivist theory. В основе лежит важность наличия тела, расположенного в окружающей среде, предполагая, что сознание возникает из сенсомоторных процессов и взаимодействий между мозгом, телом и миром.

Определить задачу уже важный шаг. Если пробежаться по пейперу дальше, но какого-то однозначного вывода авторы, конечно, не дают, но замечают интересные факты:

— LLM умны, но это еще не гарантирует сознание
— У LLM нет многих из перечисленных этими теориями свойств, такие как глобальное рабочее пространство, чувство "себя" и агентность, постоянный мониторинг окружающей среды через сенсорные органы
— LLM не имеют чувства физической реальности и тела, это жирный минус
— LLM могут печатать очень складный текст, но это не гарантия сознания. Они не могут подтвердить или проверить свои слова.
— Итого, наверное, сознания нет.

Что не удивительно, но скорее полезен факт того, что авторы сформулировали четкие критерии по которым можно будет отследить когда это сознание наконец-таки появится. Кстати, продажа подписки на сознательного ИИ-агента — это работорговля, ИТ-бизнес или что-то сродни продаже попугаев?

Ясный сокол на 180 миллиардов параметров.

Falcon 180B - сверхмощная языковая модель с 180 миллиардами параметров, обученная на 3.5 триллионах(!) токенов.

Эта модель отлично справляется с различными задачами, такими как рассуждение, кодирование, знание и тесты знаний, даже опережая конкурентов, таких как Meta LLaMA 2.

Среди моделей с закрытым исходным кодом он стоит сразу за GPT 4 от OpenAI и работает наравне с PaLM 2 Large от Google.

Информация, хагингфейс и демо тут, там же можно скачать и почитать лиц соглашение.

https://falconllm.tii.ae/falcon-models.html

Понятно, что она не влезет ни в одну видеокарту, поэтому ждем вот такое оборудование от Nvidia:
🔥NVIDIA GH200 Grace Hopper 282 GB VRAM!

На SIGGRAPH 2023 NVIDIA анонсировала нового монстра для задча Generative AI - GH200 Grace Hopper с памятью HBM3e:

🔹 На борту чипа не только GPU, но и встроенный ARM процессор.

🔹 Базовая версия оснащена 141 GB VRAM и 72 ядрами ARM Neoverse c 480 GB LPDDR5X RAM.

🔹 С помощью NVIDIA NVLink можно объединять в сдвоенные "суперчипы", достигая 480x2 GB быстрой памяти (RAM)

🔹 Сдвоенный чип предлагает 282 GB VRAM, 144 ядра ARM Neoverse и 7.9 PFLOPS int8 производителтьности (так же как и у сдвоенной H100 NVL).

🔹 Новая память HBM3e на 50% быстрее предыдущего поколения HBM3, обеспечивая 10 ТБ/с комбинированной пропускной способности

Ожидание: AI-ассистенты, которые анализируют код, договора, диагнозы и помогают делать научные открытия

Реальность: топ revenue стартапы в ИИ — початиться с героями аниме (character), генерация виртуальных голых женщин, hot-or-not для виртуальных голых женщин, секстинг и виртуальный секс с виртуальными голыми женщинами

Хочешь заработать — аппелируй к низким (и потому максимально распространенным) потребностям.

Кстати, в пятницу мы расскажем как генерировать свои виртуальные картинки и видео (не обязательно голых людей) бесплатно, и как это работает изнутри. Регистрация на вебинар: https://lu.ma/codextown
Подписчики codex.town в Boosty (для карт СНГ) и BuyMeaCoffee получат прямую ссылку на вебинар.

Через несколько часов начнётся вебинар с Майком на тему генерации ИИ-графики с помощью диффузионных моделей типа SD, SDXL, ControlNet, Comfy и других.

А еще сегодня выложу видео про то как делать мощного продажного бота без кода и бесплатно. Видео будет в Boosty.

Регистрация на вебинар: https://lu.ma/codextown

Люди: изобрели промт «думай пошагово», улучшили производительность LLM, горды собой

LLM: придумал для себя промт «глубоко вдохни и подумай», улучшил производительность еще сильнее, забыл сообщить об этом кожаным

В данной таблице приведены примеры промтов, которые LLM делают сами для себя и их сравнительная эффективность.

Новое видео! Прикрепляю запись пятничного вебинара, где мы разобрали модели, которые умеют генерировать графический или видеоконтент на основе текстового ввода.

Мы посмотрели популярные диффузионные модели, такие как DALL-E, Stable Diffusion, Imagen. Разобрали принцип работы диффузионных моделей: латентное пространство, ньюансы обучения таких моделей, процесс генерации, производительность.

Так же копнули в инструменты для работы с диффузионными моделями, таких как Automatic1111 и DreamStudio. Так же на практике посмотрели как улучшить качество генерации используя ComfyUI и ControlNet.

Ну и наконец поговорили о перспективах применения диффузионных моделей — для сжатия и передачи медиаконтента, генерации видео по тексту и создания виртуальных персонажей и сред.

Смотреть запись: https://youtu.be/s5ogV5Z2dIU (презентация в описании)

Подписаться на Boosty и получить доступ к закрытым вебинарам: https://boosty.to/codextown

LLM призваны сэкономить нам миллиарды часов, вот один из примеров.

Сегодня думал как сделать эффективное и ёмкое представление большого количества коммуникаций, чтобы пользователь мог быстро понять что происходит, но ему не требовалось бы читать сотни чатов и имейлов.

Для этого сделал визуализацию чатов и переписок. Работает следующим образом:
— скрипт парсит ваши чаты, письма и группы
— создает графовую визуализацию, которая наглядно показывает участников (зеленые) и ключевые темы обсуждения (фиолетовые)
— и создает грани у графа, которые отражают отношения (предикат) между разными пользователями и идеями
— при желании можно нажать на любую грань и прочитать полный текст сообщения

Тестирую на всех своих каналах и группах. Работает еще не идеально, но зато узнал сколько всего я уже пропустил в безднах телеграма.

Видео с живым демо: https://youtu.be/qoeOdrQ5bZ0

Предыдущие итерации этой идеи: раз, два.