Forwarded from Сиолошная
Вышло уточнение по поводу планки мощностей, используемых для тренировки модели, выше которой необходимо сообщать государству о факте обучения.
Порог этот — 1e+26 операций (один и 26 нулей) с плавающей запятой или 1e+23 целочисленных операций. Итак, порог 1e+26 FLOP, много это или мало? Прислушались ли политики к советам Sam Altman ограничивать только большие модели, или это как-то влияет на стартапы и опенсурс?
Расчёт создателя PyTorch Soumith Chintala даёт оценку самой мощной модели Facebook LLama2-70B: 1.1e+24 FLOP. То есть это в 100 раз меньше порога. У детишек, в общем, игрушки не отнимут🤣
GPT-4 оценить сложно, но если верить слухам, гулявшим летом, то для её тренировки использовалось ~25,000 видеокарт A100 на протяжении 90-100 дней с утилизацией примерно 32%-36% (то есть GPU 2/3 времени простаивает, говоря грубо). Это даёт ~2.15e+25 FLOP, что в 5 раз ниже порога. Даже вот такая передовая мощнейшая модель НЕ ПОПАДАЕТ под регуляции.
Плюс, повяилось уточнение, что необходимо также сообщать о построенных кластерах, если их мощность больше 1e20 FLOPS (операций в секунду), то есть 100 ExaFLOPS. Сейчас самый мощный суперкомьютер в мире (согласно рейтингу Top-500), Frontier, имеет всего ~1.5-12 ExaFLOPS (в зависимости от точности вычислений). Выводы делаем сами🥺
Порог этот — 1e+26 операций (один и 26 нулей) с плавающей запятой или 1e+23 целочисленных операций. Итак, порог 1e+26 FLOP, много это или мало? Прислушались ли политики к советам Sam Altman ограничивать только большие модели, или это как-то влияет на стартапы и опенсурс?
Расчёт создателя PyTorch Soumith Chintala даёт оценку самой мощной модели Facebook LLama2-70B: 1.1e+24 FLOP. То есть это в 100 раз меньше порога. У детишек, в общем, игрушки не отнимут
GPT-4 оценить сложно, но если верить слухам, гулявшим летом, то для её тренировки использовалось ~25,000 видеокарт A100 на протяжении 90-100 дней с утилизацией примерно 32%-36% (то есть GPU 2/3 времени простаивает, говоря грубо). Это даёт ~2.15e+25 FLOP, что в 5 раз ниже порога. Даже вот такая передовая мощнейшая модель НЕ ПОПАДАЕТ под регуляции.
Плюс, повяилось уточнение, что необходимо также сообщать о построенных кластерах, если их мощность больше 1e20 FLOPS (операций в секунду), то есть 100 ExaFLOPS. Сейчас самый мощный суперкомьютер в мире (согласно рейтингу Top-500), Frontier, имеет всего ~1.5-12 ExaFLOPS (в зависимости от точности вычислений). Выводы делаем сами
Please open Telegram to view this post
VIEW IN TELEGRAM
Планка контроля государства по мощности ИИ установлена очень высоко. Согласно новым стандартам, при превышении порога в 1e+26 FLOP (операций с плавающей запятой) или 1e+23 целочисленных операций, государство должно быть проинформировано о факте обучения модели.
Для контекста: по расчетам создателя PyTorch, Soumith Chintala, самая мощная модель от Facebook, LLama2-70B, использует 1.1e+24 FLOP, что в 100 раз меньше установленного порога. Даже GPT-4 от OpenAI, которая считается одной из самых продвинутых моделей и для её тренировки, по слухам, использовались около 25,000 видеокарт A100 на протяжении 90-100 дней, имеет мощность в ~2.15e+25 FLOP. Это всё еще в 5 раз ниже требуемого порога для регуляции.
Кроме того, государство также хочет быть в курсе о создании кластеров с мощностью более 1e20 FLOPS. Но даже самый мощный в мире суперкомпьютер, Frontier, имеет мощность лишь между 1.5-12 ExaFLOPS.
Таким образом, государственное внимание к мощности ИИ не должно стать проблемой для большинства разработчиков. Однако это не значит, что Россия должна вводить строгие регуляции. Вместо этого страна может сосредоточиться на разработке новых технологий в области микропроцессоров и математических сопроцессоров. Такой подход поможет сохранить конкуренцию и стимулировать инновации.
Для контекста: по расчетам создателя PyTorch, Soumith Chintala, самая мощная модель от Facebook, LLama2-70B, использует 1.1e+24 FLOP, что в 100 раз меньше установленного порога. Даже GPT-4 от OpenAI, которая считается одной из самых продвинутых моделей и для её тренировки, по слухам, использовались около 25,000 видеокарт A100 на протяжении 90-100 дней, имеет мощность в ~2.15e+25 FLOP. Это всё еще в 5 раз ниже требуемого порога для регуляции.
Кроме того, государство также хочет быть в курсе о создании кластеров с мощностью более 1e20 FLOPS. Но даже самый мощный в мире суперкомпьютер, Frontier, имеет мощность лишь между 1.5-12 ExaFLOPS.
Таким образом, государственное внимание к мощности ИИ не должно стать проблемой для большинства разработчиков. Однако это не значит, что Россия должна вводить строгие регуляции. Вместо этого страна может сосредоточиться на разработке новых технологий в области микропроцессоров и математических сопроцессоров. Такой подход поможет сохранить конкуренцию и стимулировать инновации.
Сравнение оценки OpenAI с капитализацией других компаний
Любимая рубрика «измеряем удава в попугаях».
@startobus 🧠 запуск идей с AI
Любимая рубрика «измеряем удава в попугаях».
@startobus 🧠 запуск идей с AI
Соцсети и трафик.
Есть условно две категории соцсетей: удерживающие внутри себя аудиторию с текстами (фейсбук запрещенный в России, телеграмм и ВК) и соцсети с видео форматом (запрещенный Инстаграмм, ютуб и тикток).
Первая категория почти НЕ имеет вирального формата контента, те там очень сложно внутри соцсети получить и охватить новую аудиторию, требуется постоянно вливание внешнего траффика.
Посты в фб имеют охват только среди ваших друзей и подписчиков, очень мало репостов (а значит и новой аудитории) , аналогично и в ВК и в телеграмм-каналах.
Однако качество таких контактов очень хорошее, особенно в телеграмме: вы доносите свою мысль в каналах попадая прямо в сердце читателей между его рабочими и семейными чатиками!
Формат вертикальных видео (тикток, инста и ютуб) позволяют охватывать новую аудиторию и быстро расти по числу подписчиков, однако и тут есть Ютуб, сильно отличающийся по своей механике от остальных соцсетей - там контент вечно дает просмотры на новую аудиторию, а значит и генерит подписчиков в фоновом режиме бесконечно.
Те чем больше база выложенного вечно актуального контента, тем выше ваши шансы на пассивный «майнинг» подписчиков.
Отсюда простая рекомендация для тех, кто собирает аудиторию: используйте Ютуб/Тикток/Инсту для сбора новой аудитории и приземляйте лояльную фан базу на ваши страницы в ФБ/ВК или телеграмм каналы!
@startobus 🧠 запуск идей с AI
Есть условно две категории соцсетей: удерживающие внутри себя аудиторию с текстами (фейсбук запрещенный в России, телеграмм и ВК) и соцсети с видео форматом (запрещенный Инстаграмм, ютуб и тикток).
Первая категория почти НЕ имеет вирального формата контента, те там очень сложно внутри соцсети получить и охватить новую аудиторию, требуется постоянно вливание внешнего траффика.
Посты в фб имеют охват только среди ваших друзей и подписчиков, очень мало репостов (а значит и новой аудитории) , аналогично и в ВК и в телеграмм-каналах.
Однако качество таких контактов очень хорошее, особенно в телеграмме: вы доносите свою мысль в каналах попадая прямо в сердце читателей между его рабочими и семейными чатиками!
Формат вертикальных видео (тикток, инста и ютуб) позволяют охватывать новую аудиторию и быстро расти по числу подписчиков, однако и тут есть Ютуб, сильно отличающийся по своей механике от остальных соцсетей - там контент вечно дает просмотры на новую аудиторию, а значит и генерит подписчиков в фоновом режиме бесконечно.
Те чем больше база выложенного вечно актуального контента, тем выше ваши шансы на пассивный «майнинг» подписчиков.
Отсюда простая рекомендация для тех, кто собирает аудиторию: используйте Ютуб/Тикток/Инсту для сбора новой аудитории и приземляйте лояльную фан базу на ваши страницы в ФБ/ВК или телеграмм каналы!
@startobus 🧠 запуск идей с AI
❤2
#Контент
[В режиме генерации фото]
@startobus 🧠 запуск идей с AI
Ты эксперт области дизайна. Создай дизайн-прототип моего продукта: [...]. Должые быьть все ключевые элементы и функций, которые должны быть включены в эскиз или прототип: [...]. Должно выглядеть реалистично и логично. [В режиме генерации фото]
@startobus 🧠 запуск идей с AI
Meta*: выручка, прибыль и убытки от разработки метавселенной
Чистая прибыль растет, но убытки от подразделения Reality Labs, отвечающего за создание метавселенной, все еще портят картинку.
*признана экстремистской в РФ и запрещена
@startobus 🧠 запуск идей с AI
Чистая прибыль растет, но убытки от подразделения Reality Labs, отвечающего за создание метавселенной, все еще портят картинку.
*признана экстремистской в РФ и запрещена
@startobus 🧠 запуск идей с AI
PriceParrot позволяет компаниям отслеживать и анализировать ценообразование конкурентов, а также получать представление о тенденциях на рынке в целом. Такая комплексная картина позволяет принимать обоснованные стратегические решения, обеспечивающие максимальную прибыльность и присутствие на рынке.
@startobus 🧠 запуск идей с AI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
ЕМЕЛЯ-МЕНЕДЖМЕНТ
Я заметил, что в коммуникациях - надо уметь ждать. Как у Штирлица с Мюллером - закинул идею и жди - когда она к тебе вернется как родная от собеседника.
Мне тут рассказали в музее предпринимательства Академии Народного Хозяйсва - что в России это сформулировано было в виде правила трех гвоздей:
- Когда барин выходил во двор и кричал конюху: "Запрягай ка милейший тройку!"
- Конюх брал уздечку и сбрую и вешал на первый гвоздь - такой большой - в деревне такой гвоздь - как костыль на шпалах на железной догоге с квадратным сечением - назывался конский гвоздь;
- Когда барин выходил во двор во второй раз - и кричал: " Ну чтоже ты (дурак на букву м) - еще не запряг тройку" - конюх вешал сбрую на второй гвоздь;
- А уже когда барин начинал бегать за конюхом с розгами по двору - вот тут уж коней и запрягали. А че животных мучать ожиданиями...
Это подход ленивого менеджмента. Важно добиться что ваш продукт - действительно очень нужен вашему потребителю.
Поэтому всегда стоит задать себе вопрос, а что я сознательно решил сегодня не сделать? Чтобы было время подумать и сделать это без лишних затрат ресурсов. И чтобы не обижаться что то, что вы делаете - никто не ценит)
@startobus 🧠 запуск идей с AI
Я заметил, что в коммуникациях - надо уметь ждать. Как у Штирлица с Мюллером - закинул идею и жди - когда она к тебе вернется как родная от собеседника.
Мне тут рассказали в музее предпринимательства Академии Народного Хозяйсва - что в России это сформулировано было в виде правила трех гвоздей:
- Когда барин выходил во двор и кричал конюху: "Запрягай ка милейший тройку!"
- Конюх брал уздечку и сбрую и вешал на первый гвоздь - такой большой - в деревне такой гвоздь - как костыль на шпалах на железной догоге с квадратным сечением - назывался конский гвоздь;
- Когда барин выходил во двор во второй раз - и кричал: " Ну чтоже ты (дурак на букву м) - еще не запряг тройку" - конюх вешал сбрую на второй гвоздь;
- А уже когда барин начинал бегать за конюхом с розгами по двору - вот тут уж коней и запрягали. А че животных мучать ожиданиями...
Это подход ленивого менеджмента. Важно добиться что ваш продукт - действительно очень нужен вашему потребителю.
Поэтому всегда стоит задать себе вопрос, а что я сознательно решил сегодня не сделать? Чтобы было время подумать и сделать это без лишних затрат ресурсов. И чтобы не обижаться что то, что вы делаете - никто не ценит)
@startobus 🧠 запуск идей с AI
Российская экономика вышла на довоенный уровень (декабря 2021 года). И выше максимумов до ковида.
Введенные Западом санкций пошли коту под хвост.
Все эти грусные события дали мощный импульс многим, базовым (не смузи и не барбершопы, а что то потяжелее - базис) секторам экономики, то в целом западные санкции пошли нам скорее во благо, чем во вред.
А если учесть, что Россия по паритету покупательной способности заняла 5 место, обогнав Германию. И в 5% чтобы догнать и обогнать Японию. Кажется все делаем правильно) https://t.me/startobus/2416
Введенные Западом санкций пошли коту под хвост.
Все эти грусные события дали мощный импульс многим, базовым (не смузи и не барбершопы, а что то потяжелее - базис) секторам экономики, то в целом западные санкции пошли нам скорее во благо, чем во вред.
А если учесть, что Россия по паритету покупательной способности заняла 5 место, обогнав Германию. И в 5% чтобы догнать и обогнать Японию. Кажется все делаем правильно) https://t.me/startobus/2416
🏆1
В каких отраслях работают стартапы с оценкой более миллиарда долларов
Самые высокооцененные единороги по отраслям:
Enterprise tech: Databricks ($43B)
Financial services: Stripe ($50B)
Consumer & retail: SHEIN ($66B)
Industrials: SpaceX ($150B)
Healthcare & life sciences: Devoted Health ($12.6B)
Media & entertainment: ByteDance ($225B)
Insurance: Howden Group Holdings and Coalition (tied at $5B)
@startobus 🧠 запуск идей с AI
Самые высокооцененные единороги по отраслям:
Enterprise tech: Databricks ($43B)
Financial services: Stripe ($50B)
Consumer & retail: SHEIN ($66B)
Industrials: SpaceX ($150B)
Healthcare & life sciences: Devoted Health ($12.6B)
Media & entertainment: ByteDance ($225B)
Insurance: Howden Group Holdings and Coalition (tied at $5B)
@startobus 🧠 запуск идей с AI
Получайте свежий контент для социальных сетей и блогов с помощью AI Content Genie. Редактируйте, делитесь, планируйте или публикуйте. Работайте со 100+ другими шаблонами и инструментами AI, а также сотрудничайте с мощным рабочим пространством AI-контента.
@startobus 🧠 запуск идей с AI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1