О рыночной капитализации Tesla (часть 1)
Рыночная оценка Tesla составляет около 1,2 трлн долларов. Мне стало любопытно — исходя из некоторых верхнеуровневых фундаментальных оценок — насколько эта цифра реалистична, учитывая амбиции компании. Основной текущий бизнес Tesla — автомобили, но у компании также есть три других потенциально крупных направления, которые аналитики часто учитывают: энергетический бизнес, сервис райдшеринга (в перспективе на базе автономных автомобилей) и роботы.
Автомобили
В мире около 1,6 млрд автомобилей.
Каждый год продаётся примерно 80–90 млн новых машин.
Ежегодные продажи некоторых производителей:
Toyota: ~10 млн автомобилей (1-е место)
Volkswagen: ~9 млн (2-е место)
Hyundai–Kia: ~8 млн (3-е место)
BYD: ~4 млн
Tesla: ~2 млн
В настоящее время Tesla занимает примерно 11–14-е место среди крупнейших автопроизводителей по объёму выпуска. Ближайший конкурент в сфере электромобилей — компания BYD, которая продаёт более 4 млн автомобилей в год (включая примерно столько же электромобилей, сколько и Tesla), но при этом её оценка — около 100 млрд долларов. (Да, у BYD меньше маржа с каждой машины, но пока оставим это в стороне.) Для сравнения, рыночная капитализация Toyota — около 300 млрд долларов.
Я не верю, что в долгосрочной перспективе какой-либо автопроизводитель сможет сохранять кардинально другую маржу по сравнению с конкурентами, ведь рынок очень конкурентный. Поэтому выглядит разумным предположить, что Tesla со временем придёт к марже на уровне других массовых производителей. Если бы Tesla стала крупнейшим производителем — как Toyota, продавая примерно 10 млн автомобилей в год (около 10–12% доли рынка), — то в текущих ценах капитализация её автомобильного бизнеса могла бы составить порядка 300 млрд долларов, по аналогии с Toyota.
Энергетический бизнес
Это самая сложная часть бизнеса Tesla для оценки, поскольку выход на рынок энергетики фактически означает конкуренцию с огромным пластом индустрий. Я воспользуюсь очень простой аналогией: ExxonMobil. У Exxon есть сегмент Upstream (разведка и добыча нефти и газа) и сегмент Downstream (переработка, дистрибуция и розничная продажа топлива, включая заправки). Для нас более релевантен Downstream, ведь Tesla пока не производит значимого объёма энергии в глобальном масштабе (солнечная энергия всё ещё мала), но распространяет энергетические продукты (зарядка, батареи и т. д.).
Признаю, что это грубое сопоставление — лишь для верхнеуровневой проверки. Согласно открытым данным, сегмент Downstream приносит Exxon около 30% от общего дохода компании. Общая рыночная капитализация Exxon — около 470 млрд долларов, следовательно, доля Downstream может оцениваться примерно в 150 млрд долларов. Предположим, что энергетический бизнес Tesla со временем сможет достичь такого же масштаба и заменить нефть электричеством. Тогда, в сегодняшних ценах, энергетическое направление Tesla могло бы стоить около 150 млрд долларов.
Рыночная оценка Tesla составляет около 1,2 трлн долларов. Мне стало любопытно — исходя из некоторых верхнеуровневых фундаментальных оценок — насколько эта цифра реалистична, учитывая амбиции компании. Основной текущий бизнес Tesla — автомобили, но у компании также есть три других потенциально крупных направления, которые аналитики часто учитывают: энергетический бизнес, сервис райдшеринга (в перспективе на базе автономных автомобилей) и роботы.
Автомобили
В мире около 1,6 млрд автомобилей.
Каждый год продаётся примерно 80–90 млн новых машин.
Ежегодные продажи некоторых производителей:
Toyota: ~10 млн автомобилей (1-е место)
Volkswagen: ~9 млн (2-е место)
Hyundai–Kia: ~8 млн (3-е место)
BYD: ~4 млн
Tesla: ~2 млн
В настоящее время Tesla занимает примерно 11–14-е место среди крупнейших автопроизводителей по объёму выпуска. Ближайший конкурент в сфере электромобилей — компания BYD, которая продаёт более 4 млн автомобилей в год (включая примерно столько же электромобилей, сколько и Tesla), но при этом её оценка — около 100 млрд долларов. (Да, у BYD меньше маржа с каждой машины, но пока оставим это в стороне.) Для сравнения, рыночная капитализация Toyota — около 300 млрд долларов.
Я не верю, что в долгосрочной перспективе какой-либо автопроизводитель сможет сохранять кардинально другую маржу по сравнению с конкурентами, ведь рынок очень конкурентный. Поэтому выглядит разумным предположить, что Tesla со временем придёт к марже на уровне других массовых производителей. Если бы Tesla стала крупнейшим производителем — как Toyota, продавая примерно 10 млн автомобилей в год (около 10–12% доли рынка), — то в текущих ценах капитализация её автомобильного бизнеса могла бы составить порядка 300 млрд долларов, по аналогии с Toyota.
Энергетический бизнес
Это самая сложная часть бизнеса Tesla для оценки, поскольку выход на рынок энергетики фактически означает конкуренцию с огромным пластом индустрий. Я воспользуюсь очень простой аналогией: ExxonMobil. У Exxon есть сегмент Upstream (разведка и добыча нефти и газа) и сегмент Downstream (переработка, дистрибуция и розничная продажа топлива, включая заправки). Для нас более релевантен Downstream, ведь Tesla пока не производит значимого объёма энергии в глобальном масштабе (солнечная энергия всё ещё мала), но распространяет энергетические продукты (зарядка, батареи и т. д.).
Признаю, что это грубое сопоставление — лишь для верхнеуровневой проверки. Согласно открытым данным, сегмент Downstream приносит Exxon около 30% от общего дохода компании. Общая рыночная капитализация Exxon — около 470 млрд долларов, следовательно, доля Downstream может оцениваться примерно в 150 млрд долларов. Предположим, что энергетический бизнес Tesla со временем сможет достичь такого же масштаба и заменить нефть электричеством. Тогда, в сегодняшних ценах, энергетическое направление Tesla могло бы стоить около 150 млрд долларов.
О рыночной капитализации Tesla (часть 2)
Райдшеринг
Здесь всё проще. Рыночная капитализация Uber — около 150 млрд долларов. Допустим, Tesla с её автономными автомобилями смогла бы «уничтожить Uber» и полностью занять этот рынок. Это могло бы прибавить ещё 150 млрд долларов к капитализации Tesla.
Роботы
Это самая интересная часть. Теоретически, долгосрочная цена человекоподобного робота может быть сопоставима со стоимостью небольшого автомобиля (учитывая затраты на материалы) — скажем, около 20 000 долларов. Если так, то нет фундаментальных причин, почему роботов будут покупать больше, чем машин (при условии, что функциональность роботов будет достаточной). Это наводит на мысль, что можно взять за ориентир нынешний автопарк (1,6 млрд машин).
Посмотрите, как персональные компьютеры за ~30 лет достигли уровня в 80% проникновения. У роботов процесс может идти медленнее, ведь они дороже компьютеров. Но если предположить, что на массовое внедрение уйдёт 30 лет, а ежегодная доля замены при этом — 10%, то в период активного внедрения это около 100 млн новых роботов в год. Если Tesla может занять большую долю рынка в 30% — то есть около 30 млн штук в год, — это превысит текущие годовые продажи Toyota. Рыночная капитализация Toyota составляет около 300 млрд долларов за 10 млн продаваемых машин, значит, по аналогии, робототехнический бизнес Tesla мог бы обеспечить оценку в 900 млрд долларов.
Итог
Автомобили: 300 млрд долларов
Энергетика: 150 млрд долларов
Райдшеринг: 150 млрд долларов
Роботы: 900 млрд долларов
В сумме получается около 1,5 трлн долларов. С учётом уже довольно оптимистичных допущений и при условии 100%-й успешности в достижении столь амбициозных целей, такая сумма оправдывает текущую оценку Tesla в 1,2 трлн долларов. Однако это крайне оптимистичный сценарий. Реалистичнее кажется, что итоговая цифра должна быть как минимум в два-три раза меньше.
Какие фундаментальные факторы я могу упускать из виду?
Райдшеринг
Здесь всё проще. Рыночная капитализация Uber — около 150 млрд долларов. Допустим, Tesla с её автономными автомобилями смогла бы «уничтожить Uber» и полностью занять этот рынок. Это могло бы прибавить ещё 150 млрд долларов к капитализации Tesla.
Роботы
Это самая интересная часть. Теоретически, долгосрочная цена человекоподобного робота может быть сопоставима со стоимостью небольшого автомобиля (учитывая затраты на материалы) — скажем, около 20 000 долларов. Если так, то нет фундаментальных причин, почему роботов будут покупать больше, чем машин (при условии, что функциональность роботов будет достаточной). Это наводит на мысль, что можно взять за ориентир нынешний автопарк (1,6 млрд машин).
Посмотрите, как персональные компьютеры за ~30 лет достигли уровня в 80% проникновения. У роботов процесс может идти медленнее, ведь они дороже компьютеров. Но если предположить, что на массовое внедрение уйдёт 30 лет, а ежегодная доля замены при этом — 10%, то в период активного внедрения это около 100 млн новых роботов в год. Если Tesla может занять большую долю рынка в 30% — то есть около 30 млн штук в год, — это превысит текущие годовые продажи Toyota. Рыночная капитализация Toyota составляет около 300 млрд долларов за 10 млн продаваемых машин, значит, по аналогии, робототехнический бизнес Tesla мог бы обеспечить оценку в 900 млрд долларов.
Итог
Автомобили: 300 млрд долларов
Энергетика: 150 млрд долларов
Райдшеринг: 150 млрд долларов
Роботы: 900 млрд долларов
В сумме получается около 1,5 трлн долларов. С учётом уже довольно оптимистичных допущений и при условии 100%-й успешности в достижении столь амбициозных целей, такая сумма оправдывает текущую оценку Tesla в 1,2 трлн долларов. Однако это крайне оптимистичный сценарий. Реалистичнее кажется, что итоговая цифра должна быть как минимум в два-три раза меньше.
Какие фундаментальные факторы я могу упускать из виду?
Forwarded from эйай ньюз
Введение в LLM с нуля - новое видео Карпатого
Видео простым языком объясняет что такое LLM, как они работают внутри, что они могут и не могут и как этим пользоваться.
Для тех кто не знает - Андрей Карпатый был одним из сооснователей OpenAI и директором по AI в Tesla. Сейчас занимается образованием и пилит лучшие видосы про ИИ на ютубе.
https://www.youtube.com/watch?v=7xTGNNLPyMI
#ликбез
@ai_newz
Видео простым языком объясняет что такое LLM, как они работают внутри, что они могут и не могут и как этим пользоваться.
Для тех кто не знает - Андрей Карпатый был одним из сооснователей OpenAI и директором по AI в Tesla. Сейчас занимается образованием и пилит лучшие видосы про ИИ на ютубе.
https://www.youtube.com/watch?v=7xTGNNLPyMI
#ликбез
@ai_newz
YouTube
Deep Dive into LLMs like ChatGPT
This is a general audience deep dive into the Large Language Model (LLM) AI technology that powers ChatGPT and related products. It is covers the full training stack of how the models are developed, along with mental models of how to think about their "psychology"…
В последнее время поражен насколько продвинулся voice AI stack за последнее время. Уже сегодня можно просто разговаривать с компьютером, как с человеком. Voice AI apps - это будущее, и кажется, что в течение года они должны быть повсюду.
Удивительный человек - Сергей Николаевич. Невозможно не радоваться как победе его команды, так и его личному успеху, даже если ты не болельщик «Краснодара».
Невероятная личность и пример для всех нас.
«Краснодар» - совсем молодой клуб, основанный в XXI веке, и насчитывает всего 17 лет своей истории. Тем не менее с самого начала было ясно, что Галицкий основательно и целеустремлённо движется к чемпионству, шаг за шагом строя лидера российского футбола. Уже много лет «Краснодар» обладает лучшей тренировочной инфраструктурой и футбольной академией среди всех российских клубов - и это само по себе огромная победа. И вот наконец произошло то, к чему команда неумолимо шла все эти годы. Я нисколько не удивлён - это было лишь делом времени.
Галицкий не раз доказывал, что профессионализм, стойкость, вера в себя и упорство приносят плоды. Он доказал это в бизнесе, в личной жизни и теперь - вновь, на футбольном поле.
Невероятная личность и пример для всех нас.
«Краснодар» - совсем молодой клуб, основанный в XXI веке, и насчитывает всего 17 лет своей истории. Тем не менее с самого начала было ясно, что Галицкий основательно и целеустремлённо движется к чемпионству, шаг за шагом строя лидера российского футбола. Уже много лет «Краснодар» обладает лучшей тренировочной инфраструктурой и футбольной академией среди всех российских клубов - и это само по себе огромная победа. И вот наконец произошло то, к чему команда неумолимо шла все эти годы. Я нисколько не удивлён - это было лишь делом времени.
Галицкий не раз доказывал, что профессионализм, стойкость, вера в себя и упорство приносят плоды. Он доказал это в бизнесе, в личной жизни и теперь - вновь, на футбольном поле.
Когда-то Галицкий говорил, что хочет видеть «Краснодар» чемпионом с составом, полностью сформированным из воспитанников клубной академии. Думаю, так и будет.
В скором времени, сделаю тут небольшую серию постов про краткую историю AI, которая большей частью является копи-пастом моих переписок и объяснений друзьям истории становления этой отрасли.
THE BRIEF HISTORY OF AI APPLICATIONS
Интро
Машинным обучением занимаются давно. Прогресс шел всегда в разных местах computer science. Искусственные нейронные сети известны, кажется, с 50-х и уже 30 лет назад были прикольные приложения, которые люди писали - например тут (https://www.youtube.com/watch?v=FwFduRA_L6Q) Ян ЛеКун (сейчас директор Мета), один из основоположников CCN архитектур в нейронных сетях, показывает как нейронка распознает цифры. Но больших прорывов в тех приложениях не было, скорее прикольные демки, которые в реальных задачах было тяжело применять.
Все как-то развивалось более менее равномерно, пока в конце 2000-х Джеффри Хинтон (тот который нобелевку получил недавно, внезапно, по физике из-за своих работ в AI), который занимался долгое время психологией, работой мозга и впоследствии нейронными сетями, не понял что видеокарты (GPU) оказывается лучше подходят чем CPU для решения математических задач, которые нужно очень много решать в нейронных сетях (линейная алгебра, матричные операции, тензоры и тд). И тут случился прорыв. Конкретно в распознавании изображений.
Важно понимать контекст. К 2010 году у исследователей была одна большая проблема - не было нормального датасета для тренировки и тестирования моделей распознавания изображений. Были всякие мелкие наборы типа MNIST (рукописные цифры) или CIFAR-10 (32x32 картинки в 10 категориях), но это было как учиться водить машину на игрушечной трассе.
В те же годы Фей-Фей Ли из Стэнфорда сделала фундаментальную вещь - ImageNet. Она с командой собрала датасет из 14 миллионов картинок в 22 тысячах категорий. Но самое крутое - они запустили соревнование ImageNet Large Scale Visual Recognition Challenge (ILSVRC) в 2010 году. Задача простая: вот тебе миллион картинок для тренировки в 1000 категориях, покажи насколько хорошо твоя модель может их классифицировать.
Первые пару лет все решения были основаны на классическом компьютер вижене - выделяли features руками, потом скармливали в SVM или что-то подобное. Ошибка была около 25-30%. И тут в 2012 году пришли Хинтон с командой со своей моделью и просто уничтожили всех - ошибка 15.3%! Это был разрыв почти в 10 процентных пунктов с ближайшим конкурентом. Это много.
Интро
Машинным обучением занимаются давно. Прогресс шел всегда в разных местах computer science. Искусственные нейронные сети известны, кажется, с 50-х и уже 30 лет назад были прикольные приложения, которые люди писали - например тут (https://www.youtube.com/watch?v=FwFduRA_L6Q) Ян ЛеКун (сейчас директор Мета), один из основоположников CCN архитектур в нейронных сетях, показывает как нейронка распознает цифры. Но больших прорывов в тех приложениях не было, скорее прикольные демки, которые в реальных задачах было тяжело применять.
Все как-то развивалось более менее равномерно, пока в конце 2000-х Джеффри Хинтон (тот который нобелевку получил недавно, внезапно, по физике из-за своих работ в AI), который занимался долгое время психологией, работой мозга и впоследствии нейронными сетями, не понял что видеокарты (GPU) оказывается лучше подходят чем CPU для решения математических задач, которые нужно очень много решать в нейронных сетях (линейная алгебра, матричные операции, тензоры и тд). И тут случился прорыв. Конкретно в распознавании изображений.
Важно понимать контекст. К 2010 году у исследователей была одна большая проблема - не было нормального датасета для тренировки и тестирования моделей распознавания изображений. Были всякие мелкие наборы типа MNIST (рукописные цифры) или CIFAR-10 (32x32 картинки в 10 категориях), но это было как учиться водить машину на игрушечной трассе.
В те же годы Фей-Фей Ли из Стэнфорда сделала фундаментальную вещь - ImageNet. Она с командой собрала датасет из 14 миллионов картинок в 22 тысячах категорий. Но самое крутое - они запустили соревнование ImageNet Large Scale Visual Recognition Challenge (ILSVRC) в 2010 году. Задача простая: вот тебе миллион картинок для тренировки в 1000 категориях, покажи насколько хорошо твоя модель может их классифицировать.
Первые пару лет все решения были основаны на классическом компьютер вижене - выделяли features руками, потом скармливали в SVM или что-то подобное. Ошибка была около 25-30%. И тут в 2012 году пришли Хинтон с командой со своей моделью и просто уничтожили всех - ошибка 15.3%! Это был разрыв почти в 10 процентных пунктов с ближайшим конкурентом. Это много.
YouTube
Convolutional Network Demo from 1989
This is a demo of "LeNet 1", the first convolutional network that could recognize handwritten digits with good speed and accuracy.
It was developed in early 1989 in the Adaptive System Research Department, headed by Larry Jackel, at Bell Labs in Holmdel…
It was developed in early 1989 in the Adaptive System Research Department, headed by Larry Jackel, at Bell Labs in Holmdel…
AlexNet
Хинтону и команде благодаря улучшению возможностей компьюта и новым подходам к архитектуре удалось натренировать очень крутую (по тем временам) нейронку - AlexNet (https://en.wikipedia.org/wiki/AlexNet). Один из учеников Хинтона, к слову, Илья Суцкевер, который впоследствии будет одним из сооснователей OpenAI.
От AlexNet, в 2012 году, можно сказать пошел отсчет глубоких нейронных сетей - когда народ понял, что архитектуры, которые еще 30 лет назад описывали на самом деле работают, просто их надо было делать гораздо больше (больше нейронов) и тратить больше вычислительных мощностей, чтобы сеть обучалась.
Хинтону и команде благодаря улучшению возможностей компьюта и новым подходам к архитектуре удалось натренировать очень крутую (по тем временам) нейронку - AlexNet (https://en.wikipedia.org/wiki/AlexNet). Один из учеников Хинтона, к слову, Илья Суцкевер, который впоследствии будет одним из сооснователей OpenAI.
От AlexNet, в 2012 году, можно сказать пошел отсчет глубоких нейронных сетей - когда народ понял, что архитектуры, которые еще 30 лет назад описывали на самом деле работают, просто их надо было делать гораздо больше (больше нейронов) и тратить больше вычислительных мощностей, чтобы сеть обучалась.
Потом был опять планомерный прогресс по всем дисциплинам внутри машин лернинга в течение следующих 5 лет - хорошее распознавание изображений, распознавание и синтез речи, перенос стилей изображений и тд. Появились очень хайповые приложения - такие как Prisma или MSQRD. Был основан OpenAI, где-то на стыке 2015/2016 годов.
Но при всем при этом принципиального прорыва не случалось, как так нейронки тогда (по сегодняшним временам довольно маленькие), требовали много GPU для тренинга и инференса (так называют уже фактическую работу натренированной нейронки).
Все как бы хотели еще больше нейронки, понимали что чем больше, тем будут лучше результаты, но больше не было возможности особо.
Так было пока в 2017 году ребята из Гугла не написали, теперь уже историческую работу - Attention is all you need (https://en.wikipedia.org/wiki/Attention_Is_All_You_Need). Где они представили сразу несколько прорывных идей по архитектурам нейронных сетей, а именно архитектуру которую сейчас называют Transformer. Одной из главных идей было “внимание” которое позволяло сетке лучше понимать контекст, а другой как технически можно лучше работать на уровне операций на GPU.
Это была прорывная работа. Тем не менее, несмотря на то, что эта работа была написана в Гугле, основным бенефициаром в скором времени оказались OpenAI. А человеком, который помог им в этом преуспеть - Илья Суцкевер. Слушал его интервью где он говорит, что когда увидел пейпер по трансформерам сразу понял, что это то что позволит им заскейлить их нейронки в OpenAI.
Но при всем при этом принципиального прорыва не случалось, как так нейронки тогда (по сегодняшним временам довольно маленькие), требовали много GPU для тренинга и инференса (так называют уже фактическую работу натренированной нейронки).
Все как бы хотели еще больше нейронки, понимали что чем больше, тем будут лучше результаты, но больше не было возможности особо.
Так было пока в 2017 году ребята из Гугла не написали, теперь уже историческую работу - Attention is all you need (https://en.wikipedia.org/wiki/Attention_Is_All_You_Need). Где они представили сразу несколько прорывных идей по архитектурам нейронных сетей, а именно архитектуру которую сейчас называют Transformer. Одной из главных идей было “внимание” которое позволяло сетке лучше понимать контекст, а другой как технически можно лучше работать на уровне операций на GPU.
Это была прорывная работа. Тем не менее, несмотря на то, что эта работа была написана в Гугле, основным бенефициаром в скором времени оказались OpenAI. А человеком, который помог им в этом преуспеть - Илья Суцкевер. Слушал его интервью где он говорит, что когда увидел пейпер по трансформерам сразу понял, что это то что позволит им заскейлить их нейронки в OpenAI.
Wikipedia
Attention Is All You Need
scientific article published in June 2017
Эра трансформеров
После появления трансформеров началась настоящая гонка. В 2018 году Гугл выкатил BERT (Bidirectional Encoder Representations from Transformers) - модель, которая научилась понимать контекст слов с обеих сторон предложения. Это был прорыв для задач понимания языка - классификации, ответов на вопросы и т.д. BERT побил все рекорды на бенчмарках и показал, что предобучение на огромных корпусах текста дает невероятные результаты.
OpenAI работал долгое время над генерацией текста, а точнее над предсказанием какое слово будет следующим в наборе слов, которые подаются на импут в модель. Они применили там “трансформеры” и качество предсказаний существенно выросло, был прорыв. Так появились GPT-модели - Generative Pre-trained Transformer (https://en.wikipedia.org/wiki/Generative_pre-trained_transformer). OpenAI сначала GPT-модели предоставлял через API для разработчиков, а потом они сделали уже консьюмерский продукт ChatGPT.
После появления трансформеров началась настоящая гонка. В 2018 году Гугл выкатил BERT (Bidirectional Encoder Representations from Transformers) - модель, которая научилась понимать контекст слов с обеих сторон предложения. Это был прорыв для задач понимания языка - классификации, ответов на вопросы и т.д. BERT побил все рекорды на бенчмарках и показал, что предобучение на огромных корпусах текста дает невероятные результаты.
OpenAI работал долгое время над генерацией текста, а точнее над предсказанием какое слово будет следующим в наборе слов, которые подаются на импут в модель. Они применили там “трансформеры” и качество предсказаний существенно выросло, был прорыв. Так появились GPT-модели - Generative Pre-trained Transformer (https://en.wikipedia.org/wiki/Generative_pre-trained_transformer). OpenAI сначала GPT-модели предоставлял через API для разработчиков, а потом они сделали уже консьюмерский продукт ChatGPT.
В 2018 выпустили GPT-1. Это была относительно небольшая модель на порядка 100 миллионов параметров, но она уже показывала, что можно взять трансформер, натренировать его предсказывать следующее слово на куче текста из интернета, а потом дообучить на конкретные задачи.
В 2019 они выпустили GPT-2 с 1.5 миллиардами параметров. И тут случилось интересное - OpenAI сначала отказались публиковать полную модель, заявив что она слишком опасна, может генерировать фейк-ньюс и т.д. Народ посмеялся, но когда модель все-таки выложили, оказалось что она реально умеет генерировать очень убедительные тексты. Это был первый звоночек что мы приближаемся к чему-то серьезному.
Все так и вышло как предсказывал Суцкевер. Сейчас “трансформеры” по факту везде под капотом у ML-приложений, которые теперь уже называются AI-приложения. Почти все улучшения в генерации видео, картинок, текста и тд сегодня это применения архитектуры, которую опубликовали в 2017 году ребята из Гугла.
Более того. За последние 3-4 года почти все крупные вендоры железа стали проектировать GPU/TPU/AI-чипы именно под потребности трансформеров.
В 2019 они выпустили GPT-2 с 1.5 миллиардами параметров. И тут случилось интересное - OpenAI сначала отказались публиковать полную модель, заявив что она слишком опасна, может генерировать фейк-ньюс и т.д. Народ посмеялся, но когда модель все-таки выложили, оказалось что она реально умеет генерировать очень убедительные тексты. Это был первый звоночек что мы приближаемся к чему-то серьезному.
Все так и вышло как предсказывал Суцкевер. Сейчас “трансформеры” по факту везде под капотом у ML-приложений, которые теперь уже называются AI-приложения. Почти все улучшения в генерации видео, картинок, текста и тд сегодня это применения архитектуры, которую опубликовали в 2017 году ребята из Гугла.
Более того. За последние 3-4 года почти все крупные вендоры железа стали проектировать GPU/TPU/AI-чипы именно под потребности трансформеров.
Революция ChatGPT
В 2020 году OpenAI выпустили GPT-3 с 175 миллиардами параметров - монстр по сравнению с предыдущими версиями. Но настоящая революция случилась когда OpenAI придумали как сделать эти модели полезными для обычных людей.
Дело в том, что если просто брать пре-трейн модель, такую какой например была GPT-3 и попробовать с ней говорить так, как ты привык сейчас с современными чат-ботами, но никакого долгого диалога не получится. Это будет скорее набор логичных, но не очень связанных текстов. Неплохо для, того чтобы получить короткий ответ, но точно не AI-собеседник. До прохождения теста Тьюринга еще далеко.
Секретным соусом стал RLHF - Reinforcement Learning from Human Feedback.
В 2020 году OpenAI выпустили GPT-3 с 175 миллиардами параметров - монстр по сравнению с предыдущими версиями. Но настоящая революция случилась когда OpenAI придумали как сделать эти модели полезными для обычных людей.
Дело в том, что если просто брать пре-трейн модель, такую какой например была GPT-3 и попробовать с ней говорить так, как ты привык сейчас с современными чат-ботами, но никакого долгого диалога не получится. Это будет скорее набор логичных, но не очень связанных текстов. Неплохо для, того чтобы получить короткий ответ, но точно не AI-собеседник. До прохождения теста Тьюринга еще далеко.
Секретным соусом стал RLHF - Reinforcement Learning from Human Feedback.