360 Tech Ecosystem Overview 🇺🇦
Многие говорят, что в Украине нет продуктовых технологических компаний, нет экосистемы, нет фондов, нет хороших продакт-менеджеров, маркетологов и все в таком духе.
Информации, которая подтверждает или опровергает эти суждения, или очень мало, или вообще не существует.
Нам с Наташей всегда было интересно разобраться в этом вопросе. Поэтому мы с радостью согласились принять участие в создании бесплатной базы украинских продуктовых и сервисных IT-компаний, когда знакомые из Ukrainian Bridge предложили нам это сделать 1,5 года назад.
На этой неделе вышла в паблик первая версия платформы с данными про украинскую IT-экосистему. Вот она: 360 Тесh Ecosystem Overview.
В базе уже есть 1134 продуктовых и 838 сервисных компании из Украины (куча компаний еще в процессе обработки).
Представляете, 1000+ продуктовых IT-компаний 🤯
И, похоже, в ближайшее время их будет в несколько раз больше. База активно пополняется – вы можете оставить заявку на добавление своей компании, если ее еще нет в списке.
В будущем на платформе будут еще акселераторы, фонды, коворкинги, университеты и много чего еще.
Мы надеемся, что 360 Tech Ecosystem Overview даст полный обзор IT-индустрии Украины в разных разрезах, поможет компаниям, фондам и другим участникам экосистемы кооперироваться, повысить рейтинг Украины в разных международных рейтингах.
Инициаторы проекта - Ukrainian Bridge, Міністерство цифрової трансформації України и Інтернет Асоціація України. Очень важно, что государство принимает в этом проекте активное участие.
Свои данные уже предоставили DOU, Lift99, Ukrainian Startup Fund, Center42, BRISE Capitall, UNIT.City, Improve Your Product и многие другие.
Несколько самых простых юзкейсов, когда платформа может пригодиться. Просто для примера:
1. Друзья из Долины спросили, какие в Украине есть интересные небольшие технологические стартапы.
2. Инвесторы думают над вложениями в компанию Х. Они хотят посмотреть, что еще есть на рынке в категории "edtech".
3. Выпускники технических ВУЗов ищут стажировку в украинской компании на лето.
4. Журналисты хотят сделать обзор новых стартапов, получивших самые большие инвестиции в 2020 году
Смотрите, делитесь, и, что не менее важно, – подключайтесь к инициативе. Это только первая версия продукта – первый маленький шаг. Присылайте предложения, идеи, комментарии, дополнения, правки и пополняйте саму базу 😊
Алексей Еленевич
Многие говорят, что в Украине нет продуктовых технологических компаний, нет экосистемы, нет фондов, нет хороших продакт-менеджеров, маркетологов и все в таком духе.
Информации, которая подтверждает или опровергает эти суждения, или очень мало, или вообще не существует.
Нам с Наташей всегда было интересно разобраться в этом вопросе. Поэтому мы с радостью согласились принять участие в создании бесплатной базы украинских продуктовых и сервисных IT-компаний, когда знакомые из Ukrainian Bridge предложили нам это сделать 1,5 года назад.
На этой неделе вышла в паблик первая версия платформы с данными про украинскую IT-экосистему. Вот она: 360 Тесh Ecosystem Overview.
В базе уже есть 1134 продуктовых и 838 сервисных компании из Украины (куча компаний еще в процессе обработки).
Представляете, 1000+ продуктовых IT-компаний 🤯
И, похоже, в ближайшее время их будет в несколько раз больше. База активно пополняется – вы можете оставить заявку на добавление своей компании, если ее еще нет в списке.
В будущем на платформе будут еще акселераторы, фонды, коворкинги, университеты и много чего еще.
Мы надеемся, что 360 Tech Ecosystem Overview даст полный обзор IT-индустрии Украины в разных разрезах, поможет компаниям, фондам и другим участникам экосистемы кооперироваться, повысить рейтинг Украины в разных международных рейтингах.
Инициаторы проекта - Ukrainian Bridge, Міністерство цифрової трансформації України и Інтернет Асоціація України. Очень важно, что государство принимает в этом проекте активное участие.
Свои данные уже предоставили DOU, Lift99, Ukrainian Startup Fund, Center42, BRISE Capitall, UNIT.City, Improve Your Product и многие другие.
Несколько самых простых юзкейсов, когда платформа может пригодиться. Просто для примера:
1. Друзья из Долины спросили, какие в Украине есть интересные небольшие технологические стартапы.
2. Инвесторы думают над вложениями в компанию Х. Они хотят посмотреть, что еще есть на рынке в категории "edtech".
3. Выпускники технических ВУЗов ищут стажировку в украинской компании на лето.
4. Журналисты хотят сделать обзор новых стартапов, получивших самые большие инвестиции в 2020 году
Смотрите, делитесь, и, что не менее важно, – подключайтесь к инициативе. Это только первая версия продукта – первый маленький шаг. Присылайте предложения, идеи, комментарии, дополнения, правки и пополняйте саму базу 😊
Алексей Еленевич
Мы плохо прогнозируем.
Мы неправильно оцениваем результаты.
Мы склонны порой выбирать невыгодные для себя варианты.
И под «мы» я имею ввиду почти любого человека.
Я немного расстроена и очень восхищена выводами из книги «Thinking fast and slow» от нобелевского лауреата Д. Канемана. На примере огромного количества экспериментов Канеман описывает, как принципы работы нашего мозга влияют на нашу жизнь, работу и даже восприятие счастья.
Если коротко, то свобода выбора – понятие довольно иллюзорное. А еще мы оцениваем людей и компании по результату, даже если их действия были необдуманны (и это не так хорошо, как нам кажется). В догонку – формулировки одного и того же вопроса (даже если все формулировки понятные и четкие) могут менять наши решения на противоположные.
Все это кажется абстрактными и далекими от «меня любимого» фразами. Пока не читаешь примеры...
Что опытные трейдеры в среднем прогнозируют не лучше подкидывания монетки.
Что 90+% водителей в одной стране решают отдать свои органы в качестве донора (если наступит смерть в результате несчастного случая), а в другой стране столько же водителей против – и, как оказывается, разница не в менталитете, а в формулировке вопроса.
Что наш мозг запоминает фейки и факты одинаково (Научный журнал vs Пост в ФБ), и вообще наш мозг ленится проверять информацию. Так что связанные с фейком ассоциации будут распространяться в вашей голове так, словно это правда.
Манипуляции и искажения повсюду – даже там, где их, казалось бы, даже близко нет.
Все это вызывает у меня страх, что созданные мной продукты могут манипулировать клиентами. Да – я больше переживаю не за то, что манипулируют мной (хотя об этом тоже), а что мои действия приведут к невыгодному для кого-то выбору (даже если это не будет моей целью). А еще возникает вопрос – можно ли манипулировать, если это выгодно потребителю (например, в медицинских продуктах – если это поможет сохранить его здоровье).
P.S. Этот пост – продолжение темы манипуляций и этики в продуктовой разработке (если не читали мои предущие посты на эту тему, то вот они: (1) как понять, этичный ли продукт вы делаете и (2) тактичный продукт – это как).
Дальше буду публиковать серию заметок из книги «Thinking fast and slow» – просто не могу не поделиться, горю от мыслей.
Наташа
Мы неправильно оцениваем результаты.
Мы склонны порой выбирать невыгодные для себя варианты.
И под «мы» я имею ввиду почти любого человека.
Я немного расстроена и очень восхищена выводами из книги «Thinking fast and slow» от нобелевского лауреата Д. Канемана. На примере огромного количества экспериментов Канеман описывает, как принципы работы нашего мозга влияют на нашу жизнь, работу и даже восприятие счастья.
Если коротко, то свобода выбора – понятие довольно иллюзорное. А еще мы оцениваем людей и компании по результату, даже если их действия были необдуманны (и это не так хорошо, как нам кажется). В догонку – формулировки одного и того же вопроса (даже если все формулировки понятные и четкие) могут менять наши решения на противоположные.
Все это кажется абстрактными и далекими от «меня любимого» фразами. Пока не читаешь примеры...
Что опытные трейдеры в среднем прогнозируют не лучше подкидывания монетки.
Что 90+% водителей в одной стране решают отдать свои органы в качестве донора (если наступит смерть в результате несчастного случая), а в другой стране столько же водителей против – и, как оказывается, разница не в менталитете, а в формулировке вопроса.
Что наш мозг запоминает фейки и факты одинаково (Научный журнал vs Пост в ФБ), и вообще наш мозг ленится проверять информацию. Так что связанные с фейком ассоциации будут распространяться в вашей голове так, словно это правда.
Манипуляции и искажения повсюду – даже там, где их, казалось бы, даже близко нет.
Все это вызывает у меня страх, что созданные мной продукты могут манипулировать клиентами. Да – я больше переживаю не за то, что манипулируют мной (хотя об этом тоже), а что мои действия приведут к невыгодному для кого-то выбору (даже если это не будет моей целью). А еще возникает вопрос – можно ли манипулировать, если это выгодно потребителю (например, в медицинских продуктах – если это поможет сохранить его здоровье).
P.S. Этот пост – продолжение темы манипуляций и этики в продуктовой разработке (если не читали мои предущие посты на эту тему, то вот они: (1) как понять, этичный ли продукт вы делаете и (2) тактичный продукт – это как).
Дальше буду публиковать серию заметок из книги «Thinking fast and slow» – просто не могу не поделиться, горю от мыслей.
Наташа
Это дорого или дешево?
Представьте, что на сайте нет цены на продукт. Например, как на сайте GoPractice до момента регистрации.
Потребители впервые заходят туда, читают о продукте и формируют у себя в голове примерную цену, которую они готовы заплатить.
Эта цена формируется на основе разных факторов – дохода человека, стоимости аналогичных продуктов или альтернативных решений, которые он уже видел, описания продукта на сайте и т.п. Допустим, потребители в среднем будут согласны заплатить 200$.
Но что будет, если мы добавим на сайт цену? К примеру, $1000. Изменится ли от этого сумма, которую люди будут готовы заплатить за продукт? Станет ли средняя оценка продукта выше (в данном случае) или ниже (если бы мы указали на сайте 100 долларов вместо 1000)?
Оказывается, что с большой вероятностью именно это и произойдет. Каннеман называет такой процесс эффектом якоря (эффектом привязки) – когда прежде чем оценить неизвестное значение, мы сталкиваемся с произвольным числом. Это когнитивное предубеждение, и оно все равно будет происходить с вами, даже если вы знаете о его существовании.
Это не значит, что все пользователи теперь будут готовы заплатить 1000 долларов. Но средняя оценка продукта, тем не менее, значительно вырастет от первоначальных 200 долларов.
Вот вам пример из сферы благотворительности.
Посетителям научного музея "Эксплораториум" рассказали про вред, который наносят окружающей среде нефтяные танкеры. И спросили, готовы ли они ежегодно платить определенную сумму, чтобы спасти 50 тыс. морских птиц, пока не найдется способ предотвратить негативное влияние или заставить платить за это собственников танкеров.
Некоторым посетителям сначала ставили вопрос с "якорем" ("Согласились бы вы заплатить 5 долларов?"), а уже потом спрашивали, какую сумму они согласились бы пожертвовать.
Если поситетелям ставили вопрос без "якоря", то в среднем они соглашались заплатить 64 доллара. Если якорь устанавливали в размере 5 долларов, то средние взносы составляли 20 долларов. Когда "якорь" увеличивали до 400 долларов, средняя сумма выростала до 143 долларов.
Удивительно, но этому эффекту подвержены даже эксперты (хотя и в меньшей мере, чем обычные люди) – например, агенты по торговле недвижимостью. Проводились эксперименты, в котором агентам по недвижимости показывали разную цену дома (выше/ниже) и просили на основании характеристик дома дать ему собственную оценку. Агенты гордились своей способностью игнорировать заявленную цену... И при этом (упс!), сами того не осознавая, сильно привязывали свою оценку к заявленной.
Еще более удивительно, что само число может быть никак не связано непосредственно с ценой. Эффект привязки работает даже тогда, когда указываются случайные числа.
#book_thoughts #thinkingfastslow
Представьте, что на сайте нет цены на продукт. Например, как на сайте GoPractice до момента регистрации.
Потребители впервые заходят туда, читают о продукте и формируют у себя в голове примерную цену, которую они готовы заплатить.
Эта цена формируется на основе разных факторов – дохода человека, стоимости аналогичных продуктов или альтернативных решений, которые он уже видел, описания продукта на сайте и т.п. Допустим, потребители в среднем будут согласны заплатить 200$.
Но что будет, если мы добавим на сайт цену? К примеру, $1000. Изменится ли от этого сумма, которую люди будут готовы заплатить за продукт? Станет ли средняя оценка продукта выше (в данном случае) или ниже (если бы мы указали на сайте 100 долларов вместо 1000)?
Оказывается, что с большой вероятностью именно это и произойдет. Каннеман называет такой процесс эффектом якоря (эффектом привязки) – когда прежде чем оценить неизвестное значение, мы сталкиваемся с произвольным числом. Это когнитивное предубеждение, и оно все равно будет происходить с вами, даже если вы знаете о его существовании.
Это не значит, что все пользователи теперь будут готовы заплатить 1000 долларов. Но средняя оценка продукта, тем не менее, значительно вырастет от первоначальных 200 долларов.
Вот вам пример из сферы благотворительности.
Посетителям научного музея "Эксплораториум" рассказали про вред, который наносят окружающей среде нефтяные танкеры. И спросили, готовы ли они ежегодно платить определенную сумму, чтобы спасти 50 тыс. морских птиц, пока не найдется способ предотвратить негативное влияние или заставить платить за это собственников танкеров.
Некоторым посетителям сначала ставили вопрос с "якорем" ("Согласились бы вы заплатить 5 долларов?"), а уже потом спрашивали, какую сумму они согласились бы пожертвовать.
Если поситетелям ставили вопрос без "якоря", то в среднем они соглашались заплатить 64 доллара. Если якорь устанавливали в размере 5 долларов, то средние взносы составляли 20 долларов. Когда "якорь" увеличивали до 400 долларов, средняя сумма выростала до 143 долларов.
Удивительно, но этому эффекту подвержены даже эксперты (хотя и в меньшей мере, чем обычные люди) – например, агенты по торговле недвижимостью. Проводились эксперименты, в котором агентам по недвижимости показывали разную цену дома (выше/ниже) и просили на основании характеристик дома дать ему собственную оценку. Агенты гордились своей способностью игнорировать заявленную цену... И при этом (упс!), сами того не осознавая, сильно привязывали свою оценку к заявленной.
Еще более удивительно, что само число может быть никак не связано непосредственно с ценой. Эффект привязки работает даже тогда, когда указываются случайные числа.
#book_thoughts #thinkingfastslow
Как якорь влияет на создание продуктов
(начало выше)
1. Точка, от которой отталкиваются в переговорах (с поставщиками, дистрибьюторами, другими партнерами) служит "якорем", который сильно влияет на весь ход переговоров (сильнее, чем последующие предложения и контр-предложения). Так что стоит уделить очень и очень много времени обдумыванию первоначального предложения – возможно намного больше, чем обдумыванию контраргументов.
2. Предыдущая стоимость продукта, указанная рядом с новой стоимостью со скидкой, кажется, является якорем.
Вспомните момент, когда вы в последний раз покупали какую-то дорогую вещь по скидке (например, туфли за 3000 грн вместо 5000 тыс). Хотя вы и знаете о существовании когнитивных искажений ("это всё маркетинговый ход") и, возможно, даже предполагаете, что на самом деле цена и не была такой высокой ("ой, да они, наверное, изначально стоили 3000 грн")... Вы все равно покупаете товар. Хотя до того, как вы вошли в магазин, максимальная цена, которую вы были готовы заплатить за туфли, была в пределах условных 1500 грн. Но увидев "старую" цену, в голове среднестатистического человека стоимость туфель резко выросла с изначальной оценки в 1500 грн ("ну а сколько еще могут стоить такие туфли") до условных 2500.
Мы тут же находим логичное объяснение такой цены для себя самих – эти туфли из кожи, на них гарантия год, и они такие модные... В момент, когда мы уже увидели сумму 5000 грн, нам будет очень сложно (почти невозможно) избавиться от эффекта якоря и оценить туфли так, как мы бы оценили их, не видя первоначальную цену.
3. Сравнение продукта с чем-то дорогим, что приносит аналогичную ценность, позволяет задать "ценовой якорь". Точно так же можно приравнять отсутствие продукта к потерям – и это сработает аналогичным образом.
Замесин в своем курсе по кастдеву рассказывает, что в b2b продажах его курса хорошо работает такой подход: он рассказывает клиенту, сколько тот потеряет в деньгах, если вместо тестирования гипотез будет сразу реализовывать все идеи. В итоге получается кругленькая сумма.
Суть в том, что 9 гипотез из 10 проваливаются. А если все эти 9 гипотез кто-то программирует (вместо быстрого теста) и тратит на это время – получаем Х долларов и кучу потерянного времени. Вот эта сумма Х сразу повышает ценность его курса по кастдеву. И хотя клиент не будет готов заплатить эти же Х долларов за то, чтобы избежать потерянного времени, он будет в среднем готов заплатить за курс гораздо выше, чем если бы он сам оценивал стоимость курса (без якоря в Х долларов).
4. Вот почему еще так важно не давать пользователям примеры ответов, задавая им важный для нас вопрос ("Сколько вы готовы заплатить за этот продукт в зависимости от разных ситуаций? Укажите диапазон: например, от 20 до 50 долларов"). Когда мы приводим пример, пользователь банально "привязывается" к нему, даже не осознавая этого.
Как использовать эти знания – каждый решает сам. Кто-то манипулирует своими клиентами, пытаясь продать как можно больше, а кто-то пытается, напротив, помочь пользователю осознать реальную ценность продукта (конкретно для него). Ведь забота о клиенте не только в том, чтобы вовремя отвечать на его обращения в чате. Но и в том, чтобы помочь пользователю достичь его реальных целей самым оптимальным способом.
Наташа
(начало выше)
1. Точка, от которой отталкиваются в переговорах (с поставщиками, дистрибьюторами, другими партнерами) служит "якорем", который сильно влияет на весь ход переговоров (сильнее, чем последующие предложения и контр-предложения). Так что стоит уделить очень и очень много времени обдумыванию первоначального предложения – возможно намного больше, чем обдумыванию контраргументов.
2. Предыдущая стоимость продукта, указанная рядом с новой стоимостью со скидкой, кажется, является якорем.
Вспомните момент, когда вы в последний раз покупали какую-то дорогую вещь по скидке (например, туфли за 3000 грн вместо 5000 тыс). Хотя вы и знаете о существовании когнитивных искажений ("это всё маркетинговый ход") и, возможно, даже предполагаете, что на самом деле цена и не была такой высокой ("ой, да они, наверное, изначально стоили 3000 грн")... Вы все равно покупаете товар. Хотя до того, как вы вошли в магазин, максимальная цена, которую вы были готовы заплатить за туфли, была в пределах условных 1500 грн. Но увидев "старую" цену, в голове среднестатистического человека стоимость туфель резко выросла с изначальной оценки в 1500 грн ("ну а сколько еще могут стоить такие туфли") до условных 2500.
Мы тут же находим логичное объяснение такой цены для себя самих – эти туфли из кожи, на них гарантия год, и они такие модные... В момент, когда мы уже увидели сумму 5000 грн, нам будет очень сложно (почти невозможно) избавиться от эффекта якоря и оценить туфли так, как мы бы оценили их, не видя первоначальную цену.
3. Сравнение продукта с чем-то дорогим, что приносит аналогичную ценность, позволяет задать "ценовой якорь". Точно так же можно приравнять отсутствие продукта к потерям – и это сработает аналогичным образом.
Замесин в своем курсе по кастдеву рассказывает, что в b2b продажах его курса хорошо работает такой подход: он рассказывает клиенту, сколько тот потеряет в деньгах, если вместо тестирования гипотез будет сразу реализовывать все идеи. В итоге получается кругленькая сумма.
Суть в том, что 9 гипотез из 10 проваливаются. А если все эти 9 гипотез кто-то программирует (вместо быстрого теста) и тратит на это время – получаем Х долларов и кучу потерянного времени. Вот эта сумма Х сразу повышает ценность его курса по кастдеву. И хотя клиент не будет готов заплатить эти же Х долларов за то, чтобы избежать потерянного времени, он будет в среднем готов заплатить за курс гораздо выше, чем если бы он сам оценивал стоимость курса (без якоря в Х долларов).
4. Вот почему еще так важно не давать пользователям примеры ответов, задавая им важный для нас вопрос ("Сколько вы готовы заплатить за этот продукт в зависимости от разных ситуаций? Укажите диапазон: например, от 20 до 50 долларов"). Когда мы приводим пример, пользователь банально "привязывается" к нему, даже не осознавая этого.
Как использовать эти знания – каждый решает сам. Кто-то манипулирует своими клиентами, пытаясь продать как можно больше, а кто-то пытается, напротив, помочь пользователю осознать реальную ценность продукта (конкретно для него). Ведь забота о клиенте не только в том, чтобы вовремя отвечать на его обращения в чате. Но и в том, чтобы помочь пользователю достичь его реальных целей самым оптимальным способом.
Наташа
Перестрелка с Писаревским
Сначала мне казалось, что я нашла идеальный формат рассказа о крутых каналах, которые я читаю.
Вместо того, чтобы писать только хорошее – надо написать честный разбор. Если плохо – критиковать. Если классно – хвалить. И в ту же секунду на наш с Лешей канал опубликуют разбор в ответ. Круто же?
Формат называется «перестрелка», и придумала его Наташа Бабаева. Но есть нюанс... Вчера я 2 часа пыталась найти хотя бы что-то, что мне не нравится в канале «Ночной Писаревский». 2 часа!
Оказалось, что критиковать каналы, которые нравятся, очень сложно.
Но сама придумала – сама расхлебывай, как говорится.
Автор канала – Алексей Писаревский, сооснователь Epic Growth (кто не знает, это что-то вроде Netflix для айтишников и офлайн-конференция в одном «лице»).
😎 Что нравится в канале
1. Искренность! Пишет честно о своем пути.
Например, о тревожности из-за успехов других или из-за «упущенных возможностей». О выборе «быть ли предпринимателем». О сомнениях «постить/не постить в канал», если не уверен, что это интересно. О «Борюсь с ощущением, что всем плевать на мои итоги года…». Про СМО, который ушел спустя 2 месяца от начала работы.
Это подкупает. Хочется читать - потому что вместо успешного успеха видишь реальный путь человека.
2. Показывает свое мнение, а не просто говорит фактами.
Вместо «В книге написано вот так» он пишет что-то вроде «В книге написано вот так, и вот, что я об этом думаю…»
3. Много рассказывает про Epic Growth – про трудности с которыми сталкивается, про то, как над этим работает, про то, что интересного происходит. Это как попасть в закулисье. Очень интересно.
4. Посты почти все короткие, и доносят 1 главную мысль (кроме некоторых конспектов книг). Нет перегруза лишним. Это кайфово. Мне так надо еще научиться – я вечно хочу впихнуть в пост сразу всё.
🙅♂️Что не нравится
1. Вместо выводов – ссылка. Не люблю посты, в которых просто дается ссылка на блог или видео с интригующим описанием – вот, мол, пройдя по ссылке, вы поймете «как…». Как например, вот тут.
Я хочу понять что-то из самого поста. Именно поэтому я и читаю короткий формата Телеграма, а не смотрю ютуб или фб. А уже если это «что-то» мне покажется интересным, то я, возможно, перейду по ссылке, чтобы узнать больше.
Такие посты вообще ассоциируются у меня с рекламой вроде: «Кликни по ссылке – и узнаешь, как….». В лучшем случае – я сохраню их себе в Saved Messages и никогда к ним не вернусь. Но, скорее всего, я просто пройду мимо.
Есть и хорошие примеры, в которых уже из поста понятна суть. Как про итоги года, например. Или как вот в этом посте с тезисами из видео-интервью с Ильей Мутовиным. Это видео я, кстати, посмотрела ;)
2. Где цитата, а где мысли автора? Читаешь пост, в голове рисуешь картинку «говорящего» Писаревского. А в конце оказывается, что речь о каком-то Скотте Адамсе, например. Или там не все – цитата? Это сбивает с толку.
3. Вместо ответа на вопрос – размышления на тему.
В начале поста написан вопрос – «Надо ли стартапу привлекать инвестиции?». Читаешь пост, и думаешь – вот, сейчас мне скажут, надо или не надо это делать. А оказывается, автор и сам не знает. И это ок, что автор не знает ответа. Но не ок, что пост из-за своей структуры воспринимается как ответ на вопрос, а не как размышления автора. А ответа-то и нет…
Это легко было бы поправить, написав сразу «Надо ли стартапу…? Я не знаю. Но вот что я об этом думаю…»
4. Бесит, что почти не за что серьезно покритиковать 🙂 2 часа просидела, чтобы выбрать хоть что-то. Получились какие-то придирки к мелочам. Если честно, то канал классный.
Да, кстати, Алексей (который Писаревский) тоже опубликовал разбор нашего с Лешей канала. Вы сходите гляньте - может, после его критики захотите от нас отписаться. А может, защитите нас у него в комментариях 😅
А потом возвращайтесь к нам и напишите, что думаете про канал «Ночной Писаревский». Интересно же, как вам.
Наташа
Сначала мне казалось, что я нашла идеальный формат рассказа о крутых каналах, которые я читаю.
Вместо того, чтобы писать только хорошее – надо написать честный разбор. Если плохо – критиковать. Если классно – хвалить. И в ту же секунду на наш с Лешей канал опубликуют разбор в ответ. Круто же?
Формат называется «перестрелка», и придумала его Наташа Бабаева. Но есть нюанс... Вчера я 2 часа пыталась найти хотя бы что-то, что мне не нравится в канале «Ночной Писаревский». 2 часа!
Оказалось, что критиковать каналы, которые нравятся, очень сложно.
Но сама придумала – сама расхлебывай, как говорится.
Автор канала – Алексей Писаревский, сооснователь Epic Growth (кто не знает, это что-то вроде Netflix для айтишников и офлайн-конференция в одном «лице»).
😎 Что нравится в канале
1. Искренность! Пишет честно о своем пути.
Например, о тревожности из-за успехов других или из-за «упущенных возможностей». О выборе «быть ли предпринимателем». О сомнениях «постить/не постить в канал», если не уверен, что это интересно. О «Борюсь с ощущением, что всем плевать на мои итоги года…». Про СМО, который ушел спустя 2 месяца от начала работы.
Это подкупает. Хочется читать - потому что вместо успешного успеха видишь реальный путь человека.
2. Показывает свое мнение, а не просто говорит фактами.
Вместо «В книге написано вот так» он пишет что-то вроде «В книге написано вот так, и вот, что я об этом думаю…»
3. Много рассказывает про Epic Growth – про трудности с которыми сталкивается, про то, как над этим работает, про то, что интересного происходит. Это как попасть в закулисье. Очень интересно.
4. Посты почти все короткие, и доносят 1 главную мысль (кроме некоторых конспектов книг). Нет перегруза лишним. Это кайфово. Мне так надо еще научиться – я вечно хочу впихнуть в пост сразу всё.
🙅♂️Что не нравится
1. Вместо выводов – ссылка. Не люблю посты, в которых просто дается ссылка на блог или видео с интригующим описанием – вот, мол, пройдя по ссылке, вы поймете «как…». Как например, вот тут.
Я хочу понять что-то из самого поста. Именно поэтому я и читаю короткий формата Телеграма, а не смотрю ютуб или фб. А уже если это «что-то» мне покажется интересным, то я, возможно, перейду по ссылке, чтобы узнать больше.
Такие посты вообще ассоциируются у меня с рекламой вроде: «Кликни по ссылке – и узнаешь, как….». В лучшем случае – я сохраню их себе в Saved Messages и никогда к ним не вернусь. Но, скорее всего, я просто пройду мимо.
Есть и хорошие примеры, в которых уже из поста понятна суть. Как про итоги года, например. Или как вот в этом посте с тезисами из видео-интервью с Ильей Мутовиным. Это видео я, кстати, посмотрела ;)
2. Где цитата, а где мысли автора? Читаешь пост, в голове рисуешь картинку «говорящего» Писаревского. А в конце оказывается, что речь о каком-то Скотте Адамсе, например. Или там не все – цитата? Это сбивает с толку.
3. Вместо ответа на вопрос – размышления на тему.
В начале поста написан вопрос – «Надо ли стартапу привлекать инвестиции?». Читаешь пост, и думаешь – вот, сейчас мне скажут, надо или не надо это делать. А оказывается, автор и сам не знает. И это ок, что автор не знает ответа. Но не ок, что пост из-за своей структуры воспринимается как ответ на вопрос, а не как размышления автора. А ответа-то и нет…
Это легко было бы поправить, написав сразу «Надо ли стартапу…? Я не знаю. Но вот что я об этом думаю…»
4. Бесит, что почти не за что серьезно покритиковать 🙂 2 часа просидела, чтобы выбрать хоть что-то. Получились какие-то придирки к мелочам. Если честно, то канал классный.
Да, кстати, Алексей (который Писаревский) тоже опубликовал разбор нашего с Лешей канала. Вы сходите гляньте - может, после его критики захотите от нас отписаться. А может, защитите нас у него в комментариях 😅
А потом возвращайтесь к нам и напишите, что думаете про канал «Ночной Писаревский». Интересно же, как вам.
Наташа
Расширяя картину мира 💆
Иногда огромное количество операционных задач или фокус на каком-то большом проекте приводит к ощущению того, что в погоне за текущими локальными успехами я упускаю что-то важное.
Например, глобальные тренды, новые вызовы, которые ждут человечество, понимание причин, которые привели нас к какому-то явлению.
Потом я начинаю думать над тем, что будет востребовано. Каким будет мир через 10-20-50 лет? Какие действия / продукты / инструменты / научные и социальные прорывы могут помочь справиться с задачами, которые мы будем решать?
Какой может быть моя роль?
Ну, и заканчивается все вопросами вроде «А как вообще устроен мир, и как мы пришли туда, где мы находимся сейчас?».
Знакомо такое состояние? Часто думаете о чем-то таком?
Иногда огромное количество операционных задач или фокус на каком-то большом проекте приводит к ощущению того, что в погоне за текущими локальными успехами я упускаю что-то важное.
Например, глобальные тренды, новые вызовы, которые ждут человечество, понимание причин, которые привели нас к какому-то явлению.
Потом я начинаю думать над тем, что будет востребовано. Каким будет мир через 10-20-50 лет? Какие действия / продукты / инструменты / научные и социальные прорывы могут помочь справиться с задачами, которые мы будем решать?
Какой может быть моя роль?
Ну, и заканчивается все вопросами вроде «А как вообще устроен мир, и как мы пришли туда, где мы находимся сейчас?».
Знакомо такое состояние? Часто думаете о чем-то таком?
Что-то подобное я ощутил в конце 2020-го (начало выше☝️).
Был непростой и интересный год, много работы, запуск CodeGym в Германии и Польше, проведение важных экспериментов, которые связаны с персонализацией процесса обучения… А еще мы завершили формирование новых команд и, естественно, подводили итоги года.
Как раз в этот момент я и начал снова думать о трендах, планах, будущем, читать книги и статьи на эту тему, смотреть видео, обсуждать все эти вопросы с близкими людьми.
Короче, «расширять свою картину мира».
Вот небольшой список того, что мне реально понравилось:
1️⃣ Краткая история цивилизации от Bushwacker. [YouTube]
2️⃣ How The Economic Machine Works [YouTube] и Principles for Success by Ray Dalio [YouTube].
3️⃣ Книга «Как устроена экономика» (Ха Джон Чанг).
4️⃣ Книга «21 урок для XXI века» (Юваль Ной Харари).
5️⃣ Книга «Сверхдержавы искусственного интеллекта. Китай, Кремнёвая долина и новый мировой порядок» (Кай-Фу Ли).
6️⃣ Книга «Краткая история всего» (Кен Уилбер).
Например, YouTube-канал Bushwacker (1️⃣), я нашел 4 года назад, когда собирался в свою первую (и пока единственную) поездку в Китай. Тогда я мало чего знал про эту страну, но мне всегда было интересно глубже погрузиться в историю и культуру Китая.
Когда я нашел и прослушал серию исторических стримов Bushwacker'а про историю Китая [YouTube], ощутил невероятные эмоции.
Я просмотрел 10+ двухчасовых видео, которые раскрывают периоды от докитайской истории, империи Цинь, Хань, эпохи Троецарствия до императрицы ЦыСи, Синьхайской революции и нашего времени.
Так моя картинка мира изменилась и появилось понимание, почему эта страна такая, какая есть, и моя поездка в Китай наполнилась глубоким смыслом.
Этой зимой (2020–2021) я, наверное, в 10-й раз переслушал стримы про зарождение и развитие нашей цивилизации.
Как и в предыдущие разы, это навеяло много новых мыслей…
Мне очень нравится, что здесь история подается не в виде фактов и дат.
Bushwacker в легкой форме, как другу, без графики и спецэффектов рассказывает, как и чем жили люди в разные эпохи, как мы что-то изобретали, почему что-то менялось, и как мы дошли до того где мы сейчас.
Дико советую!
Был непростой и интересный год, много работы, запуск CodeGym в Германии и Польше, проведение важных экспериментов, которые связаны с персонализацией процесса обучения… А еще мы завершили формирование новых команд и, естественно, подводили итоги года.
Как раз в этот момент я и начал снова думать о трендах, планах, будущем, читать книги и статьи на эту тему, смотреть видео, обсуждать все эти вопросы с близкими людьми.
Короче, «расширять свою картину мира».
Вот небольшой список того, что мне реально понравилось:
1️⃣ Краткая история цивилизации от Bushwacker. [YouTube]
2️⃣ How The Economic Machine Works [YouTube] и Principles for Success by Ray Dalio [YouTube].
3️⃣ Книга «Как устроена экономика» (Ха Джон Чанг).
4️⃣ Книга «21 урок для XXI века» (Юваль Ной Харари).
5️⃣ Книга «Сверхдержавы искусственного интеллекта. Китай, Кремнёвая долина и новый мировой порядок» (Кай-Фу Ли).
6️⃣ Книга «Краткая история всего» (Кен Уилбер).
Например, YouTube-канал Bushwacker (1️⃣), я нашел 4 года назад, когда собирался в свою первую (и пока единственную) поездку в Китай. Тогда я мало чего знал про эту страну, но мне всегда было интересно глубже погрузиться в историю и культуру Китая.
Когда я нашел и прослушал серию исторических стримов Bushwacker'а про историю Китая [YouTube], ощутил невероятные эмоции.
Я просмотрел 10+ двухчасовых видео, которые раскрывают периоды от докитайской истории, империи Цинь, Хань, эпохи Троецарствия до императрицы ЦыСи, Синьхайской революции и нашего времени.
Так моя картинка мира изменилась и появилось понимание, почему эта страна такая, какая есть, и моя поездка в Китай наполнилась глубоким смыслом.
Этой зимой (2020–2021) я, наверное, в 10-й раз переслушал стримы про зарождение и развитие нашей цивилизации.
Как и в предыдущие разы, это навеяло много новых мыслей…
Мне очень нравится, что здесь история подается не в виде фактов и дат.
Bushwacker в легкой форме, как другу, без графики и спецэффектов рассказывает, как и чем жили люди в разные эпохи, как мы что-то изобретали, почему что-то менялось, и как мы дошли до того где мы сейчас.
Дико советую!
Расширять картину мира – значит задавать себе вопросы, на которые в голове пока нет ответа.
Ведь чем шире картина мира, тем лучше решения, которые я принимаю каждый день.
И на работе, и в жизни.
Часть таких вопросов касаются управленческих основ. Например, что значит «быть успешным руководителем» и как им стать? Как сформировать свои принципы? Что такое корпоративная культура и кто такие «правильные» люди в команде?
Обо всем этом размышляет Рей Далио в своей книге «Принципы» (2️⃣ из поста выше).
Рей Далио – основатель крупнейшего хедж-фонда Bridgewater Associates. Один из самых влиятельных, богатых и успешных людей планеты. Книга «Принципы» оказала огромное влияние на меня. Говорят, что и на миллионы людей тоже.
Что я вынес для себя?
🔹 Не стоит зацикливаться на своем мнении.
🔹 Важно стараться уделять больше внимания тому, как обстоят дела на самом деле, изучать мир.
🔹 Нужно через «боль» и анализ двигаться к прогрессу.
🔹 Просто необходимо быть радикально честным с командой.
Книгу я читал еще полгода назад, а недавно посмотрел пару роликов на YouTube-канале автора.
How The Economic Machine Works – простыми словами о том, как работает экономика. Здесь всё: что такое деньги, транзакции, кредиты, почему случаются кризисы и т.д.
Principles for Success – целый набор видео, которые перекликаются с книгой «Принципы». Советую посмотреть их, если вы еще думаете о том, читать или не читать "Принципы".
Следующая книга, расширяющая мою картину мира – 3️⃣ «Как устроена экономика» (Ха Джон Чанг).
Автор Ха Джон Чанг – экономист из Кембриджа, один из ведущих мировых экспертов по развивающимся экономикам.
Название книги говорит само за себя – книга о том, как работает и устроена мировая экономика. Ха Джон Чанг описывает, как развивалась экономика, какие были и есть экономические школы, какие у этих школ особенности и недостатки. А еще автор показывает, как на жизнь каждого из нас влияют разные экономические факторы – например, состояние промышленности в США или неравенство в Китае.
Книга полезна для тех, кто интересуется экономикой (но не очень глубоко понимает, как она работает), и кто хочет лучше понять, как устроен современный мир.
Мне она помогла неплохо структурировать свои знания.
4️⃣ Книга «21 урок для XXI века» (Юваль Ной Харари).
Сразу скажу, мне очень-очень-очень понравилась эта книга. Если в прошлой («Homo Deus») Харари рассказывает про далекое будущее человечества, то здесь он затрагивает вопросы ближайшего будущего.
В книге нет рекомендаций, что делать и как жить.
Харари просто рассказывает о тех движущих силах, угрозах, факторах, которые будут влиять на человечество в ближайшем будущем. Например, изменение климата, революция в IT и биотехнологиях. Интересно и заставляет задуматься.
Единственное, что мне не понравилось – немного гнетущее ощущение после прочтения.
Но это не делает книгу плохой. Она классная...
5️⃣ Книга «Сверхдержавы искусственного интеллекта. Китай, Кремнёвая долина и новый мировой порядок» (Кай-Фу Ли).
Для меня эта книга была интересной в первую очередь из-за того, что в ней рассказывается про историю развития IT-компаний и продуктов в Китае.
Я узнал, как развивалась отрасль. Оказывается, китайские IT-компании уже давно не просто копируют, но и изобретают огромное количество технологий, продуктовых решений. А еще, из-за супержесткой конкуренции китайские предприниматели – одни из самых гибких, настойчивых и эффективных в мире.
Автор Кай-Фу Ли поработал и в Долине (Apple, Silicon Graphics, Microsoft), и в Китае (Google Chine и разные инвест фонды), входил в 100 самых влиятельных людей планет по версии журнала Time.
В общем, что-то знает))
Читается очень легко и интересно – прочитал за 2 вечера 😊
6️⃣ Книга «Краткая история всего» (Кен Уилбер)
Про эту книгу я узнал из выступления Ивана Замесина.
Пока еще не прочитал ее до конца, но уже могу рекомендовать. Уилбер пытается осмыслить различные противоречивые вопросы из разных сфер знаний, а затем объединить их в рамках "теории всего".
Ведь чем шире картина мира, тем лучше решения, которые я принимаю каждый день.
И на работе, и в жизни.
Часть таких вопросов касаются управленческих основ. Например, что значит «быть успешным руководителем» и как им стать? Как сформировать свои принципы? Что такое корпоративная культура и кто такие «правильные» люди в команде?
Обо всем этом размышляет Рей Далио в своей книге «Принципы» (2️⃣ из поста выше).
Рей Далио – основатель крупнейшего хедж-фонда Bridgewater Associates. Один из самых влиятельных, богатых и успешных людей планеты. Книга «Принципы» оказала огромное влияние на меня. Говорят, что и на миллионы людей тоже.
Что я вынес для себя?
🔹 Не стоит зацикливаться на своем мнении.
🔹 Важно стараться уделять больше внимания тому, как обстоят дела на самом деле, изучать мир.
🔹 Нужно через «боль» и анализ двигаться к прогрессу.
🔹 Просто необходимо быть радикально честным с командой.
Книгу я читал еще полгода назад, а недавно посмотрел пару роликов на YouTube-канале автора.
How The Economic Machine Works – простыми словами о том, как работает экономика. Здесь всё: что такое деньги, транзакции, кредиты, почему случаются кризисы и т.д.
Principles for Success – целый набор видео, которые перекликаются с книгой «Принципы». Советую посмотреть их, если вы еще думаете о том, читать или не читать "Принципы".
Следующая книга, расширяющая мою картину мира – 3️⃣ «Как устроена экономика» (Ха Джон Чанг).
Автор Ха Джон Чанг – экономист из Кембриджа, один из ведущих мировых экспертов по развивающимся экономикам.
Название книги говорит само за себя – книга о том, как работает и устроена мировая экономика. Ха Джон Чанг описывает, как развивалась экономика, какие были и есть экономические школы, какие у этих школ особенности и недостатки. А еще автор показывает, как на жизнь каждого из нас влияют разные экономические факторы – например, состояние промышленности в США или неравенство в Китае.
Книга полезна для тех, кто интересуется экономикой (но не очень глубоко понимает, как она работает), и кто хочет лучше понять, как устроен современный мир.
Мне она помогла неплохо структурировать свои знания.
4️⃣ Книга «21 урок для XXI века» (Юваль Ной Харари).
Сразу скажу, мне очень-очень-очень понравилась эта книга. Если в прошлой («Homo Deus») Харари рассказывает про далекое будущее человечества, то здесь он затрагивает вопросы ближайшего будущего.
В книге нет рекомендаций, что делать и как жить.
Харари просто рассказывает о тех движущих силах, угрозах, факторах, которые будут влиять на человечество в ближайшем будущем. Например, изменение климата, революция в IT и биотехнологиях. Интересно и заставляет задуматься.
Единственное, что мне не понравилось – немного гнетущее ощущение после прочтения.
Но это не делает книгу плохой. Она классная...
5️⃣ Книга «Сверхдержавы искусственного интеллекта. Китай, Кремнёвая долина и новый мировой порядок» (Кай-Фу Ли).
Для меня эта книга была интересной в первую очередь из-за того, что в ней рассказывается про историю развития IT-компаний и продуктов в Китае.
Я узнал, как развивалась отрасль. Оказывается, китайские IT-компании уже давно не просто копируют, но и изобретают огромное количество технологий, продуктовых решений. А еще, из-за супержесткой конкуренции китайские предприниматели – одни из самых гибких, настойчивых и эффективных в мире.
Автор Кай-Фу Ли поработал и в Долине (Apple, Silicon Graphics, Microsoft), и в Китае (Google Chine и разные инвест фонды), входил в 100 самых влиятельных людей планет по версии журнала Time.
В общем, что-то знает))
Читается очень легко и интересно – прочитал за 2 вечера 😊
6️⃣ Книга «Краткая история всего» (Кен Уилбер)
Про эту книгу я узнал из выступления Ивана Замесина.
Пока еще не прочитал ее до конца, но уже могу рекомендовать. Уилбер пытается осмыслить различные противоречивые вопросы из разных сфер знаний, а затем объединить их в рамках "теории всего".
Например, он разбирает такие вопросы: «Что создало космос из хаоса?», «Как из материи появилась жизнь?», «Что лежит в основе эволюции», «Как появилось сознание?», «Как менялось сознание человека от эпохи охотников-собирателей до информационной революции?».
Это помогает автору (и нам вместе с ним) увидеть более широкую картину мира и понять потенциал человечества.
Что это дает нам?
Все просто: детальная и точная карта человеческого потенциала помогает эффективнее вести бизнес, заниматься политикой, медициной, духовными практиками.
Короче, читаю с большим интересом!
☝️ P.S. Если можете поделиться книгами/видео/статьями из серии «расширяющих картину мира» – залетайте в комментарии, буду рад.
Леша
Это помогает автору (и нам вместе с ним) увидеть более широкую картину мира и понять потенциал человечества.
Что это дает нам?
Все просто: детальная и точная карта человеческого потенциала помогает эффективнее вести бизнес, заниматься политикой, медициной, духовными практиками.
Короче, читаю с большим интересом!
☝️ P.S. Если можете поделиться книгами/видео/статьями из серии «расширяющих картину мира» – залетайте в комментарии, буду рад.
Леша
Пользователи запоминают факапы и забывают всё хорошее. Что с этим делать?
Возвращаюсь со своими мыслями из книги #thinkingfastslow. Сначала тезисы из книги, а потом – что со всем этим делать при разработке продуктов.
Начнем с тезисов.
🔹 Мы хорошо запоминаем критичный момент и конец какого-то опыта. А вот длительность опыта и «средние» впечатления запоминаем не очень.
Например, Лена ездит на Убере примерно раз в неделю. Обычно эти поездки +/- нормальные, ничем не примечательные. Но в последний раз она столкнулась с хамом-водителем и не смогла достучаться с жалобой до поддержки Убера. Лена пишет в ФБ отзыв, что больше никогда не будет пользоваться Убором и перейдет на Уклон.
Хам-водитель и отсутствие нужной поддержки - последний и одновременно пиковый момент для Лены. Ей уже неважно, что до этой поездки сервис был ОК. Лена обращает всё свое внимание на последнюю поездку – свой критичный опыт.
🔹 Мы помним жизнь не такой, какой она была на самом деле. У нас есть «я», которое ответственно за чувства (то есть за то, что мы проживаем в текущий момент) и «я», ответственное за воспоминания. Это странно, но мы отождествляем себя с «я», ответственным за воспоминания. А вот то «я», которое проживает нашу жизнь – для нас чужое.
🔹 Существует иллюзия сосредоточенности – это когда люди сосредотачиваются на избранных моментах и игнорируют то, что происходит в течение всего остального времени.
Например, оценивая свое счастье в целом по жизни, мы нередко думаем о том, что легко приходит на ум в этот конкретный момент – а часто в голову приходит то, что произошло с нами недавно. Если женились или нашли монетку – мы считаем себя более счастливыми и удачливыми, а если потеряли кошелек или заболели – менее счастливыми.
#book_thoughts
Как учитывать это при разработке продуктов
1. Работать над возможными критичными пиковыми моментами и снижать их «пиковость».
К примеру, в Макдональдсе дают карточку на бесплатное мороженое, если ты долго стоишь в очереди.
Или, перед тем как сделать сервис Miro недоступным из-за каких-то обновлений, создатели разослали уведомления и включили «плашку» прямо на сайте о том, что сайт будет недоступен в период с… по.
Еще один пример. Во время праздников и больших очередей часть работников «Новой почты» идут прямо в очередь, а не стоят за кассами. Сначала они обслуживают все оплаченные заказы в очереди, потом заказы без осмотра доставки и только потом все остальные. Это помогает в разы ускорить работу сотрудников и уменьшить ожидание в очереди.
2. Стараться делать финальный опыт в продукте максимально крутым (или финальный опыт в каждой сессии).
Обидно, когда смотришь крутой фильм, а он заканчивается как «пшик».
Или когда 15 минут не можешь найти, как экспортировать файл, который ты делал в приложении 5 минут. Или когда последний урок онлайн-курса сначала переносили дважды из-за неполадок, а затем и вовсе отменили. Не надо так.
3. Спрашивать фидбек у пользователя в разные моменты – в зависимости от задачи.
Например, если просить фидбек в процессе получения опыта, то можно узнать, что чувствует юзер, когда он пользуется продуктом. Это тот опыт, который человек испытывает в моменте. То, что мы узнаем из этого фидбека, поможет исправить точечные нюансы в продукте, но не поможет улучшить целостный опыт.
Если же просить обратную связь спустя какое-то время после использования продукта, то можно узнать об «остаточном» опыте, о котором человек помнит. Это тот опыт, о котором пользователь будет рассказывать своим друзьям. Такой фидбек поможет узнать, какие именно точки оказались для юзера критичными, и как их можно пофиксить.
4. Если сейчас важно получить позитивный фидбек – то просить его надо после пикового позитивного опыта (определить такой момент поможет Customer Journey Map). Этот прием часто используют создатели мобильных приложений для повышения рейтинга в сторе. Для этого разработчики просят пользователей оставить отзыв сразу после того, как они получили позитивный опыт в продукте.
Возвращаюсь со своими мыслями из книги #thinkingfastslow. Сначала тезисы из книги, а потом – что со всем этим делать при разработке продуктов.
Начнем с тезисов.
🔹 Мы хорошо запоминаем критичный момент и конец какого-то опыта. А вот длительность опыта и «средние» впечатления запоминаем не очень.
Например, Лена ездит на Убере примерно раз в неделю. Обычно эти поездки +/- нормальные, ничем не примечательные. Но в последний раз она столкнулась с хамом-водителем и не смогла достучаться с жалобой до поддержки Убера. Лена пишет в ФБ отзыв, что больше никогда не будет пользоваться Убором и перейдет на Уклон.
Хам-водитель и отсутствие нужной поддержки - последний и одновременно пиковый момент для Лены. Ей уже неважно, что до этой поездки сервис был ОК. Лена обращает всё свое внимание на последнюю поездку – свой критичный опыт.
🔹 Мы помним жизнь не такой, какой она была на самом деле. У нас есть «я», которое ответственно за чувства (то есть за то, что мы проживаем в текущий момент) и «я», ответственное за воспоминания. Это странно, но мы отождествляем себя с «я», ответственным за воспоминания. А вот то «я», которое проживает нашу жизнь – для нас чужое.
🔹 Существует иллюзия сосредоточенности – это когда люди сосредотачиваются на избранных моментах и игнорируют то, что происходит в течение всего остального времени.
Например, оценивая свое счастье в целом по жизни, мы нередко думаем о том, что легко приходит на ум в этот конкретный момент – а часто в голову приходит то, что произошло с нами недавно. Если женились или нашли монетку – мы считаем себя более счастливыми и удачливыми, а если потеряли кошелек или заболели – менее счастливыми.
#book_thoughts
Как учитывать это при разработке продуктов
1. Работать над возможными критичными пиковыми моментами и снижать их «пиковость».
К примеру, в Макдональдсе дают карточку на бесплатное мороженое, если ты долго стоишь в очереди.
Или, перед тем как сделать сервис Miro недоступным из-за каких-то обновлений, создатели разослали уведомления и включили «плашку» прямо на сайте о том, что сайт будет недоступен в период с… по.
Еще один пример. Во время праздников и больших очередей часть работников «Новой почты» идут прямо в очередь, а не стоят за кассами. Сначала они обслуживают все оплаченные заказы в очереди, потом заказы без осмотра доставки и только потом все остальные. Это помогает в разы ускорить работу сотрудников и уменьшить ожидание в очереди.
2. Стараться делать финальный опыт в продукте максимально крутым (или финальный опыт в каждой сессии).
Обидно, когда смотришь крутой фильм, а он заканчивается как «пшик».
Или когда 15 минут не можешь найти, как экспортировать файл, который ты делал в приложении 5 минут. Или когда последний урок онлайн-курса сначала переносили дважды из-за неполадок, а затем и вовсе отменили. Не надо так.
3. Спрашивать фидбек у пользователя в разные моменты – в зависимости от задачи.
Например, если просить фидбек в процессе получения опыта, то можно узнать, что чувствует юзер, когда он пользуется продуктом. Это тот опыт, который человек испытывает в моменте. То, что мы узнаем из этого фидбека, поможет исправить точечные нюансы в продукте, но не поможет улучшить целостный опыт.
Если же просить обратную связь спустя какое-то время после использования продукта, то можно узнать об «остаточном» опыте, о котором человек помнит. Это тот опыт, о котором пользователь будет рассказывать своим друзьям. Такой фидбек поможет узнать, какие именно точки оказались для юзера критичными, и как их можно пофиксить.
4. Если сейчас важно получить позитивный фидбек – то просить его надо после пикового позитивного опыта (определить такой момент поможет Customer Journey Map). Этот прием часто используют создатели мобильных приложений для повышения рейтинга в сторе. Для этого разработчики просят пользователей оставить отзыв сразу после того, как они получили позитивный опыт в продукте.
(пользователи запоминают факапы и забывают всё хорошее. что с этим делать? – начало выше)
5. Напоминайте о пользе.
Человек может банально забыть, сколько всего хорошего ваш продукт помог ему сделать. А в момент, когда ему приходит письмо об окончании тестового периода, то, вполне вероятно, он еще и сосредоточен на том, сколько ему нужно будет потратить на ваш продукт. Не самый лучший контекст для совершения покупки!
Честно опишите в этом письме опыт пользователя в вашем продукте – например, это может быть статистика («за месяц с нами вы сэкономили столько-то времени», «сделали столько-то упражнений..» и «завершили Х проектов..»).
P.S. «Иллюзии мозга» действительно заставляют людей вести себя иррационально. Например, выбирать невыгодные для себя варианты. И понимание этих искажений не дает права ими пользоваться в корысных целях. Скорее, из-за этого понимания на предпринимателей ложится много ответственности. Создателям продуктов нужно научиться помогать людям делать лучший для этих людей выбор – интересно, возможно ли это в принципе? Кстати, кажется, пункты 4 и 5 немного противоречат этому.
Что думаете?
Наташа
5. Напоминайте о пользе.
Человек может банально забыть, сколько всего хорошего ваш продукт помог ему сделать. А в момент, когда ему приходит письмо об окончании тестового периода, то, вполне вероятно, он еще и сосредоточен на том, сколько ему нужно будет потратить на ваш продукт. Не самый лучший контекст для совершения покупки!
Честно опишите в этом письме опыт пользователя в вашем продукте – например, это может быть статистика («за месяц с нами вы сэкономили столько-то времени», «сделали столько-то упражнений..» и «завершили Х проектов..»).
P.S. «Иллюзии мозга» действительно заставляют людей вести себя иррационально. Например, выбирать невыгодные для себя варианты. И понимание этих искажений не дает права ими пользоваться в корысных целях. Скорее, из-за этого понимания на предпринимателей ложится много ответственности. Создателям продуктов нужно научиться помогать людям делать лучший для этих людей выбор – интересно, возможно ли это в принципе? Кстати, кажется, пункты 4 и 5 немного противоречат этому.
Что думаете?
Наташа
Концентрация и фокусировка
Делать то, что нравится, очень важно в предпринимательстве. И во фрилансе тоже. Иначе просто не сможешь заставить себя встать с постели и будешь вечность прокрастинировать.
Раньше я думала, что я супер-продуктивна. А теперь понимаю, что:
а) я просто много работала (по времени, а не по качеству)
б) я постоянно делала что-то новое для себя и видела смысл в любых новых навыках. Так как навыков было мало и любой казался полезным. А сейчас уже не так, потому что понимаю, что всё-всё невозможно усвоить, а что важно изучить - не очень-то понятно.
Кроме внутренних раздражителей, еще есть и куча внешних – соцсети, мессенджеры и все такое. Это не новость уже для всех. Но блин. Всегда кажется, что «ну, вот у них есть зависимость, а я-то себя контролирую» или «но мне соцсети нужны для работы, я ж работаю в них, без них никак, вот упущу что-то важное, если не буду проверять входящие каждые 10 минут».
Просто попробуйте как-то переместить иконки соцсетей на новое место, уберите их с главного экрана. Это поможет заметить, что вы потянулись за телефоном. Вы удивитесь, как часто вы туда заходите без причины.
Соцсети «воруют» время, в которое наш мозг должен расслабиться и просто поскучать (так говорят исследования). Из-за этого возникает постоянная тревожность. Кроме того, соцсети просто отвлекают и мешают сфокусироваться. Каждый раз отвлекаешься – и приходится тратить время на то, чтобы вернуться к задаче, вспомнить контекст.
Лично меня отвлекает даже просто висящая «единичка» на телеграмме (я из тех странных людей, которым зачем-то нужен «зиро инбокс»).
Что я сейчас делаю, чтобы лучше фокусироваться на задачах (к чему-то пришла сама, что-то вычитала в книгах):
1. Пишу план на неделю / день. Задачи делю на регулярные (повторяющиеся каждый день) и единоразовые. В задачи пишу в том числе все домашние дела – так я буду четко понимать, что меня ждет.
2. Убираю телефоны в другую комнату. Если мне кто-то позвонит – я услышу и оттуда. Но зато не буду отвлекаться на миллион нотификаций, которые вообще мне неважны.
3. Удалила фейсбук с телефона. Могу заходить туда через браузер, если нужно или если ну очень хочется. Но взяла за привычку выходить из аккаунта в браузере после каждого использования. Следующий на очереди – Инстаграм.
4. В телеграме замьютила все каналы и убрала их из счетчика оповещений. В счетчик нотификаций приходят только сообщения из личных чатов. Создала папки для каналов, которые не хочу пропускать - и вместо того, чтобы пролистывать все каналы - смотрю только в те, которые мне интересны на самом деле. В остальные захожу редко, по настроению.
5. Записываю все, что нужно не забыть - чтобы не держать это в голове.
6. Практикую регулярные медитации.
Что пока не научилась:
1. Забивать на клабхаус. Все время ощущение, что я что-то пропускаю важное (послушать или сделать свою комнату, собрать аудиторию). В итоге захожу, 20 минут переключаюсь между «комнатами», ища что-то интересное. И выхожу. Так продолжается уже вечность. При этом я очень тяжело воспринимаю на слух. Я и подкасты не оч люблю - слушаю только когда куда-то иду. Мне важно видеть то, о чем речь, или того, кто говорит 😕
2. После публикации своих постов – постоянно проверяю реакции (комменты, репосты, охваты). Пока не нашла способа избавиться от этой дурацкой привычки.
А как у вас с продуктивностью и концентрацией?
Наташа
Делать то, что нравится, очень важно в предпринимательстве. И во фрилансе тоже. Иначе просто не сможешь заставить себя встать с постели и будешь вечность прокрастинировать.
Раньше я думала, что я супер-продуктивна. А теперь понимаю, что:
а) я просто много работала (по времени, а не по качеству)
б) я постоянно делала что-то новое для себя и видела смысл в любых новых навыках. Так как навыков было мало и любой казался полезным. А сейчас уже не так, потому что понимаю, что всё-всё невозможно усвоить, а что важно изучить - не очень-то понятно.
Кроме внутренних раздражителей, еще есть и куча внешних – соцсети, мессенджеры и все такое. Это не новость уже для всех. Но блин. Всегда кажется, что «ну, вот у них есть зависимость, а я-то себя контролирую» или «но мне соцсети нужны для работы, я ж работаю в них, без них никак, вот упущу что-то важное, если не буду проверять входящие каждые 10 минут».
Просто попробуйте как-то переместить иконки соцсетей на новое место, уберите их с главного экрана. Это поможет заметить, что вы потянулись за телефоном. Вы удивитесь, как часто вы туда заходите без причины.
Соцсети «воруют» время, в которое наш мозг должен расслабиться и просто поскучать (так говорят исследования). Из-за этого возникает постоянная тревожность. Кроме того, соцсети просто отвлекают и мешают сфокусироваться. Каждый раз отвлекаешься – и приходится тратить время на то, чтобы вернуться к задаче, вспомнить контекст.
Лично меня отвлекает даже просто висящая «единичка» на телеграмме (я из тех странных людей, которым зачем-то нужен «зиро инбокс»).
Что я сейчас делаю, чтобы лучше фокусироваться на задачах (к чему-то пришла сама, что-то вычитала в книгах):
1. Пишу план на неделю / день. Задачи делю на регулярные (повторяющиеся каждый день) и единоразовые. В задачи пишу в том числе все домашние дела – так я буду четко понимать, что меня ждет.
2. Убираю телефоны в другую комнату. Если мне кто-то позвонит – я услышу и оттуда. Но зато не буду отвлекаться на миллион нотификаций, которые вообще мне неважны.
3. Удалила фейсбук с телефона. Могу заходить туда через браузер, если нужно или если ну очень хочется. Но взяла за привычку выходить из аккаунта в браузере после каждого использования. Следующий на очереди – Инстаграм.
4. В телеграме замьютила все каналы и убрала их из счетчика оповещений. В счетчик нотификаций приходят только сообщения из личных чатов. Создала папки для каналов, которые не хочу пропускать - и вместо того, чтобы пролистывать все каналы - смотрю только в те, которые мне интересны на самом деле. В остальные захожу редко, по настроению.
5. Записываю все, что нужно не забыть - чтобы не держать это в голове.
6. Практикую регулярные медитации.
Что пока не научилась:
1. Забивать на клабхаус. Все время ощущение, что я что-то пропускаю важное (послушать или сделать свою комнату, собрать аудиторию). В итоге захожу, 20 минут переключаюсь между «комнатами», ища что-то интересное. И выхожу. Так продолжается уже вечность. При этом я очень тяжело воспринимаю на слух. Я и подкасты не оч люблю - слушаю только когда куда-то иду. Мне важно видеть то, о чем речь, или того, кто говорит 😕
2. После публикации своих постов – постоянно проверяю реакции (комменты, репосты, охваты). Пока не нашла способа избавиться от этой дурацкой привычки.
А как у вас с продуктивностью и концентрацией?
Наташа
Я стараюсь проводить меньше времени в Телеграме, но какие-то каналы все же читаю. В большинстве случаев это те каналы, которые мне реально чем-то полезны. Решила раз в месяц выбирать по несколько постов, которые мне понравились – и делиться ими.
Февральская подборка:
Про рост Yelp. Канал Epic Growth постоянно постит крутые кейсы про рост разных продуктов. Один из таких кейсов – разбор стартапа Yelp (это социальная сеть и сервис рекомендаций о локальном бизнесе). Ребята описывают, какие факторы способствовали росту. Например, концепция "город за городом", при которой стартап запустился в Сан-Франциско и в течение первого года сделал этот город единственным центром своего внимания – https://t.me/epicgrowth/768
Кстати, для тренировки продуктового мышления есть полезное упражение, в котором поможет этот пост. Можно брать подряд каждый фактор и представлять, что его на самом деле не было. А затем задавать себе вопрос – как отсутствие этого фактора гипотетически повлияло на продукт, и что другое можно было бы сделать вместо этого, чтобы достичь того же результата.
Например, если бы стартап сразу запускался в 10 городах, получилось бы получить такую же популярность? Или одновременный старт в нескольких городах стал бы причиной провала? Как вариант, из-за того, что стартап бы не смог привлечь достаточно аудитории или просто не справился бы с потоком возникающих проблем. А если Yelp все же запустился бы в 10 городах сразу, то что нужно было бы сделать, чтобы всё получилось как минимум так же успешно, как и при концепции "город за городом"?
Про менторство. Недавно Рей (Head of Growth в Readdle) создал свой канал "Продакт борщ". Большинство постов в канале – это шикарные инструкции для новичков в продакт-менеджменте/маркетинге (например, про различия этих профессий или про то, как стать продактом). Но один из постов мне кажется полезным не только для новичков. По крайней мере, мне он сильно запомнился. В нем Рей разбирает, кто такой ментор, кто коуч, а кто – консультант. И рассказывает про свой опыт менторства. Был порыв даже написать Рею и спросить, не берет ли он себе новых менти 🙂 но поняла, что пока что у меня нет конкретного запроса, поэтому не написала. А пост про менторов тут – https://t.me/product_borsch/29
"Бесит клабхаус". Леша Писаревский, о канале которого я недавно писала, написал пост про всем известную новую соцсеть. Но это не просто пост с необоснованным хейтом. В этом посте Леша пытается разобраться в своем опыте, который можно описать одной фразой "От клабхауса я испытываю только негативные эмоции". Пост очень точно описывает то, что чувствую я. Прямо даже нечего добавить. Почитайте - https://t.me/pisarevich/310
Если понравилась подборка, но сейчас нет времени читать – сохраните себе в Saved Messages, чтобы прочесть потом.
Наташа
Февральская подборка:
Про рост Yelp. Канал Epic Growth постоянно постит крутые кейсы про рост разных продуктов. Один из таких кейсов – разбор стартапа Yelp (это социальная сеть и сервис рекомендаций о локальном бизнесе). Ребята описывают, какие факторы способствовали росту. Например, концепция "город за городом", при которой стартап запустился в Сан-Франциско и в течение первого года сделал этот город единственным центром своего внимания – https://t.me/epicgrowth/768
Кстати, для тренировки продуктового мышления есть полезное упражение, в котором поможет этот пост. Можно брать подряд каждый фактор и представлять, что его на самом деле не было. А затем задавать себе вопрос – как отсутствие этого фактора гипотетически повлияло на продукт, и что другое можно было бы сделать вместо этого, чтобы достичь того же результата.
Например, если бы стартап сразу запускался в 10 городах, получилось бы получить такую же популярность? Или одновременный старт в нескольких городах стал бы причиной провала? Как вариант, из-за того, что стартап бы не смог привлечь достаточно аудитории или просто не справился бы с потоком возникающих проблем. А если Yelp все же запустился бы в 10 городах сразу, то что нужно было бы сделать, чтобы всё получилось как минимум так же успешно, как и при концепции "город за городом"?
Про менторство. Недавно Рей (Head of Growth в Readdle) создал свой канал "Продакт борщ". Большинство постов в канале – это шикарные инструкции для новичков в продакт-менеджменте/маркетинге (например, про различия этих профессий или про то, как стать продактом). Но один из постов мне кажется полезным не только для новичков. По крайней мере, мне он сильно запомнился. В нем Рей разбирает, кто такой ментор, кто коуч, а кто – консультант. И рассказывает про свой опыт менторства. Был порыв даже написать Рею и спросить, не берет ли он себе новых менти 🙂 но поняла, что пока что у меня нет конкретного запроса, поэтому не написала. А пост про менторов тут – https://t.me/product_borsch/29
"Бесит клабхаус". Леша Писаревский, о канале которого я недавно писала, написал пост про всем известную новую соцсеть. Но это не просто пост с необоснованным хейтом. В этом посте Леша пытается разобраться в своем опыте, который можно описать одной фразой "От клабхауса я испытываю только негативные эмоции". Пост очень точно описывает то, что чувствую я. Прямо даже нечего добавить. Почитайте - https://t.me/pisarevich/310
Если понравилась подборка, но сейчас нет времени читать – сохраните себе в Saved Messages, чтобы прочесть потом.
Наташа
Персонализация в EdTech – это сложно 🙄
Несколько месяцев назад я написал пост про персонализацию в EdTech, где рассказал о проблеме в целом и о том, что мы в JavaRush / CodeGym планируем делать в рамках этого направления.
Под постом я задал вопрос «поможет ли персонализация в JavaRush повысить эффективность / проходимость курса на 10%?». Тогда 75% ответили утвердительно, а 25% – скептически нажали на кнопку «Нет».
Сегодня я расскажу о том, кто оказался прав и что у нас получилось.
Почему персонализация – это важно ☝️
Об этом я уже писал, но для тех, кто не читал предыдущий пост, коротко расскажу как появилась эта идея.
В процессе проведения разных исследований мы увидели, что есть сегменты пользователей, для которых продукт подходит идеально (у них отличные метрики прохождения курса и они много платят), а есть сегменты с аналогичными потребностями / проблемами / задачами, но продукт подходит им значительно хуже (платят меньше, retention не высокий, LTV низкий).
Оказалось, что для каждого сегмента можно определить четкие критерии и факторы, которые говорят о том, будет ли пользователю комфортно использовать наш продукт или нет.
Например:
🔹Цель обучения. Некоторые пользователи учат программирование и Java потому, что им просто интересно и они хотят «размять» мозги. Некоторые хотят освоить конкретную профессию (Java-программист / Android разработчик / QA Automation). А еще есть те, кто просто хочет понять, подходит ли ему / ей программирование, или те, кто хочет свичнуться в новую профессию, но не знает с чего начать.
🔹Бекграуд. У кого-то техническое образование, а у кого-то гуманитарное. Одни программировали раньше, а другие учатся с нуля. Третьи уже учили Java на другом курсе, где качество было плохое, а потом им посоветовали JavaRush. Четвертые учились программировать в школе и т.д.
🔹Реакция на геймификацию. Оказалось, что есть люди, которые хорошо воспринимают курс, завернутый в историю с персонажами, им нравятся ачивки, рейтинги, внутриигровая валюта, они любят юмор в серьезных лекциях по программированию и задачи, которые связаны с сюжетом… а есть такие, которых всё это реально бесит. Они хотят строгий курс «без воды», где есть лекции, задачи, тесты и все. Только хардкор. И никаких отвлечений. Они готовы решать задачи на сайте по 12 часов в день. Без выходных и праздников.
Про эксперимент 🧨
Наш продукт и до эксперимента был очень хорошим. Даже в старом формате он нравился пользователям и помогал достигать тех результатов, которые они перед собой ставили.
Но расстраивали данные о том, что есть много людей / сегментов, которым он подходит не так, как нам бы хотелось.
Поэтому мы захотели сделать продукт, который будет уметь «чувствовать» пользователей и подстраиваться под конкретного студента.
На первом этапе мы решили адаптировать продукт только на старте обучения. А если все наши гипотезы окажутся верными, то экспериментировать с адаптацией продукта в процессе обучения.
Например, если мы видим, что 3-4 задачи подряд пользователь решает с 10 попытки, то понимаем, что текущий уровень сложности не для него и «на лету» автоматически изменяем обучающий процесс так, чтобы пользователь с большей вероятностью достиг своей цели.
До второй части мы, конечно, еще не дошли, но в работе с персонализацией на старте обучения уже есть чем поделиться.
Если свести результаты проделанной работы до нескольких слов, то это будут слова «все сложно» 😊
Чтобы провести эксперимент нам пришлось:
🔹Дописать лекции в нескольких стилях (более классическом и смешанном). В итоге мы прикинули, что в процессе подготовки эксперимента мы написали контента столько, что его бы хватило на несколько полноценных книг по Java.
🔹Разработать систему тестирования знаний пользователей. Оказалось, что это не так просто, как кажется. Люди приходят с сильно разным уровнем знаний. Поэтому достаточно сложно понять, что человек знает / не знает, и определить, какой курс для него нужно собрать.
Несколько месяцев назад я написал пост про персонализацию в EdTech, где рассказал о проблеме в целом и о том, что мы в JavaRush / CodeGym планируем делать в рамках этого направления.
Под постом я задал вопрос «поможет ли персонализация в JavaRush повысить эффективность / проходимость курса на 10%?». Тогда 75% ответили утвердительно, а 25% – скептически нажали на кнопку «Нет».
Сегодня я расскажу о том, кто оказался прав и что у нас получилось.
Почему персонализация – это важно ☝️
Об этом я уже писал, но для тех, кто не читал предыдущий пост, коротко расскажу как появилась эта идея.
В процессе проведения разных исследований мы увидели, что есть сегменты пользователей, для которых продукт подходит идеально (у них отличные метрики прохождения курса и они много платят), а есть сегменты с аналогичными потребностями / проблемами / задачами, но продукт подходит им значительно хуже (платят меньше, retention не высокий, LTV низкий).
Оказалось, что для каждого сегмента можно определить четкие критерии и факторы, которые говорят о том, будет ли пользователю комфортно использовать наш продукт или нет.
Например:
🔹Цель обучения. Некоторые пользователи учат программирование и Java потому, что им просто интересно и они хотят «размять» мозги. Некоторые хотят освоить конкретную профессию (Java-программист / Android разработчик / QA Automation). А еще есть те, кто просто хочет понять, подходит ли ему / ей программирование, или те, кто хочет свичнуться в новую профессию, но не знает с чего начать.
🔹Бекграуд. У кого-то техническое образование, а у кого-то гуманитарное. Одни программировали раньше, а другие учатся с нуля. Третьи уже учили Java на другом курсе, где качество было плохое, а потом им посоветовали JavaRush. Четвертые учились программировать в школе и т.д.
🔹Реакция на геймификацию. Оказалось, что есть люди, которые хорошо воспринимают курс, завернутый в историю с персонажами, им нравятся ачивки, рейтинги, внутриигровая валюта, они любят юмор в серьезных лекциях по программированию и задачи, которые связаны с сюжетом… а есть такие, которых всё это реально бесит. Они хотят строгий курс «без воды», где есть лекции, задачи, тесты и все. Только хардкор. И никаких отвлечений. Они готовы решать задачи на сайте по 12 часов в день. Без выходных и праздников.
Про эксперимент 🧨
Наш продукт и до эксперимента был очень хорошим. Даже в старом формате он нравился пользователям и помогал достигать тех результатов, которые они перед собой ставили.
Но расстраивали данные о том, что есть много людей / сегментов, которым он подходит не так, как нам бы хотелось.
Поэтому мы захотели сделать продукт, который будет уметь «чувствовать» пользователей и подстраиваться под конкретного студента.
На первом этапе мы решили адаптировать продукт только на старте обучения. А если все наши гипотезы окажутся верными, то экспериментировать с адаптацией продукта в процессе обучения.
Например, если мы видим, что 3-4 задачи подряд пользователь решает с 10 попытки, то понимаем, что текущий уровень сложности не для него и «на лету» автоматически изменяем обучающий процесс так, чтобы пользователь с большей вероятностью достиг своей цели.
До второй части мы, конечно, еще не дошли, но в работе с персонализацией на старте обучения уже есть чем поделиться.
Если свести результаты проделанной работы до нескольких слов, то это будут слова «все сложно» 😊
Чтобы провести эксперимент нам пришлось:
🔹Дописать лекции в нескольких стилях (более классическом и смешанном). В итоге мы прикинули, что в процессе подготовки эксперимента мы написали контента столько, что его бы хватило на несколько полноценных книг по Java.
🔹Разработать систему тестирования знаний пользователей. Оказалось, что это не так просто, как кажется. Люди приходят с сильно разным уровнем знаний. Поэтому достаточно сложно понять, что человек знает / не знает, и определить, какой курс для него нужно собрать.
🔹Составить разные сценарии обучения. На старте у нас получилось 30+ различных веток курса, по которым может идти пользователь.
🔹Написать дополнительно 400 новых практических задач. Для каждой задачи мы делаем сложную систему тестирования решения / кода пользователей, чтобы на лету (в течении 1-2 секунд) проверить это решение и сказать, правильно пользователь решил задачу или нет. Если нет, то дать рекомендации по его решению и указать, какие требования он не выполнил. Эта работа тоже требует немало сил.
🔹Сделать еще примерно 100500 других дел. Например, написать 20+ новых тестов для оценки того, как пользователи усвоили теоретический материал, сверстать все лекции/задачи/тесты, вычитать все тексты, разработать новый сюжет, отрисовать комиксы для смешанного стиля обучения, сделать страницу со стартовым тестированием и т.д. и т.п.
Как все происходило 🚀
Когда наша первая версия для мульти-сценариев была готова, мы запустили эксперимент.
Коротко о главном:
🔹В эксперименте приняло участие 80 000 человек.
🔹Половина пользователей проходили наш классический курс (без адаптации сценария обучения под конкретного пользователя), вторая половина проходила персонализированный сценарий.
🔹Для тех, кто шел по персонализированному сценарию, у нас были лендинги разных типов, например: версия-1 (сделано в игровом стиле), версия-2 (сделано в классическом стиле). К сожалению, сейчас что-то может не работать. Но общий подход можно посмотреть.
🔹Наша основная гипотеза была в том, что все люди разные, поэтому, если мы предоставим им адаптированный курс, заточенный под их цели и предпочения, % прохождения хотя бы одного уровня увеличится (активация в продукте), конверсия в покупку станет больше на несколько процентов, % тех, кто прошел первый курс/квест станет больше, вырастет Retention и LTV.
Коротко о результатах 📊
Так как в среднем на прохождение всего курса требуется 6-8 месяцев, говорить о таких вопросах, как долгосрочный Retention или конверсия в прохождение всего курса рано – прошло 3 месяца со старта эксперимента и некоторые когорты только «зашли» в персонализированный сценарий.
Но определенные промежуточные выводы, конечно, можно сделать.
Они такие:
🔹Конверсия в первую оплату выросла на 3,3%. Может показаться, что это мало, но на самом деле, это хороший результат. В основном такой рост связан с тем, что пользователи, у которых уже были определенные знания по Java, начинали курс не с нуля, а с уровня, который соответствует его / ее знаниям. Раньше много таких пользователей, говорили «у меня уже есть знания, не хочу писать хеллоу ворды и платить за это».
🔹С точки зрения метрик для бизнеса нет никакой разницы, в каком стиле написаны обучающие лекции. Т.е. пользователи, которые проходят более сухие лекции, конвертятся в оплату и учатся точно так же, как и пользователи, которые проходят более фановую версию. Пока по метрикам не видно никакой разницы. Но эмоционально на пользовательских интервью и в комментариях мы слышым фразы типа «о так здорово, что у вас все четко и без воды» или «мне так нравится ассоциировать себя с роботом, которого я прокачиваю. Это очень интересно и так я учусь лучше». Возможно мы увидим разницу, когда пройдет больше времени, но пока ее нет.
🔹Система определения уровня знаний работает хорошо, но пока не идеально. За счет того, что теперь пользователи получают курс, который заточен под их уровень знаний, метрики прохождения курса (конверсия в прохождение определенного уровня, скорость прохождения курса, % решенных задач) немного выросли. Кстати, по некоторым когортам конверсия в завершение первого квеста выросла на 10%. Это неплохо. Тем не менее довольно часто мы получаем фидбек типа «а можно перейти на другой сценарий обучения?», «чувствую, что некоторых знаний, которые требуются для решения задачи X не хватает, где можно изучить эту тему» и т.д. Поэтому, система тестирования требует доработки.
🔹Написать дополнительно 400 новых практических задач. Для каждой задачи мы делаем сложную систему тестирования решения / кода пользователей, чтобы на лету (в течении 1-2 секунд) проверить это решение и сказать, правильно пользователь решил задачу или нет. Если нет, то дать рекомендации по его решению и указать, какие требования он не выполнил. Эта работа тоже требует немало сил.
🔹Сделать еще примерно 100500 других дел. Например, написать 20+ новых тестов для оценки того, как пользователи усвоили теоретический материал, сверстать все лекции/задачи/тесты, вычитать все тексты, разработать новый сюжет, отрисовать комиксы для смешанного стиля обучения, сделать страницу со стартовым тестированием и т.д. и т.п.
Как все происходило 🚀
Когда наша первая версия для мульти-сценариев была готова, мы запустили эксперимент.
Коротко о главном:
🔹В эксперименте приняло участие 80 000 человек.
🔹Половина пользователей проходили наш классический курс (без адаптации сценария обучения под конкретного пользователя), вторая половина проходила персонализированный сценарий.
🔹Для тех, кто шел по персонализированному сценарию, у нас были лендинги разных типов, например: версия-1 (сделано в игровом стиле), версия-2 (сделано в классическом стиле). К сожалению, сейчас что-то может не работать. Но общий подход можно посмотреть.
🔹Наша основная гипотеза была в том, что все люди разные, поэтому, если мы предоставим им адаптированный курс, заточенный под их цели и предпочения, % прохождения хотя бы одного уровня увеличится (активация в продукте), конверсия в покупку станет больше на несколько процентов, % тех, кто прошел первый курс/квест станет больше, вырастет Retention и LTV.
Коротко о результатах 📊
Так как в среднем на прохождение всего курса требуется 6-8 месяцев, говорить о таких вопросах, как долгосрочный Retention или конверсия в прохождение всего курса рано – прошло 3 месяца со старта эксперимента и некоторые когорты только «зашли» в персонализированный сценарий.
Но определенные промежуточные выводы, конечно, можно сделать.
Они такие:
🔹Конверсия в первую оплату выросла на 3,3%. Может показаться, что это мало, но на самом деле, это хороший результат. В основном такой рост связан с тем, что пользователи, у которых уже были определенные знания по Java, начинали курс не с нуля, а с уровня, который соответствует его / ее знаниям. Раньше много таких пользователей, говорили «у меня уже есть знания, не хочу писать хеллоу ворды и платить за это».
🔹С точки зрения метрик для бизнеса нет никакой разницы, в каком стиле написаны обучающие лекции. Т.е. пользователи, которые проходят более сухие лекции, конвертятся в оплату и учатся точно так же, как и пользователи, которые проходят более фановую версию. Пока по метрикам не видно никакой разницы. Но эмоционально на пользовательских интервью и в комментариях мы слышым фразы типа «о так здорово, что у вас все четко и без воды» или «мне так нравится ассоциировать себя с роботом, которого я прокачиваю. Это очень интересно и так я учусь лучше». Возможно мы увидим разницу, когда пройдет больше времени, но пока ее нет.
🔹Система определения уровня знаний работает хорошо, но пока не идеально. За счет того, что теперь пользователи получают курс, который заточен под их уровень знаний, метрики прохождения курса (конверсия в прохождение определенного уровня, скорость прохождения курса, % решенных задач) немного выросли. Кстати, по некоторым когортам конверсия в завершение первого квеста выросла на 10%. Это неплохо. Тем не менее довольно часто мы получаем фидбек типа «а можно перейти на другой сценарий обучения?», «чувствую, что некоторых знаний, которые требуются для решения задачи X не хватает, где можно изучить эту тему» и т.д. Поэтому, система тестирования требует доработки.
🔹Каких-то существенных изменений по ARPPU пока не видно. Конечно, еще прошло недостаточно времени, но мы сравниваем разные когорты и видим, что пока ARPPU тех пользователей, которые идут по «классической» версии, примерно такой же, как и пользователей, которые идут по персонализированной ветке.
Честно говоря, инсайтов намного больше, но пост не резиновый.
Здесь я постарался рассказать про все самое главное и провести вас по всей истории: от начала эксперимента до текущего состояния.
Что скажете? Был ли у вас опыт с персонализацией / адаптацией продукта под разные сегменты пользователей, как у пользователя? Добавляли что-то подобное в свои продукты?
Леша
Честно говоря, инсайтов намного больше, но пост не резиновый.
Здесь я постарался рассказать про все самое главное и провести вас по всей истории: от начала эксперимента до текущего состояния.
Что скажете? Был ли у вас опыт с персонализацией / адаптацией продукта под разные сегменты пользователей, как у пользователя? Добавляли что-то подобное в свои продукты?
Леша
Новый сайт: как «перевезти» пользователей, если их устраивает и старая версия.
Люди не очень любят менять свои привычки. Потому что это сложно, долго и неприятно. Поэтому даже очень крутой редизайн с большой долей вероятности может вызвать у пользователей отторжение.
Просто представь, что тебе срочно нужно выполнить банковский перевод. Ты заходишь на сайт банка, а там «все по-другому». Ты тыкаешься-мыкаешься, бесишься, пока не находишь кнопку «вернуться на старую версию».
Тебе будет проще потратить лишних 5 минут на привычный перевод, чем 1 минуту на новую, упрощенную версию фичи по переводу средств. Просто потому что «это же надо сесть и разобраться, как тут теперь все устроено. А времени нет…».
Онлайн-флешмобы вроде «Дуров верни стену», реальные митинги под офисом, обвалы рейтинга приложения в сторе – всё это невыдуманные истории разных продуктов о редизайне.
На прошлой неделе мы с Лешей сходили на ProductCamp Meetup от Parimatch Tech (не помню когда была на офлайн-ивенте уже! это кайф!). Продакт и ресерчер из Parimatch Tech рассказывали про то, как они «перевозили» продукт с одной платформы на другую.
На эту тему уже есть много статей и, казалось бы, что нового тут можно сказать.
Но ребята сосредоточились не на технической составляющей и не на редизайне как таковом. А на том, как строились процессы «переезда» пользователей: кого пересаживать на новую платформу, как быстро, какой должна быть коммуникация, что нужно доделать в новой платформе, нужен ли онбординг, какой должна быть команда для реализации этих процессов…
И вообще они говорили о том, что делать, чтобы пользователи продолжали платить и не сбежали сразу после перехода на новую платформу.
Так как я обожаю разбираться в теме пользовательского фидбека и думаю, что это супер-недооцененная тема в нашем комьюнити – слушала выступление с удовольствием.
Если коротко, по тезисам ребят:
1. Исследования пользователей – это супер-нужно ДО старта «переезда». Помогает понять, кого переводить на новую версию сразу, а кого - не стоит, что важно для пользователей и без чего они не смогут получить ценность от продукта и т.п.
2. Нужно по ходу «переезда» собирать фидбек прямо в продукте. Лучше всего автоматизировано, чтобы не напрягать саппорт. Это работает как для того, чтобы понять, что в новом продукте плохо, так и для того, чтобы пользователи не ушли жаловаться куда-то в другое место.
3. В процессе планирования нужно проработать максимум вариантов, что может пойти «так» и «не так» - и инструментов, которые помогут с этими ситуациями справиться. Всех вариантов все равно не продумаешь – но наработанные инструменты все равно сильно выручают, когда всё идет сильно не по плану.
4. Качественный фидбек может противоречить количественным данным. Но это не повод его не собирать 🙂 Например, пользователи говорят «новая платформа - ужас», а статистика говорит, что денег на новую платформу пользователи приносят больше, чем на старую.
5. Важно смотреть статистику как short-term, так и long-term: сначала может быть отток, а через пару месяцев - все вернется на места. Или наоборот 🙂
6. Собранная обратная связь может также работать как дополнительный «рычаг влияния» на команду разработки – рассказываем им, что нужно разрабатывать в первую очередь (видите, пользователи этого действительно хотят!)
Там еще много чего было, если интересно – видео вот тут. 20-21 марта будет еще сам ProductCamp – надеюсь, что выступления там будут такие же интересные. Правда времени смотреть у меня нет 😅
Наташа
Люди не очень любят менять свои привычки. Потому что это сложно, долго и неприятно. Поэтому даже очень крутой редизайн с большой долей вероятности может вызвать у пользователей отторжение.
Просто представь, что тебе срочно нужно выполнить банковский перевод. Ты заходишь на сайт банка, а там «все по-другому». Ты тыкаешься-мыкаешься, бесишься, пока не находишь кнопку «вернуться на старую версию».
Тебе будет проще потратить лишних 5 минут на привычный перевод, чем 1 минуту на новую, упрощенную версию фичи по переводу средств. Просто потому что «это же надо сесть и разобраться, как тут теперь все устроено. А времени нет…».
Онлайн-флешмобы вроде «Дуров верни стену», реальные митинги под офисом, обвалы рейтинга приложения в сторе – всё это невыдуманные истории разных продуктов о редизайне.
На прошлой неделе мы с Лешей сходили на ProductCamp Meetup от Parimatch Tech (не помню когда была на офлайн-ивенте уже! это кайф!). Продакт и ресерчер из Parimatch Tech рассказывали про то, как они «перевозили» продукт с одной платформы на другую.
На эту тему уже есть много статей и, казалось бы, что нового тут можно сказать.
Но ребята сосредоточились не на технической составляющей и не на редизайне как таковом. А на том, как строились процессы «переезда» пользователей: кого пересаживать на новую платформу, как быстро, какой должна быть коммуникация, что нужно доделать в новой платформе, нужен ли онбординг, какой должна быть команда для реализации этих процессов…
И вообще они говорили о том, что делать, чтобы пользователи продолжали платить и не сбежали сразу после перехода на новую платформу.
Так как я обожаю разбираться в теме пользовательского фидбека и думаю, что это супер-недооцененная тема в нашем комьюнити – слушала выступление с удовольствием.
Если коротко, по тезисам ребят:
1. Исследования пользователей – это супер-нужно ДО старта «переезда». Помогает понять, кого переводить на новую версию сразу, а кого - не стоит, что важно для пользователей и без чего они не смогут получить ценность от продукта и т.п.
2. Нужно по ходу «переезда» собирать фидбек прямо в продукте. Лучше всего автоматизировано, чтобы не напрягать саппорт. Это работает как для того, чтобы понять, что в новом продукте плохо, так и для того, чтобы пользователи не ушли жаловаться куда-то в другое место.
3. В процессе планирования нужно проработать максимум вариантов, что может пойти «так» и «не так» - и инструментов, которые помогут с этими ситуациями справиться. Всех вариантов все равно не продумаешь – но наработанные инструменты все равно сильно выручают, когда всё идет сильно не по плану.
4. Качественный фидбек может противоречить количественным данным. Но это не повод его не собирать 🙂 Например, пользователи говорят «новая платформа - ужас», а статистика говорит, что денег на новую платформу пользователи приносят больше, чем на старую.
5. Важно смотреть статистику как short-term, так и long-term: сначала может быть отток, а через пару месяцев - все вернется на места. Или наоборот 🙂
6. Собранная обратная связь может также работать как дополнительный «рычаг влияния» на команду разработки – рассказываем им, что нужно разрабатывать в первую очередь (видите, пользователи этого действительно хотят!)
Там еще много чего было, если интересно – видео вот тут. 20-21 марта будет еще сам ProductCamp – надеюсь, что выступления там будут такие же интересные. Правда времени смотреть у меня нет 😅
Наташа
Легко говорить пост-фактум, как что-то нужно было сделать. Вот есть план, вот мы по нему шли, вот получили такие результаты.
Но когда ты находишься внутри этого пути, то многие решения и выборы не такие очевидные, как это кажется спустя время.
Когда мы с JavaRush решили запускаться в Индии и США, мы были полны энтузиазма. У нас, конечно же, был план действий. Но все, естественно, пошло не по плану :)
20-21 марта будет проходить ProductCamp в Киеве. И там я расскажу про все наши выводы и те самые "вот так нужно было делать, а вот так – не стоило".
Кроме меня будут выступать еще десяток крутейших спикеров – например, CPO нашумевшего приложения по замене лиц Reface и Head of Product в продукте, снабжающем обедами приличную часть офисных работников Украины (Rocket).
Слушать кэмп можно онлайн (это бесплатно, но нужно зарегистрироваться), а можно стать контрибьютором в офлайне (если хочется пообщаться со спикерами): https://bit.ly/2PLUXH8
Леша
Но когда ты находишься внутри этого пути, то многие решения и выборы не такие очевидные, как это кажется спустя время.
Когда мы с JavaRush решили запускаться в Индии и США, мы были полны энтузиазма. У нас, конечно же, был план действий. Но все, естественно, пошло не по плану :)
20-21 марта будет проходить ProductCamp в Киеве. И там я расскажу про все наши выводы и те самые "вот так нужно было делать, а вот так – не стоило".
Кроме меня будут выступать еще десяток крутейших спикеров – например, CPO нашумевшего приложения по замене лиц Reface и Head of Product в продукте, снабжающем обедами приличную часть офисных работников Украины (Rocket).
Слушать кэмп можно онлайн (это бесплатно, но нужно зарегистрироваться), а можно стать контрибьютором в офлайне (если хочется пообщаться со спикерами): https://bit.ly/2PLUXH8
Леша
Это, наверное, странно, но обучение я воспринимаю в том числе как развлечение. В том смысле, что я получаю удовольствие, когда хожу на курсы, читаю книги, делаю задачи. Мне не надо себя заставлять учиться.
Поэтому обучение «страдает» первым, когда возникает нехватка времени. Мол – иди работай, Наташа. Чего это ты учиться вздумала? Нет времени на «развлечения». Работа-работа-работа. Какой-то мазохизм выходит. Особенно учитывая то, что обучение влияет на качество последующей работы.
Когда начала делать свой продукт – это стало выражаться еще более ярко. А учитывая то, что продукт образовательный и я вроде как «и так учусь, пока создаю контент», то любое обучение вечно ставлю в последний приоритет. Руки до него не доходят. Хочется, но…
Я понимаю, что это неправильно. Во многих интервью продакты и топ-менеджеры говорят, что обучение – это тоже часть их работы. Или работа - часть обучения, у кого как 🙂
Хотелось бы баланс какой-то держать. Понятное дело, что если 100% времени обучаться, то не останется времени на созидание (только если твоя работа – это не одни исследования). Но если не учиться – то как расширять свои границы и ломать «рамочки»? А если учусь – появляется чувство вины, что я «отдыхаю» вместо того, чтобы делать что-то «полезное уже сегодня, а не когда-то в будущем».
Как у вас с этим?
Наташа
Поэтому обучение «страдает» первым, когда возникает нехватка времени. Мол – иди работай, Наташа. Чего это ты учиться вздумала? Нет времени на «развлечения». Работа-работа-работа. Какой-то мазохизм выходит. Особенно учитывая то, что обучение влияет на качество последующей работы.
Когда начала делать свой продукт – это стало выражаться еще более ярко. А учитывая то, что продукт образовательный и я вроде как «и так учусь, пока создаю контент», то любое обучение вечно ставлю в последний приоритет. Руки до него не доходят. Хочется, но…
Я понимаю, что это неправильно. Во многих интервью продакты и топ-менеджеры говорят, что обучение – это тоже часть их работы. Или работа - часть обучения, у кого как 🙂
Хотелось бы баланс какой-то держать. Понятное дело, что если 100% времени обучаться, то не останется времени на созидание (только если твоя работа – это не одни исследования). Но если не учиться – то как расширять свои границы и ломать «рамочки»? А если учусь – появляется чувство вины, что я «отдыхаю» вместо того, чтобы делать что-то «полезное уже сегодня, а не когда-то в будущем».
Как у вас с этим?
Наташа
Фидбек от 1000 экспертов: как собрать всё в кучу и сделать роадмэп.
Недавно общались с ребятами из YouScan и AppFollow о том, как использовать пользовательский фидбек в разработке продукта.
Я рассказала про свой недавний кейс.
В ноябре я была частью команды организаторов DEV Challenge (самого большого в Восточной Европе чемпионата разработчиков программного обеспечения). Чемпионат проводился в сотрудничестве с онлайн-кинотеатром SWEET.TV.
Мне нужно было составить роадмеп для SWEET.TV на основе предложений участников чемпионата. Участники – это 1000+ профильных специалистов со всего мира. Разработчики, дизайнеры, тестировщики... Они и решали четко поставленные задачи (например, редизайн с целью повысить вовлечение и ретеншн), и предлагали свои идеи (например, фичи для геймификации).
Весь фидбек от экспертов был в разном формате, в разных документах и очень разного качества. То есть всё точно так же, как в обычном продукте.
Так что если коротко, то сначала надо было как-то свести все идеи и улучшения в одну кучу, объединить или разделить их, приоритизировать. И только потом – делать дорожную карту.
Для этой цели я решила использовать подход Atomic Research (ну, или его модификацию, которая подошла мне для этой задачи):
1. Составила перечень всех источников фидбека (от участников челленджа. этот фидбек включал в себя интервью с пользователями).
2. Сделала список уникальных проблем/запросов пользователей. 1 проблема = 1 строка в таблице. Важно, что фидбек должен содержать только одну мысль – это самый маленький элемент в этом подходе.
3. Составила список уникальных гипотез, основанных на фидбеке. 1 проблема = несколько гипотез.
4. Добавила решения или описание тестов для проверки гипотез. Может быть несколько решений для проверки 1-й гипотезы.
5. Приоритизировала все решения на основе важности пользовательских потребностей и других критериев.
И в итоге получила готовый беклог, на основе которого можно было составлять роадмеп. Удивительно, но да. В этом случае сначала появился беклог, а потом роадмеп. При этом задачи в беклоге не были оторваны от реальности (и от целей продукта), но были тесно связаны с потребностями пользователя.
Подробнее об Atomic Research и о том, как я его использовала в кейсе со SWEET.TV, рассказываю в видео: ссылка.
Презентация из видео вот тут: ссылка.
Если будут вопросы по самому подходу – спрашивайте в комментариях.
А еще хочу добавить, что на следующей неделе я буду вести часть интенсива "Customer Feedback" от Changes Academy.
Будет 3 лекции и 2 воркшопа. Старт 25 марта.
Я расскажу про то, как собирать, хранить и обрабатывать обратную связь. И как делать так, чтобы потом всё это можно было использовать в разработке продукта 🙂 А мои коллеги из Укртелекома и Terrasoft поделятся тем, как работать с жалобами, возражениями и конфликтными ситуациями с клиентами.
Ссылка на интенсив тут: https://changesacademy.org/intensive/feedback
У меня как у спикера, конечно же, есть классная скидка.
Ловите 25% по промо-коду: feedback25
Наташа
Недавно общались с ребятами из YouScan и AppFollow о том, как использовать пользовательский фидбек в разработке продукта.
Я рассказала про свой недавний кейс.
В ноябре я была частью команды организаторов DEV Challenge (самого большого в Восточной Европе чемпионата разработчиков программного обеспечения). Чемпионат проводился в сотрудничестве с онлайн-кинотеатром SWEET.TV.
Мне нужно было составить роадмеп для SWEET.TV на основе предложений участников чемпионата. Участники – это 1000+ профильных специалистов со всего мира. Разработчики, дизайнеры, тестировщики... Они и решали четко поставленные задачи (например, редизайн с целью повысить вовлечение и ретеншн), и предлагали свои идеи (например, фичи для геймификации).
Весь фидбек от экспертов был в разном формате, в разных документах и очень разного качества. То есть всё точно так же, как в обычном продукте.
Так что если коротко, то сначала надо было как-то свести все идеи и улучшения в одну кучу, объединить или разделить их, приоритизировать. И только потом – делать дорожную карту.
Для этой цели я решила использовать подход Atomic Research (ну, или его модификацию, которая подошла мне для этой задачи):
1. Составила перечень всех источников фидбека (от участников челленджа. этот фидбек включал в себя интервью с пользователями).
2. Сделала список уникальных проблем/запросов пользователей. 1 проблема = 1 строка в таблице. Важно, что фидбек должен содержать только одну мысль – это самый маленький элемент в этом подходе.
3. Составила список уникальных гипотез, основанных на фидбеке. 1 проблема = несколько гипотез.
4. Добавила решения или описание тестов для проверки гипотез. Может быть несколько решений для проверки 1-й гипотезы.
5. Приоритизировала все решения на основе важности пользовательских потребностей и других критериев.
И в итоге получила готовый беклог, на основе которого можно было составлять роадмеп. Удивительно, но да. В этом случае сначала появился беклог, а потом роадмеп. При этом задачи в беклоге не были оторваны от реальности (и от целей продукта), но были тесно связаны с потребностями пользователя.
Подробнее об Atomic Research и о том, как я его использовала в кейсе со SWEET.TV, рассказываю в видео: ссылка.
Презентация из видео вот тут: ссылка.
Если будут вопросы по самому подходу – спрашивайте в комментариях.
А еще хочу добавить, что на следующей неделе я буду вести часть интенсива "Customer Feedback" от Changes Academy.
Будет 3 лекции и 2 воркшопа. Старт 25 марта.
Я расскажу про то, как собирать, хранить и обрабатывать обратную связь. И как делать так, чтобы потом всё это можно было использовать в разработке продукта 🙂 А мои коллеги из Укртелекома и Terrasoft поделятся тем, как работать с жалобами, возражениями и конфликтными ситуациями с клиентами.
Ссылка на интенсив тут: https://changesacademy.org/intensive/feedback
У меня как у спикера, конечно же, есть классная скидка.
Ловите 25% по промо-коду: feedback25
Наташа
YouTube
Как фидбек влияет на разработку продукта?