Отзыв на специализацию веб разработки курса Coursera от Yandex и МФТИ

https://www.coursera.org/specializations/razrabotka-interfeysov (Разработка интерфейсов: вёрстка и JavaScript Specialization, )
Зачем мне понадобился этот курс.
Я начинаю делать свой проект, там много веб-программирования, до этого я только эпизодически вносил изменения в html и js файлы. А в CSS я вообще был полный ноль.
Понятно, что всего не изучишь, но мне даже чтобы нанять верстальщика нужно разбираться в его работе настолько, чтобы принимать его работу не на уровне «красиво сделано», а как это сделано внутри, на уровне кода.

Почему я выбрал этот курс.
Со времени основания Coursera я являюсь их преданным студентом. Поэтому решил поискать что-то там. Среди вариантов нашел специализацию по веб-разработке от МФТИ и Яндекса. В отличие от всех остальных пройденных мной курсов на курсере, это специализация на русском языке. Моя alma mater в списке создателей курса, это и склонило мое решение в ее пользу.

Цена вопроса
В специализацию входят пять отдельных курсов:
⁃ Html
⁃ Css
⁃ Java Script часть 1
⁃ Java script часть 2
⁃ Финальный проект
Цена в ….. списывается раз в месяц пока в не пройдете специализацию до конца. Если вы сделаете перерыв - деньги продолжат списываться, если вы явно не отключите подписку.
Финальный проект я не стал делать - у меня свой проект, применил знания там

Что я получил от этой специализации
⁃ HTML + CSS я наконец-то понял как оно работает и даже сделал анимацию на чистом CSS. Узнал про grid и flex в css, что было очень полезно.
⁃ JS мне было очень полезно увидеть «базу» языка, не касающуюся напрямую веба
⁃ После курсов я легко въехал в Typescript и React, и уже написал несложное приложение
⁃ Почти в каждой неделе есть краткие и полезные конспекты лекций. В js курсе я даже видео не смотрел, пользовался только этими конспектами

Что не понравилось
⁃ с нулевым опытом программирования будет тяжело. Вообще объясняют очень кратко по сравнению с англоязычными курсами, где все разжевывают. Похоже это наследие нашей отечественной системы обучения. Я бы сделал по-другому.
⁃ Мне очень не нравится подход peer-to-peer ревью, когда студенты должны были проверять друг друга. Из-за этого я не стал получать сертификаты по html и css. Я сделал только одно задание в финале второго курса JS. Для этого пришлось проверить работы 4-5 студентов и на форуме просить проверить мою работу. Выглядит это не совсем по деловому.
⁃ Java script стандарта ES5, когда сейчас распространен ES6.

#курсы

Государственный счетчик для популярных медиа сайтов
Я думаю вы уже слышали, что государство обязало поставить счетчик (mediascope) на популярные медиасайты (yandex, google, youtube, netflix…).

Какие данные будут собираться.
Об этом есть постановление правительства:
http://publication.pravo.gov.ru/Document/View/0001202111150038?index=4&rangeSize=1
Пункт 3 описывает какие данные пользователя будут собираться, пункт 4 информацию по контенту. В пункте 4б сказано фиксировать событие получения какого-то контента с точным временем.

Что это означает
Мои и ваши персональные идентификаторы (например, id клиента или email) будут сохраняться в логи, включая ссылки на просмотренный контент, под контролем нашего государства. Мне и многим мои коллегам кажется, что информация будет использоваться не совсем для оценки аудитории, а для политических целей. Были дела по репостам вконтакте, теперь их станет больше.
Второе - эти данные можно использовать для таргетирования аудитории во время выборов (хорошо показано в сериале карточный домик)

Друзья, ищу себе верстальщика-фриласера (html, css). Буду рад вашим рекомендациям.

Объем работы с моим приложением оказался большим, не тяну :(

Нашел шикарный датасет по отзывам на амазоне - May 1996 - Oct 2018 - 233 млн отзывов.
https://nijianmo.github.io/amazon/index.html

Кстати, для датасайнтиста важно владеть командами UNIX консоли. Благодаря этому можно обрабатывать на своем компьютере очень большие файлы, выбирая только нужное. Вот пример такой обработки, которую я сделал для очень большого датасета на основе Twitter.
cat tweets2009-06.txt | awk '{print $2}' | grep '2009\|http://twitter' |sed 's/^http:\/\/twitter.com\///' > tweets2009-06_parsed.txt

Грамотное использование таких инструментов сэкономит вам много времени.

Пишу для тех, у кого по разным причинам заблокировались коммерческие аналитические системы (tableau и т.д.). На самом деле есть хорошие BI системы, которые бесплатны. Я писал в своей книге про Metabase - она до сих пор бесплатна, если вы устанавливаете ее на свои сервера. Очень рекомендую. Я ее использовал в Retail Rocket поверх Clickhouse с терабайтами данных. Видел как использовали в проекте FridgeNoMore (недавно закрылся). И сейчас я ее внедряю в одном проекте, который я консультирую.
Документация по установке тут: https://www.metabase.com/start/oss/

Она лучше, чем Apache Superset

Если вы пользовались Airtable, который тоже похоже не работает. Есть альтернатива https://github.com/nocodb/nocodb

Сам я не пользовался, но количество звезд и форков в github вызывает доверие

Для развития своих навыков в области анализа поведения клиентов я бы рекомендовал посмотреть книгу "Mastering Retention" от Amplitude. Очень хорошо и профессионально написана, хотя и бесплатная. Сам сейчас ее смотрю для одного из своих проектов. Прочитал уже треть.
https://info.amplitude.com/rs/138-CDN-550/images/product-analytics-playbook-vol1-amplitude.pdf

Что в ней интересного:
- доступная методология, которую можно реализовать на коленках без Amplitude
- некоторые вещи про сегментацию без ухода в RFM
- есть интересные ключевые показатели

на английском!

Американский суд разрешил парсить публично доступную информацию с сайтов. Подробнее про дело LinkedIn тут https://techcrunch.com/2022/04/18/web-scraping-legal-court/
Хорошая новость, выше я публиковал ссылку на датасет с отзывами на амазоне, он был подготовлен с помощью парсинга

Статья, где объясняется, что такое рекомендательная система как проект, который крутится в проде, а не как исследование. Ну тут и сразу Nvidia рекламирует свой движок рекомендаций Merlin для GPU. Читайте аккуратно, что подходит для очень больших игроков, часто слишком сложно выглядит. Они могут себе это позволить.

https://medium.com/nvidia-merlin/recommender-systems-not-just-recommender-models-485c161c755e

Английский язык

Пару постов назад я скидывал ссылку на книгу Mastering Retention от Amplitude. Я прочитал первые 4 главы и даже накидал MindMap по ним. MindMap получился довольно сухим, но мне были интересны прежде всего определения, которые используются в книге. Файл в формате pdf и png приложены к посту

PS: Как закончу читать, выложу полный MindMap, stay tuned

Png версия

В связи с текущей ситуацией, да и с темой прайваси (когда стали блокировать известные трекеры), меня стали просить помочь создать собственную аналитическую систему как замену Google Analytics и другим веб аналитическим инструментам.
В чем плюс таких решений:
- данные полностью ваши, хранятся на ваших серверах
- трекер не публичный, а значит его сложнее заблокировать.
- намного легче сделать сквозную аналитику, которю я, например, уже делал еще в 2007 году. Вы связываете все от клика на сайте до доставки заказа
- данные хранятся в вашей бд, не нужно изучать сторонний софт, проводить сертификацию. Все делается через SQL. Поверьте - все эти интерфейсы и хаки такая ерунда по сравнению с SQL, благодаря которому можно сверху делать любые отчеты и кубы

Минусы:
- инженерия, пару человек придется держать для поддержки хозяйства, хотя это могут делать и ваши текущие инженеры
- сложно интегрировать затраты на рекламу. Рекламные системы пушат свою собственные аналитические инструменты

В целом, как я писал в книге, запрос на коробочные аналитические решения есть!

Илон Маск написал в своем твиттере буквально несколько дней назад. Но сам лозунг немного популисткий. Задача менеджера - getting things done, также его подзадача понимать - хорошо сделана работа или нет, и даже не всегда - хорошо написан код или нет. Да, если менеджер разбирается в деталях предмета - это очень хорошо, но в какой-то момент технические навыки атрофируются. В своей книге я писал про дилемму кодера и менеджера, что почти невозможно исполнять обе роли очень хорошо одновременно.

Нью Йорк собирается начать регулировать найм, который происходит с помощью автоматизированных средств с целью контролировать «смещение»(bias) в сторону расы, пола или этнической принадлежности. Закон должен вступить в силу с 1 января 2023 года. https://aicomply.substack.com/p/the-new-york-city-ai-hiring-law-what?s=w

Презентация, которую провел Шавье Аматриан в Стэнфорде на днях. Я много раз упоминал его в своей книге. Кратко по его опыту: Netflix директор по исследованиям, Quora директор по разработке, Curai Health основатель. Во введении он пишет про опыт рекомендаций, потом переходит к опыту использования нейронок в медицине

https://www.slideshare.net/xamat/aidriven-product-innovation-from-recommender-systems-to-covid19

Ищу Python разработчика на parttime, с кем я продолжу разработку backend’а моего проекта.
Также будут задачи по статистическому анализу данных, ML моделирования (регрессии, рекомендации и тд).

Сейчас у меня уже есть работающий прототип. Я нанял фронтэндера, с ней мы уже почти сделали альфу версию.
Нужно доделывать бекэнд, так как у меня перестало хватать на это времени.

Мне нужен человек, который разбирается в разработке сервисов (FastApi, REST, Docker и пр.), но решил идти в data science (уметь работать с pandas).
Здесь будет хороший опыт.

Пишите в личку, если интересно.

Первый курс специализации Reinforcement Learning - основы.

Обучение с подкреплением (Reinforcement Learning) отличается от классического ML, тем, что он учится взаимодействуя со средой. Например, вам нужно, чтобы робот сам научился ходить, это как раз делается с помощью обучения с подкреплением. Второй пример - научить систему играть в крестики-нолики. Сфера очень интересная и бурно развивается. Она сейчас активно идет в глубокие нейронные сети в разделе DL reinforcement learning, и именно тут будут какие-то подвижки приблизиться к некоторому уровню «простого» интеллекта.

Я прошел рекомендуемый курс полтора года назад. Меня давно интересовала эта тема, и начал я ее с курса на курсере
https://coursera.org/learn/fundamentals-of-reinforcement-learning

Основан на книге: https://www.andrew.cmu.edu/course/10-703/textbook/BartoSutton.pdf

Что вы из него узнаете:
1. принцип Маркова (может слышали про Марковские цепи)
2. Какие сигналы используются для обучения (rewards)
3. Подходы explore и exploit
4. Мультирукие бандиты
5. Уравнение Беллмана
6. Динамическое программирование

Кстати, этим курсом я закрыл свой пробел - по курсу Марковских цепей в МФТИ я схватил тройку, но этот принцип мне очень пригодился в работе :)

Совсем недавно я применил подход мультируких бандитов для решения задачи персонализации - сделал алгоритм показа видео для социальной сети ( в разработке).
PS: Про сам алгоритм персонализации напишу в следующем посте.

#курсы

Очень интересная статья про найм разработчиков.

https://habr.com/ru/post/667626/

Краткие мысли:
- одного кандидата интервьюируют сразу несколько человек
- не пишут код на собеседовании
- нет предопределённого списка вопросов

Я бы конечно все равно бы добавил немного лайфкодинга, чтобы понять, насколько быстро человек пишет, хотя бы то, что он знает и понимает.

Теоретически таким способом можно нанимать и data scientist.