Хочу выходить из затишья и постепенно публиковать контент, относящийся к делу.
Я знаю, что сейчас многие талантливые как начинающие, так и более опытные ребята начинают искать работу. Мы продолжаем делать свои проекты в рамках Valiotti Analytics по всем направлениям.

Ищем и джунов и миддлов с крепким знанием SQL / Python.
Поэтому если вам интересно, откликайтесь на вакансию, а если вы миддл присылайте свое резюме мне в ЛС, а в ответ получите тестовое задание.

BI-аналитика в условиях ограничений

Сейчас в России люди многих профессий вынуждены отказываться от удобных рабочих решений ввиду новых ограничений, которые появляются ежедневно. Как известно, ограничения эти вводятся почти молниеносно, а когда они будут отменены – не известно. Но мы не собираемся еще сильнее вводить вас в панику или тревогу. Наоборот, мы считаем важным помогать вам своими знаниями и опытом настолько, насколько это возможно. Например, многие сейчас ищут качественную замену таким сервисам как Tableau и Power BI. В нашем гайде вы можете посмотреть на часть BI-инструментов (платные и бесплатные) и реализованные в них дашборды, отдельное внимание стоит уделить open-source инструментам.
У нас также готов дашборд по Superset, но пока не успели записать видео.

Stay tuned! ⚡️

Состояние веб-парсинга в 2022
К 2022 году парсинг веб-сайтов стал чуть ли необходимостью, как для обычного человека (с небольшим знанием программирования), так и для бизнеса. Найти и просмотреть вручную все сайты с нужной информацией - крайне затратный по времени процесс и все, кто хочет его оптимизировать так или иначе нуждаются в методах парсинга.
Сейчас мы вам расскажем все, что нужно знать о парсинге веб-данных и современных тенденциях.

Если навыки программирования и желание есть:
▫️Language Agnostic Tools (Playwright, Selenium)
▫️Python и его библиотеки (Scrapy, Beautiful Soup, MechanicalSoup, Pyppeteer)
▫️JS (Cheerio, Puppeteer, Apify SDK)
▫️Java (Jaunt, jsoup)
▫️Ruby (Kimurai, Mechanize and Nokogiri Gems)
▫️PHP (Goutte)

Если вы не умеете программировать или вам не хочется тратить на это время:
▫️Scraper API (для тех, кому нужно самое простое и бюджетное решение задачи)
▫️Apify (для тех, кому хочется найти лучшее соотношение цены и качества)
▫️Parsehub (для тех, кто готов потратиться, но совершенно не хочет использовать код)
▫️Diffbot (для тех, кто ищет самый дорогой сервис с полным доступом к найденным данным)
▫️Octoparse (похож на Parsehub, тоже минимально используется код)
▫️ScrapingBee (для тех, кто хочет пользоваться поддержкой от разработчиков)

Не забывайте, что за окном 2022 (как тут забыть, конечно), а это значит, что все действия по парсингу веб сайтов должны соответствовать законам и этическим нормам:
❕Парсить сайты лучше в непопулярное для посещения время, чтобы не перегружать сайт, который вы изучаете
❕Используйте только одно IP-соединение
❕Соблюдайте правила сайта/социальной сети, которую вы парсите
❕На некоторых веб-сайтах есть файл robots.txt, в котором перечислены правила и ограничения, которым должны следовать парсеры при автоматическом парсинге и взаимодействии с веб-сайтами.
❕Не нарушайте правила GDPR или CCPA

Какие тренды в веб-парсинге в 2022 году?
🌎Такие платформы как LinkedIn, Facebook и Instagram стараются сделать все возможное, чтобы их сайты парсить стало труднее. Скорее всего в 2022 их политика будет ужесточаться и будут вводиться самые изощренные анти-бот системы.
🌎К счастью, данные, которые находятся в открытом доступе, запретить парсить практически невозможно. Единственное, что может быть не вполне легитимно - парсинг сайта при входе в систему. Будьте осторожны, если занимаетесь этим!

Конечно, в 2022 году веб-скрапинг столкнется с некоторыми усложнениями и юридическими проблемами, однако в течение последних нескольких лет он сталкивался с этими проблемами ежегодно и благодаря этому стал сильнее. Пока что методы парсинга веб-сайтов стабильно на пару шагов опережают способы борьбы с ними. So far so good!

В трудные времена нужно помогать друг другу 🤝☺️

Сейчас мы живем в реальности, где ежедневно сервисы анонсируют новые ограничения или повышают цены. В связи с этим, небольшой update для пользователей MProve: сервис Mprove Cloud будет бесплатным как минимум до 2023 года. На странице расценок сервисов показаны отличия между версиями Open Source, Cloud и Enterprise. Как видите, пока что мы оставляем открытым и бесплатным почти весь функционал Mprove.

Небольшой список обновлений функционала:
1. ⚡️FINALLY! Появилась поддержка Clickhouse ⚡️
2. Появились дашборды
Дашборды и визуализации можно полностью создавать и редактировать через UI. Эти изменения автоматически отражаются в соответствующих файлах. Благодаря файлам можно легко обновлять SQL модели данных и поддерживать все в актуальном состоянии.
3. Создание фильтров и привязка фильтра к конкретному отчету дашборда при помощи кнопки “Edit Listeners”
4. Проработано разграничение по ролям
Обновлен механизм контроля доступа к моделям, визуализациям и дашбордам (все подробности – в документации).
5. Теперь в демо-проекте показаны примеры моделей для BigQuery PostgreSQL и ClickHouse на основе одного датасета.

Мелкие улучшения:
🪄Добавлены подсказки
🪄 Улучшено отображение фильтров
🪄 Улучшено отображение меню
🪄 Улучшено отображение ошибок при валидации файлов
🪄 Обновлена документация

Регистрируйтесь, пробуйте, изучайте!

⚡️ Snowflake купил Streamlit. Почему это важно? 🌎

Несмотря на то, что в мире сейчас много политических изменений и экономических последствий этих изменений, мировой рынок технологий отнюдь не замирает. Некоторые сделки продолжаются в области анализа данных.

🥱 Как это обычно происходит?
Рядовые пользователи зачастую не замечают ровным счетом никаких изменений после покупки одного бизнеса другим. Шрифты слегка меняются на общие корпоративные, появляются инфраструктурные интеграции обоих сервисов и… по большей части, это все. Однако, кажется, что у этой сделки бОльшие последствия. Бен Стенсил в своей еженедельной рассылке рассказал о большой сделке и объяснил ее важность.

🎰 Кто кого купил?
Коротко пройдемся по основным моментам для большего понимания ситуации: Snowflake – очень популярная в Америке СУБД, Streamlit – open-source инструмент на базе Python для создания приложений и визуализации данных. На первый взгляд, ничего впечатляющего и цена покупки компании вполне средняя для этого рынка.

💸 В чем же кроется суть сделки?
Покупка Streamlit – это серьезное стратегически взвешенное решение. Компания помогает создавать приложения для обработки данных с помощью пары строк кода. Такие приложения не являются классическими инструментами бизнес-аналитики, но они весьма популярны среди аналитиков.
Давайте сравним эту сделку с другой громкой новостью: Google уволил весь персонал службы поддержки Looker в США. Зачем же это было сделано? BigQuery является центром притяжения стека данных Google. В то время как Looker получает стабильный доход, баланс Google отражает только те операции, которые приносят огромные доходы. Для Google Looker слишком велик, чтобы потерпеть неудачу, но слишком дорог для масштабирования.

📉 Зачем тогда Snowflake, самому прямому конкуренту BigQuery, вкладывать большие средства в Streamlit, в то время как Google поступает иначе?
Ответ прост: потому что это не то, чем они обычно занимаются. Streamlit никогда не ступит в магический квадрант приложений Gartner и, скорее всего, даже не попытается вывести на рынок классический продукт. Вместо этого он станет чем-то более фундаментальным: платформой на которой создаются и продаются все остальные коммерческие приложения для работы с данными. Возможно, Streamlit даже станет катализатором серьезного сдвига в ландшафте данных, когда они разработают магазин приложений Snowflake. Таким образом, они смогут создать новую полноценную инфраструктуру, в которой все способствует удобной разработке приложений для работы с данными, а также существует маркетплейс для их размещения и распространения.

💬 Интервью про карьеру в Data Science никогда не бывает много 🎤

До отъезда из России (об этом отдельно и чуть попозже) мы записали интервью с моим участием. Интервьюер – автор канала Start Career in DS Роман Васильев. Помимо нашего разговора, на канале есть куча полезной информации для новичков в профессии, настоятельно рекомендую вам изучить их. Рома – профессионал, поэтому наш разговор получился очень живым, удалось затронуть много актуальных тем и, надеюсь, раскрыть полезные детали карьерного пути 😎

Подписчики канала в комментариях уже шутят, что Рома – “Дудь в DS”. Действительно очень похоже, потому что от последних интервью вообще не оторваться: блестящее интервью с Толей Карповым (кстати, Толя всерьез посоревнуется за звание “Дудя в DS” c его собственными вью на ютубе), с Валерой Бабушкиным и другими гостями.

Смотрите интервью, пока Youtube еще доступен в России, шерьте, комментируйте и подписывайтесь на канал Романа!

🍟 Где поесть в незнакомом городе? ☕️

В середине февраля мы с женой были в Грузии (несколько опередили массовую эмиграцию туда), где отмечали мой день рождения. Когда мы там оказались возник вопрос: какие заведения лучше посетить? Раньше я решал этот вопрос с использованием Foursquare, но он безнадежно устарел. Тут подключилась моя жена и начала поиски в инстаграм, которые меня безумно заинтересовали с точки зрения алгоритма.

У нас было около десяти рекомендаций заведений от друзей, большое желание попасть в приятные места, доступ к интернету и Instagram (деятельность признана экстремистской и запрещена в Российской Федерации). Не то, чтобы всё это было абсолютно необходимо в поездке, но если уж начал собирать коллекцию, то к делу надо подходить серьёзно 😎

Так вот, супруга начала смотреть отметки людей в этих заведениях, а затем применяла какую-то магию, чтобы найти другие класные заведения, похожие на уже посещенные. Меня это очень заинтересовало и я подумал, что этот алгоритм можно автоматизировать.

Так родилась идея рекомендатора через отметки в инстаграмме, который мы разбираем в новой статье.

⚡️ Очередное огромное спасибо Андрею за участие в работе над задачей!

🍟 Яндекс, который не оправдал доверия пользователей
Наверное, вы уже в курсе: Яндекс конкретно облажался. Весь рунет не первый день разглядывает карту заказов Яндекс.Еды, где и мы с вами, и ваши соседи, и все-все-все. Как минимум, все это крипово.

Чем это опасно?
В публичный доступ попали наши с вами персональные данные, которые обожают мошенники. Поэтому будьте бдительны, если вам теперь в точности назовут ваш адрес, смогут озвучить сумму ваших трат, назовут вас по имени и даже смогут сказать дату вашего заказа. Это прекрасно работает в социальной инженерии. Искренне считаю это позором службы безопасности Яндекса и крайне неудовлетворен официальным объяснением инцидента.
Личный совет: по возможности, не указывайте свои реальные данные там, где нет необходимости это делать и не сохраняйте свои платежные данные во имя удобства оплаты. Раз хакерам удалось украсть эти данные, то значит и кража платежных данных тоже возможна. И в этом уж точно ничего хорошего не будет.

Прекращаем нагонять ужас
Раз так уже произошло мы будем как аналитики использовать эти данные во благо. Нет ничего круче, чем настоящий живой датасет для различных экспериментов.
Мы скачали данные в полном объеме и загрузили их в Clickhouse, поэтому в скором времени постараемся поизучать датасет, поискать интересности в нем и показать наши находки, ведь интересные данные там точно присутствуют. Конечно, мы не собираемся потворствовать распространению личных данных клиентов и все результаты представим в обобщенном и обезличенном виде.
Будьте осторожны и ждите актуальной аналитики услуг Яндекс.Еды 🍽

Полагаю, что другое — это те, кто хотел посмотреть результаты опроса (забыл включить этот пункт, сорри).
Поставьте, палец вверх, плиз, если это так, чтобы потом перевзвесить результаты.

Дорогие подписчики, спасибо большое за обратную связь и напоминание, что еще есть те, кто остался, но собирается уезжать.
Опросик и для вас выше 🙂

Чуть ранее я проводил опрос, кто из подписчиков мигрировал, а кто остался, также интересны были страны для миграции.

Всего мигрировало 9% из 1431го участников опроса. 1188 человек сказали, что остались в тех странах, что пребывают сейчас (РФ / РБ / Украина).
Из них 39% собираются уезжать, а остальные планируют остаться.

Если говорить про страны миграции, то перевзвешенная статистика выглядит так, как на картинке выше
(допущение: все Другое = Хочу посмотреть результаты).

И вдогонку про карьерные возможности: ищу middle / senior инженера данных с прикладным опытом работы в Clickhouse (репликации, шардирование, вывстраивание архитектуры at scale).
Если вы такой и ищите работу, напишите, плз, в ЛС, обсудим.

Алексей Колоколов задумал интересную инициативу, краш-тест российских bi-систем. В когорту подопытных кроликов также попал и Mprove, поэтому посмотрим на фидбек Алексея о нашем инструменте.

Кстати, у Алексей, к сожалению, потерял доступ к аудитории своего телеграм-канала, поэтому если вы были подписаны и не нашли канал, то скорее подисывайтесь, да и в целом, подписывайтесь!

Пара слов о датавизах на актуальную тему 🖼

Как никогда актуально визуально посмотреть из чего состоит экономика страны и каково в ней участие всего мира. Сегодня несколько ярких примеров отличной визуализации данных, которые можно изучить, как с экономической точки зрения, так и с точки зрения аналитической.

1. Доля российского газа в потреблении стран Европы⛽️. Классический и крайне наглядный датавиз: страны отсортированы по основному показателю, цвет гистограммы также дублирует уменьшение зависимости от российского газа. И все же это выглядит как-то простовато, не думаете? Поэтому переходим к следующему.

2. Все, что вам нужно узнать про мировые добычу и потребление российской нефти 🛢. Тут и абсолютные величины, и проценты в российском экспорте. Круто, красиво, репрезентативно, продуманно до мелочей! Разве что, не вполне понятно, как интерпретировать цвет в различных сегментах датавиза.

3. Пожалуй, самый злободневный: график количества украинских беженцев в сравнении с другими кризисами, которые также повлекли за собой кратное увеличение потока миграции. Минималистично, но в то же время достаточно подробно.

Продолжаем искать спикеров! 🎤

Мы продолжаем запись подкастов и ищем гостей. И уже в самое ближайшее время опубликуем первый выпуск об онлайн-курсах по аналитике данных 🔥

Сейчас открываем поиск спикеров для выпуска о зарубежном образовании! Если у вас был опыт обучения аналитике данных и data science в зарубежных университетах, просим написать краткий рассказ в личные сообщения моей коллеге Милане (@Milanchezaa) 🙂

Что отметить в рассказе:
1. Где обучались и в каком формате (удаллено / оффлайн)
2. Как долго проходило обучение и и закончили ли вы его?
3. Добавьте от себя краткое впечатление, чем хотите поделиться: что понравилось, какие были нюансы и т.д.?

В случае, если ваша история покажется интересной, мы попросим записать голосовые сообщения, которые опубликуем в подкасте и выложим на всех доступных сейчас платформах.

Заранее благодарим всех, кто откликнется! 🙂

Open-source альтернатива вашему Firebase

Делюсь своей недавней находкой – сервисом AppWrite. Как они сами себя позиционируют, это безопасный сервер с открытым исходным кодом для веб-разработчиков, мобильных разработчиков и разработчиков Flutter.
Грубо говоря, этот сервис предоставляет разработчикам все основные API-интерфейсы, необходимые для создания любого приложения, а также позволяет хранить все данные о пользователях и их действиях в приложении или на сайте.

#opensource

Раньше уже была ссылочка на визуальный туториал по pandas.
А сегодня — визуализизатор SQL-запросов.

#ссылка