Введение в современную статистику: бесплатный онлайн-учебник
Учебники и любая профессиональная литература — дорогое удовольствие, поэтому, когда удается найти что-то крутое за бесплатно, этим надо делиться.

Это и сделаем.

На сайте проекта OpenIntro выложили второе издание учебника «Introduction to Modern Statistics». Оно все еще в работе, обновляется и дописывается, но пользоваться уже можно. Первое издание лежит рядом на том же сайте.

🔵 Учебник рассчитан на начинающих изучать статистику. Он знакомит с основами работы с данными, методами анализа и визуализации.
🔵 Текст состоит из теории, разборов кейсов и упражнений на закрепление материала.
🔵 Первое издание можно скачать в pdf, второе пока нет, но оба удобнее читать в браузере. Книги специально сверстаны именно для этого.
🔵 Важное примечание: текст на английском, переводов на другие языки нет.

Если хотите начать изучать статистику — это неплохой (и доступный!) вариант для старта.

И, кстати, на OpenIntro есть и другие бесплатные учебники по математике и статистике. Большинство из них рассчитаны на студентов вузов.

Что происходит с ценами на Lego?
Время задаться по-настоящему важными вопросами. Например, как менялась средняя цена за кирпичик Lego за последние 30 лет в зависимости от категории?

🔜 Да, в интернете есть все и даже график с динамикой цен на Lego. Сайт Brick Insights собирает, как можно догадаться по названию, инсайты о Lego — обзоры, статистику и цены. Он рассчитан на взрослых фанатов бренда и помогает им найти информацию о наборах и решить, стоят ли они своих денег.

Команда сайта собрала статистику о Price Per Piece (цена за элемент) с начала девяностых и до сегодняшнего дня. Но столкнулась с проблемой — наборы из некоторых категорий намного дороже остальных и из-за этого средние показатели могут быть неинформативными. Так что они разбили данные по категориям и отобразили на графиках. Если вдруг решите заняться коллекционированием Lego, будете знать, где смотреть, стоит ли набор своих денег.

🔜 И, кстати, помните, недавно писали о частых ошибках при работе с цветом? Детализированные графики с ценами за разные наборы наглядно показывают, почему много цветов — это красиво, но не слишком удобно.

Georgia Tech и решение глобальных проблем
В этом семестре у меня был заключительный курс от Georgia Tech — практикум в компании. В целом, не могу сказать, что учеба давалась легко все эти годы, но все получилось. По-моему, ранее не рассказывал, почему решил попробовать именно их магистерскую программу по аналитике.

💬 Прежде всего, Georgia Tech — известный американский ВУЗ, он высоко в рейтингах по CS. Мне всегда было любопытно узнать изнутри, как работает американское образование и чем отличается от российского. Помимо этого, на Западе, увы, никто не знает имя СПбГУ, а вот Georiga Tech на слуху.

🔜 Кстати, недавно Georgia Tech и запрещенная в РФ Meta объединились для крутого исследования, которое поможет экологии.

Есть разные способы снизить концентрацию углекислого газа в воздухе. Идеальный вариант — это свести к минимуму выбросы газа в атмосферу. Но есть сферы, где это сложно сделать, например, тяжелая промышленность, поэтому нужен способ очистки. Один из них — прямой захват воздуха, когда воздух отфильтровывается, и из него «вытягивается» углекислый газ.

Технология многообещающая, но сложная в применении. Везде разные условия: температура, влажность, состав воздуха. Соответственно, и фильтровать его нужно по-разному, и главная задача тут — подобрать подходящий материал.

🔜 Именно ее и собрались решить ученые из Georgia Tech и спецы по AI из Meta.

В институте работает команда экспертов по изучению этих материалов. Они передали огромный массив данных по этой теме в Meta. Те использовали эту информацию для создания базы данных и обучения ИИ-модели, предсказывающей, как разные материалы взаимодействуют с углекислым газом в зависимости от условий.

С одной стороны — опыт и экспертиза ученых, с другой — мощности Meta. В итоге — список из 241 материала с высоким потенциалом для прямого захвата воздуха и эффективный инструмент для исследователей.

🔜 Проект получил название Open DAC 2023. «Open» тут не случайно — все данные, модели и алгоритмы выложили в открытый доступ.

CDO в компании: роль, обязанности и вызовы
Обсудили в интервью Yandex.Cloud c Михаилом Степановым, CDO сети гипермаркетов «Лента»

🔜 CDO — это Chief Data Officer. Михаил рассказал, какие задачи выполняет CDO на разных этапах развития компании и зачем эта роль нужна. Также показал на примерах из практики «Ленты», как аналитика помогает принимать важные и масштабные решения. Они могут быть разными в зависимости от сферы деятельности, но все сводятся к главному:

«Работа с данными действует ровно в двух направлениях: снижении расходов и увеличении прибыльности».

🔜 Интервью не только про CDO и их задачи. Оно в целом про взгляд на аналитику с точки зрения руководителя, развитие культуры работы с данными в компании и формирование дата-команды.

Оплата улыбкой: за и против
Что такое «Оплата улыбкой» от Сбербанка? Достаточно ли вашего радостного лица для оплаты, или деньги тоже снимутся?

🔜 Смотрите в новом видео на канале «Дата Коля»!

Таблица для тех, кто собирается в поездку
Приближается сезон отпусков, пора планировать поездки и собирать чемоданы. Это процесс всегда стрессовый — даже самые внимательные из нас наверняка хоть чуть-чуть, но волнуются, что что-то забудут.

В TikTok завирусился новый способ, как собрать сумки перед поездкой и 100% ничего не упустить.

🔜 Все вещи, которые надо взять с собой, распределяются по нескольким категориям: то, что надо положить в рюкзак, в сумку или нести на себе.
🔜 Например, смартфон, часы и кошелек можно пронести на себе, ноутбук — положить в рюкзак, а купальник — в сумку или чемодан. В отдельные мешочки складываются зарядки для гаджетов и туалетные принадлежности вроде зубных щеток. Список категорий можно настроить под себя, если вдруг у вас больше чемоданов.
🔜 В отдельной колонке подсчитывается, насколько заполнена каждая сумка. То есть, когда все вещи из категории «в рюкзак» будут отмечены как упакованные, напротив нее будет стоять «100%».
🔜 В более продвинутую версию таблички можно даже занести стоимость вещей и вес, чтобы заранее прикинуть, сколько будет весить каждая сумка.

Создатель таблички сказал, что друзья над ним смеются, но в TikTok его подход оценили. Для всех заинтересовавшихся он поделился таблицами для Google Sheets и Excel. Есть платная и бесплатная версии.

Когда он только выложил их, желающих скачать было так много, что сайт упал, но сейчас все в порядке.

Spring Update от OpenAI
На вчерашнем стриме OpenAI представила несколько крутых нововведений.

Пообещали выкатить десктопную версию (сначала для macOS, для Windows она появится позже) и обновить интерфейс, но это не главное.

🔥 Самая громкая новость — это презентация новой флагманской модели GPT-4o.

💬 Она такая же умная, как GPT4, но намного быстрее — на запрос, сказанный вслух, отвечает в среднем за 320 миллисекунд. Для сравнения у GPT4 задержка ответа составляла 5,4 секунды. Это происходило из-за того, что для «понимания» запроса, генерации и озвучивания ответа использовались 3 разные модели. GPT-4o натренирована на текстах, видео и аудио, поэтому она намного быстрее.

💬 GPT-4o умеет петь, шутить и «говорить» с разными интонациями. А еще ее можно перебивать прямо посреди ответа, и она реагирует на новый запрос моментально.

💬 На стриме показали, как она хорошо понимает рукописный текст, который ей показали через камеру, помогает решить простое уравнение, трактует информацию на графиках и распознает код.

💬 Внедрять возможности GPT-4o в работе будут постепенно в течение следующих недель. Некоторые функции уже доступны через API.

Самое интересное оставили напоследок — GPT-4o будет доступна для всех пользователей. Да, для тех, кто пользуется бесплатной версией тоже. 🔥

Что было на Google I/O
Не успели обсудить все новости от OpenAI, как ребята Google тоже провели свою ежегодную конференцию Google I/O.

Целиком запись выложили на Youtube и законспектировали на The Verge. Принесли для вас самое интересное.

🔜 Большая часть новостей — про Gemini, флагманскую модель Google.

💬 Она, конечно же, станет еще быстрее и умнее, а также интегрируется в инструменты вроде Google Документов, Таблиц, Диска, Gmail’а. Обещают превратить ее в ИИ-ассистента, который поможет найти нужный файл или информацию.
💬 И у Chrome тоже появится свой ИИ-помощник — к нему прикрутят Gemini Nano.
💬 Gemini 1.5 Flash — модель, оптимизированная для узкого функционала, где важна высокая скорость ответа. Пообещали, что она будет такой же сообразительной, как «обычная» Gemini Pro.
💬 Gemini Live — фича, которая позволяет модели делать все то же самое, что GPT-4o, которую представили вчера. То есть поддерживать живой диалог (и ее тоже можно перебивать!), говорить с разными интонациями и моментально реагировать на то, что она «видит» через камеру смартфона.

🔜 И не забываем про Veo — модель для генерации видео, ответ Google на нашумевшую Sora. Ее уже питчат Youtube и Голливуду. Пощупать ее пока нельзя, только попробовать записаться в лист ожидания.

🔜 В общем, если кратко, то Google внедряет ИИ вообще во все свои продукты, а еще все почему-то все стремятся сделать так, чтобы языковые модели можно было перебивать посреди ответа. Учитывая, как быстро развивается ИИ, мы бы не рекомендовали этим злоупотреблять и грубить ему. 👀

Искусственный интеллект в Edtech
Ребята из «Яндекс Практикума» поделились интересным исследованием об использовании искусственного интеллекта в эдтехе.

🔜 Мы уже затрагивали эту тему в первом эпизоде нового сезона Data Heroes — там Анатолий Карпов рассказал, как ИИ помогает студентам быстро получать ответы на вопросы и одновременно снижает нагрузку на техподдержку. В статье «Яндекс Практикума» есть еще больше примеров.

Условно их можно разделить на две большие группы: помощь студентам и помощь преподавателям.
🔵 Студентам ИИ может помочь выполнить домашнее задание, дать фидбек и указать на ошибки, объяснить сложную тему простым языком, составить персонализированный план обучения.
🔵 Преподавателям ИИ помогает создавать контент уроков на основе ключевых слов, писать инструкции к домашним заданиям, проверять их и мониторить ситуацию на курсе — то есть отслеживать, у кого из студентов есть трудности.

Все это облегчает жизнь всем участникам процесса. Студент быстро получает обратную связь и ответы на любые вопросы, не дожидаясь, пока освободится преподаватель или сотрудник техподдержки. Преподаватель снимает с себя часть рутинных обязанностей по подготовке контента.

Удобно, но сразу возникает вопрос: где проходит граница, когда ИИ в образовательном процессе становится слишком много? Что вы думаете по этому поводу? 👀

Мошенничество с помощью ИИ
Как ИИ помогает мошенникам обманывать людей и воровать аккаунты в мессенджерах?

Что такое дипфейк, и зачем его распознавать?

🔜 Ответы — уже на канале «Дата Коля»!

North Star Metric: путеводная звезда для бизнеса
Заметили, что у фреймворков по определению метрик для бизнеса очень уж говорящие названия? То «пиратские» метрики AAARR, то «Сердце» от Google. Или North star metric — она же «метрика Полярной звезды».

Так называют метрику, отражающую ценность, которую вы приносите клиентам
Главное в этой метрике то, что она про клиента. Прибыль компании, продажи, количество лидов — это тоже важно, но эти показатели не отражают напрямую, насколько полезен и успешен ваш продукт у клиентов. Можно подумать, что по числу продаж вполне судить о востребованности. Но это не всегда так: например, NSM службы доставки еды, это не просто «число заказов», а «число заказов, доставленных без жалоб со стороны покупателей».

В общем, не все так просто. Так как же найти свою Полярную звезду?
NSM должна быть не абстрактной. Она должна быть:
🔵 измеримой — вы можете точно посчитать ее в цифрах,
🔵 контролируемой — вы можете влиять на нее своими действиями,
🔵 понятной и близкой всем сотрудникам компании, а не какому-то одному отделу,
🔵 показывающей то, что ваш клиент получил то, что хотел.

Последнее — самое сложное. Надо определить ключевую ценность, которую вы создаете для пользователя. Зачем он пользуется вашим продуктом?

💬 NSM у Spotify — время, проведенное за прослушиванием музыки.
💬 У Uber — число поездок в неделю. Любопытно, что она отражает ценность сервиса для двух категорий пользователей: тех, кто заказывает такси, и тех, кто работает таксистом.
💬 У AirBNB — число забронированных ночей. Тут то же, что у Uber: можно судить о пользе и для бронирующих, и для сдающих квартиры.

Когда вы определите главную метрику, вы сможете составить план, как обеспечить ее рост. Самый известный и наглядный пример — Spotify:
Нужно, чтобы люди дольше слушали музыку 🔜 Нужно, чтобы они заходили в приложение и взаимодействовали с ним (искали песни, составляли плейлисты) 🔜 Нужно, чтобы там регулярно появлялась новая музыка и исполнители.

Кто убил поиск Google?
Если вам кажется, что в последние годы поиск Google стал хуже — вам не кажется.

Более того, это не случайность, а сознательное решение руководства компании. К такому выводу пришел автор статьи The men who killed Google Search Эдвард Зитрон.

Он выстроил хронологию событий с февраля 2019 года, когда менеджмент разных отделов, ответственных за поиск и рекламу, начал обсуждение проблемы с поиском. И нет, их беспокоило не качество выдачи, а то, что он генерировал намного меньше прибыли, чем хотелось бы.

💬 В марте 2019 Google выкатил один из самых масштабных апдейтов поиска за свою историю. Оказалось, что «апдейт» откатил назад некоторые изменения, которые убирали из выдачи сомнительные сайты.
💬 В мае того же года поисковик изменил дизайн рекламных объявлений в мобильной версии, сделав их более похожими на реальные результаты поиска.
💬 В январе 2020 это нововведение добралось и до ПК.
💬 Через 5 месяцев Google Search возглавил Прабхакар Рагхаван, сменив Дэна Гомеса, который руководил направлением почти 20 лет.
💬 До того, как Рагхаван пришел в Google, он работал в Yahoo! с 2005 по 2012 год. Когда он начал работу в компании, она занимала 30% рынка — ненамного меньше, чем Google c 36%. Когда он уходил, этот показатель снизился до 13%.

И именно Рагхавана Зитрон винит в том, что Google стал работать хуже. Учитывая прошлые заслуги — выглядит реалистично.

Более того — таких людей, как Рагхаван он считает одной из главных проблем современной IT-индустрии. По его словам, ведущими IT-компаниями сейчас руководят не разработчики и их основатели, а наемные менеджеры, которых интересует прибыль, а не качество продукта. И это общая тенденция, а не проблема одного Google.

В такой трактовке обстановка в индустрии выглядит по-киберпанковски мрачно: беспринципные корпорации готовы на все, ради краткосрочной прибыли — даже принести в жертву свои собственные продукты, на которых и строится весь их бизнес.

А вы что думаете? И как относитесь к Google — пользуетесь их поиском или нашли альтернативу?

Скарлетт Йоханссон против OpenAI
В OpenAI очередная драма, в которой смешались кони, люди, Сэм Альтман, Скарлетт Йоханссон, сомнительные публичные извинения, GPT-4o и фильм «Она» 2013-го года.

В прошлый понедельник OpenAI представила новую флагманскую модель GPT-4o. Она бодрым женским голосом отвечала на вопросы, шутила и помогала решить математические задачки. Этот голос называется Sky, и если вы смотрите голливудские фильмы в дубляже (или вообще их не смотрите), то для вас он, скорее всего, звучал абсолютно обычно. Зато англоязычная публика сразу заподозрила, что он звучит подозрительно похоже на Скарлетт Йоханссон.

Конечно, можно сказать, что это просто совпадение, но кажется, что подозрения публики (и самой Йоханссон, которая весьма раздражена этой ситуацией) небеспочвенны.

💬 В сентябре прошлого года Сэм Альтман сам предложил актрисе подарить свой голос GPT, но она отказалась.
💬 За два дня до релиза новой модели Альтман связался с ее агентом еще раз и спросил, не хочет ли она изменить мнение. Ответа он не дождался, а релиз таки состоялся.
💬 14 мая Альтман написал твит с одним словом: «her». Многие посчитали его отсылкой к фильму «Она» (Her в оригинале), где Сири-подобную ИИ-помощницу Саманту озвучила… да, Скарлетт Йоханссон. До этого Альтман уже признавался в любви к этому фильму.

После того, как Йоханссон высказала свое недовольство, голос Sky убрали из доступа. В блоге OpenAI вышел пост про то, как они выбирали голоса, а Альтман заявил примерно следующее: «Sky озвучила другая актриса, но из уважения к мисс Йоханссон мы перестанем использовать этот голос в своих продуктах. Приносим извинения за это недопонимание».

🔜 Если сравнить то, что мы слышали на стриме OpenAI и в трейлере Her, то кажется, что голоса звучат и правда похоже. Но с другой стороны — нет доказательств, что это действительно голос Йоханссон, а не другой актрисы с похожим тембром.

Что думаете? Вы на стороне Скарлетт Йоханссон или верите OpenAI? 👀

Что делать, если вы — продакт и не видите свежих данных?
Бывало, что смотрите на данные и кажется, что с ними что-то не так? Наверняка такое хотя бы раз случалось в жизни каждого человека, который так или иначе работает с данными.

От этого никто не застрахован, даже компании с самыми классными дата-командами. Хотим помочь разобраться, как решить проблему и при этом всем остаться друзьями.

Напомним, что обычно данные идут к вам по такой цепочке: источник 🔜 оркестратор (как правило, Airflow) 🔜 хранилище 🔜 BI-инструмент. Любое звено этой цепи может засбоить по самым разным причинам.

💬 Часто интуиция не обманывает, и, если кажется, что надо бы покопаться в данных — стоит ее послушать. Но на одном наитии далеко не уедешь. Прежде чем идти к дата-инженеру и возмущаться, сформулируйте запрос.

Какие метрики вызывают вопросы? За какой период? Из каких источников? Есть ли аномалии, на которые вы можете точно указать? Так и DE будет проще разобраться и найти проблему.

💬 Сравните свои данные с источником. Если вы тянете информацию из Яндекс.Метрики, сравните ее «родной» дашборд в личном кабинете с вашим. Есть ли расхождения между ними? Если есть, значит, что-то в данных поломалось на пути на дашборд. Если нет, проблема на уровне источника.

💬 Спросите, как коллеги мониторят свои процессы и отслеживают ошибки. В идеале у них должны быть настроены алерты, чтобы сразу получать уведомления о проблемах. Если такого нет, стоит поинтересоваться почему и как дата-инженеры контролируют целостность пайплайна.

💬 Алерты настроены, и по ним видно, что что-то ломается постоянно? Это тревожный звоночек и повод инженерам покопаться в коде. Это часто бывает, когда код избыточный, доставший в наследство от предыдущих инженеров и накопивший в себе кучу мусора. Это все надо приводить в порядок.

💙 Мы кратко описали частые проблемы и возможные решения, но можем рассказать и подробнее. Сделали форму из 5 вопросов, где вы можете поделиться, какие сложности в работе с данными у вас возникают, а мы попробуем помочь.

DataLens в облаке: Community или Business тариф?
DataLens — BI-система от Yandex Cloud, которую раньше считали инструментом для массовых пользователей, потому что простая в освоении, удобная и бесплатная. Но сейчас все больше крупных компаний выбирают DataLens для масштабных проектов.

🔜 К тому же продукт запустил расширенный тариф Business для корпоративных клиентов.

В него входят стилизация интерфейса, корпоративная аутентификация и SSO, статистика использования сервиса, приоритетная поддержка и многие другие фичи.

🔜 До 1 июня тариф можно попробовать бесплатно, после — 990 рублей в месяц за активного пользователя.

Python + таблички = PySheets
PySheets — онлайн-инструмент, в который можно загружать таблицы, анализировать их с помощью pandas и рисовать графики с помощью Matplotlib (и их потом можно куда-нибудь встроить). Про ИИ тоже не забыли ­— без него сейчас никуда. Он помогает писать код и выводит на консоль подсказки, как работать с PySheets. В платной версии это все можно делать вместе с коллегами.

🔜 И все это в браузере — не надо ничего разворачивать, устанавливать или платить за облако. Интерфейс очень простой: есть таблица, окошко для кода, консоль, кнопка для вызова ИИ-ассистента.

В полной мере ознакомиться с функционалом инструмента позволяет весьма подробный туториал аж из 7 частей. Доступен бесплатно, но после регистрации.

Что нового у OpenAI
OpenAI соблюдает баланс: новости про технологические прорывы и достижения равномерно чередуются со скандалами.

И вот опять.

🔜 Компания начала тестирование GPT-5. Релиз новой модели ожидается уже через пару месяцев — в середине года. Сначала об этом написали профильные сайты со ссылкой на внутренние источники, а потом косвенно подтвердила и сама OpenAI в новости о формировании Комитета по безопасности:

Недавно OpenAI приступила к обучению новой флагманской модели, и мы ожидаем, что результат выведет нас на новый уровень возможностей на пути к AGI.

🔜 Одновременно на фоне пары громких увольнений (среди которых — Илья Суцкевер, один из главных героев ноябрьской драмы с уходом Альтмана) разгорелся очередной скандал. Выяснилось, что OpenAI заставляет сотрудников перед уходом из компании подписывать очень суровый договор о неразглашении и недискредитации, запрещающий им критиковать бывшего работодателя. Отказ подписывать договор или нарушение условий грозили потерей акций.

Сэм Альтман принес извинения и пообещал, что OpenAI откажется от этой практики.

🔜 Сама осенняя история тоже получила некоторое развитие. Бывший член правления OpenAI Хелен Тонер рассказала, что Альтмана уволили — или пытались это сделать — из-за того, что он не был честен с коллегами. Например, не рассказал, что ему принадлежал стартовый капитал компании, и предоставлял неточную информацию о мерах безопасности, принятых в OpenAI. Все это, по словам Тонер, подорвало доверие к нему.

Будем надеяться, что на этом скандалы с OpenAI (пусть и очень увлекательные) закончатся, и будет больше новостей про нейросети и искусственный интеллект.

Что отличает хорошую таблицу от великолепной?
Что обычно рассказывают разработчики, когда презентуют новый продут?

Чаще всего они говорят, какое их приложение, сервис или что угодно еще удобные, современные и эффективные. В последние месяцы они еще добавляют, что вам даже пользоваться ими не придется — за вас все сделает очередной AI-помощник, потому что искусственный интеллект сейчас внедряют вообще во все что только можно.

Создатели Great Tables пошли совсем другим путем.

🔜 Great Tables — пакет для Python, который помогает создавать, как можно догадаться из названия, классные таблицы. Чтобы понять, что такое «классная таблица» и из чего она состоит, авторы проекта отправились в прошлое.

🔵 Они осветили историю таблиц — от примитивных решеток, которые больше 20 000 лет назад рисовали древние люди на стенах пещер, до Excel.
🔵 Этот способ структурирования информации начал все более активно применяться людьми вместе с развитием земледелия и достиг своего пика в середине XX века. Тогда Бюро переписи населения США выпустило «Руководство по табличному представлению» — исчерпывающий, монументальный труд, который во многом стал источником вдохновения для создателей Great Tables.
🔵 И в конце статьи наконец они рассказали про Great Tables и что с их помощью можно делать.

🔜 Респект таким промо-материалам — читаешь и веришь, что проект создавали действительно с любовью. Да и просто познавательно получилось.

Если не хотите читать про глиняные таблички из Месопотамии, но Great Tables вас заинтриговали, то можно идти сразу на гитхаб и скачивать.