Состоялся релиз PostgreSQL 17!
В новой версии СУБД улучшили производительность и расширили функционал.

Среди изменений:
🔵 Команда VACUUM для очистки и оптимизации БД теперь выполняется быстрее и потребляет в 20 раз меньше памяти.
🔵 Благодаря улучшениям в обработке журнала предзаписи (WAL, Write-Ahead Logging) вдвое выросла пропускная способность операций записи в системах с большим количеством параллельно выполняющихся запросов.
🔵Добавились новые функции для работы с данными в формате JSON: JSON, JSON_SCALAR, JSON_SERIALIZE, JSON_EXISTS, JSON_QUERY, JSON_VALUE. Появилась поддержка JSON-TABLE, которая конвертирует данные из JSON в стандартные таблицы PostgeSQL.
🔵 Расширились возможности функции MERGE и добавилась поддержка выражения RETURNING.

Полный список изменений — на сайте проекта.

Тизерим новый проект с классным гостем, которого многие из вас наверняка знают. ❤️

Подробности расскажем совсем скоро! Подписывайтесь на канал Николая, чтобы не пропустить.

Почему стоит записаться на курс SQL База?
Не будем перечислять все, что мы не раз рассказывали — про то, что там много практических заданий, приближенных к реальным, поддержка от команды разработчиков и так далее.

У нас есть новые аргументы!
1️⃣ Новые отзывы от студентов — они выше, на картинке. Насколько хороша подача и задания, вы могли недавно убедиться сами в посте с задачей на соединение таблиц.
2️⃣ Осталось всего два дня до конца действия промокода СЕНТЯБРЬ30, по которому вы можете купить курс со скидкой 30% — за 931 рубль вместо 1330!

Готовы записаться? Переходите по ссылке 🔜 https://stepik.org/a/129108

«Я вообще не устаю делать дашборды»

В гостях Анастасия Кузнецова — BI team lead в Semrush и автор канала настенька и графики.

О чем мы поговорили?

🔵 Об учебе на социолога и неудачном побеге в Финляндию
🔵 Что лучше — курсы или высшее образование?
🔵 Как справляться с задачами, которые кажутся невыполнимыми?

🔜 Подробности — в канале Карьера в Data | LEFT JOIN

От 1234 до 8068
Несложно посчитать, что существует 10 000 возможных вариаций ПИН-кодов из 4 цифр.

Также довольно легко догадаться, какие из них будут самыми популярными. Наверняка, почти все, кто читает этот пост, подумали про 1234, 1111 или 0000.

Но вот какая комбинация цифр будет самой непопулярной? Да, у нас спойлер в заголовке. Какие еще ПИН-коды пользуются популярностью? Есть ли тут какая-то закономерность или это чистый рандом?

🔜 На графике выше вы можете видеть, что закономерности таки есть
График составил аналитик Ник Берри в 2012 году на основе 3,4 миллионов слитых в интернет ПИН-кодов. Да, данные не самые новые, но что-то нам подсказывает, что вряд ли за эти 10 лет что-то сильно изменилось.

🔵Чем светлее точка, тем популярнее код. Рандомно раскиданные черные точки — самые редкие коды. Среди них и 8068, комбинация, которая встретилась всего 25 раз.
🔵Светлая линия в центре — ПИНы из повторяющихся пар цифр (1212, 1313 и так далее).
🔵Светлая линия в нижней части — ПИНы, начинающиеся на 19. Вероятно, многие из них — год рождения.
🔵В левом нижнем углу — большой светлый блок, обрывающийся по обеим осям после 30. Можно предположить, что среди них много пинов, в которых зашифрованы даты рождения. Также люди любят коды, которые начинаются с 0 или 1.

Рассмотреть график поближе можно здесь, а почитать про исследование Ника и его выводы — в его статье. Там же есть топ-20 кодов, на которые приходится аж 26% всех ПИНов из его датасета.

Как вам график?

❤️ — красота!
👾 — делать людям нечего...

Что нового у DataLens?
25 сентября прошла конференция Yandex Scale. Там рассказали про новые сервисы и фичи, а мы следили за новинками DataLens.

Делимся самыми интересными новостями:
🔵Конструктор отчетов, в котором можно собирать документы для экспорта в pdf, чтобы отправить коллегам или клиентам.
🔵Безопасное встраивание дашбордов, благодаря которому можно встроить не только отдельный график, но весь дашборд в любой продукт типа CRM.
🔵Анонсирован DataLens Enterprise. Знакомый DataLens, но в контуре заказчика. На сайте проекта можно отправить заявку, и команда DataLens обсудит с заинтересованными компаниями пилотный проект.

Конференция уже прошла, но доклады еще остались. Если хотите узнать подробности, то смотрите запись на сайте мероприятия.

Вы наушники не теряли?
Представим ситуацию: вы нашли на улице чьи-то эирподсы. Если подключить их к своему (или любому доступному вам) айфону, вы увидите их серийник и 4 последних цифры номера владельца. Вы хотите вернуть находку. Как вы это сделаете? 👀

Если вы сказали: «Попробую выйти на владельца через Find My» — это логичный ответ, но в вас пропал дух авантюризма так совсем неинтересно. Давайте усложним задачу: Find My пользоваться нельзя. Или вы попробовали, но он не помог.

В мобильных номерах в России 11 цифр: мы знаем первую (+7 или 8) и 4 последних. Уже немало, почти половина номера у нас есть. Что дальше, есть идеи?

🔜 Если есть — пишите в комментариях.

А если нет, то вот пример из Америки.

Спойлернем: автор предположил, что хозяин наушников живет в Портленде, где те были найдены — соответственно, первые 3 цифры будут кодом этого штата. Следующие 3 называются префиксом, и список возможных комбинаций в нем можно сильно сузить, если разузнать, какие из них разрешено использовать телекомам в регионе. Ну а затем надо было просто пробить все получившие номера по базе, которая показывает привязку к iMessage — если человек пользуется эирподсами, то и эппловским мессенджером тоже, скорее всего. Ну а дальше оставалось только сделать по ним рассылку с вопросом «Вы наушники не теряли?»

В других странах, например, в России, этот способ может сработать не так хорошо, поэтому и интересно почитать ваши предложения!

Кейс: готовое решение из «коробки» vs кастомная аналитика
На рынке полно готовых решений для аналитики, которые можно подключить к своим источникам данных и базам и получить от них достойные информативные дашборды. Это намного дешевле и быстрее, чем строить систему аналитики с нуля, поэтому многие компании выбирают именно этот путь.

При всех неоспоримых плюсах у таких готовых решений есть и минусы:
🔵сложно настроить под себя, когда возникает необходимость в более продвинутой аналитике;
🔵если появляются какие-то ошибки и неточности в данных, может быть очень тяжело разобраться, из-за чего это происходит.

Со второй проблемой мы однажды столкнулись. Если кратко, то заказчик пользовался ROISTAT, а потом решил выстроить кастомную систему с нашей помощью. И когда он посмотрел на наши дашборды, то понял, что «цифры не бьются» и в данных что-то не так. Мы начали разбираться и поняли, что хотя в своем коде мы уверены, внутрь ROISTAT заглянуть, чтобы разобраться, что и как он считает, мы не можем.

🔜 Что потом мы с этим делали, читайте в новой статье в нашем блоге!

Как аналитика поможет бизнесу поднять раунд инвестиций
Слышали, что недавно OpenAI подняла раунд инвестиций на 6,6 млрд?

А у нас как раз статья вышла про то, как с помощью отчетов и аналитики убедить инвестора выделить деньги стартапу. Будем честны: 6,6 млрд не обещаем, но верим, что статья поможет понять, как показать потенциал бизнеса с помощью данных.

Пригодится не только предпринимателям, но и аналитикам, чтобы лучше понимать запросы бизнеса и влияние аналитики на фандрайзинг.

🔜 Читайте по ссылке → https://vc.ru/u/48577-nikolai-valiotti/1541672-kak-analitika-pomozhet-startapu-podnyat-raund-investicii

Google починил SQL
Как думаете, что делает запрос ниже?

FROM customer
|> LEFT OUTER JOIN orders ON c_custkey = o_custkey
AND o_comment NOT LIKE '%unusual%packages%'
|> AGGREGATE COUNT(o_orderkey) c_count
GROUP BY c_custkey
|> AGGREGATE COUNT(*) AS custdist
GROUP BY c_count
|> ORDER BY custdist DESC, c_count DESC;

А делает он то же, что вот этот:

SELECT c_count, COUNT(*) AS custdist
FROM
( SELECT c_custkey, COUNT(o_orderkey) c_count
FROM customer
LEFT OUTER JOIN orders ON c_custkey = o_custkey
AND o_comment NOT LIKE '%unusual%packages%'
GROUP BY c_custkey
) AS c_orders
GROUP BY c_count
ORDER BY custdist DESC, c_count DESC;

Главное отличие в том, что первая версия кода — это новый более лучший улучшенный SQL от Google. 👀

А что не так со старым?
У SQL много плюсов, но давайте честно — это не самый простой язык. Иногда даже опытным экспертам бывает сложно разобраться, как написать или прочитать особенно хитрый запрос.

Но и отказываться от него не хочется: во-первых, мы все-таки его любим, а во-вторых, достойной альтернативы ему просто нет. Поэтому ребята из Google предложили решение — конвейерный синтаксис, который вы и видите выше.

Что такое GoogleSQL?
GoogleSQL — это диалект SQL, разработанный в Google.

К нему прикрутили поддержку «конвейерных» запросов (но обычные и смешанные тоже допускаются). Они отмечаются значком |> и в основном выполняют те же функции, что их «тезки» в стандартном SQL. Хотя есть и несколько экспериментальных, у которых нет аналогов.

🔜 Подробнее можно почитать в публикации от команды Google. Самое интересное начинается с 4 страницы — там про операторы, синтаксис и логику работы.

Если совсем кратко (чтобы влезло в пост в Tg), то главный плюс подхода, предложенного Google, — запросы намного проще писать, читать, редактировать, дебажить, добавлять новые операторы и так далее.

Вот такой апдейт для старого доброго SQL. Что скажете?
❤️ — так действительно удобнее
🌚 — это уже не SQL

Онлайн-курсы: напрасная трата времени и денег или шанс сменить профессию?
Надеюсь, вы не забыли, что мы проводили независимое исследование онлайн-курсов по аналитике? Так вот, пришло время поделиться результатами.

В этой статье все явки и пароли — а именно, как Data-специалисты выбирают онлайн-курсы, оправдались ли их зарплатные ожидания после обучения и многое другое.

🔜 Читайте по ссылке → https://vc.ru/education/1556717-onlain-kursy-naprasnaya-trata-vremeni-i-deneg-ili-shans-smenit-professiyu

Так, результатами исследования мы поделились, теперь можно публично поблагодарить наших друзей и коллег, которые поддержали нашу идею ❤️

Обязательно подписывайтесь на эти каналы — все-таки, драгоценная подборка экспертов сферы (и не только) 👀

🔵Reveal the Data
🔵data comics
🔵Чартомойка
🔵Инжиниринг данных
🔵Datanomika
🔵Datalytics
🔵Start Career in DS
🔵Data Nature
🔵настенька и графики
🔵People Analytics
🔵Лягушачья аналитесса
🔵Это разве аналитика?

Как дела у BI в России в 2024?
Расскажут на мероприятии с говорящим названием Russian BI Forum’24.

Форум пройдет 14 октября в Москве в Инновационном кластере МГУ «Ломоносов». В программе пленарная дискуссия про будущее BI, мастер-классы и доклады от вендоров и экспертов по аналитике.

Про что будут говорить?
🔵 Кейсы и опыт внедрения BI-систем.
🔵 Тенденции и тренды индустрии.
🔵 Выбор BI-систем: отличия, особенности, российские аналоги ушедших с рынка инструментов.

Вариантов участия два:
1️⃣ Стандарт, который дает доступ к пленарной сессии, докладам и фуршету,
2️⃣ Стандарт + мастер-классы. За участие в последних дадут сертификат.

Оба платные, но по промокоду LEFTJOIN можно купить билет со скидкой 35%.

Он действует до 13 октября, но воспользоваться им сможет ограниченное число счастливчиков, так что рекомендуем не затягивать.

Tableau и dbt объявили о начале партнерства
Обещают, что это поможет увеличить доверие к данным в глазах пользователей и сделать работу аналитиков и дата-инженеров удобнее.

В чем состоит партнерство?
Если кратко — то в объединении возможностей Tableau и dbt. Из dbt можно будет экспортировать в Tableau модели, метрики, информацию о качестве данных. Часть фич (например, dbt Data Health Tiles, которые помогают убедиться в свежести данных) уже прикрутили, часть (например, подключение Pulse к dbt за один клик) появится в ближайшем будущем.

🔜 Ценность для юзеров в том, что им будет проще проверить, что данные на дашборде точные и актуальные. Для дата-команд — в том, что теперь станет меньше лишних телодвижений при работе с данными.

А если хочется подробностей, то вы их найдете в пресс-релизе на сайте Tableau.

Как вам новость?
❤️ — Давно пора!
🌚 — Да что мне этот Tableau...

AlphaFold 3: как ИИ двигает науку вперед
Давно не рассказывали про то, как ИИ трудится на благо науки. Исправляемся — сегодня на повестке модель для предсказания структуры белков AlphaFold 3.

🔜 AlphaFold 3 разработали Google DeepMind and Isomorphic Labs. Как можно догадаться по названию, это уже третья версия: первую представили в 2018 году, вторую — в 2020. Она нужна для того, чтобы предсказывать структуру белков, их функции и взаимодействия друг с другом и иными веществами.

🔜 Почему это важно?
У белков безумно сложная структура, которую очень тяжело «расшифровать» и описать. А нужно это делать для того, чтобы лучше понять, как они воздействует на другие молекулы. Эта информация полезна при разработке лекарств или при изучении того, как функционирует живой организм — человеческий и не только.

До того, как для этих целей начали использовать ИИ, описание структуры белков было очень долгой и тяжелой задачей. Поэтому AlphaFold оказала огромное влияние на биологию, биохимию и фармацевтку — модель описала больше 200 миллионов белковых структур и значительно упростила работу исследователей. Новая версия стала еще мощнее и теперь способна предсказывать еще более сложные структуры, чем раньше, — целые белковые комплексы.

🔜 Ну и когда ждать лекарство от всех болезней?
А вот тут пока непонятно. Во-первых, надо понимать, что ИИ, при всех свои возможностях, все еще не творит чудеса и даже не гарантирует 100%-ную точность своих предсказаний.

А еще разработчики не стали делиться исходным кодом третьей версии, как сделали с предыдущими. Вместо этого они запустили AlphaFold Server. Он бесплатный, быстрее AlphaFold 2, но предназначен только для некоммерческих исследований и не позволяет предсказывать структуры веществ, которые могут быть использованы как лекарства.

Вот такие новости науки. 👀

Интересно иногда почитать что-нибудь такое или вы здесь исключительно ради постов про данные и SQL?

❤️ — Да, пишите, интересно.
👾 — Нет, давайте лучше про данные!