Бегущий по лезвию данных
858 subscribers
182 photos
25 videos
46 links
Канал о том, как я попал в IT после 30 без профильного образования и что я тут делаю.

DA & BI
По вопросам @wdrwj
Download Telegram
Чаты по СУБД 😆

В дополнение к прошлому посту с чатами по BI, собрал также в один список чаты по различным СУБД + бонусом несколько по другим инструментам.

Чаты по СУБД

1. ClickHouse
2.
PostgreSQL
3.
MySQL
4.
Oracle
5.
MS SQL
6.
Greenplum
7.
MongoDB
8.
DBA - русскоговорящее сообщество

Бонус

1.
Power Query
2.
Apache Airflow
3.
Apache NiFi
4.
Docker
5.
GitLab

Дополняйте список в комментариях ⬇️

#sql
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍431
Jupyter в смартфоне?

Если вам вдруг захочется покрутить юпитер-тетрадки в смартфоне — при этом не в гугл колабе или каком-нибудь онлайн юпитере, а локально, то это можно довольно просто сделать.

1. Заходим в Google Play и скачиваем IDE Pydroid 3
2. Выбираем pip, устанавливаем jupyter, pandas и все необходимое
3. Открываем терминал, запускаем jupyter notebook
4. Готово, теперь у вас нет оправдания, что вы не у компа

Думаю, на планшете с клавиатурой в нем даже можно поработать в крайнем случае, а вот на телефоне разве что набросать пример из книги или поковырять задачу, пока валяешься на пляже)
🔥114👍3👨‍💻1
This media is not supported in your browser
VIEW IN TELEGRAM
Прадедушка Excel — первый табличный редактор VisiCalc

Придумал его программист Даниэль Бриклин, который закончил MIT, посмотрел на окружавший его мир и понял, что программисты скоро станут не нужны (как в воду глядел). Осенью 1977 года он поступил в Гарвардскую школу бизнеса, где ему и пришла идея создать электронную таблицу.

У меня был калькулятор, по вечерам я занимался дома вычислениями и когда я делал ошибки, то мечтал о создании "текстового процессора" для чисел, с тем, чтобы их можно было пересчитывать с новым допущением, скажем 12 процентов вместо 10.


В общем, задумал, взял себе в партнеры Боба Фрэнкстона и уже в 1979 году первая версия программы увидела свет.

Чем вообще интересен VisiCalc?

🔸 Первый "Killer App"
Люди массово покупали дорогой Apple II ради VisiCalc – это был первый софт, ставший главной причиной покупки персонального компьютера.

🔸Спаситель Apple
Продажи Apple II взлетели именно благодаря VisiCalc, превратив компьютер из устройства для ученых в бизнес-инструмент.

🔸Патентные войны
Создатели VisiCalc позже судились с Lotus 1-2-3, обвиняя их в копировании идей – эти затяжные суды в итоге погубили обе компании.

🔸Польза для бизнеса
Мгновенный пересчет формул перевернул финансы и планирование. Софт экономил столько времени, что $2000 (для того времени большие деньги) за Apple II оправдывали себя.

🔸Быстрый закат
Несмотря на ~700 тыс. продаж, Lotus 1-2-3, а затем и Excel быстро смели VisiCalc с пьедестала.

Пощупать версию VisiCalc от 1981 года можно здесь.

Это новая рубрика #история_данных, время от времени буду заниматься цифровой археологией и делиться с вами тем, что мне самому интересно. Например, первые табличные редакторы, к которым мы еще вернемся 🔜
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍621
Небольшая хитрость в DataLens

Бывает, что в чарте необходимо отобразить показатель только на определенном временном отрезке — например, дать прогноз на основе текущего факта.

Допустим, у нас датасет с данными по дням, менять который нам некогда. Прогноз высчитывается уже в DataLens по формуле и хранится в показателе forecast. Если просто забросить показатель на ось Y, то мы получим лишний столбец в прошедших месяцах, а он нам не нужен. Благо, есть вычисляемые поля.

if(month(max([date])) = month(today()), [forecast], null)


Создаем новое поле, в котором возвращаем null, если месяц уже прошел и forecast, если это текущий месяц. Поскольку в чарте мы группируем данные по месяцам, то в формуле агрегируем date, чтобы не получить ошибку.

Готово, теперь прогноз отображается только для текущего месяца. На чарте мы видим, что расстояние между месяцами стало больше из-за столбца, который не прорисовывается, но приходится чем-то жертвовать.

В целом, такой подход можно использовать с разными условиями и не только под прогноз. Например, можно показывать рост/падение (YoY, MoM) только для завершённых периодов или выделять текущий месяц/квартал в отчете.

#datalens
🔥87👍4
SQL-песочницы

Раньше я уже делился одной из песочниц, довольно простой в использовании, но не идеальной. Во-первых, в ней на выбор всего три СУБД — MySQL, PostgreSQL и SQLite. Довольно скромный набор. Также приходится разделять по разным окнам запросы на создание таблиц и на выборку данных. Ну и вывод результата не очень компактный, как по мне, особенно при нескольких селектах. Поэтому расскажу про аналоги, которыми пользовался:

SQLize Online — удобная песочница с большим выбором СУБД, приятной темной темой, возможностью пошерить код, выбрать размер кегля, загрузить скрипт из файла. В целом, все по делу и удобно.

db<>fiddle — этой песочницей я пользуюсь чаще всего, тут многое меня радует.
🔹 можно разделить код на ячейки, при этом если вы скопировали большой кусок, то просто вставляете его в ячейку и сплитуете по кнопке в меню
🔹компактный и удобный вывод
🔹чтобы поделиться кодом просто копируем ссылку
🔹можно подсветить нужную ячейку

Не хватает только времени выполнения, как в db-fiddle.com, но это можно посмотреть в плане запроса.

Если пользуетесь удобными SQL-песочницами, делитесь ссылками в комментариях ⬇️

#sql
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥133👏2
При трудоустройстве предоставляют фирменную кепку и трубку. После прохождения испытательного срока – в напарники выдают Ватсона.
😁22🤣6👍1🤝1
В продолжение темы SQL-песочниц.

Если вам хочется попробовать синтаксис ClickHouse 😆, но поднимать, разворачивать и заполнять тестовыми данными вы ничего не хотите, то существует песочница для ClickHouse. Выполнять в ней можно только SELECT-запросы, но чтобы опробовать некоторые функции ClickHouse, коих там тьма тьмущая, этого уже будет достаточно. А потренироваться есть с чем, поскольку тут множество таблиц разного размера c миллиардами строк.

Кстати, ранее я оставлял список бесплатных курсов, среди которых есть несколько по 😆
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥136👾41
Забежал в филиал Сбера обновить паспортные данные. Сначала хотел привязать ГУ, но выяснил у оператора, что это не гарантирует обновление данных о месте регистрации, поэтому привязывать не стал. Девушка с планшетом быстро внесла все необходимые изменения, а потом активно мне рассказывала, что вот можно вписаться в какой-то их пенсионный проект (мне всего 32 😎) и показывала условия в планшете.

Смотрю на я экран планшета и вижу, что как только она начинает говорить – всплывает небольшой попап с надписью «Copilot слушает».

Ну речевая аналитика не новинка, в телефониях это давно уже используется, но при живом обслуживании клиентов вижу такое впервые. Как скоро его добавят на командные синки для анализа эффективности работы команд и оценки софт-скиллов сотрудников? Вопрос времени.

Но есть ещё один момент. Почему Copilot слушает, а не GigaChat?

P.S. Вроде бы команда AI ассистента оператора контактного центра называется CoPilot, но это не точно
Please open Telegram to view this post
VIEW IN TELEGRAM
👾1053
Норм или стрём?

Хочу кое-что понять про рынок труда. Представьте, вы проживаете в Санкт-Петербурге и только что получили высшее образование в профильной или смежной к аналитике данных области. Вы заходите на hh и видите эту вакансию. Стали бы вы откликаться на неё?

Что послужило причиной почти 900 откликов? Удаленка? ДМС? Массажное кресло и душ?

Буст вакансии?

Или тот факт, что не требуется опыт?

Или среди выпускников такая высокая конкуренция?

Или мы в Москве в конец о***ли?

Что происходит?
5🤯11😁6😱54🤬21