Как выжить на первой работе в Data Analysis

1. Всегда обращай внимание на детали.
Никогда не копируй-вставляй то, что не до конца понимаешь (включая AI-генерированный код). Ни SQL-запрос. Ни число из письма. Ни фильтр от коллеги.
Если ты это вставил — ты за это отвечаешь. И если оно неверное, виноват тоже ты. Следи за данными, которые используешь, за информацией, которую получаешь, и за всем, что попадает в отчёт. Если не уверен — лучше не включай.

2. Не делай предположений.
Не уверен в чём-то? Не гадай. Не «кажется». Не «скорее всего». Не «должно быть».
Спрашивай. Проверяй. И потом проверяй ещё раз. Предположения могут похоронить тебя быстрее лавины.

3. Проси помощи.
Это не одиночный спорт. Не понимаешь логику? Не знаешь, как написать join? Застрял на графике? Проси помощи. Не будь умником, который пытается всё сделать сам и ломает прод в пятницу в 18:00. Команде проще ответить на «глупый вопрос», чем чинить «глупую ошибку». Команда для этого и есть.

4. Всегда считай, что твой босс умнее тебя.
И не пытайся, повторяю, не пытайся «пускать пыль в глаза». Босс видел больше отчётов, ошибок и оправданий, чем ты можешь представить.
Если ты не уверен — говори прямо: «я не знаю» или «мне нужно проверить». Честность ценится гораздо выше попыток что-то скрыть.

5. Прокачивай технические навыки.
Учись быстро строить графики и отчёты. На лету. Под давлением.
В первые месяцы скорость + точность = доверие. Прокачивай SQL, Excel, Python, PowerPoint и т.д. Если стейкхолдеру нужен быстрый взгляд, а ты три часа «красиво оформляешь» — ты уже проиграл. Сначала скорость исследования, потом — полировка.

👉 @SQLPortal

В PostgreSQL можно предотвращать пересечения по людям, комнатам, автомобилям, оборудованию, книгам и любым другим ресурсам прямо на уровне данных.

Оператор && проверяет пересечение диапазонов — как числовых, так и диапазонов дат/времени. Чтобы запретить пересекающиеся интервалы, используется EXCLUDE constraint: например, можно запретить пересечения периодов с одинаковым user_id. В результате один пользователь (или комната, смена, машина — в зависимости от конфигурации) не сможет быть забронирован дважды на одно и то же время.

Для производительности используйте GiST-индекс. А поскольку здесь комбинируется оператор равенства с range-сравнением, понадобится расширение btree_gist.

Почему именно GiST?
B-tree работает только с <, =, > и их комбинациями. Понятия пересечения диапазонов у него нет. GiST (Generalized Search Tree) изначально проектировался для диапазонов, геометрии, full-text поиска и других более сложных типов данных.

Расширение btree_gist позволяет смешивать операторы равенства и range-операторы в одном constraint’е.
На что стоит обратить внимание:

• GiST тяжелее по записи, чем B-tree. Для средних и крупных таблиц с умеренной нагрузкой это обычно простое и практичное решение. Но при большом количестве UPDATE/INSERT нужно учитывать дополнительные расходы на обслуживание индекса.
• Создание такого constraint’а потребует блокировки таблицы на время построения.
• Если используются partitioned tables, заранее проверьте, как constraint взаимодействует с вашей схемой партиционирования.

Однажды я сам того не ожидая построил календарь…
Календари сложнее, чем кажутся. Это одновременно задача хранения дат, работы с часовыми поясами, отображения данных и взаимодействия с человеческими привычками.

Один из наших клиентов регулярно перемещался между часовыми поясами — между домом и рабочими поездками — и хотел, чтобы календарь вел себя строго определённым образом. Проблема была в том, что система всегда отображала время согласно настройкам организации. Это лишь один пример того, как календари быстро превращают seemingly simple trade-offs в реальные архитектурные проблемы.

Если проверка конфликтов находится только в application logic, вы фактически полагаетесь на один или несколько codebase’ов, которые должны синхронно предотвращать double-booking.
Когда это правило переносится в базу данных, оно становится жёстким и обязательным.
И здесь важно решить: действительно ли вам нужна такая строгость?

Большинство персональных календарных приложений допускают пересечения и оставляют пользователю право самому управлять конфликтами.

Но представьте сервисный выезд: техник физически не может находиться в двух местах одновременно.
В таких сценариях данные должны быть строгими. ПО обязано предотвращать двойное бронирование ресурсов, которые невозможно использовать параллельно.

Когда реализуете защиту от double-booking, внимательно продумывайте уровни ограничений и архитектурные trade-offs, чтобы понять, должна ли именно база данных быть источником этого правила.
Календари и так достаточно хаотичны.

Там, где это возможно — пусть хаос ограничивает PostgreSQL.

👉 @SQLPortal

База данных имеет право выполнять части SQL-выражения WHERE в любом порядке.

Так как же избежать ошибок, если известно, что выражение может выбросить ошибку,

например, извлечение квадратного корня из отрицательного числа?

Используй CASE, чтобы выполнять вычисление только для допустимых значений:

WHERE CASE 
          WHEN col > 0 THEN SQRT(col) 
          ELSE ... 
      END ...

👉 @SQLPortal

Шпаргалка по SQL для пользователей SQL Server

1. Типы данных:

⏩Точные числа: int, decimal, money, и т. д.
⏩Приблизительные числа: float, real
⏩Дата и время: datetime, timestamp
⏩Строки char, varchar, text и Unicode версии

2. Функции работы с датой: GETDATE(), YEAR(), DATEADD(), DATEDIFF() и др.

3. Функции работы со строками: LEN(), LEFT(), RIGHT(), REPLACE(), SUBSTRING(), UPPER(), LOWER()

4. Математические функции: ABS(), ROUND(), CEILING(), FLOOR(), POWER(), SQRT()

5. Агрегатные функции: SUM(), AVG(), MAX(), MIN(), COUNT()

6. Создание объектов базы данных:

⏩Хранимые процедуры: CREATE PROCEDURE
⏩Триггеры: CREATE TRIGGER
⏩Представления (view): CREATE VIEW
⏩Индексы: CREATE INDEX
⏩Функции: CREATE FUNCTION

7. Конвертация типов: CAST(), CONVERT()

8. Ранжирование и оконные функции: RANK(), DENSE_RANK(), ROW_NUMBER()

👉 @SQLPortal

Если ты новичок в SQL — это просто находка

Это сайт, который анимирует выполнение SQL-запросов.

Ты вставляешь SQL, жмёшь visualize — и видишь, как твой запрос "оживает": шаг за шагом показывает, как SELECT вытягивает данные, как JOIN соединяет таблицы, как фильтруются строки и т.д.

👉 @SQLPortal

В Oracle AI Database 26ai можно проверять сходство строк с помощью функции:

FUZZY_MATCH(<algo>, <str1>, <str2>)

По умолчанию результат масштабируется от 0 до 100 (0 — нет совпадения, 100 — полное совпадение).

Доступные алгоритмы:
Levenshtein
Jaro-Winkler
Bigram/Trigram
Longest common substring

Попробовать можно прямо на FreeSQL

👉 @SQLPortal

Давайте разберём логическую репликацию Postgres с помощью pg_recvlogical. Это CLI-инструмент, который поставляется вместе с Postgres и позволяет стримить изменения логической репликации в stdout. Это простой способ понять, какие данные доступны через логическую репликацию, чтобы вы могли строить свои собственные пайплайны «прямо из Postgres».

Небольшое предупреждение: это демонстрационный пример. В продакшене лучше использовать более надёжный CDC-инструмент, который умеет обрабатывать повторы, обеспечивать устойчивость, эволюцию схем и т.д. Но pg_recvlogical отлично подходит, чтобы увидеть сам механизм в действии. Также мы собираемся выполнить команды, которые изменяют базу данных. Убедитесь, что у вас тестовая база, а не продакшен, или используйте Docker, чтобы поднять временный экземпляр Postgres.

Теперь к коду:
Чтобы запустить Docker Postgres, готовый к логической репликации, сделайте следующее:
Запустите Postgres в Docker-контейнере с wal_level=logical:

docker run --name pg-test -e POSTGRES_PASSWORD=secret -d -p 5432:5432 postgres:latest -c wal_level=logical

Подключитесь к базе (пароль — secret) и создайте базу, таблицу и репликационные слоты:

docker exec -it pg-test createdb -U postgres mydb
docker exec -it pg-test psql -U postgres mydb
CREATE TABLE orders (
    id SERIAL PRIMARY KEY,
    product TEXT,
    quantity INTEGER
);

SELECT pg_create_logical_replication_slot('my_slot', 'test_decoding');

В другом терминале запустите pg_recvlogical, чтобы стримить изменения:

docker exec -it pg-test pg_recvlogical -U postgres -d mydb --slot=my_slot --start -f -

В терминале, где вы подключены к mydb, вставляйте и обновляйте данные. Выполняйте каждую команду по очереди и наблюдайте поток изменений от pg_recvlogical:

INSERT INTO orders (id, product, quantity) VALUES (1, 'Widget', 3);
UPDATE orders SET quantity = 4 WHERE id = 1;
DELETE FROM orders WHERE id = 1;

Вы увидите изменения в реальном времени:

BEGIN 742
table public.orders: INSERT: id[integer]:1 product[text]:'Widget' quantity[integer]:3
table public.orders: UPDATE: id[integer]:1 product[text]:'Widget' quantity[integer]:4
table public.orders: DELETE: id[integer]:1
COMMIT 742

Это, по сути, то, как работают все CDC-инструменты «под капотом»: они подключаются к логическому репликационному слоту и декодируют изменения WAL в поток событий. Конечно, для продакшен-пайплайнов нужно больше — обработка ошибок, повторы, устойчивость, эволюция схем и т.д., но это и есть основной механизм.

👉 @SQLPortal

MICROSOFT отказала одному парню — и он на вайб-кодинге собрал свой Excel
Подался в Microsoft, получил отказ и решил с нуля написать терминальный просмотрщик таблиц.

Что он умеет:
- открывает и рендерит .xlsx и .csv прямо в терминале
- навигация полностью с клавиатуры — мышка не нужна
- работает с большими датасетами без лагов, которыми страдает современный Excel
- форматирование ячеек, формулы и сортировка работают прямо в CLI
- достаточно лёгкий, чтобы мгновенно запускаться почти на любой машине

Без ribbon-интерфейса, без раздутого UI, без веб-версии, которая грузится по 10 секунд.
Просто быстрый инструмент для таблиц, который выглядит как софт из 80-х, но работает лучше большинства современных альтернатив.

Первый пользователь — аналитик данных — сказал, что уже много лет считает переход на ribbon-интерфейс ударом по хардкорным пользователям.

Другой пользователь написал, что проект напоминает Lotus 1-2-3 времён DOS, только намного современнее.
Современный Excel — это 90% функций, которыми никто не пользуется, и 10% того, что действительно нужно опытным пользователям.

Этот парень выкинул всё лишнее, оставил только эти 10% и сделал всё быстрым.

https://github.com/bgreenwell/xleak

👉 @SQLPortal

SQL-Translator – визуализируй SQL-запросы мгновенно!

Устал разбираться в сложных SQL-запросах? SQL-Translator преобразует их в наглядные схемы, помогая быстро понять структуру данных

🟡 Парсит SQL-запросы и визуализирует их
🟡 Поддерживает PostgreSQL, MySQL, SQLite и другие БД
🟡 Работает прямо в браузере – ничего устанавливать не нужно!

Попробуй сам: здесь

👉 @SQLPortal

Кто-то только что выложил в open-source проект, который тихо ломает стандартную модель ценообразования в ИИ.

800 млн токенов инференса в месяц бесплатно.

14 провайдеров. Один унифицированный эндпоинт. Локальный запуск.

Без подписок. Без платных стен. Без “обновите тариф, чтобы продолжить”. Без привязки к одному вендору и экосистеме.

Это не просто более дешёвый доступ к ИИ — это штука, которая заставляет пересмотреть сам факт того, почему базовый инференс вообще был платным.

Это выглядит не как релиз продукта, а как сдвиг в том, как должен работать доступ к ИИ.

Репозиторий👇

https://github.com/tashfeenahmed/freellmapi

👉 @SQLPortal

SQL-запросы могут сортировать по невыбранным колонкам, например:

SELECT a FROM t ORDER BY b

Но так было не всегда!

Markus Winand проводит обзор истории ORDER BY, рассматривая:
- позиционные ссылки (positional references)
- невыбранные колонки (non-selected columns)
- выражения (expressions)
- порядок сортировки NULL-значений (null ordering)
- подзапросы (subqueries)

👉 @SQLPortal

Парень создал систему поиска работы при помощи Claude Code

Которая в итоге отправила более 700 заявок и помогла найти работу. 🥳

Он выложил её в опенсорс.

Она автоматизирует весь процесс: сканирует страницы вакансий разных компаний, адаптирует твоё резюме под каждую конкретную позицию и даже автоматически заполняет формы за тебя. В репозитории есть:

- 14 различных режимов (оценка, парсинг, PDF и т.д.)
- терминальный dashboard на Go
- генерация PDF-резюме, оптимизированного под ATS, через Playwright
- уже более 45 настроенных компаний (Anthropic, OpenAI, ElevenLabs, Stripe…)

👉 @SQLPortal

Real-Time Dashboard для PostgreSQL прямо в терминале: https://github.com/mujib77/cosmo

Просматривай внутреннее состояние базы данных напрямую: запросы, записи, блокировки и подключения — всё в одном интерфейсе.

TUI для терминала, написанный на Go, который подключается к Postgres и показывает, что происходит внутри базы данных. Он читает системные представления вроде pg_stat_activity и pg_stat_database, обновляя данные каждые две секунды, и в реальном времени отображает метрики: активные запросы, cache hit rate, скорость записи WAL и ожидания блокировок.

Интерфейс разделён на четыре панели:
- Overview
- Queries
- WAL/MVCC
- Locks

👉 @SQLPortal

🚫 НИКОГДА не используй COUNT для проверки существования
Если тебе нужно просто проверить, существует ли конкретный элемент в данных, не используй COUNT() с фильтром (WHERE).

SELECT COUNT(*)
FROM users
WHERE email = 'http://thisemaildontexist.com'

Проблема в том, что COUNT(*) отвечает на другой вопрос. Он считает количество строк, которые удовлетворяют условию, хотя тебе нужно только знать, есть ли хотя бы одна.
Когда ты используешь COUNT(*), база данных может просканировать все подходящие строки, чтобы вычислить итог. Даже если она найдёт одно совпадение сразу, она может продолжить работу, потому что ты запросил полный подсчёт. Это лишняя работа при больших таблицах.

Вместо COUNT() используй EXISTS

SELECT EXISTS (
 SELECT 1
 FROM users
 WHERE email = 'http://thisemaildontexist.com'
);

С EXISTS база данных остановится, как только найдёт первое совпадение. Без подсчёта. Без лишнего сканирования.

👉 @SQLPortal

Чистые данные — это основа надёжной аналитики. SQL упрощает работу с NULL-значениями, дубликатами, выбросами, проблемами форматирования, опечатками и несогласованными значениями перед анализом или построением отчётности. Хорошие навыки очистки данных повышают точность и качество принимаемых решений. #SQL #DataAnalytics #DataCleaning #DataScience

👉 @SQLPortal