Сохранёнки программиста
6.44K subscribers
1.29K photos
59 videos
10 files
2.03K links
Заметки и ссылки на будущее, чтобы изучить когда будет время.

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/med
Download Telegram
🖥 Как найти коммит, после которого начал падать тест

На прошлом релизе тест проходил. На текущей ветке падает. Между ними десятки коммитов. Если сбой воспроизводится одной командой, перебор можно поручить Git.

git bisect start
git bisect bad HEAD
git bisect good v1.8.0
git bisect run pytest -q tests/test_checkout.py
git bisect reset


Git возьмёт коммит из середины диапазона, запустит тест и сузит поиск по коду завершения. Когда найдёт первый плохой коммит, выведет его хеш. git bisect reset вернёт вас на исходную ветку.

Перед запуском проверьте команду на обеих границах. Если на старом теге теста ещё нет или проект не собирается, Git может принять ошибку запуска за искомый сбой. Для таких коммитов можно вернуть код 125 из проверочного скрипта, и bisect их пропустит.

Документация Git
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 Почему 200 мелких запросов могут нормально работать в SQLite

На ревью увидели запрос внутри цикла и предложили собрать всё в один JOIN. Для отдельного сервера базы это часто хорошая идея: каждый запрос может означать ещё одну поездку по сети.

SQLite обычно работает внутри самого приложения. Запрос передаётся вызовом функции. Отдельного сетевого обмена для каждой строки здесь нет. Команда SQLite приводит пример Fossil: при построении страницы с историей изменений приложение может выполнить порядка 200 SQL-запросов.

Это даёт свободу оставить несколько простых запросов, когда с ними код понятнее. Смотрите на время построения страницы и работу самих запросов. Если каждый из них заново сканирует большую таблицу, отсутствие сети ситуацию не спасёт.

Разбор команды SQLite на примере Fossil
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 Как одним вызовом curl увидеть, где задержался ответ

Запрос занял секунду. Чтобы понять, где она ушла, попросите curl вывести время нескольких этапов.

curl -sS -o /dev/null \
-w 'DNS: %{time_namelookup}s\nTCP: %{time_connect}s\nTLS: %{time_appconnect}s\nПервый байт: %{time_starttransfer}s\nВсего: %{time_total}s\n' \
https://example.com/


Все отметки идут от начала запроса. Например, если TCP показывает 0,08, а TLS — 0,15, между ними прошло около 70 мс. Разница между первым байтом и полным временем показывает, сколько заняла оставшаяся передача ответа.

Если первый байт приходит поздно, это повод посмотреть, что происходит после соединения. По одному этому числу время работы сервера отдельно от сети не определить.

Параметры --write-out в руководстве curl
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 Как сравнить две команды, если первый запуск всегда медленнее

Два инструмента обрабатывают один файл. В первый раз команда читает данные с диска, а при повторе часть данных уже может лежать в кеше ОС. Один запуск каждой команды легко даст случайного победителя.

Для сравнения повторных запусков в hyperfine можно задать прогрев:

hyperfine --warmup 3 --runs 10 \
'gzip -c data.json > /dev/null' \
'pigz -c data.json > /dev/null'


hyperfine сначала прогонит каждую команду три раза для прогрева, затем выполнит десять замеров. В этом примере вывод уходит в /dev/null, поэтому время записи архива на диск в сравнение не попадает.

Если важно, как быстро команда отработает при первом запуске, сделайте для него отдельный тест. Уберите прогрев и задайте одинаковое начальное состояние перед каждым замером. У hyperfine для этого есть --prepare.

Руководство hyperfine
Please open Telegram to view this post
VIEW IN TELEGRAM
🗃 Как выбрать последний заказ каждого клиента в PostgreSQL

Для отчёта нужна одна строка на клиента, причём из неё надо взять и дату, и номер заказа. С DISTINCT ON можно выбрать всю нужную строку за один запрос.

SELECT DISTINCT ON (customer_id)
customer_id, id, created_at
FROM orders
ORDER BY customer_id, created_at DESC, id DESC;


DISTINCT ON оставляет первую строку в каждой группе, поэтому customer_id стоит в начале ORDER BY. Если даты совпадут, победит заказ с большим id. Если дата может быть NULL, добавьте NULLS LAST после created_at DESC. Документация PostgreSQL

@prog_stuff
📉 Как GitHub сократил медианное время перехода между задачами с 1,2 до 0,7 секунды

GitHub стал повторно использовать данные задач, которые уже есть в браузере. Если данные есть в кеше, сервер отдаёт облегчённую страницу, а React отрисовывает задачу из сохранённых данных.

Код редактора загружается при входе в режим редактирования. В замерах GitHub медиана перехода снизилась примерно с 1200 до 700 мс, а 90-й перцентиль — с 2400 до 2100 мс.

Если разбираете похожий экран, запишите первое открытие и возврат на уже открытую страницу. На втором хорошо видно, что приложение загружает повторно. Замеры и архитектура GitHub Issues

@prog_stuff
⏳ Что проверить, если SQLite сразу возвращает database is locked

Два фоновых задания записывают данные почти одновременно. Одно заканчивает транзакцию, второе получает ошибку. Если запись обычно занимает доли секунды, можно дать второму соединению время подождать.

PRAGMA busy_timeout = 2500;


Задайте таймаут на каждом соединении, которому он нужен. Если ошибка повторяется даже с ожиданием, посмотрите, сколько времени проходит между BEGIN и COMMIT. Например, сетевой вызов внутри транзакции может удерживать блокировку на всё время ответа. Как SQLite обрабатывает ожидание блокировки

@prog_stuff
🔎 Как искать по пачке логов, если в именах файлов есть пробелы

Файл называется logs/old run.log. При передаче имён через обычный xargs путь может распасться на два аргумента. У find есть вариант, который передаёт найденные пути напрямую:

find logs -type f -name '*.log' \
-exec grep -nH -- 'timeout' {} +


{} + передаёт пути отдельными аргументами и собирает их в пачки на один вызов grep. -nH выводит имя файла и номер строки для каждого совпадения. Руководство GNU Findutils

@prog_stuff
📂 Как читать в DuckDB CSV с разным порядком столбцов

В октябрьской выгрузке столбцы идут как id, amount, в ноябрьской — amount, id, currency. Укажите DuckDB, что столбцы нужно сопоставлять по именам.

SELECT id, amount, currency
FROM read_csv(
['october.csv', 'november.csv'],
union_by_name = true
);


У октябрьских строк currency будет NULL. Если один и тот же столбец в двух выгрузках назван по-разному, переименуйте его перед объединением. Рецепт импорта CSV в DuckDB

@prog_stuff
🐳 Как в Docker Compose дождаться, пока Postgres начнёт принимать подключения

Приложение стартует, видит контейнер базы и сразу пробует подключиться. Postgres ещё поднимается, и приложение падает при первом запросе. Добавьте базе проверку готовности и дождитесь её результата через depends_on.

services:
db:
image: postgres:18
environment:
POSTGRES_PASSWORD: local-dev
healthcheck:
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U postgres"]
interval: 5s
timeout: 3s
retries: 10

api:
build: .
depends_on:
db:
condition: service_healthy


Флаг -h 127.0.0.1 заставляет pg_isready проверять подключение по TCP. Временный сервер при инициализации официального образа доступен только через локальный сокет. Скрипт запуска образа PostgreSQL

Если API нужны готовые таблицы, дождитесь и завершения миграций. Условия запуска сервисов в Docker Compose

@prog_stuff
🧩 Что посчитает COUNT после LEFT JOIN

У пользователя 42 нет заказов. Обе таблицы связаны через LEFT JOIN. Что вернут два счётчика?

SELECT
COUNT(*) AS rows_found,
COUNT(o.id) AS orders_found
FROM users u
LEFT JOIN orders o ON o.user_id = u.id
WHERE u.id = 42;


👍 1, 0
👀 0, 0
🔥 1, 1

Ответ: 1, 0. LEFT JOIN сохраняет строку пользователя, а поля заказа заполняет NULL. COUNT(*) считает эту строку, COUNT(o.id) считает только непустые идентификаторы заказов.

Агрегатные функции PostgreSQL

@prog_stuff
👍2
🔀 Как слить несколько отсортированных логов без общей сортировки

Возьмите heapq.merge, если нужно собрать одну ленту из нескольких логов, уже отсортированных по времени. Он выдаёт события по порядку и читает следующие строки по мере необходимости.

from heapq import merge

api = [(2, "GET /feed"), (8, "POST /order")]
worker = [(1, "job started"), (5, "job finished")]

for timestamp, event in merge(api, worker, key=lambda row: row[0]):
print(timestamp, event)


На выходе время пойдёт в порядке 1, 2, 5, 8. Вместо списков можно передать генераторы, которые читают файлы построчно. Проверьте, что каждый источник отсортирован по тому же ключу, по которому сливаете записи. Документация heapq.merge

@prog_stuff