DevOps
23.9K subscribers
1.26K photos
161 videos
15 files
1.1K links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥полезные ит-каналы

https://t.me/Golang_google - Golang программирование

@golangl - golang chat

@GolangJobsit - golang channel jobs

@golang_jobsgo - jobs

РКН: clck.ru/3FmvZA

#VRHSZ
Download Telegram
❤20🔥11👍2👎2
Уязвимость в Git, допускающая выполнение кода при клонировании из вредоносного Git-репозитория

Опубликованы корректирующие выпуски распределённой системы управления исходным кодом Git 2.56.1, 2.55.1, 2.54.1, 2.53.1, 2.52.1, 2.51.3 и 2.50.2, в которых устранено 6 уязвимостей. Наиболее опасная уязвимость (CVE-2026-111760) позволяет добиться выполнения кода при применении команды git clone в режиме --recurse-submodules с репозиториями, подконтрольными атакующему.

Полный текст:
https://opennet.ru/66669/
https://opennet.me/66669/
👍7❤1👎1
Forwarded from Rust
AWS выпустила эмулятор своих API. Можно гонять тесты без аккаунта AWS

AWS Emulator поднимает локальный HTTPS-эндпоинт. Перенаправляете на него AWS CLI или SDK и запускаете интеграционные тесты на ноутбуке или в CI. Эмулятор сохраняет состояние созданных ресурсов, поэтому можно проверить целый сценарий: создать ресурс, обновить его и прочитать результат следующим запросом.

На Linux есть пакеты DEB и RPM, на macOS и Windows эмулятор запускается через Docker. Для Rust есть встроенный режим: каждый тест может получить изолированный экземпляр прямо внутри своего процесса, без отдельного сервера и настройки TLS.

Покрытие зависит от сервиса и операции. Лучше всего воспроизводятся вызовы управления ресурсами: создание, чтение настроек, обновление и удаление. AWS сравнивает ответы эмулятора с реальным облаком и публикует результаты для каждого релиза.

https://github.com/aws/aws-emulator
❤8👍2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Большинство платформ работают на Kubernetes.

Так что не игнорируйте его изучение)
❤7👍1🔥1😁1
Forwarded from Golang
👣 Как в Go посчитать миллион уникальных ключей в 16 КБ

Обычное множество из миллиона 8-байтных строк в примере у статье занимает около 64 МБ. Если нужно лишь оценить число уникальных строк, HyperLogLog укладывается примерно в 16 КБ при стандартной ошибке около 0,8%. Он оценивает количество по редким последовательностям нулей в хешах. Повтор той же строки даёт тот же хеш. Можно объединить сводки с нескольких серверов и оценить общую аудиторию без двойного подсчёта посетителей.

Для другого вопроса, «есть ли такой ключ в базе?», подойдёт фильтр Блума. Ответ «точно нет» позволяет пропустить запрос к БД, а «возможно, есть» требует проверки. Для того же миллиона ключей фильтр с 1% ложных срабатываний занимает 1,24 МБ. В Go-библиотеке unsure один хеш выбирает блок на 512 бит и позиции внутри него. Проверка укладывается в одну кеш-линию CPU. В бенчмарке автора поиск отсутствующего ключа занял 9 нс против 48 нс у bits-and-blooms.

Count-Min Sketch оценивает, сколько раз встретился конкретный ключ. Коллизии могут завысить счётчик, и допустимая абсолютная ошибка растёт вместе с общим числом событий. Поэтому для частого URL оценка может быть приемлемой, а для редкого та же ошибка перекроет весь реальный счётчик. Если нужен сам список самых популярных URL, есть Top-K. В примере автора сводка на тысячу позиций занимает около 360 КБ и лучше работает, когда лидеры заметно опережают остальные элементы.

T-Digest оценивает p99 задержки по компактной сводке. Близкие замеры объединяются в группы, причём у краёв распределения группы меньше. В примере из статьи для миллиона замеров достаточно 8 КБ вместо 8 МБ исходных float64. Погрешность здесь измеряется по рангу: оценка p99 соответствует примерно диапазону от p98,97 до p99,03, а разница в миллисекундах зависит от распределения задержек.

Статья с кодом, схемами и бенчмарками: https://antonz.org/probabilistic-data-structures/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤1
Как Git работает изнутри: интерактивный гайд для разработчиков

Нашёл подробное руководство Software Atlas, которое объясняет устройство Git на уровне объектов, хешей и указателей.

Обычно мы используем commit, merge, rebase и reset, но редко задумываемся, что именно происходит внутри .git.

Например, Git хранит коммиты как снимки состояния проекта, а не просто списки изменений. При этом неизменённые файлы не дублируются, а переиспользуются через ссылки на существующие объекты.

В руководстве подробно разбираются:

- blob, tree, commit и хранение объектов по хешам.
- Как устроены HEAD, ветки и staging area.
- Почему rebase создаёт новые коммиты с другими хешами.
- Чем отличаются reset, restore и revert.
- Как восстановить потерянные коммиты через reflog.
- Как работают packfiles, сборка мусора и SHA-256.

Особенно понравилась практическая часть. Можно самостоятельно исследовать внутренности репозитория:


git cat-file -p HEAD
git ls-tree -r HEAD
git ls-files --stage
git reflog


Внутри 14 разделов, 8 интерактивных визуализаций и примеры с реальным выводом команд. Есть даже разбор вычисления Git-хешей на Go и JavaScript.

После такого руководства rebase и reset --hard становятся гораздо понятнее, потому что начинаешь видеть, какие объекты создаются и куда перемещаются указатели.

https://software-atlas.haiduc0147.dev/t/git-internals
👍5⚡2❤1
🤣20❤3🤔2
800 цифр π в нескольких строках C

Небольшая программа печатает 800 цифр числа π. В ней используются целочисленная арифметика и алгоритм последовательной генерации цифр, поэтому код обходится без библиотек для вычислений с плавающей точкой.

Несколько операций над целыми числами превращаются в очередную цифру. Такой пример удобно разбирать пошагово: что хранится в промежуточных значениях, как они обновляются и когда можно вывести цифру.
❤4👍2🔥2🌚1
Как `free()` в C узнаёт, сколько памяти освобождать, если мы не передаём размер?

Когда вызываем malloc(1024), получаем указатель на выделенную память. Но при освобождении передаём только адрес:


void *ptr = malloc(1024);
free(ptr);


Откуда free() знает, сколько байт нужно освободить?

В glibc malloc перед возвращаемым указателем обычно находится скрытый заголовок блока памяти (`malloc_chunk`). В нём хранится размер блока и служебные флаги аллокатора.

Три младших бита поля размера используются для флагов, поскольку размеры блоков выровнены.

Когда вызывается free(ptr), glibc по адресу указателя находит метаданные и определяет размер выделенного блока.

Проверить доступный размер можно через GNU-специфичную функцию malloc_usable_size():


#include <stdio.h>
#include <stdlib.h>
#include <malloc.h>

int main(void) {
void *ptr = malloc(1024);

if (!ptr) return 1;

printf("Requested: 1024\n");
printf("Usable: %zu\n",
malloc_usable_size(ptr));

free(ptr);
return 0;
}


Иногда malloc_usable_size() возвращает больше запрошенных 1024 байт. Это связано с выравниванием и внутренней организацией памяти.

При этом функция показывает доступный размер блока, а не обязательно размер, который изначально запросила программа.

Интересный нюанс: стандарт C не определяет, как именно malloc хранит размеры блоков. Другие аллокаторы могут использовать совершенно иную организацию метаданных.

И ещё: free() не обязательно сразу возвращает память операционной системе. Часто она остаётся у аллокатора для повторного использования.
👍3🥰2