DevOps
23.9K subscribers
1.26K photos
161 videos
15 files
1.1K links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥полезные ит-каналы

https://t.me/Golang_google - Golang программирование

@golangl - golang chat

@GolangJobsit - golang channel jobs

@golang_jobsgo - jobs

РКН: clck.ru/3FmvZA

#VRHSZ
Download Telegram
Rust, который наконец становится понятным 🦀

Давно хочешь выучить Rust, но ownership, borrowing и lifetimes выглядят как отдельный вид боли?

Этот курс проведёт тебя с самого начала до уровня, где ты уже пишешь реальные системные и сетевые программы.

Ты разберёшь:
Ownership → Borrowing → ошибки → коллекции → Generics → Traits → модули → тесты → сетевой код

Никакого бесконечного чтения документации. После каждого урока ты сразу пишешь код, проходишь тесты и решаешь задачу с автопроверкой.

🔥 Rust с нуля
🔥 5–6 часов в неделю
🔥 Практика после каждого урока
🔥 Подойдёт после Python, JavaScript, Java и других языков
🔥 Можно начать сразу

В конце у тебя будет понимание Rust, с которым уже можно писать быстрые backend-сервисы, сетевые приложения и системные утилиты, а не смотреть на borrow checker как на врага.

Пора добавить Rust в свой стек. Начинай курс и пиши первый код уже сегодня: https://stepik.org/a/294885/
❤2🔥2👍1
Forwarded from Machinelearning
🌟 Anthropic выложила систему криптографической верификации инференса моделей

Команда Frontier Red Team опубликовала открытый прототип FlashProve, доказуемого вывода на zkSNARK.

Claude участвовал в разработке - он подобрал способы применить свежие методы из криптографической литературы и написал спецификацию протокола.

Эту технику знают по криптовалютам, где она подтверждает правильность транзакции, не раскрывая её содержимого.


Здесь её используют когда пользователь платит по API за конкретную модель и не может быть полностью уверен, что отвечала именно она.

Например, маршрутизатор способен подставить модель подешевле, а злоумышленник - вмешаться в поток токенов.


🟡 Механика

Поставщик один раз публикует отпечаток весов, который фиксирует их набор, не раскрывая сами веса, и дальше на запросы выдаёт файл с доказательством, что эти самые веса дали такие токены.

Проверяющему нужны отпечаток, запрос и ответ, веса не нужны, заново запускать модель тоже не надо.

🟡 Тесты

Опыт проводили на открытых четырёхбитных весах Llama 4 Maverick объёмом 232 ГБ.

Подготовительная фаза на одном H100 и 24 ядрах CPU заняла около 39 минут, выпущенного отпечатка хватает примерно на 16 млн запросов.

Дальше та же H100 выдаёт доказательства со скоростью около 110 токенов в секунду, одно весит примерно 19 МБ на запрос с окном в 1024 токена.

Проверка обходится без GPU - 17 секунд на 24 потоках процессора, 21 секунда на одном, плюс скачать отпечаток на 6,5 МБ.

Профит по сравнению с существующими открытыми системами получился заметный - VerInf на той же модели выдавал около 0,02 токена в секунду при доказательстве на 93,6 ГБ.


🟡Нюансы

На пакете из 24 запросов доказательства съедают примерно в 72 раза больше времени GPU, чем обычный вывод той же модели на vLLM, а на самой высокой из проверенных нагрузок - до 94 раз.

Одно доказательство подтверждает один выходной токен, окно контекста ограничено 1024 токенами, и до полных контекстов топовых моделей технологию ещё предстоит попилить.

Гарантия относится к целочисленной версии и к режиму greedy decoding, когда модель каждый раз берёт самый вероятный следующий токен, так что ответы с плавающей точкой или с семплированием могут расходиться.

Сами веса доказательство скрывает, а устройство модели нет - проверяющему видно, что перед ним смесь экспертов, и как она устроена.

Кроме кода, в репозитории FlashProve выложено всё, чтобы разобраться в концепте: вводные руководства с разбором устройства системы, инструкция по самостоятельной проверке доказательства, отдельные тексты о том, что именно доказывается и как прячутся веса, спецификация протокола и формата, словарь терминов, замеры и списки известных ограничений и ошибок.

В примерах лежат принятое доказательство, доказательство полного размера и отклонённые, с разбором причин.


📌Лицензирование: Apache 2.0


🟡Статья
🟡Техотчет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #FlashProve #Anthropic
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Почему все переписывают всё на Rust? Объясняю за 60 секунд

В C и C++ память управляется вручную, и около 70% серьёзных уязвимостей в Chrome и Windows связаны именно с ней. Rust решает это через владение: у каждого значения один владелец, ссылки на чтение можно раздавать многим, а на изменение только одну. Всё проверяет компилятор, без сборщика мусора и без потери скорости.

Учим Rust каждый день: https://t.me/rust_code

https://youtube.com/shorts/3b4Ch9Ju8ZA?si=GqRjb05g_HSAnobT

Большой бесплатный курс по Rust - https://www.youtube.com/watch?v=98KlcWVYiXw
👍8🔥8❤2
Forwarded from Golang
🎂 Go исполнилось 17 лет!

10 ноября 2009 года Google впервые публично представила язык Go. Его создали Роб Пайк, Кен Томпсон и Роберт Гризмер.

Несколько интересных фактов:

🐹 Go разрабатывали как ответ на сложности больших C++-проектов и медленную компиляцию.

⚡ Компилятор Go изначально проектировали с упором на скорость сборки.

🧵 Goroutines позволяют запускать тысячи и даже миллионы лёгких конкурентных задач.

📡 Каналы (channels) стали одним из главных инструментов взаимодействия между горутинами.

☁️ Docker, Kubernetes, Prometheus и Terraform написаны на Go.

Сегодня Go используют для облачной инфраструктуры, микросервисов, DevOps-инструментов и высоконагруженных backend-систем.

17 лет, а язык по-прежнему активно развивается.

С днём рождения, Go! 💙

👣Go-папка в честь др!

@Golang_google

#golang
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉15❤8👍5🔥1
Кто в IT платит выше рынка? И какой оффер считается хорошим?

Предлагаем опытным IT-специалистам поделиться мнением о зарплатах и бенефитах в крупных технологических компаниях.

Кто, на ваш взгляд, платит выше рынка?
У кого привлекательнее премии?
Насколько важны ДМС, спорт, питание и другие бонусы при выборе работы?

👉 Поделиться мнением: https://clck.ru/3WNjbv
❤1👍1👎1
👍9❤5
Как понять, что вы получаете максимум от вашего Kubernetes-кластера?

Не спешите с расширением. Возможно, часть доступных мощностей можно использовать эффективнее. Но как это проверить и какие настройки помогут?

13 ноября в 12:00 на вебинаре Академии Deckhouse разберём, как оптимизировать ресурсы кластера и понять, когда без расширения действительно не обойтись.

В программе:
• Vertical Pod Autoscaler: режимы работы и подбор ресурсов для приложений.
• Планировщик Deckhouse Platform: профили и распределение нагрузки.
• Descheduler: когда нужен и как его применять.
• Облако и статика: особенности настройки инструментов.


🎁Среди участников вебинара разыграем ваучер на бесплатное обучение на любом курсе Академии Deckhouse.

Спикер — Алексей Бобылев, архитектор инфраструктурных решений Deckhouse.

👉Регистрируйтесь


Реклама. АО "ФЛАНТ". ИНН 7723661439.
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
👣 Rust не даст тебе написать плохой код: 4 ошибки, которые ловит компилятор

Висячая ссылка, забытый вариант в match, null и гонка данных между потоками. В C и C++ такие баги находят пользователи, а Rust останавливает сборку и показывает ошибку ещё до первого запуска.

Запускаем полный бесплатный курс по Rust для новичков: https://www.youtube.com/playlist?list=PLS7ref2UKTvQ

1 урок Урок 1: введение, установка и первая программа : https://youtu.be/98KlcWVYiXw

2 урок Переменные и типы в Rust: почему x = 6 не скомпилируется: https://youtu.be/7phhK4G02ws
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍4🤔2😁1
❤20🔥11👍2👎2
Уязвимость в Git, допускающая выполнение кода при клонировании из вредоносного Git-репозитория

Опубликованы корректирующие выпуски распределённой системы управления исходным кодом Git 2.56.1, 2.55.1, 2.54.1, 2.53.1, 2.52.1, 2.51.3 и 2.50.2, в которых устранено 6 уязвимостей. Наиболее опасная уязвимость (CVE-2026-111760) позволяет добиться выполнения кода при применении команды git clone в режиме --recurse-submodules с репозиториями, подконтрольными атакующему.

Полный текст:
https://opennet.ru/66669/
https://opennet.me/66669/
👍7❤1👎1
Forwarded from Rust
AWS выпустила эмулятор своих API. Можно гонять тесты без аккаунта AWS

AWS Emulator поднимает локальный HTTPS-эндпоинт. Перенаправляете на него AWS CLI или SDK и запускаете интеграционные тесты на ноутбуке или в CI. Эмулятор сохраняет состояние созданных ресурсов, поэтому можно проверить целый сценарий: создать ресурс, обновить его и прочитать результат следующим запросом.

На Linux есть пакеты DEB и RPM, на macOS и Windows эмулятор запускается через Docker. Для Rust есть встроенный режим: каждый тест может получить изолированный экземпляр прямо внутри своего процесса, без отдельного сервера и настройки TLS.

Покрытие зависит от сервиса и операции. Лучше всего воспроизводятся вызовы управления ресурсами: создание, чтение настроек, обновление и удаление. AWS сравнивает ответы эмулятора с реальным облаком и публикует результаты для каждого релиза.

https://github.com/aws/aws-emulator
❤8👍2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Большинство платформ работают на Kubernetes.

Так что не игнорируйте его изучение)
❤7👍1🔥1😁1
Forwarded from Golang
👣 Как в Go посчитать миллион уникальных ключей в 16 КБ

Обычное множество из миллиона 8-байтных строк в примере у статье занимает около 64 МБ. Если нужно лишь оценить число уникальных строк, HyperLogLog укладывается примерно в 16 КБ при стандартной ошибке около 0,8%. Он оценивает количество по редким последовательностям нулей в хешах. Повтор той же строки даёт тот же хеш. Можно объединить сводки с нескольких серверов и оценить общую аудиторию без двойного подсчёта посетителей.

Для другого вопроса, «есть ли такой ключ в базе?», подойдёт фильтр Блума. Ответ «точно нет» позволяет пропустить запрос к БД, а «возможно, есть» требует проверки. Для того же миллиона ключей фильтр с 1% ложных срабатываний занимает 1,24 МБ. В Go-библиотеке unsure один хеш выбирает блок на 512 бит и позиции внутри него. Проверка укладывается в одну кеш-линию CPU. В бенчмарке автора поиск отсутствующего ключа занял 9 нс против 48 нс у bits-and-blooms.

Count-Min Sketch оценивает, сколько раз встретился конкретный ключ. Коллизии могут завысить счётчик, и допустимая абсолютная ошибка растёт вместе с общим числом событий. Поэтому для частого URL оценка может быть приемлемой, а для редкого та же ошибка перекроет весь реальный счётчик. Если нужен сам список самых популярных URL, есть Top-K. В примере автора сводка на тысячу позиций занимает около 360 КБ и лучше работает, когда лидеры заметно опережают остальные элементы.

T-Digest оценивает p99 задержки по компактной сводке. Близкие замеры объединяются в группы, причём у краёв распределения группы меньше. В примере из статьи для миллиона замеров достаточно 8 КБ вместо 8 МБ исходных float64. Погрешность здесь измеряется по рангу: оценка p99 соответствует примерно диапазону от p98,97 до p99,03, а разница в миллисекундах зависит от распределения задержек.

Статья с кодом, схемами и бенчмарками: https://antonz.org/probabilistic-data-structures/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤1
Как Git работает изнутри: интерактивный гайд для разработчиков

Нашёл подробное руководство Software Atlas, которое объясняет устройство Git на уровне объектов, хешей и указателей.

Обычно мы используем commit, merge, rebase и reset, но редко задумываемся, что именно происходит внутри .git.

Например, Git хранит коммиты как снимки состояния проекта, а не просто списки изменений. При этом неизменённые файлы не дублируются, а переиспользуются через ссылки на существующие объекты.

В руководстве подробно разбираются:

- blob, tree, commit и хранение объектов по хешам.
- Как устроены HEAD, ветки и staging area.
- Почему rebase создаёт новые коммиты с другими хешами.
- Чем отличаются reset, restore и revert.
- Как восстановить потерянные коммиты через reflog.
- Как работают packfiles, сборка мусора и SHA-256.

Особенно понравилась практическая часть. Можно самостоятельно исследовать внутренности репозитория:


git cat-file -p HEAD
git ls-tree -r HEAD
git ls-files --stage
git reflog


Внутри 14 разделов, 8 интерактивных визуализаций и примеры с реальным выводом команд. Есть даже разбор вычисления Git-хешей на Go и JavaScript.

После такого руководства rebase и reset --hard становятся гораздо понятнее, потому что начинаешь видеть, какие объекты создаются и куда перемещаются указатели.

https://software-atlas.haiduc0147.dev/t/git-internals
👍5⚡2❤1
🤣20❤3🤔2
800 цифр π в нескольких строках C

Небольшая программа печатает 800 цифр числа π. В ней используются целочисленная арифметика и алгоритм последовательной генерации цифр, поэтому код обходится без библиотек для вычислений с плавающей точкой.

Несколько операций над целыми числами превращаются в очередную цифру. Такой пример удобно разбирать пошагово: что хранится в промежуточных значениях, как они обновляются и когда можно вывести цифру.
❤4👍2🔥2🌚1
Как `free()` в C узнаёт, сколько памяти освобождать, если мы не передаём размер?

Когда вызываем malloc(1024), получаем указатель на выделенную память. Но при освобождении передаём только адрес:


void *ptr = malloc(1024);
free(ptr);


Откуда free() знает, сколько байт нужно освободить?

В glibc malloc перед возвращаемым указателем обычно находится скрытый заголовок блока памяти (`malloc_chunk`). В нём хранится размер блока и служебные флаги аллокатора.

Три младших бита поля размера используются для флагов, поскольку размеры блоков выровнены.

Когда вызывается free(ptr), glibc по адресу указателя находит метаданные и определяет размер выделенного блока.

Проверить доступный размер можно через GNU-специфичную функцию malloc_usable_size():


#include <stdio.h>
#include <stdlib.h>
#include <malloc.h>

int main(void) {
void *ptr = malloc(1024);

if (!ptr) return 1;

printf("Requested: 1024\n");
printf("Usable: %zu\n",
malloc_usable_size(ptr));

free(ptr);
return 0;
}


Иногда malloc_usable_size() возвращает больше запрошенных 1024 байт. Это связано с выравниванием и внутренней организацией памяти.

При этом функция показывает доступный размер блока, а не обязательно размер, который изначально запросила программа.

Интересный нюанс: стандарт C не определяет, как именно malloc хранит размеры блоков. Другие аллокаторы могут использовать совершенно иную организацию метаданных.

И ещё: free() не обязательно сразу возвращает память операционной системе. Часто она остаётся у аллокатора для повторного использования.
👍3🥰2