bitnet.cpp

Microsoft открыла исходный код высокоэффективного фреймворка для инференса, который позволяет выполнять инференс 1-битных моделей (таких как BitNet b1.58) напрямую на CPU

Фреймворк предоставляет несколько оптимизированных ядер, обеспечивающих быстрый lossless-инференс на CPU. Это ускоряет работу моделей в 1.37–6.17 раза, одновременно снижая энергопотребление до 82.2%, позволяя запускать модели масштабом до 100B параметров на одном CPU.

Официально предоставляется модель с 2B параметрами, готовая к использованию. Поддерживаются различные 1-битные модели, размещённые на Hugging Face.

Также доступны полный пример кода и подробное руководство по использованию — для систем Windows, Linux и macOS.

На видео ниже показана демонстрация работы bitnet.cpp с моделью BitNet b1.58 (3B параметров) на Apple M2.

📁 Language: #Cpp(52.7%), #Python(46.5%)

⭐️ Stars: 15.8k

➡️ Cсылка на GitHub

📱 @git_developer

Tracy Profiler

При разработке игр или крупных приложений часто возникают трудноуловимые проблемы с производительностью. Как только программа начинает тормозить, найти конкретную причину становится задачей уровня "искать иголку в стоге сена" — особенно раздражающе.

Рекомендую отличный open-source инструмент: Tracy Profiler. Он позволяет в реальном времени анализировать производительность приложения с наносекундной точностью и помогает легко выявлять узкие места.

Tracy поддерживает анализ сразу по нескольким направлениям: CPU, GPU, распределение памяти, блокировки и переключения контекста. Также он автоматически связывает скриншоты с захваченными кадрами, предоставляя всестороннее представление о производительности приложения.

🔸Профилирование в реальном времени с точностью до наносекунд — для отслеживания даже мельчайших проблем с производительностью;

🔸Поддержка всех популярных графических API (OpenGL, Vulkan, DirectX, Metal и др.);

🔸Многозначная поддержка языков: C, C++, Lua, Python, Fortran и другие;

🔸Подробное отслеживание распределения памяти, блокировок и переключений контекста;

🔸Наглядный визуальный интерфейс — данные по производительности отображаются предельно ясно;

🔸Автоматическая привязка скриншотов к захваченным кадрам — удобно для анализа конкретных сцен.

Интеграция проста — через компактный API. Если ты занимаешься геймдевом или просто работаешь над высокопроизводительными приложениями, этот инструмент определённо стоит попробовать.

📁 Language: #Cpp

⭐️ Stars: 11.8k

➡️ Cсылка на GitHub

📱 @git_developer