Новый разбор по мультиагентным системам показывает важный нюанс: больше агентов — не всегда лучше.
Авторы сравнили одноагентные и мультиагентные LLM-архитектуры на задачах многошагового рассуждения, но с честным условием: одинаковый бюджет reasoning-токенов. И при таком сравнении одиночные агенты часто используют вычисления эффективнее.
Отдельно исследователи указывают на артефакты API-контроля бюджета, из-за которых преимущества мультиагентного подхода могут выглядеть сильнее, чем есть на практике. Почти как в соревновательных играх: со стороны всё кажется очевидным, но реальную мету и разбор стратегий удобнее отслеживать через @game_mod_skin_stream.
Вывод простой: прежде чем собирать сложную мультиагентную схему, стоит проверить, не решит ли ту же задачу один агент при том же лимите токенов.
#LLM #мультиагентныеСистемы #reasoning #AI
Авторы сравнили одноагентные и мультиагентные LLM-архитектуры на задачах многошагового рассуждения, но с честным условием: одинаковый бюджет reasoning-токенов. И при таком сравнении одиночные агенты часто используют вычисления эффективнее.
Отдельно исследователи указывают на артефакты API-контроля бюджета, из-за которых преимущества мультиагентного подхода могут выглядеть сильнее, чем есть на практике. Почти как в соревновательных играх: со стороны всё кажется очевидным, но реальную мету и разбор стратегий удобнее отслеживать через @game_mod_skin_stream.
Вывод простой: прежде чем собирать сложную мультиагентную схему, стоит проверить, не решит ли ту же задачу один агент при том же лимите токенов.
#LLM #мультиагентныеСистемы #reasoning #AI
🚀 Как выжать максимум из LLM на RTX 3090
Появился набор конфигураций и патчей для запуска современных языковых моделей на RTX 3090. Решение рассчитано на разные сценарии: можно сделать упор либо на максимальную скорость, либо на более стабильную и предсказуемую работу.
Что внутри:
— два режима запуска: производительность или надёжность;
— готовые Docker-конфиги для локального API;
— модель-агностичный подход без жёсткой привязки к одному стеку;
— настройки как для одной, так и для двух RTX 3090.
Полезная находка для тех, кто поднимает LLM локально и хочет меньше времени тратить на ручной тюнинг.
#LLM #RTX3090 #Docker
Появился набор конфигураций и патчей для запуска современных языковых моделей на RTX 3090. Решение рассчитано на разные сценарии: можно сделать упор либо на максимальную скорость, либо на более стабильную и предсказуемую работу.
Что внутри:
— два режима запуска: производительность или надёжность;
— готовые Docker-конфиги для локального API;
— модель-агностичный подход без жёсткой привязки к одному стеку;
— настройки как для одной, так и для двух RTX 3090.
Полезная находка для тех, кто поднимает LLM локально и хочет меньше времени тратить на ручной тюнинг.
#LLM #RTX3090 #Docker
Как собрать GPT-подобную LLM с нуля на PyTorch
Неплохой практический разбор для тех, кто хочет понять, как устроены большие языковые модели без лишней теории.
Внутри — 10 ноутбуков с пошаговой подачей: от базовых компонентов до сборки GPT-подобной архитектуры по частям. Материал подаётся простым языком, поэтому подойдёт и тем, кто только начинает разбираться в LLM.
Главный плюс — формат
#PyTorch #LLM #GPT
Неплохой практический разбор для тех, кто хочет понять, как устроены большие языковые модели без лишней теории.
Внутри — 10 ноутбуков с пошаговой подачей: от базовых компонентов до сборки GPT-подобной архитектуры по частям. Материал подаётся простым языком, поэтому подойдёт и тем, кто только начинает разбираться в LLM.
Главный плюс — формат
hands-on: не просто чтение, а работа с кодом и последовательная сборка модели своими руками.#PyTorch #LLM #GPT
Похоже, ИИ окончательно ушёл в офлайн. Энтузиасты собрали CrankGPT — механического ассистента, которому не нужны ни облако, ни розетка, ни аккумулятор.
В основе — Raspberry Pi 5 с 8 ГБ памяти и компактная LLM. После примерно 30 секунд ручной прокрутки устройство принимает голосовой запрос, локально обрабатывает его и затем проговаривает ответ. Всё это — без подключения к интернету.
Звучит как странный, но очень наглядный эксперимент на стыке железа и AI. Для тех, кому интересны такие разборы по AI, разработке и технологиям, это ещё и хороший пример того, как локальные модели можно запускать буквально в полевых условиях.
Если что, к апокалипсису ручной GPT уже почти готов
#AI #Raspberry #LLM
В основе — Raspberry Pi 5 с 8 ГБ памяти и компактная LLM. После примерно 30 секунд ручной прокрутки устройство принимает голосовой запрос, локально обрабатывает его и затем проговаривает ответ. Всё это — без подключения к интернету.
Звучит как странный, но очень наглядный эксперимент на стыке железа и AI. Для тех, кому интересны такие разборы по AI, разработке и технологиям, это ещё и хороший пример того, как локальные модели можно запускать буквально в полевых условиях.
Если что, к апокалипсису ручной GPT уже почти готов
#AI #Raspberry #LLM
❤2🔥1😢1