Валера Ковальский
14.7K subscribers
509 photos
86 videos
5 files
439 links
Head of AI Engineer | DevOps | Hardware
From IT Admin to Head of AI in 6 years
Автор https://neuraldeep.ru/
Raised $2M+ for human-centric AI startups
github.com/vakovalskii | chat @neuraldeepchat
Download Telegram
Валера Ковальский
Кто угадает что за карта приехала(надо полные спеки угадать), тому в подарок отправлю 2080ti (11gb, по РФ) А так теперь у нас в контуре с Пашей пополнение =) Победитель найден это была 4090 (48гб) UPDATE: В след раз будем решать задачки, и разыграем пару…
Наконец-то сегодня нашел время что бы отправить видеокарты первому (2080ti) и второму (1660super) месту за прошлый мини ивент =)


Напомню что в следующий раз будем решать чуть сложнее задачки и проведем небольшое соревнование!

Следите за новостями
4🔥45👍116🤮1🤡1🖕1
Собрал Handy + Paste в одно приложение

https://github.com/vakovalskii/copyosity

Рекомендую к изучению как я решал кучу проблем десктопных аппок (невидимых, но использующих команды). После установки нужно на макбуке набрать Cmd+Shift+V, и вы увидите исторический буфер обмена в удобном виде как это вижу я =)
Уже месяц потихоньку пилю и стабилизирую для себя буфер обмена для макбука.
Чтобы работало как надо, чтобы скрины хранило ровно и текст копировался удобно.
Даже подписал его своим кодом разработчика apple (не будет просить карантин).
Как по мне (для себя же делал) удобно, полезно, и нет аналогов

После настроек голосовой модели по урлу, можно получить Option+Space запус голосвого ввода в том месте где стоит курсор

А так, конечно, можно скачать массу таких приложений готовых, но мы-то помним, зачем тут собрались? =)

Download (DMG)
1🔥43👍188🤡5🤮1🖕1
Валера Ковальский
Взял на тесте 100 (более 3 раз) Максимально старался не фититься на задачах но так не вишло (пока) Как итог пришел к схеме skiils search tool + некоторый контекст инжиниринг ну и эвалюция через CC
1) Запросы в vllm + grafana
2) Температуры

Вот как выглядит юсадж двух 4090 (48гб) + gpt oss 120b (2 дня без остановки)

Завтра глянем что такой подход даст на проде, (ваще никаких надежд на победу или призовые места) я потратил на это все 3 часа от силы

211 запусков удалось сделать и около 50 итераций эволюции
👍1913🔥13
Две 4090(48гб) в ПК стоимостью 70к рублей

Наверное это я бы назвал "Самый бомжатский сервер под gpt oss 120b" в моей жизни =) Паша тебе привет!
До этого они стояли в разных пк и крутили разные модельки но я решил их объединить

Блок питания взял на 1000 ватт (что бы уж проверить наверняка)

ЦПУ: AMD Ryzen 3 1200 Quad-Core Processor
Материнская плата: B450 GAMING PLUS MAX (MS-7B86)

Скоро будут тесты TTFT/TP/TS, хочу ответить себе на вопрос насколько это отличается от "Промышленной материнской платы

UPDATE:
ЦИФЕРКИ: https://t.me/neuraldeepchat/53463
И кстати они очень приятные =)
149🔥42👍12😁9👏3
У меня теперь есть обязательства перед моими 9 подписчиками! Поэтому сегодня я выделил время покумекать (слово происходит от корня «-мек-» (связанного с умом, мыслями), родственного словам смекать, невдомёк) на тему:

«шо там у народных LLM» (ЛЛМ [эл эл эм], ДДТ (для тех кто забыл переключить язык), Large Language Model - большая языковая модель (БЯМ (кек)), типа чатГПТ)

Часть 1 из 2 - выбираем модели и правила игры

Еще в далекие ковидные времена мы с Валерой @neuraldeep и Александром Сергеевичем @zanudamode собирали майнинг-ферму. Вложились на несколько десятков видеокарт, которые вы, возможно, трогали, пользуясь Валериными транскрибациями и прочими его сервисами. Так Валерий Андреевич стал ПК-боярином и криптоинвестором, а мы с Сашей за него сильно рады и сегодня обсудим бесплатные LLM для задач исследования рынка

Будем разбираться на примере софта (прим.комплюхтерной (кудахтерной (компьютерной)) программы) для управления промо-акциями формата TPM (ти пи эм [т’и п’и эм] Trade Promotion Management (управление промо-акциями), система для планирования, бюджетирования, исполнения и пост-анализа эффективности рекламных активностей (скидок, акций)) / TPO (ти пи о [т’и п’и оу] TPO (Trade Promotion Optimization) в ритейле — это аналитический подход и программное обеспечение, использующие данные для автоматического планирования, моделирования и оптимизации бюджета на промоакции (скидки, спецпредложения) с целью максимизации продаж и рентабельностb) для B2B (Business-to-Business [би ту би]).

Именно такой пример был выбран неспроста - в этой сфере встречается множество смежных программ с таким же обозначением TPM, но с другим функционалом, процессами и потребителями - например, чековые промо для лутания (прим. получения) кэшбеков или управление промо-кодами для похода на чистку зубов (тема! рекомендую!) или в квеструм с друзьями.

Для исследования берем «народные!» LLM. То бишь:
• бесплатные (хотя бы с лимитами),
• популярные,
• доступные в РФ, в том числе c VPN (ВПН [вэ пэ эн - если ты нишевый; в’и п’и эн - если ты немного манерный или шаришь за дитэйлз энд фэбрик] Virtual Private Network — виртуальная частная сеть, или по-простому программа для обхода Чебурнета).

Выбери бойца:
• Рептилоидные ChatGPT (fast), Perplexity (Sonar), Grok (Pro), Gemini (fast)
• Православная Алиса YandexGPT
• Рисовая DeepSeek (Pro)

Note (ноут [ноут], заметка) на уровне наблюдений и слухов:
• Вендоры (производители LLM) часто выпускают новую модель (LLM) и она хороша. Потом проходит время, хайп (от англ. hype — «ажиотаж», «шумиха») спадает и вендоры квантуют (без занудства - упрощают процессы вычисления, тем самым удешевляя стоимость генерации и ухудшая качество ответов) модели и сокращают ей память. Мы это не учитываем сейчас - у нас же не научное исследование, а чисто в курилке потрындеть.
• Вендоры зачастую балансируют нагрузку. Брат-сват в приоритете, поэтому с утра до примерно 13 часов по Москве рисовую DeepSeek дудосят (от англ. DDoS (Distributed Denial of Service) - отправляют много запросов) китайцы, а после обеда дудосятся представителей рептилоидных LLM, из-за чего модели могут реально тупеть или вообще отказываться отвечать. Эту часть я учел и не отправлял запросы в пиковые часы.
• Сервисы LLM собирают ваш цифровой профиль и используют его для контекста. Если история ваших запросов связана с фермерством, то примеры на абстрактные темы будут связаны с репчатым луком, а шутки с трактористами. Я использовал чистые новые профили и режим инкогнито для чистоты эксперимента
🤣119🔥7🤯1💯1
когнитивный Тимофей
У меня теперь есть обязательства перед моими 9 подписчиками! Поэтому сегодня я выделил время покумекать (слово происходит от корня «-мек-» (связанного с умом, мыслями), родственного словам смекать, невдомёк) на тему: «шо там у народных LLM» (ЛЛМ [эл эл эм]…
Как говорится когда-то я начинал с Майнинга)))

Вот что вышло из этого (вы тут в канале видите)

С Тимом когда то начинали собирать умные урны и роборуки в РФ, заставил его начать вести канал!

Чтиво прям хорошее

Вторая часть https://t.me/tim_xyz/13
😁12👍72🤔1🤮1🤡1🖕1
Forwarded from ElKornacio
⚡️ Claude Opus 4.7

ох, ну не знаю ребята, сможете ли вы потягаться с instruction following у OpenAI... 🙂

будем тестить!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24🤔7
Я хотел назвать этот проект "Битрикс24 Имба", но решили, что рынок пока недозрел. Меж тем - это имба!

Битрикс24 VibeCode - это первая платформа на российском рынке, которая соединяет вайбкодинг с экосистемой корпоративного ПО для совместной работы, продаж и автоматизации.

Битрикс24 открывает бета-тестирование VibeCode - полноценной платформы для создания бизнес-приложений с помощью искусственного интеллекта. Впервые любой сотрудник компании - без навыков программирования и бюджетов на разработку - может описать задачу на обычном языке и получить работающее приложение, размещённое на защищённом сервере и интегрированное с Битрикс24.

Сотрудники компаний смогут «навайбкодить» для себя и коллег самые разные приложения – от простых отчетов до умных ботов на базе ИИ. Платформа уже включает 26 готовых шаблонов-примеров приложений.

Среди типичных сценариев:
инструмент для юристов, который анализирует изменения в объёмных договорах и выделяет ключевые правки;
система обучения и контроля менеджеров по продажам, которая анализирует звонки и переписки в CRM;
ИИ-ассистент в чате, который мгновенно находит нужную сделку, контакт или документ по запросу на естественном языке;
дашборд аналитики, собирающий данные о продажах в реальном времени.

Ранее создание собственного решения требовало множества шагов: купить сервер, настроить его, выбрать модель и написать приложение с соблюдением требований безопасности, задеплоить, подключить домен и SSL-сертификаты, интегрировать со своими системами. 

На платформе Битрикс24 VibeCode весь процесс сводится к трем шагам: получить API-ключ и стартовый промпт, отправить в выбранную под свои задачи ИИ и запустить приложение. Нейросеть сама напишет приложение, настроит интеграции и развернет готовое решение на безопасном сервере. Доступ будет только у авторизованных сотрудников.
2🤣3227🤡14🔥11🙉8💊64👀1
Вартанян в сингулярности и вокруг неё
Я хотел назвать этот проект "Битрикс24 Имба", но решили, что рынок пока недозрел. Меж тем - это имба! Битрикс24 VibeCode - это первая платформа на российском рынке, которая соединяет вайбкодинг с экосистемой корпоративного ПО для совместной работы, продаж…
Интересный момент про платформу, я недавно переехал в Битрикс(по части направлений), реалии заставляют, после сравнения всех платформ открытость API в битрикс выиграла, и вы знаете, я был очень приятно удивлен как обновилась мобильная апка на ios(честно удобно) последний раз я тут был лет 5 назад

Жду папки для чатов и поиск, и точно аналогов в РФ не будет

Но вайб платформа прям добила, рек

Ссылка на вайб кстати что бы не потерялась

https://vibecode.bitrix24.tech
1👍26🤮12🔥7🤡6🤣5💯3
Страх и ненависть в AI кодинга за 24 часа

Скорость разработки MVP точно не будет прежним, мир изменился.
Но что с масштабированием и безопасностью на проде?


Вчера понял что у меня слишком много своих серверов, где-то аренда, что-то стоит в Колокейшн - это услуга размещения собственного физического сервера или сетевого оборудования клиента на территории дата-центра (ЦОД) провайдера) и что 85% времени они стоят и я плачу за интернет и аренду

Как итог после 1 часа общения с клодом и сбора ТЗ выбора самого производительного сервера у меня в офисе, было поднято 11 контейнеров и написано 15к строк кода

https://hub.neuraldeep.ru/

Первые 30 пользователей получат подписку на 2 месяца сразу к 6 моделям (по всем тарифам есть RPM)

gpt-oss-120b
qwen3.6-35b-a3b
e5-large
bge-m3
bge-
reranker-v2-m3
whisper-1

Так же скоро будут добавлены qwen3-8b-embedding
gemma4

Из интересного попробовал реализовать механику и систему подписок как в кодинг агентах (часовые лимит и недельные лимиты)

Платежей пока нет (но скоро будут)


Насчет безопасности и масштабирования

По тестам и вопросам к агенту все четко

Друг смог обойти подписку за 20 минут, а сервер упал под нагрузкой на какой-то эндпоинт апи, не было легирования решил повесить на все защиту, базовые настройки но в погоне за идеей можно все это упустить, вывод? Думаю что и эти два пункта можно нагнать спустя время, просто нужно больше времени в тесте


Что точно разочарование это то что модельки все еще много думают сверху если жестко не ограничить все тз и задачей, но скорость это прощает, и наверное еще как вывод я больше времени стал отдыхать по выходным, все больше уходит в автоматизацию
2🔥581711👍1🤡1
LLM hub by Kovalskii

Вчера анонсировал https://hub.neuraldeep.ru/, а сегодня с утра уже есть что анализировать (вы просто супер аудитория!)

Что интересно из аналитики для меня:

Много кто взял модели для прогона pac1 (бенчмарка от Рината)
Кто-то взял для подключения к opencode

И самое интересное что на таком объеме запросов и людей, некоторые высказались тем что очень радует скорость и доступность моделей (gpt oss 120b)


Через неделю я планирую провести закрытий стрим для всех активных пользователей
Важные условия для участия

1) Активно юзать хаб
2) Смотреть почту на предмет сообщений с домена @neuraldeep.ru

Мы разберем как и зачем я использую такой набор моделей, и как начать строить что-то свое, как доводить до продакшена и прокачивать экспертизу


Спасибо всем за идеи и предложения, я все впитываю и сразу же внедряю

По поводу оплат за подписку, она на текущим момент не планируется (тарифы добавлены для теста кликов)
Ну и поздравляю первых 30 пользователей с про доступом на 2 месяца (там очень щедрые лимиты)
2👍52🔥239💯7👏21
Forwarded from red_mad_robot
⚡️ Запустили платформу для управления LLM в бизнесе

red_mad_router помогает компаниям собрать работу с LLM в одной системе, когда сервисы уже используются в разных командах. Решение объединяет доступы к моделям, контроль расходов, настройки безопасности и правила работы с данными.

Изначально мы создавали платформу для себя, но быстро поняли, что проблема общая. Рынок давно показывает спрос на такой слой — 89% ИИ-инструментов внутри организаций подключаются хаотично и остаются вне общего контроля компании. red_mad_router закрывает эту задачу и даёт бизнесу единую точку контроля.

Подробно о том, как именно всё работает, рассказали CNews.

#AI_moment #роботайм

↗️ red_mad_robot
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥27🦄41