KertexNotes
Только на этой неделе обсуждали speculative prediction, когда, вдобавок к основному токену, маленькая модель заодно предсказывает несколько следующих, как гугл выпустил эти маленькие модели для gemma4:31b Будем ждать в ollama 😊 #ai #performance
Gemma с multi-token prediction мне не зашла, а вот qwen3.6:27b-mtp-q4_K_M очень даже.
Вместе с гуглом пришли к таким настройкам для агентной разработки в ollama modelfile:
Применяется это всё через
Потом удобный_идентификатор прописываем в настройки того, чем вы пользуетесь.
Работает, действительно, намного быстрее, а квантизация до 4 бит экономит кучу видеопамяти. Даже 24Гб должно хватить.
#ollama #code
Вместе с гуглом пришли к таким настройкам для агентной разработки в ollama modelfile:
FROM qwen3.6:27b-mtp-q4_K_M
#Размер контекста. Можно и больше, но будет слишком долгая задержка до первого токена
#Подбирайте, чтоб помещалось в память видеокарты полностью
PARAMETER num_ctx 131072
#не ограничиваем длину ответа
PARAMETER num_predict -1
#Слишком много не нужно, а то съест весь прирост от MTP
PARAMETER num_batch 2048
# Не нужно нам креативных ключевых слов в коде
PARAMETER temperature 0.0
# Минимальная вероятность токенов по отношению к токену с максимальной вероятностью.
# При 0.05, токен рассматривается для генерации только если его вероятность не меньше 5% от вероятности лидирующего токена
PARAMETER min_p 0.05
# Отключаем устаревшие настройки, чтоб min_p нормально работало
PARAMETER top_p 1.0
PARAMETER top_k 0
#Повторные ключевые слова это нормально
PARAMETER presence_penalty 0.0
#Но зацикливания нам не нравятся
PARAMETER repeat_penalty 1.1
Применяется это всё через
ollama create удобный_идентификатор -f путь_к_файлу_с_настройками.
Потом удобный_идентификатор прописываем в настройки того, чем вы пользуетесь.
Работает, действительно, намного быстрее, а квантизация до 4 бит экономит кучу видеопамяти. Даже 24Гб должно хватить.
#ollama #code
👍3
В который раз убеждаюсь, что детям для счастья нужны вовсе не роботы и прочие игрушки, которые покупают взрослые, а большая коробка, в которую можно залезть или найти кучу других применений.
#education #lifehack
#education #lifehack
💯2
KertexNotes
Если кто-то пользуется KiloCode для разработки или чего-то ещё, я был бы рад, если бы потестировали мою форкнутую версию kilocode-lcm, в которую я codex добавил активное управление контекстом. То есть вместо того, чтобы дожидаться, пока контекст кончится…
Потратил все лимиты codex на исправление багов, но всё-таки довёл kilocode-lcm до состояния, когда можно задуматься о запуске бенчмарков длинной памяти 🎉
Ради интереса попробовал пользоваться gpt5.3-spark, на которую есть отдельные лимиты, но разница в качестве слишком большая, лучше немного подожду 😁
#lcm #codex
Ради интереса попробовал пользоваться gpt5.3-spark, на которую есть отдельные лимиты, но разница в качестве слишком большая, лучше немного подожду 😁
#lcm #codex
Forwarded from Гуманитарный технарь
Намедни закончил свой пет-проект "Алгоритм Ершова" для изучения цифровой схемотехники. Почему вдруг такая тема? Считаю важным, чтобы в нашей стране были свои микропроцессоры. А чтобы они были, надо, чтобы кто-нибудь их проектировал. А для этого нужно готовить кадры ещё со школьной скамьи. Но порог входа обычны высок. Чего уж для детей – для большинства взрослых то, что происходит внутри смартфона – технология не отличимая от волшебства (третий закон Кларка). Я это хорошо помню ещё с древних времён чтения лекций студентам по моему курсу "Архитектура ЭВМ и ВС".
Посмотрите, пожалуйста: на сайте вроде всё доступно описывается как, что, зачем и кому. Буду рад, если поделитесь ссылочкой с теми, кто интересуется этой темой.
https://ershovalgorithm.ru/
#мысли
Посмотрите, пожалуйста: на сайте вроде всё доступно описывается как, что, зачем и кому. Буду рад, если поделитесь ссылочкой с теми, кто интересуется этой темой.
https://ershovalgorithm.ru/
#мысли
Компьютер Ершова
Компьютер Ершова — собери свой компьютер
Российский аналог игры NandGame: собери свой компьютер от логических вентилей до 8-битного процессора. 47 уровней, ИИ-наставник, визуальное программирование и ассемблер в браузере.
👍1
Помогал сегодня настраивать ollama человеку не в теме.
Написал пошаговую инструкцию. Человек столкнулся со следующими проблемами:
1) Файл, в который нужно скопировать заготовленный текст, не существует.
Решается либо созданием файла вручную, либо запуском питоновского однострочника из инструкции, который сразу всё и вставит. Справедливости ради, однострочник был парой строк ниже в инструкции.
2) При запуске команды из инструкции, ./filename не найден.
Объяснил, что нужен полный путь тогда. Не помогло. Пришлось объяснять про рабочие директории и как работают параметры командной строки.
3) Спросил откуда взялся 836-байтный файл с настройками ollama, который я приготовил.
Я сказал, что он текстовый, можешь посмотреть, что внутри. Не помогло. Спрашивает, откуда взялись 836 его байт 🤷♂ Сказал, что в редакторе написал 😁 На всякий случай объяснил, что настройки делают.
4) http://<192.168.0.123>:11434/v1/models открывает в браузере гугл, вместо json из ollama 🤦♂
В инструкции было http://<SERVER_IP_ADDRESS>:11434/v1/models, конечно...
Конечно, любому нормальному человеку не в теме, такие вопросы простительны.
Но когда человек пишет на c++ дольше, чем тебе лет 🤷♂
С нетерпением жду, когда он дойдёт до инструкции по настройке kilocode 😁
#today_I_learned #fail
Написал пошаговую инструкцию. Человек столкнулся со следующими проблемами:
1) Файл, в который нужно скопировать заготовленный текст, не существует.
Решается либо созданием файла вручную, либо запуском питоновского однострочника из инструкции, который сразу всё и вставит. Справедливости ради, однострочник был парой строк ниже в инструкции.
2) При запуске команды из инструкции, ./filename не найден.
Объяснил, что нужен полный путь тогда. Не помогло. Пришлось объяснять про рабочие директории и как работают параметры командной строки.
3) Спросил откуда взялся 836-байтный файл с настройками ollama, который я приготовил.
Я сказал, что он текстовый, можешь посмотреть, что внутри. Не помогло. Спрашивает, откуда взялись 836 его байт 🤷♂ Сказал, что в редакторе написал 😁 На всякий случай объяснил, что настройки делают.
4) http://<192.168.0.123>:11434/v1/models открывает в браузере гугл, вместо json из ollama 🤦♂
В инструкции было http://<SERVER_IP_ADDRESS>:11434/v1/models, конечно...
Конечно, любому нормальному человеку не в теме, такие вопросы простительны.
Но когда человек пишет на c++ дольше, чем тебе лет 🤷♂
С нетерпением жду, когда он дойдёт до инструкции по настройке kilocode 😁
#today_I_learned #fail
🤯2😁1
KertexNotes
При отправке запроса в openwebui, кроме самого чата по умолчанию ещё генерируются варианты вопросов для продолжения диалога и анализируется тема общения для генерации заголовка и иконки. Пока я пользовался только локальными моделями, я в эти настройки не…
В продолжение истории про использование gpt5.4 pro не по назначению:
В марте я создал API ключ openAI, кинул туда 20 $ и добавил его в openrouter через bring your own key.
Ключ от openrouter я добавил в домашний openwebui. Из всех моделей, доступных на openrouter, импортировал только передовые на тот момент gpt5.4 mini, обычную и pro, чтобы тратились именно лимиты openAI.
Побаловавшись пару раз и оставшись в шоке от цен на pro, я про этот ключ благополучно забыл.
А моя семья не забыла... 😅
Сегодня пришёл счёт и автосписание почти на 45$. Сразу полез в биллинг разбираться. Оказалось в аккаунте openai стоял лимит по умолчанию в 120$, а openrouter вообще не проверяет, что там по лимитам на внешних ключах.
Когда кто-то пользовался домашним openwebui, по умолчанию запрос отправлялся в gpt5.4 pro 🤦♂ Естественно, исходные 20 $ улетели быстро.
Я наивно расчитывал, что как только деньги кончатся, работать всё перестанет. А тут вон как оказалось 😅
#today_I_learned #fail
В марте я создал API ключ openAI, кинул туда 20 $ и добавил его в openrouter через bring your own key.
Ключ от openrouter я добавил в домашний openwebui. Из всех моделей, доступных на openrouter, импортировал только передовые на тот момент gpt5.4 mini, обычную и pro, чтобы тратились именно лимиты openAI.
Побаловавшись пару раз и оставшись в шоке от цен на pro, я про этот ключ благополучно забыл.
А моя семья не забыла... 😅
Сегодня пришёл счёт и автосписание почти на 45$. Сразу полез в биллинг разбираться. Оказалось в аккаунте openai стоял лимит по умолчанию в 120$, а openrouter вообще не проверяет, что там по лимитам на внешних ключах.
Когда кто-то пользовался домашним openwebui, по умолчанию запрос отправлялся в gpt5.4 pro 🤦♂ Естественно, исходные 20 $ улетели быстро.
Я наивно расчитывал, что как только деньги кончатся, работать всё перестанет. А тут вон как оказалось 😅
#today_I_learned #fail
Проехал сегодня 670км по трассе.
Многие заправки закрыты полностью, но при этом работающие встречаются достаточно регулярно. Некоторые даже с нормальными ценами.
В небольших городах очереди только на заправках с нормальными ценами, на дорогих свободно и бензин, наверное, даже в канистру нальют.
Впервые ехал в режиме экономии топлива, а не времени. Средняя скорость упала не слишком сильно, а расход топлива на внушительные 35% меньше 👍
Плюс, кажется, что меньше устал, потому что ехал без напряжения 😅
#travel #lifehack
Многие заправки закрыты полностью, но при этом работающие встречаются достаточно регулярно. Некоторые даже с нормальными ценами.
В небольших городах очереди только на заправках с нормальными ценами, на дорогих свободно и бензин, наверное, даже в канистру нальют.
Впервые ехал в режиме экономии топлива, а не времени. Средняя скорость упала не слишком сильно, а расход топлива на внушительные 35% меньше 👍
Плюс, кажется, что меньше устал, потому что ехал без напряжения 😅
#travel #lifehack
👍3
Выдалось свободное утро, методом vibe-prompt-engineering убедил codex+gpt5.5 xhigh сделать мне умный планировщик расписания, который будет разбирать все мои хотелки что-нибудь когда-нибудь сделать и собирать из них нормальное расписание, с готовыми вариантами занять 5/10/30 минут пока я жду пересборки проекта и другие внезапные паузы в делах.
Пару дней потестирую, если работает нормально выложу на github.
Codex уже подобрал название, и, на всякий случай, разобрался, как парсить сайт американского патентного бюро, чтобы проверить, что оно не занято 😁
#codex #planner
Пару дней потестирую, если работает нормально выложу на github.
Codex уже подобрал название, и, на всякий случай, разобрался, как парсить сайт американского патентного бюро, чтобы проверить, что оно не занято 😁
#codex #planner
👍1
Если вы измазали руки в смоле, хватаясь за тонкие стволы кустиков, пытаясь не сорваться вниз со скалы, на которую залезать, наверное, не стоило, не расстраивайтесь.
Она может вам пригодиться, чтобы крепче хвататься за камни, при спуске по осыпи 😂
#today_I_learned #lifehack
P.S. Спасибо группе Ария и песне "Бивни чёрных скал" за напоминание, что не все цели, стоят того, чтобы до них добираться 😂
Она может вам пригодиться, чтобы крепче хвататься за камни, при спуске по осыпи 😂
#today_I_learned #lifehack
P.S. Спасибо группе Ария и песне "Бивни чёрных скал" за напоминание, что не все цели, стоят того, чтобы до них добираться 😂
🔥2😱1
KertexNotes
Выдалось свободное утро, методом vibe-prompt-engineering убедил codex+gpt5.5 xhigh сделать мне умный планировщик расписания, который будет разбирать все мои хотелки что-нибудь когда-нибудь сделать и собирать из них нормальное расписание, с готовыми вариантами…
Забыл сказать, планировщик лежит на гитхабе уже с пятницы.
Там чатгпт 5.6 написал инструкцию, но если кратко:
* Качаете архив со страницы релизов
* Открываете распакованную папку в своей любимой нейроагентентской системе
* Просите почитать agents.md и сделать первичную настройку
Всё. Дальше можно вываливать туда нефильтрованый поток сознания, а агент его раскидает по категориям задач и можно будет просить его воткнуть их в расписание.
С первого раза заработает вряд ли идеально, но в этом и прелесть нейроагентов, что они понимают обратную связь и не ленятся всё переделать.
Я обратной связи тоже буду рад 😊
#NudgePal #planner
Там чатгпт 5.6 написал инструкцию, но если кратко:
* Качаете архив со страницы релизов
* Открываете распакованную папку в своей любимой нейроагентентской системе
* Просите почитать agents.md и сделать первичную настройку
Всё. Дальше можно вываливать туда нефильтрованый поток сознания, а агент его раскидает по категориям задач и можно будет просить его воткнуть их в расписание.
С первого раза заработает вряд ли идеально, но в этом и прелесть нейроагентов, что они понимают обратную связь и не ленятся всё переделать.
Я обратной связи тоже буду рад 😊
#NudgePal #planner
GitHub
GitHub - KertarTheDev/Nudge-Pal-Planner: Local AI assistant sorting random thoughts into coherent plans
Local AI assistant sorting random thoughts into coherent plans - KertarTheDev/Nudge-Pal-Planner
Оказывается есть такая международная организация Women in Tech, которая помогает женщинам развиваться в IT, и похожее, более специализированное, сообщество по Data Science.
В России есть их филиалы vk.com/womenintechrus и womeninbigdata.ru со своими телеграм каналами @womenintechrus и @wibd_russia.
Кроме того, что у этих сообществ есть чаты, в которых можно попросить совета, они запустили бесплатную менторскую программу, где женщины могут найти персонального наставника, который может направить их в нужную сторону для решения имеющихся задач / проблем / карьерного развития.
Наверное, у каждого здесь найдутся знакомые женщины, которым всё это могло бы пригодиться. Мужчинам-менторам тоже рады.
Единственное, от тех кто просит помощи, ждут понимания, в чём именно им нужна помощь и конкретных попыток решить эти проблемы самостоятельно, которые можно обсудить. Абстрактные запросы вроде "сделайте мне, чтоб меня взяли на хорошую работу" не пройдут 😉
#today_I_learned #lifehack
В России есть их филиалы vk.com/womenintechrus и womeninbigdata.ru со своими телеграм каналами @womenintechrus и @wibd_russia.
Кроме того, что у этих сообществ есть чаты, в которых можно попросить совета, они запустили бесплатную менторскую программу, где женщины могут найти персонального наставника, который может направить их в нужную сторону для решения имеющихся задач / проблем / карьерного развития.
Наверное, у каждого здесь найдутся знакомые женщины, которым всё это могло бы пригодиться. Мужчинам-менторам тоже рады.
Единственное, от тех кто просит помощи, ждут понимания, в чём именно им нужна помощь и конкретных попыток решить эти проблемы самостоятельно, которые можно обсудить. Абстрактные запросы вроде "сделайте мне, чтоб меня взяли на хорошую работу" не пройдут 😉
#today_I_learned #lifehack
🔥1🤔1🙈1
Недавно обсуждали засилие англицизмов в современной речи, и что слово кринж уже для многих, как родное. Стало интересно, откуда оно взялось.
У меня было ощущение, что изначально это было что-то про скрежет зубами, но оказалось, что я перепутал с grit your teeth - 😬
А, собственно, cringe 🥴 в староанглийском было близко по смыслу к "скукожиться", затем эволюционировало до "сморщиться" и современного "меня корёжит".
Ещё из интересного, согласно гуглу, слово cringeworthy появилось лишь в 80е в виде фамилии персонажа комиксов и вошло в речь уже в 90е 👀
#today_I_learned #language
У меня было ощущение, что изначально это было что-то про скрежет зубами, но оказалось, что я перепутал с grit your teeth - 😬
А, собственно, cringe 🥴 в староанглийском было близко по смыслу к "скукожиться", затем эволюционировало до "сморщиться" и современного "меня корёжит".
Ещё из интересного, согласно гуглу, слово cringeworthy появилось лишь в 80е в виде фамилии персонажа комиксов и вошло в речь уже в 90е 👀
#today_I_learned #language
🔥2👍1
Сейчас читаю второй номер возрождённого журнала Игромания. Всё-таки качественные бумажные книги/журналы это особенное удовольствие 😊
Вернулась мысль делиться с вами моими любимыми мелодиями из игр.
Начнём прямо с первой, которую я нашёл на диске, прилагаемом к этой самой Игромании году эдак в 2003/2004.
Я как раз проапгрейдил процессор Pentium 133MHz в компьютере, который мне временно дали погонять с работы родителей до списанного Pentium 160MHz, который мне подарили на школьной практике на предприятии.
Версия на 160MHz отличалась наличием MMX блока, который позволял работать визуализациям/спецэффектам в winamp при проигрывании mp3, что в те времена давало серьёзный wow-эффект.
И вот я скопировал mp3 файлы с диска, выкрутил все спецэффекты на максимум и включил
Deus Ex - Ion Storm
И меня прямо проняло.
Я не знал, что за игра Deus Ex. Я думал, что Ion Storm это название трека. Представлял этот ионный шторм во время прослушивания. Слушал на повторе десятки раз и мне не надоедало.
До сих пор нравится, но именно эта оркестровая версия с того диска.
#games #music
Вернулась мысль делиться с вами моими любимыми мелодиями из игр.
Начнём прямо с первой, которую я нашёл на диске, прилагаемом к этой самой Игромании году эдак в 2003/2004.
Я как раз проапгрейдил процессор Pentium 133MHz в компьютере, который мне временно дали погонять с работы родителей до списанного Pentium 160MHz, который мне подарили на школьной практике на предприятии.
Версия на 160MHz отличалась наличием MMX блока, который позволял работать визуализациям/спецэффектам в winamp при проигрывании mp3, что в те времена давало серьёзный wow-эффект.
И вот я скопировал mp3 файлы с диска, выкрутил все спецэффекты на максимум и включил
Deus Ex - Ion Storm
И меня прямо проняло.
Я не знал, что за игра Deus Ex. Я думал, что Ion Storm это название трека. Представлял этот ионный шторм во время прослушивания. Слушал на повторе десятки раз и мне не надоедало.
До сих пор нравится, но именно эта оркестровая версия с того диска.
#games #music
YouTube
Deus Ex - Main Theme (Live orchestral version)
This is the orchestral version of the Deus Ex main theme. I've just downloaded it, and put it up for you for easier access. I've read that it's included with the PS2 port of the game. (I only have the PC version.)
It's a pity though that they didn't make…
It's a pity though that they didn't make…
👍2
Продолжаю свою попытку добавить Lossless Context Management в Kilo Code.
Ребята фигачат с такой скоростью, что я просто не успеваю решить предыдущие конфликты, как уже выходят новые релизы на +25000 -50000 строк 😂
Потратил весь недельный лимит codex, первый раз использовал запасённый бесплатный сброс лимитов.
Оказывается эти бесплатные сбросы лимитов могут протухнуть 😳 У меня их было 4, один так уже пропал, один сейчас использовал и следующий надо потратить в ближайшие 5 дней.
Буду стараться 😉
#kilocode #lcm #codex
Ребята фигачат с такой скоростью, что я просто не успеваю решить предыдущие конфликты, как уже выходят новые релизы на +25000 -50000 строк 😂
Потратил весь недельный лимит codex, первый раз использовал запасённый бесплатный сброс лимитов.
Оказывается эти бесплатные сбросы лимитов могут протухнуть 😳 У меня их было 4, один так уже пропал, один сейчас использовал и следующий надо потратить в ближайшие 5 дней.
Буду стараться 😉
#kilocode #lcm #codex
👍2
KertexNotes
Продолжаю свою попытку добавить Lossless Context Management в Kilo Code. Ребята фигачат с такой скоростью, что я просто не успеваю решить предыдущие конфликты, как уже выходят новые релизы на +25000 -50000 строк 😂 Потратил весь недельный лимит codex, первый…
Так, мой модифицированный Kilo Code с Lossless Context Management наконец-то снова догнал upstream v7.4.16 и "у меня работает" 😁
В основную версию добавили много фишек с памятью о проекте, кросс-сессионный поиск, и т.д. Пришлось пересмотреть архитектуру и сосредоточиться чисто на управлении контекстом в рамках текущей сессии.
Выкинул PgLite и часть лишних инструментов, лучше интегрировался с имеющейся инфраструктурой Kilo Code.
Чтобы всё работало правильно, теперь в настройках используемых моделей нужно дополнительно указать фактический максимальный размер контекста, от которого будут расчитываться пороги автосуммаризации.
Если кто решится попробовать, обязательно пишите про проблемы и баги, помогу разобраться 😊
#kilocode #lcm
В основную версию добавили много фишек с памятью о проекте, кросс-сессионный поиск, и т.д. Пришлось пересмотреть архитектуру и сосредоточиться чисто на управлении контекстом в рамках текущей сессии.
Выкинул PgLite и часть лишних инструментов, лучше интегрировался с имеющейся инфраструктурой Kilo Code.
Чтобы всё работало правильно, теперь в настройках используемых моделей нужно дополнительно указать фактический максимальный размер контекста, от которого будут расчитываться пороги автосуммаризации.
Если кто решится попробовать, обязательно пишите про проблемы и баги, помогу разобраться 😊
#kilocode #lcm
👍1🔥1
Forwarded from Valuable AI / Валентин Малых
всем привет, новый выпуск Капитанского мостика от меня и Дмитрия Колодезева
#КапитанскийМостик
Обсуждение последних новостей в сфере технологий, включая AI, контейнеризацию, рынок чипов и изменения в индустрии. Узнайте о новых проектах, стратегиях компаний и трендах развития. В этом выпуске мы обсуждаем последние новости в области технологий, регуляции рынка и искусственного интеллекта, а также их влияние на будущее экономики и общества. В этом выпуске обсуждаются последние новости и тренды в области искусственного интеллекта, включая развитие моделей, безопасность и геополитические аспекты. Эксперты делятся своими мнениями и анализируют текущие события.
ODS VKVideo
ODS YouTube
мой дзен
@valuableai
#КапитанскийМостик
Обсуждение последних новостей в сфере технологий, включая AI, контейнеризацию, рынок чипов и изменения в индустрии. Узнайте о новых проектах, стратегиях компаний и трендах развития. В этом выпуске мы обсуждаем последние новости в области технологий, регуляции рынка и искусственного интеллекта, а также их влияние на будущее экономики и общества. В этом выпуске обсуждаются последние новости и тренды в области искусственного интеллекта, включая развитие моделей, безопасность и геополитические аспекты. Эксперты делятся своими мнениями и анализируют текущие события.
ODS VKVideo
ODS YouTube
мой дзен
@valuableai
Спонсор сегодняшней музыкальной паузы - Lionheart: Legacy of the Crusader 2003 года.
Критикам эта попытка перенести систему S.P.E.C.I.A.L. из Fallout в историческое фэнтези не зашла, а вот мне очень даже.
Может быть потому, что в Fallout я тогда ещё не играл, а может потому, что мир был придуман действительно интересный, варианты прокачки разнообразные (скилл на поиск секретных мест прям 🔥), а музыка приятная 😊
В саундтреке есть 2 варианта одной мелодии: из главного меню и самой игры. Не могу понять, какая лучше.
Давайте проголосуем 🙃
😍 - если лучше в меню
🤩 - если лучше второй вариант
#games #music
Критикам эта попытка перенести систему S.P.E.C.I.A.L. из Fallout в историческое фэнтези не зашла, а вот мне очень даже.
Может быть потому, что в Fallout я тогда ещё не играл, а может потому, что мир был придуман действительно интересный, варианты прокачки разнообразные (скилл на поиск секретных мест прям 🔥), а музыка приятная 😊
В саундтреке есть 2 варианта одной мелодии: из главного меню и самой игры. Не могу понять, какая лучше.
Давайте проголосуем 🙃
😍 - если лучше в меню
🤩 - если лучше второй вариант
#games #music
YouTube
Lionheart - Legacy of the Crusader Main Theme
I don´t know what to say... It just brings back so many good memories.
Enjoy.^^
Enjoy.^^
🤩2😍1