PID (Process ID, идентификатор процесса). Номер процесса в операционной системе Linux. «PID
━━━━━━━━━━━━━━━━━━━━
🏛 ОРИЕНТИРЫ В ИНДУСТРИИ
Llama, Mistral. Две самые известные открытые серии больших языковых моделей: от Meta и от французской компании Mistral AI соответственно. Индустриальный стандарт архитектуры. Если какая-то деталь «как в Llama» — значит проверенная годами работа.
Open-source. Открытый исходный код. Модель которую любой может скачать, посмотреть, использовать. В противоположность закрытым моделям типа GPT-4, Claude или Gemini, где ты можешь только отправлять запросы через API.
Architectural vs post-factum (архитектурный vs пост-фактум). Architectural fix = починка в самом строении модели, требует переобучения. Post-factum fix = попытка залепить проблему уже обученной модели через модификации inference, без переобучения.Мой вывод поста: post-factum костыли не работают на архитектурных багах.
━━━━━━━━━━━━━━━━━━━━
52935 живой» означает что процесс тренировки не упал и не завис, продолжает работать. Проверка что серверная работа за ночь не сломалась.━━━━━━━━━━━━━━━━━━━━
🏛 ОРИЕНТИРЫ В ИНДУСТРИИ
Llama, Mistral. Две самые известные открытые серии больших языковых моделей: от Meta и от французской компании Mistral AI соответственно. Индустриальный стандарт архитектуры. Если какая-то деталь «как в Llama» — значит проверенная годами работа.
Open-source. Открытый исходный код. Модель которую любой может скачать, посмотреть, использовать. В противоположность закрытым моделям типа GPT-4, Claude или Gemini, где ты можешь только отправлять запросы через API.
Architectural vs post-factum (архитектурный vs пост-фактум). Architectural fix = починка в самом строении модели, требует переобучения. Post-factum fix = попытка залепить проблему уже обученной модели через модификации inference, без переобучения.
━━━━━━━━━━━━━━━━━━━━
👍16❤1🕊1
Техножнец
PID (Process ID, идентификатор процесса). Номер процесса в операционной системе Linux. «PID 52935 живой» означает что процесс тренировки не упал и не завис, продолжает работать. Проверка что серверная работа за ночь не сломалась. ━━━━━━━━━━━━━━━━━━━━ 🏛 ОРИЕНТИРЫ…
Спасибо LLM за помощь в данном вопросе 😃
Сам я бы умер это писать...
Сам я бы умер это писать...
Please open Telegram to view this post
VIEW IN TELEGRAM
👌18❤6👍3🕊1
Синтеты, это для своих.
Этот пост специально для тех кто активно занимается подобными исследованиями, и для тех кто никогда подобным не занимался. Для тех кто хочет двигаться дальше чем просто "работка с модельками". Дальше чем файнтюны на готовых стеках. Тех кто хочет делать красиво - исходя из более низких абстракций, с понимания как это устроено изнутри.
━━━━━━━━━━━━━━━━━━━━
📓 Здесь я веду свой журнал как Техножнец.
Исключительно из любви к этой работе и подобным исследованиям. Да, со стороны для спеца ультра-уровня это может выглядеть как мазохизм. Но только в ограниченных условиях и выстрадано когда своими силами - появляется понимание ценности того, что пройдено.
Надутая гордость не имеет места на фоне такой тяжёлой работы. Сил остаётся лишь на анализ и взаимодействие с самым ценным вокруг - с людьми.
━━━━━━━━━━━━━━━━━━━━
💸 Бабки, бабки.
Грязная зелёная бумажка, призванная всего лишь обслуживать нас - а по факту управляет. Люди откидывают когнитивные рамки потребления сообществ ради своих целей. Убирают денежные рамки - и тут же вставляют туда ту же самую консюмерскую логику. Поэтому и теряются в океане лжи, непонимания и отсутствия рефлексии.
━━━━━━━━━━━━━━━━━━━━
🌊 Рефлексия не должна быть мутной лужицей в ладошках, которую достаёшь из кармана когда приспичит.
Это должен быть безбрежный океан. Планета рефлексии. Где ты в первую очередь анализируешь свои шаги.
━━━━━━━━━━━━━━━━━━━━
🧠 Сообщество призвано обогатить мозг, заставить его шевелиться.
Я обогащаю прежде всего свой мозг - начни с себя, всегда. Но мне не стрёмно делиться с вами. Всё что я прохожу через @technojnec - это открытый журнал. И пусть он таким остаётся.
━━━━━━━━━━━━━━━━━━━━
Техножнец всё делает на свои средства.🥶
Если есть желание поддержать его, то вот ссылки:🫡
Этот пост специально для тех кто активно занимается подобными исследованиями, и для тех кто никогда подобным не занимался. Для тех кто хочет двигаться дальше чем просто "работка с модельками". Дальше чем файнтюны на готовых стеках. Тех кто хочет делать красиво - исходя из более низких абстракций, с понимания как это устроено изнутри.
━━━━━━━━━━━━━━━━━━━━
📓 Здесь я веду свой журнал как Техножнец.
Исключительно из любви к этой работе и подобным исследованиям. Да, со стороны для спеца ультра-уровня это может выглядеть как мазохизм. Но только в ограниченных условиях и выстрадано когда своими силами - появляется понимание ценности того, что пройдено.
Надутая гордость не имеет места на фоне такой тяжёлой работы. Сил остаётся лишь на анализ и взаимодействие с самым ценным вокруг - с людьми.
━━━━━━━━━━━━━━━━━━━━
💸 Бабки, бабки.
Грязная зелёная бумажка, призванная всего лишь обслуживать нас - а по факту управляет. Люди откидывают когнитивные рамки потребления сообществ ради своих целей. Убирают денежные рамки - и тут же вставляют туда ту же самую консюмерскую логику. Поэтому и теряются в океане лжи, непонимания и отсутствия рефлексии.
━━━━━━━━━━━━━━━━━━━━
🌊 Рефлексия не должна быть мутной лужицей в ладошках, которую достаёшь из кармана когда приспичит.
Это должен быть безбрежный океан. Планета рефлексии. Где ты в первую очередь анализируешь свои шаги.
━━━━━━━━━━━━━━━━━━━━
🧠 Сообщество призвано обогатить мозг, заставить его шевелиться.
Я обогащаю прежде всего свой мозг - начни с себя, всегда. Но мне не стрёмно делиться с вами. Всё что я прохожу через @technojnec - это открытый журнал. И пусть он таким остаётся.
━━━━━━━━━━━━━━━━━━━━
Техножнец всё делает на свои средства.
Если есть желание поддержать его, то вот ссылки:
Поддержать канал: ТБАНКПоддержать канал: ЮМАНИPlease open Telegram to view this post
VIEW IN TELEGRAM
1❤🔥26👍9❤5 3👌1🕊1🤝1🤗1
Opencraft - обновление.
Процедурный мир!
Работаю над шейдерами, применяю свои знания из генеративного дизайна до нейронных сетей и получаю неплохие результаты. Рандомизация на основе законов шейдеров и небольших изысков анимации шумами дают полноценные смотрибельные результаты.
Делаю дальше. Потом видосик покажу со звуками уже.
Процедурный мир!
Работаю над шейдерами, применяю свои знания из генеративного дизайна до нейронных сетей и получаю неплохие результаты. Рандомизация на основе законов шейдеров и небольших изысков анимации шумами дают полноценные смотрибельные результаты.
Делаю дальше. Потом видосик покажу со звуками уже.
👍29🔥5🕊1🦄1
Техножнец
Opencraft - обновление. Процедурный мир! Работаю над шейдерами, применяю свои знания из генеративного дизайна до нейронных сетей и получаю неплохие результаты. Рандомизация на основе законов шейдеров и небольших изысков анимации шумами дают полноценные…
Сейчас главная проблема это оптимизировать всю систему шейдеров и включить разные Level of Distance - потому что не всё следует показывать как есть.
🔥16🕊1
Синтеты, у меня к вам важное сообщение.Готовы ли вы,
получив задание в определённом чате, потратить собственные средства и время на создание качественных и необходимых датасетов для сегмента больших языковых моделей (LLM) в России?Моя идея в объединении синтетов, кто хочет участвовать в общий чат и создании единого репозитория, который будет пополняться значительным объёмом датасетов. Запланировано использование лучших английских датасетов по следующим направлениям:
инструкции, написание кода, математика, научные данные, а также специализированные темы, не освоенные в отечественной практике. Данные будут грамотно, точно и на высоком уровне переведены на русский язык с помощью настроенного фреймворка LLM.
Такие вещи должны как-то хоститься. А значит это, что часть участников сможет использовать собственное оборудование, другие — подписку на
Google Colab и будут вручную следить ( у кого на что хватит спецификации).Кнопки "сделать красиво" не будет. Тут нужны люди, которые непосредственно разбираются в теме.
Репозиторий будет открытым для всех - стараться будем для сообщества и , вообще, для социума.
При получении достаточного количества подтверждений от активных синтетов будет создан чат, и всем ответившим будет предоставлена ссылка в личку от Техножнеца.
Будущее развития датасетов в России планируется решать самостоятельно.Лично я
1🔥62👍10❤4🤔4🕊1
Сегодня добавлю в чат участников, там будут разделы. Все, кто отписался - поговорим с вами лично.
👏12🕊1
щас кое что буду выкладывать, поджигая жопы, а некоторых очень радуя. комьюнити начнётся здесь...это будет Github проект, который многие ждут...много раз писал об этом. как думаете, что это?
👍18❤5🕊1 1
Квоты ИИШКИ , наконец-то, пополнены.
Жду наплыва маркетолог советчиков 😃 (с совершеннолетним стажем)
Жду наплыва маркетолог советчиков 😃 (с совершеннолетним стажем)
👍27🕊1
Синтеты, коротко.
28 апреля выступаю на конференции СПИСОК-2026 в СПбГУ. Это всероссийская научная конференция по проблемам информатики, математический факультет.Три доклада:1.
TrueKAN - чебышёвские KAN-слои в языковой модели на 853 миллиона параметров. Суть: взял сети Колмогорова-Арнольда, которые все считали непрактичными (в 12 раз медленнее MLP), переделал базис на полиномы Чебышёва K=3 с low-rank факторизацией - получил на 38% быстрее стандартного nn.Linear. Модель RUKALLAMA V9 обучена на одном A100 за $125 и показывает лучший результат среди русскоязычных моделей на PARus (MERA).2.
Методология построения русскоязычного корпуса из учебной литературы. 767 учебников, собственный токенизатор RUKANIZER (4.33x компрессия, 100% реконструкция, лучше всех русских токенизаторов в 8 из 9 доменов), автоматическая ёфикация 19,052 словоформ.3.
PromeTorch - прототип фреймворка для тренировки нейросетей на отечественных VLIW-ускорителях NM Card Mini и NM Quad (НТЦ Модуль). 93,000 строк C++/CUDA/Python, 35 опкодов, полный цикл обучения on-card. 705 tok/s на 16 ядрах.Тезисы приняты, статус - на рассмотрении.
Если кто в Питере 28-го - заходите. Конференция открытая. (вроде бы как)spisok.math.spbu.ru/2026/
🔥57❤8🕊1
Мне часто коллеги и люди понимающие в маркетинге, в прогреве и так далее говорят, что есть определённые часы для постинга. а я вот думаю, что если тебе реально интересно что-то, то ты просто подписан и каждый день проверяешь любимый источник твоей той самой инфы.
В общем - я почти допилил PromeTorch. Я всё это время его делал. Особенно много траханья сексом было с моделькой кастомной под Эльбрус. Чуть мозг не вскипел. Кстати про неё:
PIR, 250m BPE (Rukanizer - свой токенизатор, которы у Rukallama) + 2gb датасет русский.
Генерации у модельки слабые + я не разогнал PromeTorch до нужного уровня. Надоело его делать - надо выдохнуть немного...
В общем - я почти допилил PromeTorch. Я всё это время его делал. Особенно много траханья сексом было с моделькой кастомной под Эльбрус. Чуть мозг не вскипел. Кстати про неё:
PIR, 250m BPE (Rukanizer - свой токенизатор, которы у Rukallama) + 2gb датасет русский.
Генерации у модельки слабые + я не разогнал PromeTorch до нужного уровня. Надоело его делать - надо выдохнуть немного...
👍36💯12❤5 3🤔1🕊1
😨 нахрен блин...жёстко, конечно, я вас грею. Но каждый раз перед выкладыванием репы получается странный движ...
Я начинаю делать "финальные правки" и ухожу на сутки в исправления , потом в тильт на неделю и так по кругу.
Щас я вернусь из магаза и выложу прометорч - надоело тянуть...ну и вы меня простите, я не спецом тут прогрев до костей делаю...так выходит. Пора довериться комьюнити
Я начинаю делать "финальные правки" и ухожу на сутки в исправления , потом в тильт на неделю и так по кругу.
Щас я вернусь из магаза и выложу прометорч - надоело тянуть...ну и вы меня простите, я не спецом тут прогрев до костей делаю...так выходит. Пора довериться комьюнити
🤗23👀7😨3🤝3❤2👍2😢1🕊1
Сегодня с Imaxai будем писать видос вечером удалённо - интересный контент скоро.
🔥28❤🔥14👍8⚡3🕊1