Техножнец
4.96K subscribers
1.44K photos
253 videos
12 files
642 links
Канал моих увлечений и поделок. Всё ,что я делаю и выкладываю здесь - делается с любовью.

Поддержать канал: https://tbank.ru/cf/8Xnajl01ehm

Поддержать канал: https://yoomoney.ru/fundraise/1C86E2DGIU9.250819
Download Telegram
PID (Process ID, идентификатор процесса). Номер процесса в операционной системе Linux. «PID 52935 живой» означает что процесс тренировки не упал и не завис, продолжает работать. Проверка что серверная работа за ночь не сломалась.

━━━━━━━━━━━━━━━━━━━━

🏛 ОРИЕНТИРЫ В ИНДУСТРИИ

Llama, Mistral. Две самые известные открытые серии больших языковых моделей: от Meta и от французской компании Mistral AI соответственно. Индустриальный стандарт архитектуры. Если какая-то деталь «как в Llama» — значит проверенная годами работа.

Open-source. Открытый исходный код. Модель которую любой может скачать, посмотреть, использовать. В противоположность закрытым моделям типа GPT-4, Claude или Gemini, где ты можешь только отправлять запросы через API.

Architectural vs post-factum (архитектурный vs пост-фактум). Architectural fix = починка в самом строении модели, требует переобучения. Post-factum fix = попытка залепить проблему уже обученной модели через модификации inference, без переобучения. Мой вывод поста: post-factum костыли не работают на архитектурных багах.

━━━━━━━━━━━━━━━━━━━━
👍161🕊1
Синтеты, это для своих.

Этот пост специально для тех кто активно занимается подобными исследованиями, и для тех кто никогда подобным не занимался. Для тех кто хочет двигаться дальше чем просто "работка с модельками". Дальше чем файнтюны на готовых стеках. Тех кто хочет делать красиво - исходя из более низких абстракций, с понимания как это устроено изнутри.

━━━━━━━━━━━━━━━━━━━━

📓 Здесь я веду свой журнал как Техножнец.

Исключительно из любви к этой работе и подобным исследованиям. Да, со стороны для спеца ультра-уровня это может выглядеть как мазохизм. Но только в ограниченных условиях и выстрадано когда своими силами - появляется понимание ценности того, что пройдено.

Надутая гордость не имеет места на фоне такой тяжёлой работы. Сил остаётся лишь на анализ и взаимодействие с самым ценным вокруг - с людьми.

━━━━━━━━━━━━━━━━━━━━

💸 Бабки, бабки.

Грязная зелёная бумажка, призванная всего лишь обслуживать нас - а по факту управляет. Люди откидывают когнитивные рамки потребления сообществ ради своих целей. Убирают денежные рамки - и тут же вставляют туда ту же самую консюмерскую логику. Поэтому и теряются в океане лжи, непонимания и отсутствия рефлексии.

━━━━━━━━━━━━━━━━━━━━

🌊 Рефлексия не должна быть мутной лужицей в ладошках, которую достаёшь из кармана когда приспичит.

Это должен быть безбрежный океан. Планета рефлексии. Где ты в первую очередь анализируешь свои шаги.

━━━━━━━━━━━━━━━━━━━━

🧠 Сообщество призвано обогатить мозг, заставить его шевелиться.

Я обогащаю прежде всего свой мозг - начни с себя, всегда. Но мне не стрёмно делиться с вами. Всё что я прохожу через @technojnec - это открытый журнал. И пусть он таким остаётся.

━━━━━━━━━━━━━━━━━━━━

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤‍🔥26👍953👌1🕊1🤝1🤗1
👍26🕊1
Это лишь часть весов ⚖️. Сейчас будет чистка 🧹. Каждый раз ощущение, что удаляю нечто...полуживое... ох уж эти когнитивные искажения 🧠.
👍16👻3👨‍💻22🕊1
Opencraft - обновление.

Процедурный мир!

Работаю над шейдерами, применяю свои знания из генеративного дизайна до нейронных сетей и получаю неплохие результаты. Рандомизация на основе законов шейдеров и небольших изысков анимации шумами дают полноценные смотрибельные результаты.

Делаю дальше. Потом видосик покажу со звуками уже.
👍29🔥5🕊1🦄1
Синтеты, у меня к вам важное сообщение.

Готовы ли вы, получив задание в определённом чате, потратить собственные средства и время на создание качественных и необходимых датасетов для сегмента больших языковых моделей (LLM) в России?

Моя идея в объединении синтетов, кто хочет участвовать в общий чат и создании единого репозитория, который будет пополняться значительным объёмом датасетов. Запланировано использование лучших английских датасетов по следующим направлениям: инструкции, написание кода, математика, научные данные, а также специализированные темы, не освоенные в отечественной практике.

Данные будут грамотно, точно и на высоком уровне переведены на русский язык с помощью настроенного фреймворка LLM.


Такие вещи должны как-то хоститься. А значит это, что часть участников сможет использовать собственное оборудование, другие — подписку на Google Colab и будут вручную следить ( у кого на что хватит спецификации).

Кнопки "сделать красиво" не будет. Тут нужны люди, которые непосредственно разбираются в теме.
Репозиторий будет открытым для всех - стараться будем для сообщества и , вообще, для социума.

При получении достаточного количества подтверждений от активных синтетов будет создан чат, и всем ответившим будет предоставлена ссылка в личку от Техножнеца. Будущее развития датасетов в России планируется решать самостоятельно.

Лично я заебался ждать
1🔥62👍104🤔4🕊1
🫡20👍8🔥6🕊1
Доброе "утро"...
🤝9🫡2
Мы с Claude дизайнеры...лол.

На самом деле пробую кое-что интересное и создаю клёвы скиллзы ему.
👍18🕊1
Сегодня добавлю в чат участников, там будут разделы. Все, кто отписался - поговорим с вами лично.
👏12🕊1
щас кое что буду выкладывать, поджигая жопы, а некоторых очень радуя. комьюнити начнётся здесь...это будет Github проект, который многие ждут...много раз писал об этом. как думаете, что это?
👍185🕊11
Квоты ИИШКИ , наконец-то, пополнены.

Жду наплыва маркетолог советчиков 😃 (с совершеннолетним стажем)
👍27🕊1
Прогрев происходит лютейший...
👏28🔥13🦄2👍1🕊1
Синтеты, коротко.


28 апреля выступаю на конференции СПИСОК-2026 в СПбГУ. Это всероссийская научная конференция по проблемам информатики, математический факультет.

Три доклада:

1. TrueKAN - чебышёвские KAN-слои в языковой модели на 853 миллиона параметров. Суть: взял сети Колмогорова-Арнольда, которые все считали непрактичными (в 12 раз медленнее MLP), переделал базис на полиномы Чебышёва K=3 с low-rank факторизацией - получил на 38% быстрее стандартного nn.Linear. Модель RUKALLAMA V9 обучена на одном A100 за $125 и показывает лучший результат среди русскоязычных моделей на PARus (MERA).

2. Методология построения русскоязычного корпуса из учебной литературы. 767 учебников, собственный токенизатор RUKANIZER (4.33x компрессия, 100% реконструкция, лучше всех русских токенизаторов в 8 из 9 доменов), автоматическая ёфикация 19,052 словоформ.

3. PromeTorch - прототип фреймворка для тренировки нейросетей на отечественных VLIW-ускорителях NM Card Mini и NM Quad (НТЦ Модуль). 93,000 строк C++/CUDA/Python, 35 опкодов, полный цикл обучения on-card. 705 tok/s на 16 ядрах.

Тезисы приняты, статус - на рассмотрении.

Если кто в Питере 28-го - заходите. Конференция открытая. (вроде бы как)

spisok.math.spbu.ru/2026/
🔥578🕊1
Мне часто коллеги и люди понимающие в маркетинге, в прогреве и так далее говорят, что есть определённые часы для постинга. а я вот думаю, что если тебе реально интересно что-то, то ты просто подписан и каждый день проверяешь любимый источник твоей той самой инфы.

В общем - я почти допилил PromeTorch. Я всё это время его делал. Особенно много траханья сексом было с моделькой кастомной под Эльбрус. Чуть мозг не вскипел. Кстати про неё:

PIR, 250m BPE (Rukanizer - свой токенизатор, которы у Rukallama) + 2gb датасет русский.

Генерации у модельки слабые + я не разогнал PromeTorch до нужного уровня. Надоело его делать - надо выдохнуть немного...
👍36💯1253🤔1🕊1
😨 нахрен блин...жёстко, конечно, я вас грею. Но каждый раз перед выкладыванием репы получается странный движ...

Я начинаю делать "финальные правки" и ухожу на сутки в исправления , потом в тильт на неделю и так по кругу.

Щас я вернусь из магаза и выложу прометорч - надоело тянуть...ну и вы меня простите, я не спецом тут прогрев до костей делаю...так выходит. Пора довериться комьюнити
🤗23👀7😨3🤝32👍2😢1🕊1
Сегодня с Imaxai будем писать видос вечером удалённо - интересный контент скоро.
🔥28❤‍🔥14👍83🕊1