Сделал Log16 внимание. 450 мб и 1млн контекста, автоматический компактинг и сжатие контекста. Не 1тб или гигабайты, а 450 мб фиксированно. Но это при условии, что вокабуляр 256, значит байтовый трансформер сработал бы.
НО! Меня так ДОКАНАЛИ ТРАНСФОРМЕРЫ.....просто устал от них. какая-то игрушка для богатых.
Делаю другое...совсем другое. GRU - наше всё. Главное починить чтобы градиенты текли, но я уже сделал. Смотрим!
Скоро буду выкладывать полноценно архитектуру PIR чтобы вы тоже тренировали!
НО! Меня так ДОКАНАЛИ ТРАНСФОРМЕРЫ.....просто устал от них. какая-то игрушка для богатых.
Делаю другое...совсем другое. GRU - наше всё. Главное починить чтобы градиенты текли, но я уже сделал. Смотрим!
Скоро буду выкладывать полноценно архитектуру PIR чтобы вы тоже тренировали!
1🔥20
И, насколько я понимаю, мне стоит побыстрее возобновить эфиры потому что запутанность людей в функционале ЛЛМ и в текстовом движе - МАКСИМАЛЬНОЕ!
1💯23👏11👍8🕊2
Техножнец
Сделал Log16 внимание. 450 мб и 1млн контекста, автоматический компактинг и сжатие контекста. Не 1тб или гигабайты, а 450 мб фиксированно. Но это при условии, что вокабуляр 256, значит байтовый трансформер сработал бы. НО! Меня так ДОКАНАЛИ ТРАНСФОРМЕРЫ.....просто…
Начал тренировать сразу же. Хрен ли тупить! Русская будет. угу.
1🔥23👍9👏2❤🔥1🕊1
Хм! Мёртвый интернет? Что вы знаете о мёртвом интернете?
Со мной на
90% технических тем люди начали общаться либо запоротые информацией от LLM, либо берут и копипастят ответы от нейрести. Я , буквально, в большей части общаюсь сплошь с нейросетями, где за рулём гомо сапиенс и даёт ей акцент. Но...уважаемые....
Ну, что это за топорное использование нейросетей для беседы? Да, признаю, сам так делал, но всегда...слышите? ВСЕГДА! Очень сильно старался и , порой, тратил больше времени , чем если бы сам ответил. Надо вчитываться в то, что говорит нейросеть. Надо относиться к ней крайне критически, т.к. несмотря на свою "умную базу данных вместо головы" они ой как тупят и подхватывают лишь вершки.
Я же не один понимаю момент с вниманием (attention) у моделей и проблемой в поиске релевантной инфы по аж 1 миллиону токенов. Или...ну окей...давайте возьмём 250 тысяч токенов беседу. Это 3 человека без перерыва горлопанят аж целых ...вот сколько вы думаете?
ЦЕЛЫХ 3 ЧАСА! Вот, как по вашему модель должна вытаскивать все зависимости если у моделей буквально нет никакого механизма обратной связи с вниманием. Ты только можешь ткнуть модель файлом снова, либо ткнуть ей прочитать файл заново...а если восстанавливать из "памяти", то там полная жесть. Ну вот и представьте себе, что чем дальше вы ведёте беседу с помощью нейросети, тем сильнее уплывает ваш контекст. А я откуда знаю каким образом вы пакуете свои мысли? Может вы там сидите не как гомо сапиенс, а как лысая обезьяна в кабине с кокпитом и жмакаете на кнопки: Да, Ага, выручай я не вывожу, придерживайся моей теории
Ну, синтеты...ну ёмаё...ну не работает это так. Не надо так делать...надо вкладывать даже БОЛЬШЕ СИЛ, чем в обычное сообщение человеку. В этом то и вся соль...Что реально в преимуществе тот, кто очень быстро и много может напечатать текстом.
ХОТИТЕ СТАТЬ СИЛЬНЕЕ? Русская раскладка — 5 лучших
CodeWar
Самый приятный современный вариант под RU/EN: курсы, аналитика, баттлы, можно начать без регистрации.
Бесплатно полностью — сайт прямо пишет, что нет премиума и скрытых платежей.
Все10
Хороший классический онлайн-тренажёр: русский, английский и другие языки, тест скорости, сертификат, группы, игровой режим.
Бесплатно. Есть кнопка «Поддержать проект», но обучение заявлено как бесплатное.
Ratatype / Ratatype RU
Очень простой старт, уроки, тест скорости, игровые режимы, сертификаты, аккуратный интерфейс.
Freemium: уроки бесплатные, но Ratatype Plus даёт безлимит, без рекламы и сертификаты. Цена: $7/мес или $36/год по $3/мес при годовой оплате.
Stamina Online
Старый, но рабочий формат: базовые уроки по русской раскладке, слова, знаки, цифры, символы.
Бесплатно, для сохранения прогресса нужна авторизация.
СОЛО на клавиатуре / Nabiraem
Самый «методический» вариант: 100 интерактивных уроков, психотренинг, русский и иностранные языки, обучение в браузере.
Платно после пробника: первые 5 уроков бесплатно, дальше тарифный доступ. Точную цену лучше смотреть на их странице оплаты, потому что сайт пишет про «гибкую стоимость», но не отдаёт фиксированную цену в открытом тексте.
Английская слепая печать — топ 3
TypingClub
Лучший структурированный курс для новичка: уровни, звёзды, визуальная постановка рук, можно без аккаунта, аккаунт нужен для сохранения прогресса.
Бесплатно для индивидуального пользователя. Есть платная школьная версия; минимум для школ — 20 лицензий за $120/год.
Typing.com
Большая учебная платформа: уроки, тесты, игры, прогресс, хорошо для системного обучения с нуля.
Freemium: бесплатная версия есть, Plus — платный, цена зависит от типа подписки/класса/школы, сайт предлагает генерировать quote.
Keybr
Очень сильный тренажёр для добивки слабых букв и мышечной памяти. Лучше после базового курса, а не совсем с нуля.
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал:
PAYPAL Поддержать канал: USDT(trc20)
TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqTПоддержать канал: BITCOIN
bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥16👏7❤6😱2💯2🕊1
Добрый день. Переехало камазом в ночи...лол...
P.S. Проснулся broken
P.S. Проснулся broken
1🤝19🤔9
СЕТУНЬ-2 МОЗГ: возрождение троичного компьютинга для эпохи ИИ (1/2)
В наше время выяснилось, что троичность ровно то, что нужно нейросетям. Модели BitNet от Microsoft показали: веса языковой модели можно квантовать в три значения и почти не потерять качество, выигрывая десятикратно по памяти.
В следующей части:
🦆 🦆 🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал:paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20)
Поддержать канал: BITCOIN
В 1958 году в МГУ построили компьютер «Сетунь», первый и единственный серийный троичный компьютер в мире. Вместо привычных нулей и единиц он считал в системе {-1, 0, +1}. Физически это экономнее: при основании счисления три закон Брусенцова даёт минимум энергии на бит. Сетунь работала, но история выбрала бинарный путь. На семь десятилетий троичность ушла в архив.В наше время выяснилось, что троичность ровно то, что нужно нейросетям. Модели BitNet от Microsoft показали: веса языковой модели можно квантовать в три значения и почти не потерять качество, выигрывая десятикратно по памяти.
Бинарные процессоры на такой нагрузке тратят энергию впустую. Они умеют считать произведение 32-битных чисел, а мы просим их перемножить «минус один на восьмёрку».СЕТУНЬ-2 МОЗГ это троичный AI-ускоритель, потомок советской Сетуни, спроектированный с нуля под BitNet-нагрузки. Нацелен на печать на российском заводе «Микрон» (65 или 90 нанометров). Архитектура гибрид: три троичных ядра общего назначения плюс специализированный матумножитель. По классу это родственник Tenstorrent или Apple Neural Engine, только с двумя радикальными отличиями.Первое. Троичная физика. Каждый сигнал в чипе закодирован двумя проводами вместо одного. Это даёт встроенный аппаратный сторож инвариантов, который во время первого включения на ПЛИС поймал реальный баг в нашем коде и не дал ему распространиться.Второе. Теорема Поповича. Подробности позже...В следующей части:
что физически подтверждено, где мы сейчас и сколько до реального чипа.Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал:
PAYPAL Поддержать канал: USDT(trc20)
TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqTПоддержать канал: BITCOIN
bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7Please open Telegram to view this post
VIEW IN TELEGRAM
👍30🔥22❤3🎉1🕊1
СЕТУНЬ-2 МОЗГ: где мы сейчас (2/2)
Параллельно мы с Claude провели полный физический синтез на открытой технологии Skywater 130 нанометров через
Дед-компьютер строили на Воробьёвых горах.
🦆 🦆 🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал:paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20)
Поддержать канал: BITCOIN
Что физически подтверждено сегодня. На плате Sipeed Tang Mega 138K Pro (ПЛИС Gowin GW5AST-138) с мая 2026 года крутится прошитая версия нашего процессора. Восемь параллельных каналов Поповича работают в реальном кремнии, мы видим их выходы по UART. Это не симуляция. Это электричество, бегущее по транзисторам.Параллельно мы с Claude провели полный физический синтез на открытой технологии Skywater 130 нанометров через
OpenLane. Это индустриальный маршрут уровня tape-out: синтез, размещение, разводка часов, статический анализ временных характеристик. Все ограничения выполняются, тайминг закрывается, потребление 12.4 мВт при 50 МГц. Площадь кристалла 6 мм². По переходу на 65 нанометров Микрона это около 1.5 мм² и около 800 МГц тактовой.На каком мы этапе. Дизайн доказан функционально. Прошёл sign-off на открытом PDK. Для отправки на «Микрон» нужно подписать NDA и получить их технологический пакет. Это вопрос недель политики, не инженерии. RTL остаётся тот же. После шаттла Микрона: 9-12 месяцев до реального чипа из печки. Запасной маршрут: бесплатный шаттл OpenMPW на Skywater, 4-6 месяцев.Что это значит. Если перспективы подтвердятся серийным кремнием, у России появится национальный AI-ускоритель класса frontier. Не догоняющий, а с двумя оригинальными идеями (троичность плюс теорема Поповича), которых нет ни у Tenstorrent, ни у Cerebras, ни у Groq. Продолжение линии «Сетуни», прерванной в 1965-м.Дед-компьютер строили на Воробьёвых горах.
Внук-чип едет на Зеленоград.Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал:
PAYPAL Поддержать канал: USDT(trc20)
TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqTПоддержать канал: BITCOIN
bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7Please open Telegram to view this post
VIEW IN TELEGRAM
🔥94👏12❤5👍5🙏1👌1🕊1
Снова странные налёты на паблик. Кому-то посты не дают покоя. Ну, наслаждайтесь со стороны.
👏13🤔10🔥4🕊2💯1
Созрело два репозитория интересных.
Хочу поделиться идеями по теме интересных архитектур. Скоро выложу. Это типа анонса.
Хочу поделиться идеями по теме интересных архитектур. Скоро выложу. Это типа анонса.
Попробуем тренировать/улучшать это дело сообществом. Одна из них будет мировая модель - я там интересные штуки обнаружил для себя, возможно, что сообществу это станет интересным событием. Датасеты и рекомендации по аугментации или синтезу данных будут приложены. Касаемо real world модель - сейчас смотрю какой уровень рандомизации всех параметров надо "распылять" на входные данные, чтобы лучше всего работать в "полевых условиях".Привет, синтеты. Деревянный компьютер с ИИ или как?
В 1961 году британский исследователь
И это не метафора. Там реально были коробки.
У Дональда Михи не было нормального доступа к компьютеру, поэтому он сделал «компьютер» физически.
Главное начинается после партии.
Если была ничья, ход слегка поощрялся.
Красота MENACE в том, что искусственный интеллект тут можно буквально увидеть руками.
В 1961 году британский исследователь
Дональд Михи собрал устройство, которое выглядело как странная игрушка из кружка труда, но по смыслу было одним из ранних примеров машинного обучения.Называлось оно MENACE: Matchbox Educable Noughts And Crosses Engine. По-русски примерно так: обучаемая машина для игры в крестики-нолики, собранная из спичечных коробков.И это не метафора. Там реально были коробки.
У Дональда Михи не было нормального доступа к компьютеру, поэтому он сделал «компьютер» физически.
Взял 304 коробка. Каждый коробок соответствовал конкретной позиции на поле крестиков-ноликов. Внутри лежали цветные бусины. Цвет бусины означал возможный ход.Процесс был простой.
MENACE смотрит на текущую раскладку. Человек-оператор находит коробок с такой же позицией. Из коробка случайно достаётся бусина. Её цвет показывает, куда машина должна поставить знак. Потом ходит человек. Потом снова находится нужный коробок, снова достаётся бусина, снова делается ход.
Главное начинается после партии.
Если MENACE проиграла, бусины, которые привели к плохим ходам, убирались. Значит, вероятность повторить такую линию снижалась.Если была ничья, ход слегка поощрялся.
Если MENACE выиграла, в коробок добавляли новые бусины такого же цвета. Значит, удачный ход становился более вероятным в будущем.Вот и всё. Дерево, коробки, бусины, крестики-нолики. Но по сути это уже обучение с подкреплением. Система пробует действия, получает обратную связь и меняет вероятность будущих решений.Красота MENACE в том, что искусственный интеллект тут можно буквально увидеть руками.
Где хранится состояние? В коробке. Как выбирается действие? Через бусину. Как появляется опыт? Через добавление и удаление бусин. Как меняется поведение? Через вероятности.🔥47❤5👍5
2 эпоха почти дошла до конца. Отчёты скоро будут по Rukallama V11 (TrueKAN) вот так и прошёл целый месяц тренировки очередной.
Это нихрена не быстро...это очень муторно, это надо постоянно следить за проблемами, исправлять косяки.
Теперь следующий этап: SFT, DPO, Reasoning SFT, GRPO
После этого уже буду выкладывать какая есть - времени уже нет. После бумаги буду масштабироваться на 7млрд параметров и далее пойду по накатанной выше. Буду вкладывать немалые средства свои. А там посмотрим.
Перспективы интересные, предложений много, но рассчитываю только на себя - слишком давно на родео. ТОЛЬКО САМ, ТОЛЬКО СВОИМИ РУКАМИ! ХОЧЕШЬ СДЕЛАТЬ ХОРОШО? СДЕЛАЙ САМ!
Это нихрена не быстро...это очень муторно, это надо постоянно следить за проблемами, исправлять косяки.
Теперь следующий этап: SFT, DPO, Reasoning SFT, GRPO
После этого уже буду выкладывать какая есть - времени уже нет. После бумаги буду масштабироваться на 7млрд параметров и далее пойду по накатанной выше. Буду вкладывать немалые средства свои. А там посмотрим.
Перспективы интересные, предложений много, но рассчитываю только на себя - слишком давно на родео. ТОЛЬКО САМ, ТОЛЬКО СВОИМИ РУКАМИ! ХОЧЕШЬ СДЕЛАТЬ ХОРОШО? СДЕЛАЙ САМ!
🔥29👏9
Скоро адские новости. У тех, кто нервничает сильно от моих постов - можете сразу отписаться. Я за ваше здоровье не отвечаю)))
(сразу ищите больницы с ожоговым отделением для жоп)
(сразу ищите больницы с ожоговым отделением для жоп)
3🔥24👍4❤3🤓2
Не разгоняем слухи, а проверяем!
История с DeepSeek конкретно: в апреле 2025 у них была проблема — chat.deepseek.com и api.deepseek.com стояли на Cloudflare-IP 104.18.27.90 / 104.18.26.90, которые шарились с заблокированными казино, и весь диапазон попадал под внереестровый блок (GitHub) . Сейчас они съехали на AWS (3.173.21.63), вне этой коллизии — поэтому работает.
Если у вас конкретно не открывается — это либо китайский overload "Сервер занят" (8 мая был массовый, остаточные жалобы идут до сих пор), либо твой провайдер ловит SNI/IP-коллизию с чем-то заблокированным.
Проверка: curl -v --connect-timeout 5 https://chat.deepseek.com с твоей машины — покажет точную причину (timeout / RST / TLS error / 200).
История с DeepSeek конкретно: в апреле 2025 у них была проблема — chat.deepseek.com и api.deepseek.com стояли на Cloudflare-IP 104.18.27.90 / 104.18.26.90, которые шарились с заблокированными казино, и весь диапазон попадал под внереестровый блок (GitHub) . Сейчас они съехали на AWS (3.173.21.63), вне этой коллизии — поэтому работает.
Если у вас конкретно не открывается — это либо китайский overload "Сервер занят" (8 мая был массовый, остаточные жалобы идут до сих пор), либо твой провайдер ловит SNI/IP-коллизию с чем-то заблокированным.
Проверка: curl -v --connect-timeout 5 https://chat.deepseek.com с твоей машины — покажет точную причину (timeout / RST / TLS error / 200).
Deepseek
Chat with DeepSeek AI.
👍17🤔2❤1
Техножнец
Скоро адские новости. У тех, кто нервничает сильно от моих постов - можете сразу отписаться. Я за ваше здоровье не отвечаю))) (сразу ищите больницы с ожоговым отделением для жоп)
Меня не послушались и подписчиков прибавилось. Значит прижигание жоп не миновать...
Заранее прошу прощения.
Заранее прошу прощения.
🔥10
Техножнец
Не разгоняем слухи, а проверяем! История с DeepSeek конкретно: в апреле 2025 у них была проблема — chat.deepseek.com и api.deepseek.com стояли на Cloudflare-IP 104.18.27.90 / 104.18.26.90, которые шарились с заблокированными казино, и весь диапазон попадал…
DNS работает, IP пингуется, TCP-443 коннектится — но HTTPS к chat.deepseek.com дропается на ТЛС-уровне на ВСЕХ РФ-точках, при этом api.deepseek.com и www.deepseek.com на ТОТ ЖЕ IP работают. Это селективная SNI-фильтрация через ТСПУ Роскомнадзора, без внесения в публичный реестр блокировок. AWS не банили (api работает с того же IP), РКН-реестр чист (проверено по z-i), сами DeepSeek не упали (это локально из РФ режется). Обход — любой инструмент, фрагментирующий TLS ClientHello (zapret/byedpi/GoodbyeDPI), либо VPN, либо API напрямую (он не тронут).
👍19🕊2