Техножнец
1.81K subscribers
1.19K photos
223 videos
12 files
421 links
Канал моих увлечений и поделок. Все ,что я делаю и выкладываю здесь - делается с любовью.

Поддержать канал: https://tbank.ru/cf/8Xnajl01ehm

Поддержать канал: https://yoomoney.ru/fundraise/1C86E2DGIU9.250819
Download Telegram
You
Hello. I am a sport specialist and i would like to know you basic knowledge about healthy life?

PIR
I am an AI language model that is widely used for personal and professional development. It has been a challenging time for me to learn more about the sport, but I can provide you with some of the best things you could do to help you develop your skills and skills.Step 1: Identify your skills and knowledge.2. Start by defining a professional level
PIR core не знает что такое "токены" — он работает с временными рядами [Batch, Time, Dim].

Текущий вход (текст):
tok_emb = nn.Embedding(vocab_size, n_embd) # дискретные токены → эмбеддинги


Для мультимодальности — просто меняем вход:

  ┌─────────────┬─────────────────────────────┬──────────────────────┐
│ Модальность │ Вход │ Проекция │
├─────────────┼─────────────────────────────┼──────────────────────┤
│ Audio │ mel-spectrogram [B, T, 80] │ nn.Linear(80, 768) │
├─────────────┼─────────────────────────────┼──────────────────────┤
│ Video │ frame features [B, T, 2048] │ nn.Linear(2048, 768) │
├─────────────┼─────────────────────────────┼──────────────────────┤
│ Sensors │ IMU/ECG [B, T, 6] │ nn.Linear(6, 768) │
├─────────────┼─────────────────────────────┼──────────────────────┤
│ Finance │ OHLCV [B, T, 5] │ nn.Linear(5, 768) │
└─────────────┴─────────────────────────────┴──────────────────────┘

PIR ядро остаётся тем же!
2
Для чата с вами, синтеты создаю языковую маску. Чтобы понимать как работает модель на русском, если англ сильно глаза будет резать. Это хак - маска перевода, но он работает отлично.

Тест 2: "Что такое машинное обучение?"


[RU] Ответ PIR: AI используется в машинном обучении, чтобы улучшить способность ученика мыслить, понимать и относиться к окружающему его миру. Вы можете учить на основе данных и создавать интерактивную среду, где компьютер может учиться...
🔥6
Неплохое. Даже на странный ввод уже чето адекватное...наблюдаю.
🤔21
🔥10🤔2
КАК ЖЕ ЧЕШАТСЯ РУКИ НАФИГ...но я спокойно стараюсь делать этап за этапов. всё постепенно.
👍6👻2
Ну вот и начался развал кабины.
Это последняя стадия, на ней уже будет понятны все возможности модели. Через 4 часа будет ясно.

❤️
👍6🔥2
Это сильный аргумент для adoption: "PIR даёт линейную сложность БЕЗ потери совместимости с современными методами alignment"

Не придётся переучивать специалистов, тем более там Pytorch.
🎉7
Первые эффекты после DPO! Это уже очень хорошо!

Q: What makes a good leader?

PIR: An effective leader in a leadership position is someone who values trust and teamwork. It also helps to build trust and loyalty among the other team members, making it difficult for them to win.


Q: Explain quantum computing simply.

PIR: In quantum mechanics, the fundamental principles of quantum mechanics are: 1. The first principle is the measurement and function of quantum particles in physics. In this case, a particle has a mass density, which can be thought of as an equal number in all dimensions.
👍3
ОХ! Нашёл баг, щас исправляю - будет ещё лучше!
👍3😁2🙏11
При этом я параллельно занимаюсь мастерингом треков. Бошка в режиме биполярки
🔥6❤‍🔥3👏3👍2👌1
Начал тренировку модели размером в 1 миллиард параметров.

Смотрю логи:

============================================================
PIR 1B PRETRAINING
============================================================

Config:
Dataset: openwebtext
Batch: 4 x 8 = 32
Seq len: 2048
Max steps: 100,000
Max LR: 0.0003
torch.compile: True
Decay ranges: ((0.92, 0.96), (0.94, 0.98), (0.96, 0.995), (0.97, 0.9999))

Chinchilla:
Total tokens: 6.6B
Optimal for 1B: ~20B tokens
Coverage: 33%
Device: cuda
GPU: NVIDIA H100 80GB HBM3
Memory: 85.2 GB
Dtype: torch.bfloat16

Начал в колабе! это 1 млрд параметров!
🔥24👀21
Step 230/100000 | Loss: 6.9083

Оно работает. 20 млрд токенов к 1 млрд параметров. Loss уже 6.9 - если бы архитектура не могла масштабироваться, то я имел бы одни проблемы. Пока что всё окей. Один раз вылетел NAN - но это не предусмотришь покуда не вылетит. Вылетело, поймал - убрал.

Смотрим дальше!
🔥13🤔2
[Q] Explain how neural networks work.

[A] Cognitive algorithms are used to analyze and interpret data more accurately than humans. This is because they are designed for human-like intelligence, while neural networks can be used in various ways or contexts such as analyzing data on a particular topic.
3🤔3🔥2
Media is too big
VIEW IN TELEGRAM
Нейросети vs музыканты: кто победит в битве за слушателя?

Технологии не стоят на месте. Генеративная музыка становится всё качественнее и доступнее. В этом видео мы сравним процесс создания музыки человеком и нейросетью, проанализируем плюсы и минусы обоих подходов и попытаемся спрогнозировать будущее музыкальной индустрии.

Смотрите полную версию стрима «Как защитить свою музыку от ИИ, как работают генераторы музыки, угрозы от ИИ музыки» на канале mishas tips!

#иимузыка #генеративнаямузыка #sunoai #udioai #нейросетимузыка #музыкальнаяиндустрия #авторскоеправо #будущеемузыки #творчествоии #защитамузыки
👍93🥰1
Привет, синтеты. Ппц график сбился, я вообще не понял - кто я и что я.
🤝5
💁‍♂️ Возможности PIR архитектуры.

Были глэки у моей модели, я исправил это дело. Продолжаю тренировки модели на 1млрд параметров.

Там была проблема в глубине контекста!
👍4
Сегодня встреча с РНБ в онлайне - первая в этом году. Буду показывать систему!
Ну и , возможно, немного данных бенчмарков PIR модели!

Тут такие инсайты прилетели по теме архитектуры во время тестов, что я просто в шоке. Покажу чуть позднее в чём прикол. Но меня прям радует насколько всё логично получается. Не зря я не выходил из дома и ни с кем не общался долгое время)))))))))
👍20😁4🔥2
🔥105😁5