Продолжая ИИшную аксиому Эскобара

Есть 2 варианта, локальной "one-shot" генерации:
1) Модель выдает архитектурно слабое решение, но зато это полностью рабочий каркас, который без проблем запускается. На такую генерацию уходит ~5 минут

2) Модель выдает классный архитектурны анализ, но полностью факапится в написании кода, допустив тупорылые логические ошибки. На такую генерацию уходит ~15 минут

На какой стул сядешь?

UPD:
Камон, естественно нет варианта, чтобы и классно было и работало, а ты что думал, это локальное нейрохрючево

UPD2:
Ладно, еще микроспойлер, некоторые тяжелые и типа-умные модели на 20+ лярдов параметров реально работают на уровне подброшенной монетки, как повезет, он либо решит задачу, либо не решит 😄

Сидел тут, выборочно осматривал на чем конкретно определенные модели факапились. Решил поисправлять за ними тупые баги, что б узнать как конечная имплементация пашет.

Ну просто поразительный перформанс листа, особенно когда тебе ниче не нужно рендерить 😄

Ура, я наконец-то закончил запись.

Осталось каких-то жалких 4/5 неделек, чтоб эту пиздецому смонтажировать 😄

Ебобаная привычка после 10-и минутных видосов писать кратко, емко и самое главное в быстром темпе, что б вы, СДВГшники, не заскучали 😄

Крч, я каким то хреном умудрился в первые 40 минут впихнуть следующий список тем:

1. LLM
2. Промпт
3. Обучение модели и инференс как разные процессы
4. Пост-тренировка в формате «инструкция → вывод»
5. Веса / параметры модели
6. Предсказание следующего токена
7. Токены и токенизатор
8. Особенности токенизации латиницы и кириллицы
9. Число параметров
10. Dense-модели
11. Эмерджентные свойства
12. Типы данных и точность весов (в т.ч. 16-бит)
13. Оценка потребления памяти по числу параметров
14. Квантизация
15. Floating point, мантисса и экспонента
16. FP8 и низкобитные форматы
17. Аппаратное ускорение низкобитных вычислений
18. Влияние квантизации на качество модели
19. Запуск квантованных моделей на CPU (в т.ч. SIMD)
20. Слои модели
21. Статическая квантизация по шаблонам
22. Защита отдельных слоев при сжатии (эмбеддинги, нормализация, ключевые блоки)
23. Адаптивная квантизация слоев с разной битностью
24. iMatrix и i-кванты
25. QAT (Quantization-Aware Training)
26. Сверхнизкобитная квантизация
27. Формат GGUF
28. Дистилляция (Distilled-модели)
29. Прунинг
30. Fine-tuning
31. LoRA и QLoRA
32. MoE (Mixture of Experts)
33. Роутер / маршрутизатор экспертов
34. Активные параметры
35. REAP
36. Спекулятивное декодирование
37. MTP (Multi-Token Prediction)
38. Reasoning
39. Мультимодальность
40. Vision
41. Speech-to-Text
42. Контекстное окно
43. Attention
44. Квадратичная сложность Attention
45. KV-кэш
46. Prefill / обработка промпта
47. Flash Attention
48. Квантизация KV-кэша
49. Paged Attention
50. Lost in the Middle


Теперь думайте, а чё же там происходит дальше 😄

Украл из камментов. Ну а вы че думали? Все ваши сообщения в нашем чате — собственность ехтримцоде 😄

Крч, тут недавно чуваки из гугла выложили оцифрованный мозг мухи-дрозофилы. Ученые пчелы сразу начали ставить на этой нейросетке безумные эксперименты. Например, прямо сейчас муха учится играть в Doom.

Пиксели игры превращаются в «зрительные сигналы» для нейросети, её активность управляет кнопками. В мозг встроены дофаминовые клетки и пластичность памяти: когда муха получает урон, в две конкретные клетки подаётся ток, и это меняет силу 4184 связей между клетками Кеньона и MBON — то есть обучение идёт через «боль», а не через скрипт. Память и нейросостояние сохраняются между раундами.

Арена: четыре стреляющих монстра, каждые 3 секунды может появиться новый (до 4 импов и 4 зомби), патроны пополняются ящиками и выпадают с трупов, смерть — рестарт с 100 патронами. Симуляция идёт 1:1 по времени, без пропуска шагов, зрители смотрят один общий запуск и не могут влиять.

Заценить в реальном времени можно здесь
https://fly-brain-doom.awormuth.chatgpt.site/

😄

UPD:
Дополнительно, есть еще муха крипто-лудоман. Подкидывают дофаминчиков, если ставка в казино (на бирже) сработала
https://github.com/nftechie/stonkfly

😄

Тем временем муха уже умеет вайбкодить 😄

А ты нет 😄