Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👀2🔥1
так по итогам новый опус дешевле или дороже? по цене токена дешевле но токенов за задачу жрёт ... 💀
ждём рекурсивные трансформеры от компании добра по типу астры, так больше продолжаться не может😭
ждём рекурсивные трансформеры от компании добра по типу астры, так больше продолжаться не может
Please open Telegram to view this post
VIEW IN TELEGRAM
💔1
Друзья вайбкодеры как вам вчерашние релизы?
По моим впечатлениям Опус5.5 оч хороший особенно на фоне неудачной 5й модели. Лимиты прямо лучше себя чувствуют и несколько неприятных запутанных задачек осилил
ГПТ6 занимает нишу Терры но я ничего прямо сверхестественного от неё не видел🧐 затупила над той же самой задачкой что я давал опусу и я решил не мучить
По моим впечатлениям Опус5.5 оч хороший особенно на фоне неудачной 5й модели. Лимиты прямо лучше себя чувствуют и несколько неприятных запутанных задачек осилил
ГПТ6 занимает нишу Терры но я ничего прямо сверхестественного от неё не видел
Please open Telegram to view this post
VIEW IN TELEGRAM
👀1
Как только мою колду закроют по требованиям Activision я начну делать аналитической движок.
У меня есть такая идея - рассматривать выполнение запроса не как заранее выбранный логический -> физ план, а как непрерывную задачу управления ресурсами. Цель - выполнить работу достаточно быстро, но использовать настолько мало CPU, памяти и машин, насколько позволяет текущая ситуация.
Ответственность поделить на три уровня, названия условные:
- Conductor управляет задачей целиком: где её считать и как распределить ресурсы кластера.
- Supervisor управляет отдельной частью: например, есть ли смысл перезапустить, добавить воркеров или разбить данные.
- Run принимает решения опираясь на то, сколько данных, памяти и времени реально потребовалось и он единственный кто даёт реальный фидбэк наверх по цепочке. Зачем нужен фидбэк?
Каждое решение на Т1 Т2 Т3 уровне строится из суммы policy + hint + observations: жёстких ограничений, текущего предположения и фактов исполнения.
> Отчётик нужен на завтра а внезапно пришло много данных? Приостановить существующие процессы и выполнить нужное.
> Процесс был запущен на огромных ресурсах ради джойна 12 МБ? Выполнить на одной тачке и сделать себе пометку на будущие запуски.
Обычно такие решения принимаются обычными policy и эвристиками. Но если система попадает в ситуацию, которую трудно было предусмотреть заранее - тот же интерфейс позволяет передать контекст внешней модели вроде Jev!!
И получается на самом деле AI - FIRST ANALYTICAL DATABASE. Нужно ли оно кому-то? Нет, никто эвристическую модель близко к финансам не пустит. Остановит ли меня это? Хз. Звучит очень интересно
У меня есть такая идея - рассматривать выполнение запроса не как заранее выбранный логический -> физ план, а как непрерывную задачу управления ресурсами. Цель - выполнить работу достаточно быстро, но использовать настолько мало CPU, памяти и машин, насколько позволяет текущая ситуация.
Ответственность поделить на три уровня, названия условные:
- Conductor управляет задачей целиком: где её считать и как распределить ресурсы кластера.
- Supervisor управляет отдельной частью: например, есть ли смысл перезапустить, добавить воркеров или разбить данные.
- Run принимает решения опираясь на то, сколько данных, памяти и времени реально потребовалось и он единственный кто даёт реальный фидбэк наверх по цепочке. Зачем нужен фидбэк?
Каждое решение на Т1 Т2 Т3 уровне строится из суммы policy + hint + observations: жёстких ограничений, текущего предположения и фактов исполнения.
> Отчётик нужен на завтра а внезапно пришло много данных? Приостановить существующие процессы и выполнить нужное.
> Процесс был запущен на огромных ресурсах ради джойна 12 МБ? Выполнить на одной тачке и сделать себе пометку на будущие запуски.
Обычно такие решения принимаются обычными policy и эвристиками. Но если система попадает в ситуацию, которую трудно было предусмотреть заранее - тот же интерфейс позволяет передать контекст внешней модели вроде Jev!!
И получается на самом деле AI - FIRST ANALYTICAL DATABASE. Нужно ли оно кому-то? Нет, никто эвристическую модель близко к финансам не пустит. Остановит ли меня это? Хз. Звучит очень интересно
🔥3
Любопытно что лимит запросов к 6 Pro не ресетится Banked Reset'ом
Мб кому-то это очевидно, мне не совсем🧐 Компания зла в очередной раз нас всех переиграла...
Мб кому-то это очевидно, мне не совсем
Please open Telegram to view this post
VIEW IN TELEGRAM
💔1👀1
Помните был такой PLAN MODE во всех популярных харнесах
Давно про него ничего не слышно.
Случилось чего?..
Давно про него ничего не слышно.
Случилось чего?..
😁4🤡1
Друзья а почему ллмки сами не могут следить за своим контекстом. Честно так впадлу вводить постоянно /clear /compact, переносить планы руками.
Вот запросила ллмка 10 файлов. Из них полезных - 3. Ну так вырезать лишние и всё. Или оставить в контексте чото типа "в данном файле ничего полезного не нашлось".
Вот вы решали пол часа задачку и ты ещё докидываешь совсем другую задачу. Зачем clear? Она чё сама не понимает что большая часть предыдущего контекста мусор?
Почему compact происходит по фиксированному лимиту а не по воле самой модельки? Очень много вопросов.
Более общий механизм - RLM, но, как мы помним, он не взлетел чото... так почему бы не дать тулы для каких-то таких мета операций🧐
Вот запросила ллмка 10 файлов. Из них полезных - 3. Ну так вырезать лишние и всё. Или оставить в контексте чото типа "в данном файле ничего полезного не нашлось".
Вот вы решали пол часа задачку и ты ещё докидываешь совсем другую задачу. Зачем clear? Она чё сама не понимает что большая часть предыдущего контекста мусор?
Почему compact происходит по фиксированному лимиту а не по воле самой модельки? Очень много вопросов.
Более общий механизм - RLM, но, как мы помним, он не взлетел чото... так почему бы не дать тулы для каких-то таких мета операций
Please open Telegram to view this post
VIEW IN TELEGRAM
👀1
267 подписчиков😚 Спасибо вам всем мне оч приятно такие числа видеть и много комментариев под моим щитпостингом...
Лишних клоунов вы, конечно, ставите, местами. Но ничего!
Сегодня новый iw4L видос: https://youtu.be/z_KPn5jvUH8
Лишних клоунов вы, конечно, ставите, местами. Но ничего!
Сегодня новый iw4L видос: https://youtu.be/z_KPn5jvUH8
🤡20🔥8😁3👀1