Love. Death. Transformers.
24.5K subscribers
4.59K photos
524 videos
82 files
3.01K links
❤️☠️🤗

Указанные действия не являются ресерчем, поскольку:
а) Мы не ученые;
б) Оно работает.
@transformerslovedeatch по всем вопросам
Все ситуации вымышлены, любые совпадения с реальности плот вашей фантазии.
Download Telegram
#чтивонаночь
LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens


Про RoPE слышали? короче у rotary эмбедов есть проблема - сколько учишь, столько получишь, учишь 2048 - будь добр не суй больше 2048, ppl порветься(ну точнее взорвется)

Rope обычный работает так что Kый токен будет притворяться токеном на позиции которые трансформер в оригинале видел. Конечно такой схематоз надо обучать, но куда без этого. К слову можно учить LoRA, так что все не так плохо.

Что же докидывают microsoft?
Они перебирают разные варианты возможных позиций и подсовывают в модель. Типа работает сильно лучше потому что это подобранная эвристика. Ну и соотвественно с названием это все можно скелйить в 2m токенов(если гпу на инференс хватит)

paper
кода нет, но обещают
16🔥4👍21
so true
😁95155🤩4😢2👍1
Forwarded from ML-легушька (Николай Кутузов)
8025👍7👏2
ебала жаба гадюку

Маск подал в суд на Саму и опен аи, потому что схема работы openai крайне сложная и не похожа non-profit организацию
76😁29176👍5🔥5
Forwarded from Roman Buzko
Musk vs Altman and OpenAI 2024.pdf
1.5 MB
Илон Маск предъявил иск к Сэму Альтману и группе OpenAI.

Основания для иска:

1/ Нарушение договора
2/ Promissory estoppel
3/ Нарушение фидуциарных обязательств
4/ Недобросовестная конкуренция

Интересные детали из иска и юридический разбор будут в этом канале в ближайшее время, а пока что прикладываю сам документ для вашего самостоятельного изучения.

Надо сказать, что Маска в этом деле представляют не его обычные юристы, а относительно небольшая юрфирма. Это говорит об оппортунистическим характере иска, например, чтобы получить информацию в рамках процесса discovery (мы как раз писали об этом в последнем посте из цикла #KrasExamination).

@buzko_hub
👍125🤡321
А, те в рамках процесса получится вытащит инфу о гпт4, умно😬
Please open Telegram to view this post
VIEW IN TELEGRAM
😁4917👍3🔥1🤡1
Love. Death. Transformers.
Поясните пожалуйста за математику, я правильно понимаю что для 70В модели надо иметь 300+ карт(20к usd каждая, те 11м USD за все). А dgx h100 способный в mp=8 выдавать те же 500т/с стоит 300к USD и при этом может не только инферить модельки но и учить?(для…
Собственно, в подтверждение моим мыслям про groq вышел любопытный блогпост про экономику инференса.
- грок оптимизирован под latency, это возможно на железкаах Nvidia, но не очень экономически целесообразно
-текущие провайдеры LLM в лучшем случае имеют небольшую марж

Выводы:
-цена инференса вероятно не упадет заметно пока Nvidia монополист на рынке *pu



блог
👍2431🔥1
Forwarded from Empty Set of Ideas (A)
(краткий пересказ введения к большой книжке Лейнстера "Entropy and diversity: The axiomatic approach" 2022)


Биоразнообразие кажется интуитивным понятием: много разных видов, чем их число больше, тем выше степень биоразнообразия. Но как быть с количественной мерой? Допустим, есть два сообщества A и B. С одной точки зрения, важно максимальное число представленных видов и не важно, насколько они распространены. С другой – важны только распространенные виды и их вклад. В зависимости от точки зрения, группа A или группа B будут считаться более разнообразными.
На самом деле, эти позиции – два противоположных конца континуального семейства однопараметрических мер биоразнообразия {D_q} для q in [0, infinity). Чем меньше значение q, тем больший вклад в биоразнообразие вносят редкие и малочисленные виды и наоборот.

Понятие биоразнообразия тесно связано с энтропией и фактически Шенноновская энтропия – это логарифм меры биоразнообразия D_1. Или, например, меры биоразнообразия D_q, известные в экологии как числа Хилла (Hill numbers), представляют собой экспоненты энтропии Реньи. Лейнстер доказывает, что числа Хилла – единственная мера биоразнообразия, обладающая natural properties в категорном смысле.

Кажется логичным, что помимо числа собственно представителей в сообществе, необходимо учитывать и их попарное подобие или генетическое родство. Существуют меры биоразнообразия, которые учитывают и это. Однако все они сводятся к мерам, связанным с энтропией Реньи, что также доказывается Лейнстером.

Современное животноводство активно использует антибиотики в производстве, порой неаккуратно, что приводит к появлению резистентной микрофлоры у домашнего скота. Высказывался ряд опасений, что появление таких резистентных бактерий может повлечь за собой эпидемии и среди людей, но Mather et al. показали, используя меры diversity для сравнения бактериальных семейств живущих с разными видами рядом, что резистентные Salmonella взятые у животных, вряд ли являются причиной резистентности у Salmonella живущих с человеком
50178👍6🔥33🤩2
Media is too big
VIEW IN TELEGRAM
Парень сделал Jarvis-like рабочий стол, смотрите!

ig
58🤩16🔥92👍1
stop doing world models
😁39🤡2
Одна нейронка из предложения делает целый текст, другая по нему делает видео, третья пересказывает это видео в текст, четвертая сводит текст в предложение.


Напомните, почему мы этот уророборос выбрали?
😁9520111👍1
Релиз claudе3

- сота с отрывом 0.04 пункта по mmlu
- в целом почти по всем бенчам дотюнились до gpt4

Ссылка
48😁14👍5🤔322
Love. Death. Transformers.
Релиз claudе3 - сота с отрывом 0.04 пункта по mmlu - в целом почти по всем бенчам дотюнились до gpt4 Ссылка
Очень важная инфографика на бенчамарках на 400 вопросах лежащих в опенсурс.

Ждём lmsys через пару недель, посмотрим.
😁19
😁856🔥5👍1
Is it test?
47🔥167😁4
Тут тихонько релизнулась папира сд3

у нас есть эффективные архитектуры дома

эффективные архитектуры дома:


тут тихо релизнулась папира sd3, линк скинул @seeallochnaya
😁274👏2🤡2👍11
Чат, ищу людей с опытом подачи на UK talent как человек из науки (ds не наука в этом контексте), если у вас есть такой опыт - вас очень ждёт @rerayne
🤡2922👍4😁432👎1