#чтивонаночь
LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
Про RoPE слышали? короче у rotary эмбедов есть проблема - сколько учишь, столько получишь, учишь 2048 - будь добр не суй больше 2048, ppl порветься(ну точнее взорвется)
Rope обычный работает так что Kый токен будет притворяться токеном на позиции которые трансформер в оригинале видел. Конечно такой схематоз надо обучать, но куда без этого. К слову можно учить LoRA, так что все не так плохо.
Что же докидывают microsoft?
Они перебирают разные варианты возможных позиций и подсовывают в модель. Типа работает сильно лучше потому что это подобранная эвристика. Ну и соотвественно с названием это все можно скелйить в 2m токенов(если гпу на инференс хватит)
paper
кода нет, но обещают
LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
Про RoPE слышали? короче у rotary эмбедов есть проблема - сколько учишь, столько получишь, учишь 2048 - будь добр не суй больше 2048, ppl порветься(ну точнее взорвется)
Rope обычный работает так что Kый токен будет притворяться токеном на позиции которые трансформер в оригинале видел. Конечно такой схематоз надо обучать, но куда без этого. К слову можно учить LoRA, так что все не так плохо.
Что же докидывают microsoft?
Они перебирают разные варианты возможных позиций и подсовывают в модель. Типа работает сильно лучше потому что это подобранная эвристика. Ну и соотвественно с названием это все можно скелйить в 2m токенов(если гпу на инференс хватит)
paper
кода нет, но обещают
Forwarded from Roman Buzko
Musk vs Altman and OpenAI 2024.pdf
1.5 MB
Илон Маск предъявил иск к Сэму Альтману и группе OpenAI.
Основания для иска:
1/ Нарушение договора
2/ Promissory estoppel
3/ Нарушение фидуциарных обязательств
4/ Недобросовестная конкуренция
Интересные детали из иска и юридический разбор будут в этом канале в ближайшее время, а пока что прикладываю сам документ для вашего самостоятельного изучения.
Надо сказать, что Маска в этом деле представляют не его обычные юристы, а относительно небольшая юрфирма. Это говорит об оппортунистическим характере иска, например, чтобы получить информацию в рамках процесса discovery (мы как раз писали об этом в последнем посте из цикла #KrasExamination).
@buzko_hub
Основания для иска:
1/ Нарушение договора
2/ Promissory estoppel
3/ Нарушение фидуциарных обязательств
4/ Недобросовестная конкуренция
Интересные детали из иска и юридический разбор будут в этом канале в ближайшее время, а пока что прикладываю сам документ для вашего самостоятельного изучения.
Надо сказать, что Маска в этом деле представляют не его обычные юристы, а относительно небольшая юрфирма. Это говорит об оппортунистическим характере иска, например, чтобы получить информацию в рамках процесса discovery (мы как раз писали об этом в последнем посте из цикла #KrasExamination).
@buzko_hub
👍12❤5🤡3 2 1
А, те в рамках процесса получится вытащит инфу о гпт4, умно😬
Please open Telegram to view this post
VIEW IN TELEGRAM
😁49 17👍3🔥1🤡1
Love. Death. Transformers.
Поясните пожалуйста за математику, я правильно понимаю что для 70В модели надо иметь 300+ карт(20к usd каждая, те 11м USD за все). А dgx h100 способный в mp=8 выдавать те же 500т/с стоит 300к USD и при этом может не только инферить модельки но и учить?(для…
Собственно, в подтверждение моим мыслям про groq вышел любопытный блогпост про экономику инференса.
- грок оптимизирован под latency, это возможно на железкаах Nvidia, но не очень экономически целесообразно
-текущие провайдеры LLM в лучшем случае имеют небольшую марж
Выводы:
-цена инференса вероятно не упадет заметно пока Nvidia монополист на рынке *pu
блог
- грок оптимизирован под latency, это возможно на железкаах Nvidia, но не очень экономически целесообразно
-текущие провайдеры LLM в лучшем случае имеют небольшую марж
Выводы:
-цена инференса вероятно не упадет заметно пока Nvidia монополист на рынке *pu
блог
👍24 3❤1🔥1
Forwarded from Empty Set of Ideas (A)
(краткий пересказ введения к большой книжке Лейнстера "Entropy and diversity: The axiomatic approach" 2022)
Биоразнообразие кажется интуитивным понятием: много разных видов, чем их число больше, тем выше степень биоразнообразия. Но как быть с количественной мерой? Допустим, есть два сообщества A и B. С одной точки зрения, важно максимальное число представленных видов и не важно, насколько они распространены. С другой – важны только распространенные виды и их вклад. В зависимости от точки зрения, группа A или группа B будут считаться более разнообразными.
На самом деле, эти позиции – два противоположных конца континуального семейства однопараметрических мер биоразнообразия {D_q} для q in [0, infinity). Чем меньше значение q, тем больший вклад в биоразнообразие вносят редкие и малочисленные виды и наоборот.
Понятие биоразнообразия тесно связано с энтропией и фактически Шенноновская энтропия – это логарифм меры биоразнообразия D_1. Или, например, меры биоразнообразия D_q, известные в экологии как числа Хилла (Hill numbers), представляют собой экспоненты энтропии Реньи. Лейнстер доказывает, что числа Хилла – единственная мера биоразнообразия, обладающая natural properties в категорном смысле.
Кажется логичным, что помимо числа собственно представителей в сообществе, необходимо учитывать и их попарное подобие или генетическое родство. Существуют меры биоразнообразия, которые учитывают и это. Однако все они сводятся к мерам, связанным с энтропией Реньи, что также доказывается Лейнстером.
Современное животноводство активно использует антибиотики в производстве, порой неаккуратно, что приводит к появлению резистентной микрофлоры у домашнего скота. Высказывался ряд опасений, что появление таких резистентных бактерий может повлечь за собой эпидемии и среди людей, но Mather et al. показали, используя меры diversity для сравнения бактериальных семейств живущих с разными видами рядом, что резистентные Salmonella взятые у животных, вряд ли являются причиной резистентности у Salmonella живущих с человеком
Биоразнообразие кажется интуитивным понятием: много разных видов, чем их число больше, тем выше степень биоразнообразия. Но как быть с количественной мерой? Допустим, есть два сообщества A и B. С одной точки зрения, важно максимальное число представленных видов и не важно, насколько они распространены. С другой – важны только распространенные виды и их вклад. В зависимости от точки зрения, группа A или группа B будут считаться более разнообразными.
На самом деле, эти позиции – два противоположных конца континуального семейства однопараметрических мер биоразнообразия {D_q} для q in [0, infinity). Чем меньше значение q, тем больший вклад в биоразнообразие вносят редкие и малочисленные виды и наоборот.
Понятие биоразнообразия тесно связано с энтропией и фактически Шенноновская энтропия – это логарифм меры биоразнообразия D_1. Или, например, меры биоразнообразия D_q, известные в экологии как числа Хилла (Hill numbers), представляют собой экспоненты энтропии Реньи. Лейнстер доказывает, что числа Хилла – единственная мера биоразнообразия, обладающая natural properties в категорном смысле.
Кажется логичным, что помимо числа собственно представителей в сообществе, необходимо учитывать и их попарное подобие или генетическое родство. Существуют меры биоразнообразия, которые учитывают и это. Однако все они сводятся к мерам, связанным с энтропией Реньи, что также доказывается Лейнстером.
Современное животноводство активно использует антибиотики в производстве, порой неаккуратно, что приводит к появлению резистентной микрофлоры у домашнего скота. Высказывался ряд опасений, что появление таких резистентных бактерий может повлечь за собой эпидемии и среди людей, но Mather et al. показали, используя меры diversity для сравнения бактериальных семейств живущих с разными видами рядом, что резистентные Salmonella взятые у животных, вряд ли являются причиной резистентности у Salmonella живущих с человеком
Одна нейронка из предложения делает целый текст, другая по нему делает видео, третья пересказывает это видео в текст, четвертая сводит текст в предложение.
Напомните, почему мы этот уророборос выбрали?
Напомните, почему мы этот уророборос выбрали?
😁95 20 11❤1👍1
Релиз claudе3
- сота с отрывом 0.04 пункта по mmlu
- в целом почти по всем бенчам дотюнились до gpt4
Ссылка
- сота с отрывом 0.04 пункта по mmlu
- в целом почти по всем бенчам дотюнились до gpt4
Ссылка
❤48😁14👍5🤔3 2 2
Love. Death. Transformers.
Релиз claudе3 - сота с отрывом 0.04 пункта по mmlu - в целом почти по всем бенчам дотюнились до gpt4 Ссылка
Очень важная инфографика на бенчамарках на 400 вопросах лежащих в опенсурс.
Ждём lmsys через пару недель, посмотрим.
Ждём lmsys через пару недель, посмотрим.
😁19
Тут тихонько релизнулась папира сд3
у нас есть эффективные архитектуры дома
эффективные архитектуры дома:
тут тихо релизнулась папира sd3, линк скинул @seeallochnaya
у нас есть эффективные архитектуры дома
эффективные архитектуры дома:
тут тихо релизнулась папира sd3, линк скинул @seeallochnaya
😁27 4👏2🤡2👍1 1
Чат, ищу людей с опытом подачи на UK talent как человек из науки (ds не наука в этом контексте), если у вас есть такой опыт - вас очень ждёт @rerayne
🤡29 22👍4😁4❤3 2👎1