Прекрасная академия будущего с гитом и логированием симуляциями для учёных всех мастей, все статьи выходят в виде обновляемых постов, ревьювит их антиплагиат + кто хочет, а рейтинг статьи определяется по весу оценок.
😈32🍓8🤡4👍3🙏1
#чтивонаночь
APE Automatic Prompt Engineer
В чём идея: давайте заставим модель с помощью нескольких эвристик и переборов промптов(генерируемых моделью), на инференсе заставим подобрать промпт дающий максимальный score.
Ну и да, такой подход позволяет ОЧЕНЬ сильно бустануть метрики, см вторую картинку, самым правильным промптом оказалось:Let's work this out in a step by step way to be sure we have the right answer.
site
Code
APE Automatic Prompt Engineer
В чём идея: давайте заставим модель с помощью нескольких эвристик и переборов промптов(генерируемых моделью), на инференсе заставим подобрать промпт дающий максимальный score.
Ну и да, такой подход позволяет ОЧЕНЬ сильно бустануть метрики, см вторую картинку, самым правильным промптом оказалось:
site
Code
🔥32👍2
Forwarded from Dankest Memes // Данкест Мемс
SCP-3008 "Абсолютно нормальная старая добрая Икея"
😁33👍2😢2
Love. Death. Transformers.
#чтивонаночь RL + retrival feedback В чем идея: в оригинальном ресерче open ai использовалась схема при которой люди прописывали ревард для ответов модели, что вообще то не оч коректно и не оч скейлиться. Потом они выкинули часть людей и поствили gold RM…
X (formerly Twitter)
Jay Hack (@mathemagic1an) on X
Poor man's RLHF"
1) Have user indicate when model is correct
2) Store associated (input, output) in embedding index
3) At inference time, retrieve nearest K previous inputs
4) Put these top K (inputs, output) pairs into context as few-shot examples
…
1) Have user indicate when model is correct
2) Store associated (input, output) in embedding index
3) At inference time, retrieve nearest K previous inputs
4) Put these top K (inputs, output) pairs into context as few-shot examples
…
👍11🔥3😁1🤡1
This media is not supported in your browser
VIEW IN TELEGRAM
мем прошлогодний, но с каждым годом смешнее и смешнее
😁28😐17🤮2🤡1
#чтивонаночь
Diffusion With Offset Noise
Вы никогда не замечали что SD не очень хорошо генерирует темные сцены?
Проблема оказывается в том, что в ходе прямого процесса вы никогда полностью не стираете исходное изображение, поэтому, в свою очередь, обратная модель, начинающаяся с чистого шума, не совсем возвращается к полному истинному распределению изображений.
Вместо этого, те вещи, которые шум разрушает в последнюю очередь, в свою очередь, наиболее слабо изменяются обратным процессом - эти вещи наследуются от исходного шума, который используется для начала процесса.
Диффузия не знает, как изменить эти длинноволновые характеристики. А самая длинноволновая характеристика - это среднее значение изображения в целом, которое также является характеристикой, которая с наименьшей вероятностью будет меняться между независимыми выборками скрытого шума.
Так же авторы предложили решение, вместо инициализации шума через
блогпост, увидел у @randomkitchensink
Diffusion With Offset Noise
Вы никогда не замечали что SD не очень хорошо генерирует темные сцены?
Проблема оказывается в том, что в ходе прямого процесса вы никогда полностью не стираете исходное изображение, поэтому, в свою очередь, обратная модель, начинающаяся с чистого шума, не совсем возвращается к полному истинному распределению изображений.
Вместо этого, те вещи, которые шум разрушает в последнюю очередь, в свою очередь, наиболее слабо изменяются обратным процессом - эти вещи наследуются от исходного шума, который используется для начала процесса.
Диффузия не знает, как изменить эти длинноволновые характеристики. А самая длинноволновая характеристика - это среднее значение изображения в целом, которое также является характеристикой, которая с наименьшей вероятностью будет меняться между независимыми выборками скрытого шума.
Так же авторы предложили решение, вместо инициализации шума через
noise = torch.randn_like(latents)инициализировать через
noise = torch.randn_like(latents) + 0.1 * torch.randn(latents.shape[0], latents.shape[1], 1, 1) , что дает сильно лучшее качество на темных картинках.блогпост, увидел у @randomkitchensink
👍20❤🔥4😈1
Мы тебе давать: 800 рублей на бейдж
Ты нам давать: работаешь до 21 в офисе
Ты нам давать: работаешь до 21 в офисе
👍30🐳8🥰7🤩7😈5
Снова объяснил кому то в интернете что он не прав 😎😎😎
🔥27😁6🍌2👍1
#чтивонаночь
X-Decoder:
Generalized Decoding for Pixel, Image and Language
опять инструкции, но теперь оно решает пары задач текст-картинка-текст(editing, retrival, qa, vqa, zeroshot, Image Editing(lol)).
Как это работает:
- Комбинация из нескольких энкодеров в один слой
- Лоссы под каждую задачу: mask loss, perceptual loss,
- Cross attention под комбинации модальностей
-Под все задачи использовали промптинг формата: segmenation mask class -> a photo of {class}
- инструкции под изменения обьектов на фото с учетом эмбедингов из panoptic segmentation
Бьет SOTA на ADE20k(cегментация)
🖥github
🤗hf_space
X-Decoder:
Generalized Decoding for Pixel, Image and Language
опять инструкции, но теперь оно решает пары задач текст-картинка-текст(editing, retrival, qa, vqa, zeroshot, Image Editing(lol)).
Как это работает:
- Комбинация из нескольких энкодеров в один слой
- Лоссы под каждую задачу: mask loss, perceptual loss,
- Cross attention под комбинации модальностей
-Под все задачи использовали промптинг формата: segmenation mask class -> a photo of {class}
- инструкции под изменения обьектов на фото с учетом эмбедингов из panoptic segmentation
Бьет SOTA на ADE20k(cегментация)
🖥github
🤗hf_space
🔥26👍1
накидываем реакции на пост, или я отпишусь
🤡149🤨26🍌16🖕13🐳11🍓9😈9😁8🌚8🍾5💔4