подписчики притащили поисковик по архиву который я раньше не видел, и он 💫 п р е к р а с е н💫
arxivxplorer.com
@lovedeathtransformers
arxivxplorer.com
@lovedeathtransformers
Please open Telegram to view this post
VIEW IN TELEGRAM
❤46
Прекрасная академия будущего с гитом и логированием симуляциями для учёных всех мастей, все статьи выходят в виде обновляемых постов, ревьювит их антиплагиат + кто хочет, а рейтинг статьи определяется по весу оценок.
😈32🍓8🤡4👍3🙏1
#чтивонаночь
APE Automatic Prompt Engineer
В чём идея: давайте заставим модель с помощью нескольких эвристик и переборов промптов(генерируемых моделью), на инференсе заставим подобрать промпт дающий максимальный score.
Ну и да, такой подход позволяет ОЧЕНЬ сильно бустануть метрики, см вторую картинку, самым правильным промптом оказалось:Let's work this out in a step by step way to be sure we have the right answer.
site
Code
APE Automatic Prompt Engineer
В чём идея: давайте заставим модель с помощью нескольких эвристик и переборов промптов(генерируемых моделью), на инференсе заставим подобрать промпт дающий максимальный score.
Ну и да, такой подход позволяет ОЧЕНЬ сильно бустануть метрики, см вторую картинку, самым правильным промптом оказалось:
site
Code
🔥32👍2
Forwarded from Dankest Memes // Данкест Мемс
SCP-3008 "Абсолютно нормальная старая добрая Икея"
😁33👍2😢2
Love. Death. Transformers.
#чтивонаночь RL + retrival feedback В чем идея: в оригинальном ресерче open ai использовалась схема при которой люди прописывали ревард для ответов модели, что вообще то не оч коректно и не оч скейлиться. Потом они выкинули часть людей и поствили gold RM…
X (formerly Twitter)
Jay Hack (@mathemagic1an) on X
Poor man's RLHF"
1) Have user indicate when model is correct
2) Store associated (input, output) in embedding index
3) At inference time, retrieve nearest K previous inputs
4) Put these top K (inputs, output) pairs into context as few-shot examples
…
1) Have user indicate when model is correct
2) Store associated (input, output) in embedding index
3) At inference time, retrieve nearest K previous inputs
4) Put these top K (inputs, output) pairs into context as few-shot examples
…
👍11🔥3😁1🤡1
This media is not supported in your browser
VIEW IN TELEGRAM
мем прошлогодний, но с каждым годом смешнее и смешнее
😁28😐17🤮2🤡1
#чтивонаночь
Diffusion With Offset Noise
Вы никогда не замечали что SD не очень хорошо генерирует темные сцены?
Проблема оказывается в том, что в ходе прямого процесса вы никогда полностью не стираете исходное изображение, поэтому, в свою очередь, обратная модель, начинающаяся с чистого шума, не совсем возвращается к полному истинному распределению изображений.
Вместо этого, те вещи, которые шум разрушает в последнюю очередь, в свою очередь, наиболее слабо изменяются обратным процессом - эти вещи наследуются от исходного шума, который используется для начала процесса.
Диффузия не знает, как изменить эти длинноволновые характеристики. А самая длинноволновая характеристика - это среднее значение изображения в целом, которое также является характеристикой, которая с наименьшей вероятностью будет меняться между независимыми выборками скрытого шума.
Так же авторы предложили решение, вместо инициализации шума через
блогпост, увидел у @randomkitchensink
Diffusion With Offset Noise
Вы никогда не замечали что SD не очень хорошо генерирует темные сцены?
Проблема оказывается в том, что в ходе прямого процесса вы никогда полностью не стираете исходное изображение, поэтому, в свою очередь, обратная модель, начинающаяся с чистого шума, не совсем возвращается к полному истинному распределению изображений.
Вместо этого, те вещи, которые шум разрушает в последнюю очередь, в свою очередь, наиболее слабо изменяются обратным процессом - эти вещи наследуются от исходного шума, который используется для начала процесса.
Диффузия не знает, как изменить эти длинноволновые характеристики. А самая длинноволновая характеристика - это среднее значение изображения в целом, которое также является характеристикой, которая с наименьшей вероятностью будет меняться между независимыми выборками скрытого шума.
Так же авторы предложили решение, вместо инициализации шума через
noise = torch.randn_like(latents)инициализировать через
noise = torch.randn_like(latents) + 0.1 * torch.randn(latents.shape[0], latents.shape[1], 1, 1) , что дает сильно лучшее качество на темных картинках.блогпост, увидел у @randomkitchensink
👍20❤🔥4😈1
Мы тебе давать: 800 рублей на бейдж
Ты нам давать: работаешь до 21 в офисе
Ты нам давать: работаешь до 21 в офисе
👍30🐳8🥰7🤩7😈5
Снова объяснил кому то в интернете что он не прав 😎😎😎
🔥27😁6🍌2👍1