💠 ComfyUI 🏞

Я тут колаб принес, пользовательский интерфейс которого позволит вам проектировать пайплайн стабильной диффузии, используя интерфейс на основе нод (да да, прям в колабе). Если это кажется сложным, то предлагаю ознакомиться с этими примерами. Может работать асинхронно, куча оптимизаций, поддержка ckpt и safetensors, эмбэды, контролнеты и кучу всего другого. Контролнеты, к слову, можно миксовать друг с другом.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/SDNode_v_1_0.ipynb

MLArt

Привет всем! Целый год я ничего не писал сюда, ибо столкнулся с внутренними ограничениями, которые сам себе создал. Раньше, когда у меня было всего 8 подписчиков, я писал про дизайн, проводил интервью с интересными мне людьми, делал пересказы книг по воспитанию детей (все это еще осталось на канале). Я писал про все, к чему душа лежала (в особенности про нейросети). Я с большим удовольствием тестировал их и продолжаю тестировать по сей день.

Большой поток подписчиков пошел тогда, когда я начал постить Колаб ссылки на ноутбуки, которые я собирал для тех, кто хочет познакомиться с новинками в области машинного обучения, но не обладает навыками программирования. Это было полезным делом, ведь я чувствовал ответственность перед теми, кто ради этого и подписался. Я несколько раз писал о том, что хочу поэкспериментировать с форматами постов, но всегда останавливался, ибо боялся, что многие из вас отпишутся. Это было нечестно как перед вами, так и перед собой.

Затем на арену вышли генераторы изображений и ЛЛМки, а делать однотипные посты о том, как новая моделька на долю процента обогнала предыдущую не хотелось и я решил не писать ничего. Потом я запустил новый канал, где без зазрения совести писал о разных фреймворках, которыми сам пользуюсь, однако в чем смысл делиться ссылками с самим собой, когда есть место, где наверняка найдутся те, кому это будет интересно. Я решил вернуться сюда, честно вас предупредить, что Колабов будет меньше и, скорее всего, на не самые популярные проекты, высокую регулярность постов тоже обещать не могу, ибо все зависит от свободного времени. Посты с нового канала перенесу сюда до конца недели, а дальше как пойдет.

Всем, кто решит отписаться, хотел бы сказать спасибо за эти прекрасные годы, что вы читали меня, обсуждали со мной различные новинки и делились своим опытом. Возможно добавлю обсуждения, о которых многие просили, но это позже. Сейчас я плавно поменяю имя, описание и картинку канала, закину первый пост и буду надеяться, что не начну снова ставить себе рамки.

{guidance}

Хотел бы поделиться инструментами, которые сам часто использую. Начну с прекрасного тула для ЛЛМок, позволяющего структурировать выходные данные. Называется он Guidance. На самом деле это больше чем просто контроль аутпута, это целая парадигма взаимодействия с языковыми моделями, позволяющая легко строить логику над полученными ответами. Так, например, всего в несколько строк можно получить классификатор, вместо того, чтобы писать кучу условий в промпте и надеяться, что модель не напишет отсебятины:

from guidance import models, select
llama2 = models.LlamaCpp(path)
llama2 + 'Who loves their owner more? Answer: ' + select(['cat', 'dog'])

Иными словами мы смотрим на самый вероятный токен из представленных вариантов, а не всех, что есть в словаре. Такие варианты можно определять как списком, так и, например, регулярными выражениями. И это лишь толика того, что можно вытворять с помощью этой штуки. Еще один пример использования я прикреплю картинкой, но лучше заглянуть в репу и ознакомиться со всем функционалом (благо в ридми много подробных примеров). Эта либа прекрасно дружит и с Transformers, и с llama.cpp.

Допом можно ознакомиться с LMQL (аналог с кучей своих преимуществ).

#useful