⚡️ Gemma 2 9B GGUF — набор квантизованных версий Gemma 2

Встречайте набор моделей, полученных квантизацией Gemma 2 с разной степенью сжатия.
Для квантизации использовался этот датасет

Особенности:
- GGuf версии очень слабы, более-менее адекватная - 9B (Q4 и Q5)
- Фокус "специализации": текст (стилистика, словарный запас, обсуждения), применимо только к English-language content, программирование - обучение синтаксису и паттернам написания кода ( прокачка скиллов модели по ЯП не уточняются), математика - решение задач, логика постоения ответов.
- Модель не поддерживает системные промты

🤗 Hugging Face
🟡 Неквантизованная Gemma 2

@ai_machinelearning_big_data

🌟 CriticGPT — модель на основе GPT-4, которая помогает увидеть ошибки в ответах ChatGPT

Вчера OpenAI выкатили CriticGPT, которая пишет критические замечания к ответам ChatGPT для нахождения ошибок в ответе, что особенно полезно для RLHF (обучения с подкреплением на основе человеческой обратной связи).

А вот статья от OpenAi - "LLM Critics Help Catch LLM Bugs - для технарей, о том, как создавался CriticGPT.

Из нее следует, что:
- аннотаторам-людям в 63 % случаев больше нравились критические заметки CriticGCO, сделанные CriticGPT, чем заметки, сделанные людьми, особенно когда речь шла о поиске ошибок, связанных с LLM ( это к пункту поста про 60%), как видите - формулировка отличается, смысл совершенно другой.

- новая техника под названием "Force Sampling Beam Search" используется в CriticGPT, чтобы помочь критикам писать более качественные и подробные рецензии.Этот метод также снижает вероятность "галлюцинаций", которые возникают, когда ИИ делает или предлагает ошибки, которых нет или которые не имеют значения. В CriticGPT одним из важнейших преимуществ является то, что пользователи могут изменять степень тщательности поиска ошибок.
То есть процесс не автоматический, вовлеченность человека важна на ранних этапах

- CriticGPT не справляется с длинными и сложными заданиями по кодированию, поскольку обучался на коротких ответах ChatGPT

- CriticGPT не всегда находит ошибки, которые распространяются на несколько участков кода

Плюсы:
- Безусловно, это большой шаг вперед в области рецензирования кода с помощью ИИ.

- Он улучшит прикладной подход рецензирования кода, позволит сочетать возможности GPT-4 с продвинутым обучением и новыми методами контроля качества ответов.

🟡 Блог-пост OpenAI
🟡Статья

@ai_machinelearning_big_data

⚡️ Microsoft обновила собственный бесплатный курс по генеративному ИИ

В курсе видео, практика (код) и дополнительные материалы.
Пргорамма курса состоит из изучения структуры и работы LLM, тонкостям промптинга, созданию собственного приложения для генерации изображений, функционалу RAG для LLM и принципам файнтюна.

📌 А здесь мы вылудили полный список бесплатных курсов.

Для прохождения курса нужны:
- учетная запись на Azure
- доступ к api OpenAI

Разумеется, все методики и манипуляции предлагается выполнять обучающимся в экосистеме Microsoft, на их мощностях и с использованием их сервисов.

Бэкенд учебного приложения для генерации картинок - DALLE и Midjourney.

Большие надежды строить относительно курса не стоит - экосисистема Microsoft требует отдельных компетенций, но в качестве базового структурированного курса для новичков - вполне подойдет.

🖥 Курс полностью выложен на Github: https://github.com/microsoft/generative-ai-for-beginners

@ai_machinelearning_big_data

🔥 Microsoft незаметно обновила Phi-3 Mini

— значительно улучшено понимание кода на Python, C++, Rust и Typescript
— улучшен вывод, теперь он более структурированный
— улучшено понимание сложных предложений
— добавлена поддержка тега <|system|>.
— улучшена способность к рассуждению и понимание длинного контекста

Это обновление коснулось контрольных точек 4K и 128K

🤗 Hugging Face

@ai_machinelearning_big_data

🌟 MoMA — open-source модель от ByteDance для генерации изображений по референсу.

MoMA не требует обучения и позволяет быстро генерировать изображения изображения с высокой точностью детализации и сохранением идентичности.
Скорость MoMA обеспечивается оптимизацией механизма внимания, который передает признаки исходного изображения в диффузионную модель.
Модель является универсальным адаптером и может быть применена к различным моделям без изменений.
На сегодняшний день MoMA превосходит в синтетических тестах аналогичные существующие методы и позволяет создавать изображения с высоким уровнем соответствия промпту максимально сохраняя стиль референсного изображения.

✍️ Рекомендованые параметры оптимизации потребления VRAM :

22 GB or more GPU memory:

args.load_8bit, args.load_4bit = False, False

18 GB or more GPU memory:

args.load_8bit, args.load_4bit = True, False

14 GB or more GPU memory:

args.load_8bit, args.load_4bit = False, True

🟡 Страничка MoMA
🖥 GitHub
🤗 Hugging Face
🟡 Demo