Большие модели становятся все более привлекательными. Многие компании выкладывают их в открытый доступ. Даже товарищ Илон недавно пригрозил купить OpenAI и выложить все их труды в свободный доступ.

И тут у нас встает вопрос, а на чем все это запускать чтобы потрогать. Квантованные модели хорошо, но хотелось бы полную модель со всеми ее возможностями.

Подберу для вас несколько материалов про запуск моделей на различном железе, но сразу надо понимать, если хотите полноценный "ChatGPT" внутри компании, то готовьте много-много миллионов. И тут 100 раз подумаешь, а может проще арендовать или платить за API.

В общем серия постов про локальный инференс и начнем со статьи на хабре, которая пришла сегодня в рассылке.

https://habr.com/ru/articles/879846/

@nizamov_studio_1c

#llm #1с #1c

https://rutube.ru/video/98e2f75923c11ccb0994abb099766e5e/?r=wd

Продолжая тему запуска полноценных локальных моделей. Обычно делается это на множестве GPU, но есть и другие более дешевые варианты.

Жду мини пк от NVidia, так как он по итогу должен быть гораздо мощнее, а пока смотрим на кластер из mac mini.

Видео с youtube канала https://www.youtube.com/@AZisk

@nizamov_studio_1c

#llm #1с #1c

Всем привет. Выкладываю небольшую подборку видео из моего курса по практическому применению LLM.

RAG на LangChain
1. RAG общий принцип
2. Giga-Embeddings, FAISS и семантический поиск
3. Методы разбиения текста на чанки (TokenTextSplitter, CharacterTextSplitter и другие)
4. RAG полный пример

В этом курсе мы используем различные LLM модели, такие как GigaChat и ChatGPT, а также рассмотрим локальные модели для решения реальных задач.

Подробнее по ссылке

Доступна оплата в рассрочку на 12 месяцев от СберБанка.

@nizamov_studio_1c

#ии #ai #chatgpt #embedding #gigachat #llm #langchain #rag

https://rutube.ru/video/ead0f3b1af898bdb365dfbd5852c0cc5/?r=wd

Всем привет, с вами Низамов Илья. В этом видео я покажу, как можно анализировать договоры с помощью ИИ. Использование современного ИИ для проверки договоров, как мне кажется, может сократить огромное количество времени. Тут Сбербанк очень хвастался новой моделью GigaChat 2 Max, вот ее мы и попробуем в этом уроке.

#ии #иидлядоговоров #ai #chatgpt #gigachat #llm #langchain #rag

Всем привет, с вами Низамов Илья. Разрабатываю для курса подсистему тестирования llm проектов, и для примера обкатывают промпт классификации запросов.

В общем не все то золото что блестит. Сбербанк тут опять пиарится новой моделью GigaChat 2 Max, но как я не крутил промпт, у меня не получилось добиться нужного качества ответов. Даже локальная Qwen 2.5 на 14b параметров четко следует инструкциям и показывает в этом тесте гораздо лучший результат. Модель Qwen 2.5 на 7b параметров естественно уже значительно отстает по качеству.

Туда же скатывается и хваленый Deepseek-r1 14b, но скорее всего под модели с размышлениями надо писать немного другие промпты. Да и работает он очень медленно.

Модели от OpenAI показали себя, как всегда, не плохо, но такого результата тоже пришлось добиваться. Новую модель ChatGPT 4.5 даже не пробовал, из-за ее чрезмерной стоимости, но на проекте, где ее включали, она показала очень хорошие результаты.

Интеграция 1С - @nizamov_studio_1c

#ии #ai #chatgpt #gigachat #llm #deepseek #qwen

https://rutube.ru/video/5a74cea46bd8017197f3410aec396df1/

Всем привет, с вами Низамов Илья. Недавно ко мне пришел клиент с интересным запросом. Задача была в том, чтобы распознавать часть реквизитов с транспортных накладных и водительских удостоверений и вносить эти данные в 1С.

Решать данную задачу можно разными путями, но пойдем самым простым. Сейчас практически все llm мультимодальные и умеют обрабатывать изображения. Я провел много экспериментов с разными моделями, в том числе и с локальными. Некоторые показали себя в этой задаче практически на уровне ChatGPT 4, но в итоге лучше всего справилась с этой задачей модель от google, gemini 2.0 flash.

Показать как распознает накладные я не могу, так как там присутствуют реквизиты клиента и его контрагентов, а вот для задачи распознавания водительских удостоверений я подобрал несколько примеров из интернета.

Для простоты я покажу все в боте, а так у данного сервиса есть свое API и отправлять картинки на распознавание можно из любой системы, в том числе и 1С.


@nizamov_studio_1c

#ии #ai #chatgpt #gemini #llm #1с

В продолжение темы OCR с помощью языковых моделей. Протестировал на той же задаче новые локальные модели Gemma 3 обученные с поддержкой квантования (QAT) и в принципе с 12b качество ответов 100%.

Радует, что модели становятся все легковеснее и рабочие проекты можно запускать уже на потребительских картах.

@nizamov_studio_1c

#ии #ai #chatgpt #gemini #llm #1с

Вот так был распознан скан накладной локальной моделью Qwen2.5-VL-32B-Instruct. Я не проверял, но с виду очень неплохо.

{
  "document_type": "Товарная накладная",
  "number": "923",
  "date": "02.06.2017",
  "recipient": {
    "recipient_name": "Частное лицо: Коршунова Мария",
    "recipient_address": "109044, Россия, Москва, 8-я улица Сокольной горы, д.22, кв/оф.203",
    "recipient_phone": "+79629978695"
  },
  "products": [
    {
      "product_name": "Трансмиссионное масло HONDA ATF-DW1 для АКПП, 5л, 0.49",
      "article_number": "082009008"
    },
    {
      "product_name": "Моторное масло HONDA Motor Oil ULTRA LTD SN 5W30 4L Япония (полусинтетика)",
      "article_number": "0621899974"
    },
    {
      "product_name": "Фильтр масляный",
      "article_number": "15400RTA003"
    },
    {
      "product_name": "Фильтр воздушный",
      "article_number": "17220RNAY00"
    },
    {
      "product_name": "Фильтр салонный",
      "article_number": "802927V1E01"
    },
    {
      "product_name": "Шайба уплотнительная сливного отверстия масла двигателя ММПП (14мм)",
      "article_number": "9410914000"
    }
  ]
}

@nizamov_studio_1c

#ии #ai #chatgpt #gemini #llm #1с