🔔 Обновление бота! 🔔

Друзья, рады сообщить об улучшении нашего бота:

📌 Теперь бот умеет работать с документами плохого качества. Ранее некачественные сканы могли приводить к ошибкам в страниц в цитатах, а теперь бот перед обработкой распознаёт все сканированные страницы и преобразует их текст для корректного анализа.

📌 Оптимизирована логика подбора цитат из стандартов – ответы стали ещё точнее и информативнее.

Если у вас есть предложения или вы хотите добавить новый стандарт в нашу базу знаний, мы с радостью примем ваши идеи для дальнейшего развития!

Надеемся, что эти обновления сделают бота ещё полезнее для вас! 🚀
#Русский_язык

🔔 Обновление бота! 🔔

Наш бот стал умнее ровно на 7 стандартов! 😎
На основе собранной статистики запросов мы обновили базу знаний РФ и добавили следующие нормативные документы:

📌 Производственные здания – СП 56.13330.2021
📌 Здания дошкольных образовательных организаций – СП 252.325800-2016
📌 Здания и сооружения Центров Обработки Данных – СП 541.1325800.2024
📌 Защита от шума – СП 51.13330.2011
📌 Гигиенические нормативы – САНПИН 01.2.3685-21
📌 Швы монтажных узлов оконных блоков – ГОСТ 30971-2012
📌 Болты высокопрочные – ГОСТР 52644-2006

Также мы исправили небольшие баги в работе бота 🛠.

Если у вас есть пожелания по улучшению бота или запрос на внесение новых стандартов в базу знаний, оставляйте комментарии к этому сообщению 💬.

Надеемся, что эти обновления сделают бота ещё полезнее для вас! 🚀
#Русский_язык

Всем привет! Я решил немного переформатировать этот канал, изначально я создал его, что бы оповещать об обновлениях и планах по разработке бота (и туби хонест, для донатов 💰 звездами).
Согласитесь это - скучно, да ⭐️ особо не сыпятся.

В общем, здесь я буду делится технической подноготной бота, расскажу, как всё работает изнутри,пройдемся по темам Vibe coding, AI, RAG, OCR, prompt engineering и прочим премудростям из хайповой ныне области.

Расскажу о продуктовой части (скока денег надо на стартап типа этого, что ещё надо кроме денег).
Хотя я сам очень далек от продакт менеджмента - в прошлом инженер конструктор, BIM Lead международной мега-компании, а сейчас просто BIM менеджер на Бали🏖.
Тем не менее приходится познавать тонкости продвижения бота в Телеге, чем и буду делиться с вами.
В общем посмотрим, как пойдёт 🚀

Датой старта бота можно считать Февраль 2025, тогда я залил его на супер маленький VPS с 1 ядром и 1Гб оперативки. Количество пользователей - около 30 человек и это все знакомые мне люди.
Провели тесты, позадавали вопросы, посмотрели на ответы, отработали баги и понеслось.
На сегодня бот вырос до 700 пользователей, 2 ядер и 8Гб оперативки на сервере.

А в пятницу случился первый overload - сервер встал от наплыва пользователей, с чем и связано последнее обновление:

🔔 Обновление бота! 🔔

Наш бот стал стабильнее! 😎
На основе собранной статистики запросов мы обновили базу знаний РФ - включили практически все СП и оч. много ГОСТов.

Если у вас есть пожелания по улучшению бота или запрос на внесение новых стандартов в базу знаний, оставляйте комментарии к этому сообщению 💬.
Надеемся, что эти обновления сделают бота ещё полезнее для вас! 🚀

Почему случился обвал сервера — и это первый важный урок! ⚡️
Что случилось в пятницу: несколько десятков пользователей зашли в бота и начали инициализировать базу знаний через команду /knowledge_base.
Для каждого пользователя загружался свой экземпляр базы знаний из векторного хранилища, а это — самый ресурсоёмкий процесс, который почти мгновенно забил всю оперативную память. 🧠💥

Технически это устраняется созданием одного экземпляра базы знаний для всех — что и реализовано в последнем обновлении. ✅

А на продукт это повлияло тем, что бот потерял функцию выбора базы знаний (выбора больше нет — можете проверить). 🔄

И тут я посмотрел на статистику — сколько раз пользователи реально пользовались этой функцией? Менее 1%! 📉
То есть базовый сценарий: пользователь выбрал базу знаний один раз в начале и продолжает работать с ней. Российским проектировщикам, например, не нужно переключаться на индонезийскую базу.

Хотя изначально я считал, что переключение между базами — это крутая фича. 🚀
В итоге я без сожаления выпилил эту функцию из бота. ✂️

Какие уроки я извлёк? 📚

Мой (и Ваш) опыт не всегда релевантен!
Как бы вы ни были уверены в том, что знаете свою аудиторию и что лучше для неё, у статистики будет своё мнение — с которым не поспоришь. 📊

MVP должен быть действительно минимальным!
Только самый базовый, необходимый функционал — всё лишнее мешает, тормозит и приводит к ошибкам. 🎯

💡 Как работает AI-бот под капотом?

Начну рассказ о технологиях и подходах для AI-ботов, которые применены и в этом боте 🤖.

Разберём, что происходит под капотом у бота, как он выбирает нужные стандарты и как формирует ответ на вопрос, опираясь на эти стандарты 📚.

Цепочка событий внутри бота выглядит вот так:
1. 📨 Вы отправляете свой вопрос боту. Получив его, бот анализирует и улучшает формулировку, если это возможно. Он выполняет задачу типа: «проанализируй запрос, определи основную тему и задачу для выполнения, разбей задачу на шаги, если нужно».

2. 🔍 На основании улучшенного вопроса бот начинает искать нужные стандарты из своей библиотеки. Поиск происходит не привычным нам образом, не так, как, например, работает поиск в Windows. Бот использует мягкий (семантический) поиск, анализируя смысловую схожесть вопроса и содержания в документах.

3. 📄 Бот выбирает релевантные страницы из разных стандартов и передаёт их вместе с вашим вопросом снова на обработку в модель (ChatGPT, в моём случае).
Например, на вопрос «Минимальный защитный слой фундамента» он выберет страницы из СП "Основания зданий и сооружений", СП "Бетонные и железобетонные конструкции", где упоминается защитный слой для фундаментов.

4. 🧠 Модель (ChatGPT) выбирает самые подходящие страницы из переданных и формирует ответ, опираясь именно на эти страницы.

5. ✍️ Ответ почти готов... но это ещё не всё!

6. ✅ Перед отправкой пользователю происходит финальная проверка и форматирование ответа.
Модель ещё раз проверяет, соответствует ли ответ информации из стандартов, добавляет форматирование — заголовки, списки, подчёркивания — чтобы текст был читабельным и понятным.

7. 📬 И наконец, отправляет его пользователю!

8. 💡 Предварительно генерируются темы для продолжения диалога, которые вы видите в кнопках под сообщением бота.

Таким образом, на один вопрос пользователя под капотом у бота происходит 3–4 обращения к ChatGPT:
- предобработка вопроса,
- генерация предварительного ответа,
- формирование финального ответа,
- генерация тем для продолжения беседы.

✨ Вот так всё работает изнутри!

🔔 Важное обновление бота! 🔔

Наш бот стал ещё отзывчивее 🙌

Теперь вы можете оценить качество ответа — просто нажмите
👍 или 👎 в конце сообщения бота.

Это не просто эмодзи — это ваша обратная связь, которая помогает нам улучшать бота и делать его ещё полезнее именно для вас 💡

🐞 Также мы исправили баг, из-за которого кнопки иногда «зависали» после нажатия. Теперь всё работает чётко и без задержек ⚙️

✨ Надеемся, что эти обновления сделают ваш опыт ещё приятнее и продуктивнее!

Спасибо, что пользуетесь ботом 💬

🧱 Как работает база знаний строительного бота?
И почему он умеет находить нужные регламенты по смыслу, а не по ключевым словам?

Каждый раз, когда вы задаёте вопрос, бот:

1. 🔍 Обращается к базе знаний
2. Выбирает подходящие стандарты
3. Формирует ответ на их основе

Если же в базе знаний не находится нужной информации — бот всё равно не молчит. Он отвечает на основе встроенных знаний ChatGPT. Но сначала — база знаний.

Что такое база знаний бота и как она устроена?

Чтобы создать базу, первое, что нужно — это сами стандарты в читаемом PDF-формате. Далее из этих PDF формируется датасет.

⚠️ Проблема:
Открытого датасета российских строительных стандартов не существует.
Поэтому я создаю его сам, шаг за шагом наполняя СП, ГОСТами, Постановлениями.

Что входит в датасет?

Это не просто тексты, а структурированные данные, где к каждому документу добавляются:
-номер
-название
-тип (СП, ГОСТ, Тех. регламент и т.д.)
-категория
-статус
-ключевые слова
-ключевые темы
-язык

📦 Всё это складывается в JSON-документы, чтобы бот мог работать с ними как с базой знаний.

💡 Было бы круто, если бы один из органов стандартизации РФ сделал такой датасет и открыл к нему доступ. Но пока его нет — я собираю свой, прогоняя каждый стандарт через AI анализ.

Как бот ищет информацию по смыслу?

После сбора датасета — его нужно преобразовать в векторы, чтобы бот мог искать не по словам, а по смыслу.

🧠 Преобразование текста в вектор — это ключевой этап.
Именно на нём завязана вся магия: когда бот находит не точное совпадение, а близкую по смыслу фразу в стандарте.

Итак, база знаний бота включает:

1. 📄 PDF-документы стандартов (доступны по команде /reference)
2. 🧾 JSON-датасет с анализом и метаданными
3. 🧊 Векторную базу данных для смыслового поиска

Как это работает при вашем вопросе:

1. Вы пишете вопрос
2. Вопрос преобразуется в вектор
3. Сопоставляется с векторами из базы
4. Находятся самые близкие по смыслу документы
5. Формируется ответ на основе этих документов

Если подходящих векторов не нашлось — бот отвечает на основе собственных знаний (ChatGPT).

Вот так бот ищет нужные регламенты и нормы по смыслу вашего запроса.
Именно поэтому он умеет находить СП и ГОСТы даже тогда, когда вы не указали их номер или точное название ⚙️

Если вы ещё не слышали термин "Вайб программирование", наверняка скоро услышите. 👂 Это ещё одна технология, безусловно заслуживающая внимания. 🧐
По оживленным диалогам в профессиональных сообществах, можно сказать что количество скептиков и энтузиастов Вайб подхода примерно совпадает. ⚖️

Вайб подход глазами проектировщика должен выглядеть примерно так: 🏗
Представьте себе, вам дают инструмент который по мановению руки, например, рассчитывает балку и армирует ее, учитывая все тонкости, не просто автоматическая расстановка стержней, а полностью законченная работа. 💻 Выбираешь балку/перекрытие/колонну, делаешь запрос, рассчитай и заармируй... Модель выполняет задания, периодически спрашивая конструктора об исходных данных.
— Я закончила, оформить чертежи по ГОСТ?
— Ок, продолжай.
...и чертежи готовы! 📝✅
Т.е. рутинная работа отдана ИИ, вам только остается выдавать задания и проверять результаты. 🔍

Вот этот момент нам кажется очень далёким, но для разработчиков он уже настал, ожидается, что к 2027 году доля кода, созданного ИИ, вырастет до 25%, а на глобальном уровне прогнозируют, что к 2030 году ИИ будет генерировать до 95%. Как это отразится на его качестве — это другой вопрос. 🤔
С одной стороны это даёт просто колоссальное повышение производительности программиста 📈, с другой, темп разработки становится гораздо быстрее, решения менее продуманными.

До чат ГПТ разработка двигалась гораздо медленнее, но более вдумчиво что-ли, прежде чем внедрить какой-то новый подход, изучишь кучу документации, посерфишь на форумах. 📚 Сейчас — запрос на ресёрч в чат ГПТ, выдача задач в Cursor, всё решение найдено и реализовано. ⚡️
Производительность выросла в разы. 🚄 Но боюсь без понимания архитектуры как код будет работать, можно создать Франкенштейна, который в конечном счёте загнётся. 🧟‍♂️

Пример из недавнего: в одном из последних обновлений добавил возможность голосования, дал задачу внедрить код чтобы реализовать эти кнопки в Cursor. Модель предложила изменения в коде, просмотрел, все логично, немного потестил, должно работать, обновил бота... 🤖
На всё про всё с проработкой нескольких вариантов ушло ну часа два-три, по старинке потратил бы день, два. ⏱️ В итоге... получил залипание кнопок в случае, если два и более пользователя нажали голосовать одновременно. 😅 А все потому что ИИ выбрал реализацию метода немного отличную от той что уже есть в коде.

Проводя это обновление вручную я бы не допустил этой ошибки, но потратил бы больше времени. ⏳ Вот и палка о двух концах: с одной стороны трудозатраты падают в разы, но из-за быстрого темпа разработки вероятность внедрения ошибки в продукт возрастает.

К чему это всё? К тому что, не важно как мы относимся к Вайбу или к любой новой технологии, которая уже вошла в тренд — она уже здесь и, скорее всего, останется с нами надолго. 🌐 Возможно, стоит попробовать использовать новые инструменты для прокачки своих навыков, ведь технологии развиваются, а мы вместе с ними. 🌱

Как работает база знаний строительного бота? Магия чанкирования 🔍

Расскажу о том, как бот находит нужную информацию в огромных строительных стандартах. ✨

Представьте, что вы задаете боту вопрос:
"Допускается ли общее вводно-распределительное устройство на два пожарных отсека?" (взял из последнего обсуждения в канале, спасибо автору!)

Как бот находит ответ? 🤔
Сначала он должен понять смысл вашего вопроса. Не просто отдельные слова, а именно о чём вы спрашиваете в целом. Это как разница между пониманием отдельных ингредиентов и пониманием всего рецепта блюда. 🍲

Затем боту нужно найти похожую информацию в строительных стандартах. Но тут возникает сложность - стандарты огромные! Если взять стандарт целиком, то его общий смысл будет слишком широким. Например, общий смысл пожарного СП6 будет каким-то таким: "устанавливает требования пожарной безопасности для низковольтных электроустановок" - это очень обобщённо и не отвечает на конкретный вопрос. ❌

Поэтому придумали специальный подход - "чанкирование". Это как разрезание большой книги на маленькие заметки. 📝✂️
Я разбиваю каждый стандарт на небольшие смысловые кусочки (чанки). Это примерно 3-4 кусочка на одной странице документа. Каждый такой кусочек посвящен какой-то конкретной теме или правилу.
Когда вы задаете вопрос, бот сравнивает его не с целым стандартом, а с каждым маленьким кусочком, и находит тот, который больше всего подходит по смыслу🔎📚

Сейчас я экспериментирую с оптимальным размером этих кусочков (чанков). Слишком маленький кусочек может не охватить нужной темы, слишком большой - размоет информацию в нём.
Какой оптимальный размер чанка, это сложный вопрос, зависит от типа документации, от задач которые решает бот. 🤓
Для строительной тематики размер чанка будет один, для юридических документов другой, для художественной литературы третий. 📚

После обновления бот будет еще точнее находить нужные стандарты для ответа на ваши вопросы, и я обязательно учту все пожелания по актуализации СП! 🔄✅

📢 Как известно, если гора не идёт к Магомеду... 🏔➡️👨‍💼

🚀 Выкладываю в открытый доступ свой строительный датасет! 🏗📚

📋 Строительный датасет — это те же самые стандарты, но в машиночитаемом формате. Помимо текстового содержания документов, здесь также присутствуют и структурированные метаданные.

💾 В датасете собрано около 250 наиболее востребованных строительных стандартов, и коллекция будет регулярно пополняться.

🙏 Приглашаю профессиональное сообщество и всех неравнодушных энтузиастов присоединиться к расширению этой базы данных.

👨‍💻 Код для автоматической конвертации PDF в датасет и подробная инструкция доступны в том же репозитории на GitHub. 📄⚙️

🔍 Ссылка: [russian-construction-standards]

💡 Верю, что этот проект станет полезным инструментом для интеграции AI-технологий в строительную отрасль и основой для создания инновационных решений! 🏢

🤖 И на всякий случай, ссылка на бота, который использует этот строительный датасет [https://t.me/Pdflyx_bot}]

#датасет #строительство #опенсорс #Python #AIвСтроительстве

🤖 Простой сценарий для применения AI/RAG 📁

📂 У каждого наверняка есть папка, в которой накопилась куча разных документов, которые желательно как-то сгруппировать. Отличный пример — папка Downloads в браузере или Inbox на сервере компании.

💡 А что, если просто скормить их LLM с задачей классифицировать документы, разделить на группы и отсортировать?

🔄 Примерно по такому алгоритму работает код по созданию строительного датасета из поста выше ☝️:

1️⃣ Он сканирует PDF файлы, передает в модель первые 5 страниц (обычно этого хватает для понимания, какой документ перед тобой)

2️⃣ Далее определяет тип документа из заранее заданного списка (СП, ГОСТ, Постановление и т.д.), выбирает подходящую категорию (Архитектура, Конструкции...)

3️⃣ Пытается найти информацию о дате публикации, изменениях, ревизиях — в общем, собирает всю доступную полезную информацию о стандарте с титульных страниц

4️⃣ На основании собранной информации переименовывает файл-оригинал, соблюдая единые требования по наименованию (всё как мы любим!)

5️⃣ И затем создаёт JSON файл для строительного датасета

📌 Этот первый шаг по работе с PDF — чем не автоматическая группировка документов по внутреннему содержанию?

🔮 Приложений для такого инструмента может быть очень много, а реализация может адаптироваться под любую задачу: просто меняете инструкции к модели и получаете нужный результат!

🔗 Код доступен в репозитории: [code ]

#AI #RAG #PDF #документооборот #Python #LLM #автоматизация

🕰 Помните времена, когда нейронки сидели "на диете" без интернета?

🤔 Времена Chat GPT 3 - 3.5, года полтора-два назад...

❌ Задаешь модели вопрос по текущим событиям и получаешь ответ: "Сорри, моя база знаний заканчивается в 2023 году".

🚀 А потом появился Perplexity! Стартап, который взял те же "ограниченные" модели, но научил их нырять в интернет за свежей информацией.
🌐 Сейчас такая фишка появилась практически у всех крупных ИИ-систем — умение заглянуть в сеть за актуальными данными.
⏳ При этом базовая "память" моделей по-прежнему упирается в потолок тренировочного периода. Вот, например, Chat GPT 4o тренировали в 2024 — значит, о 2025 она сама по себе ничего не знает.

❓ Так как же современные нейронки используют актуальные знания из интернета?

🧩 Тут и помогает нам всё тот же RAG! Когда вы задаете вопрос по недавним событиям, модель использует свою базу знаний, актуальную на момент тренировки — и в ней нет этих событий, о которых вы спрашиваете. Далее модель делает запрос, аналогичный классическому запросу в поисковик типа Яндекса или Гугла, открывает страницы, ищет подходящий текст и добавляет его в контекст.

🏗 По сути, тот же принцип, что и в нашем строительном боте, только вместо базы СНиПов и ГОСТов — отобранные страницы из интернета!

🤖 И да, предвосхищая вопрос — наш бот не имеет прямого выхода в интернет. Он работает исключительно с нормативной базой. Если спросите о трендах рынка недвижимости или последних инновациях в строительстве — ответит в рамках тех знаний, которые были актуальны на момент обучения модели.

💫 P.S. Мой личный топ-3 нейросетей для разных задач:
- Нужно быстро вытащить информацию из интернет-пространства? Запрос в Perplexity!
- Технический вопрос, запрос с инструкциями/схемой через API - Chat GPT!
- Нужен текст с "человеческой душой" и стилем? Claude!

#AI #нейронки #RAG #ChatGPT #Perplexity #Claude #поиск #интернет

🔄 Друзья, рад поделиться очередным обновлением бота!

📋 Что изменилось:

💬 Больше цитат в ответах
Раньше бот показывал максимум 2 цитаты из документов — оказалось, что этого часто недостаточно. Теперь он приводит все наиболее релевантные выдержки из стандартов для полноты ответа.

📚 Расширенная база знаний
Добавлено еще больше документов — теперь в базе 350+ актуальных стандартов!

✅ Проверка актуальности документов
Каждый стандарт теперь проходит автоматическую проверку на актуальность через официальный сайт ФАУ ФЦС:

🔮 В планах: дополнительная проверка через https://стройкомплекс.рф/rntd для максимальной достоверности данных.

📊 Полный список стандартов в базе бота (с указанием статуса документа) можно посмотреть здесь: https://pdflyx.com/standards.html

🚀 Продолжаем делать бота еще точнее и полезнее для вашей работы!

🤖 Почему строительные боты иногда "выдумывают" пункты стандартов?

Разбираем самую частую проблему ИИ-помощников в строительстве 👇
🎯 90% галлюцинаций происходит при двух условиях:
1️⃣ Нет нужного стандарта в базе → бот отвечает из общих знаний, а не из нормативов
2️⃣ Вопросы с конкретными номерами пунктов → "укажи точные пункты СП, где написано про..."

🧠 Что происходит в "голове" бота:
Когда вы спрашиваете "укажи конкретные пункты стандарта...", вы задаете сразу ДВА вопроса:
- Найди требования по теме ✅
- Найди точный номер пункта ❌

И вот тут начинается проблема! 🔥
Между номером пункта "Х.Х.ХХ" и его содержанием почти нет смысловой связи. ИИ пытается найти логику там, где её нет, и начинает "творить" 🎨

💊 Как лечится? Только через RAG!
Когда стандарт есть в базе знаний → бот получает кусочки текста ВМЕСТЕ с номерами пунктов → промахнуться гораздо сложнее!

📊 Реальный тест GPT-4.1:

Задача: Укажи конкретные пункты из СП где указана минимальная ширина эвакуационного выхода.

❌ Вопрос через сайт ChatGPT.com (без базы знаний):
Ответ: "СП 1.13130.2020, Пункт 5.2 - минимальная ширина 0,8м"
Проверяем → пункт 5.2 про детские сады! 🤦‍♂️
✅ Вопрос строительному боту https://t.me/Pdflyx_bot (с RAG и базой знаний):
"СП 1.13130.2020, Пункт 4.2.19 - ширина должна быть не менее 0,8м..."
Проверяем → точное попадание! 🎯

🔮 Вывод:
Галлюцинации = отсутствие нужных стандартов в базе + вопросы про номера пунктов
🚀 Решение — постоянно добавлять новые стандарты в базу знаний. По отзывам пользователей, таких ошибок уже значительно меньше. Чем больше документов в базе → тем меньше "творчества" от AI 😉

🤖 Операторы AI или как Нейронки подстраиваются под человеческий облик

Интересное и перспективное направление развития AI агентов - Операторы 🚀

Их суть состоит в том, что они умеют взаимодействовать с вашим компьютером, открывать нужные приложения, выполнять команды внутри PC и тд.
Упрощенная версия этого агента - взаимодействовать со средой только в рамках интернет браузера - над чем и бьются сейчас топ AI компании 💻

💰 OpenAI Operator - дорого, но работает
Недавно у OpenAI вышел свой Operator, он доступен по pro-подписке всего в то в $200 💸
Его основная функция - серфить по браузеру и нажимать на нужные кнопки.

🆓 Open Operator - бесплатная альтернатива
То же самое выполняет Open Operator - опенсорс проект, который творит магию (хотя и часто вылетает, это ж опенсорс) 🎭

🏗 Тест на строительной тематике
Задача:
"Найди и скачай ГОСТ 11371" 📋

Забегая вперед скажу, что он почти справился, уткнулся только в самый последний шаг, там где потребовалось вводить данные для авторизации 🔐
Но чтобы дойти до этого последнего шага, ему потребовалось подтвердить, что он человек и пройти Капчу от Google, причем многократно - и он справился! 🎯
Как он отрабатывает капчу - смотрите в видео в приложении 🎥

🔮 Будущее технологии
Эта технология еще слабо применима из-за частых багов (где-то с пятой попытки мне удалось дойти до этого последнего шага) 🐛

Но почувствуйте перспективу:
Найди лучшие предложения по ипотеке и отправь запрос в банки 🏠
Зайди в FB, VK создай пост 📱
Напиши комментарии к постам 💬
Найди вакансии, отошли CV и сопроводительное письмо 📄
Пройди тесты, устройся на работу... 💼

Ну в общем, вы поняли... 😏