💥 CyberScraper 2077 — инструмент для парсинга данных с веб-сайтов с использованием ИИ. Решение позволяет извлекать нужную информацию, описывая требования к данным в свободной текстовой форме. На базе LLM | OpenAI, Gemini и Ollama.

🧠 Как это работает:
Пользователь указывает URL и формулирует текстовое описание того, какие данные необходимо получить. ИИ анализирует структуру страницы и автоматически извлекает соответствующую информацию, включая данные с многостраничных сайтов.

📊 Инструмент поддерживает экспорт результатов в форматы JSON, CSV, HTML и Excel. Заявлена возможность работы с сайтами, использующими капчи и антибот-механизмы, а также парсинг сложных структур за один проход. Проект распространяется бесплатно и доступен с открытым исходным кодом.

🎯 Автоматизация веб-парсинга с помощью ИИ снижает технический порог для работы с данными и сокращает время на подготовку датасетов. Такие инструменты могут быть полезны аналитикам, исследователям и разработчикам, работающим с большими объёмами открытой информации.

✨ Особенности:
- Извлечение с помощью ИИ: использует передовые модели искусственного интеллекта для интеллектуального понимания и анализа веб-контента.
- Изящный интерфейс Streamlit: удобный графический интерфейс, в котором разберётся даже вооружённый до зубов уличный самурай.
- Поддержка нескольких форматов: экспортируйте данные в формате JSON, CSV, HTML, SQL или Excel — в любом удобном для вас формате.
- Поддержка сети Tor: безопасно извлекайте данные с сайтов .onion через сеть Tor с помощью автоматической маршрутизации и функций безопасности.
- Стелс-режим: реализованы параметры стелс-режима, которые помогают избежать обнаружения в качестве бота.
- Поддержка Ollama: используйте огромную библиотеку языковых моделей с открытым исходным кодом.
- Асинхронные операции: молниеносный парсинг, которому позавидовала бы команда травматологов.
- Умный парсинг: структурирует извлечённый контент так, как если бы он был взят непосредственно из энграммы мастера нетраннинга.
- Кэширование: реализовано кэширование на основе контента и запросов с использованием LRU-кэша и пользовательского словаря для сокращения избыточных вызовов API.
- Загрузить в Google Таблицы: Теперь вы можете легко загрузить извлеченные данные в формате CSV в Google Таблицы одним щелчком мыши.
- Обход капчи: Обходите капчу, добавляя -captcha в конец URL-адреса. (В настоящее время работает только нативно, не работает в Docker)
- Текущий браузер: функция текущего браузера использует ваш локальный экземпляр браузера, что поможет вам обойти 99 % систем обнаружения ботов. (Используйте только при необходимости)
- Навигация по страницам (бета-версия): перемещайтесь по веб-странице и собирайте данные с разных страниц.

🔥 Основные функции:
🕒 Однопроходная обработка в течение 60 минут: в отличие от обычных моделей автоматического распознавания речи, которые разбивают аудио на короткие фрагменты (часто теряя общий контекст), VibeVoice ASR может обрабатывать до 60 минут непрерывного аудио в формате 64K. Это обеспечивает стабильное отслеживание говорящего и семантическую согласованность в течение всего часа.

👤 Дополнительная вставка контекста: пользователи могут добавлять настраиваемый контекст (например, конкретные имена, технические термины или справочную информацию), чтобы направлять процесс распознавания и значительно повысить точность распознавания контента, относящегося к конкретной области.

📝 Расширенная транскрипция (кто, когда, что): модель одновременно выполняет автоматическое распознавание речи, диаризацию и маркировку времени. На выходе получается структурированная последовательность, указывающая кто сказал что в какое время.

💡 Ключевые особенности:
🧠 Найдите то, что вам нужно: использует расширенный семантический поиск в дополнение к полнотекстовому поиску, чтобы понять суть вашего запроса (например, поиск по запросу «работник» находит документы, в которых упоминается «сотрудник»).
📝 Защита от опечаток: устойчива к опечаткам. Поиск по запросу «айфон» находит его, даже если вы ввели «ипноу».
📄 Поддерживает все: извлекает содержимое из более чем 1400 форматов файлов (PDF, Word, Excel, PowerPoint, изображения, архивы и т. д.).
🌍 Поиск на разных языках: поиск на одном языке для нахождения документов, написанных на другом (например, поиск по запросу «Chair» для нахождения документов, в которых упоминается «Silla» — на испанском).
🚀 Быстрое сопоставление: результаты поиска отображаются за миллисекунды, а не за минуты.
👁 Поддержка оптического распознавания символов: автоматическое извлечение текста из скриншотов и отсканированных документов.
⚡️ Автоматическая индексация: обнаруживает изменения в режиме реального времени и мгновенно обновляет индекс.
🛡 Только для чтения и безопасно: File Brain только считывает ваши файлы для индексации. Он никогда не изменяет, не удаляет и не корректирует ваши данные.
🔒 Конфиденциальность превыше всего: вся индексация и обработка с помощью ИИ происходят на 100 % локально на вашем компьютере. Ваши данные никогда не покидают ваш компьютер.

Модель Parakeet-0.6B-v3 поддерживает языки:
Bulgarian (bg), Croatian (hr), Czech (cs), Danish (da), Dutch (nl), English (en), Estonian (et), Finnish (fi), French (fr), German (de), Greek (el), Hungarian (hu), Italian (it), Latvian (lv), Lithuanian (lt), Maltese (mt), Polish (pl), Portuguese (pt), Romanian (ro), Slovak (sk), Slovenian (sl), Spanish (es), Swedish (sv), Russian (ru), Ukrainian (uk)
(Для ее скачивания в AnythingLLM может быть нужен VPN!)

▪️ research-агенты собирают новости и статьи
▪️ sales-агенты парсят LinkedIn за лидами
▪️ e-commerce-агенты следят за ценами
▪️ соцмедиа-агенты ловят тренды

• Слева: Claude пытается достать данные с YouTube через yt-dlp и валится
• Справа: MCP-сервер Bright Data возвращает результат одним вызовом функции

- Voice Design позволяет запромптить желаемый голос;
- Custom Voice идёт с 9 готовыми голосами для китайского, английского, корейского и японского.
- А также базовые веса модели для клонирования голосов и как основу для файнтюна. Поддерживает 10 языков, в т.ч. русский;
- Задержка — всего 97 мс.