📺 Превращаем любой запутанный интерфейс в пошаговое руководство с помощью демонстрации экрана и Локальной LLM

Screen Vision — веб-сайт с открытым исходным кодом, который помогает выполнять любые задачи с помощью демонстрации экрана и ИИ! Вписываем задачу, ИИ разбивает ее на шаги и пишет куда надо кликнуть... ИИ "смотрит" на экран и подсказывает пошагово! Отличная идея!

- С заботой о конфиденциальности: данные с вашего экрана никогда не сохраняются и не используются для обучения моделей.

- Поддержка локальных LLM: если вы не доверяете облачным API, в приложении есть «локальный режим», который подключается к локальным моделям ИИ, работающим на вашем компьютере. Ваши данные никогда не покинут ваш компьютер.

- Web-Native: не требуется установка настольного приложения или расширения. Работает прямо в вашем браузере!

Как это работает:
Система проста:
1) Вы описываете свою цель — «Я хочу настроить двухфакторную аутентификацию в своей учетной записи Google»
2) Вы показываете свой экран — приложение использует встроенную в браузер функцию демонстрации экрана (та же технология, что и для видеозвонков)
3) ИИ анализирует увиденное — языковые модели Vision смотрят на ваш экран и определяют текущее состояние
4) Вы получаете по одной инструкции за раз — никакой информационной перегрузки. Просто «нажмите синюю кнопку «Настройки» в правом верхнем углу» или «прокрутите вниз, чтобы найти раздел «Безопасность»»
5) Автоматическое определение прогресса — когда вы завершаете этап, Screen Vision замечает изменения на экране и автоматически даёт вам следующую инструкцию

- Инструкция: система использует GPT-5.2 для определения следующего логического шага на основе вашей цели и текущего состояния экрана. Эти инструкции затем передаются в Qwen 3VL (30B), который определяет точные координаты экрана для выполнения действия.

- Визуальная проверка: приложение отслеживает изменения на экране каждые 200 мс с помощью цикла сравнения пикселей. При обнаружении изменений оно сравнивает снимки до и после с помощью Gemini 3 Flash, чтобы убедиться, что этап выполнен успешно, прежде чем автоматически перейти к следующей задаче.

Заходим: https://screen.vision в правом верхнем углу кликаем по "Local Mode" и выбираем или "LM Studio" или "Ollama" - рекомендуемая модель: Qwen3 VL 30B Instruct.
Исходный код: https://github.com/bullmeza/screen.vision
Обсуждение на Reddit.
#screenvision #AiLocal #LocalAi #WebAi #AiWeb

🔈 Ultimate Vocal Remover GUI v5.6 - для удаления вокала из аудиофайлов.

Для #MacOS (Intel & M-Arm64) #Windows #Linux
Проект: https://github.com/Anjok07/ultimatevocalremovergui

#MDXNetAI #VocalRemover #AiLocal #LocalAi #SowftAi #AiSoft #MDX23C #UVR #ultimatevocalremovergui

🎙 WhisperKit Android приносит распознавание речи Whisper прямо на устройство

💥 Компания Argmax, Inc. совместно с Qualcomm AI Hub представила WhisperKit Android — экспериментальное решение для автоматического распознавания речи, работающее напрямую на Android-устройствах. Проект расширяет фреймворк WhisperKit, ранее доступный на платформах Apple.

🧠 WhisperKit Android использует модели OpenAI Whisper для транскрипции аудио непосредственно на устройстве. Весь процесс выполняется локально, без отправки данных на внешние серверы. API помечен как экспериментальный и требует явного согласия разработчика на использование.

📊 Возможности:
— локальное распознавание речи (on-device processing)
— поддержка моделей Whisper от tiny до large
— высокая точность за счёт оптимизации ASR-пайплайна
— удобный API для интеграции в Android-приложения
— экспериментальный статус с возможными изменениями API

🎯 WhisperKit Android отражает тренд на перенос ASR-задач с облака на устройство. Это повышает конфиденциальность, снижает задержки и делает приложения независимыми от качества сети, что особенно важно для мобильных и офлайн-сценариев.

🔗 Пример: https://play.google.com/store/apps/details?id=com.argmaxinc.whisperax
Источник: https://github.com/argmaxinc/WhisperKitAndroid/
Еще пример: whisperIME

Еще есть подборка: https://github.com/sindresorhus/awesome-whisper/
Приложения:
Aiko — приложение для аудиозаписи и расшифровки для iOS и macOS.
MacWhisper — приложение для аудиозаписи и расшифровки для macOS. (премиум-версия)
Whisper Memos — приложение для аудиозаписи и расшифровки для iOS. (премиум-версия)
FourYou — приложение для аудиожурнала для iOS.
Jojo Transcribe — приложение для аудиозаписи и расшифровки для macOS.
Buzz — приложение для аудиозаписи и перевода для macOS.
WhisperScript — приложение для аудиозаписи и расшифровки для macOS. (Freemium · Electron)
Audio Podium — приложение для управления аудио/видео на macOS.
superwhisper — глобальное приложение для расшифровки аудио на macOS.
Speech Note — приложение для расшифровки аудио на Linux.
FridayGPT — приложение для диктовки на macOS, работающее на базе OpenAI API.
EasyWhisper — приложение для Windows и macOS для расшифровки аудио и определения говорящего. (Freemium)
Audio Note — расшифровка аудио в реальном времени на macOS и Windows. (Freemium · Electron)
Whisper — приложение для Android для расшифровки и перевода. (FOSS)
VoiceInk — приложение для macOS для диктовки и расшифровки. (FOSS)
Ito AI — голосовая диктовка с помощью ИИ для Mac. (FOSS)
OpenSuperWhisper — приложение для macOS для диктовки (FOSS).

#WhisperKit #Android #WhisperAX #Whisper #Транскрибация #LocalAi #AiLocal

🎙 FreePodcastTranscription - Локальный сервис для транскрибации аудио 🗣

Если нужно быстро перевести в текст надиктованное аудио или если вы больше любите читать, нежели слушать, то вот вам в помощь невероятно простой и удобный сервис с очевидным названием — freepodcasttranscription.

Почему рекомендуем?
- Полностью бесплатный
- Полностью Локальный - все работает в браузере!
- Не нужно логиниться
- Поддерживает русский язык
- Есть десктопное приложение
- Поддерживает любые форматы аудиофайлов
- Результат в .txt, .srt, .pdf.
- Супер простой интерфейс!

А полученный текст потом можно загнать в ИИ, исправить ошибки (а они присутствуют, чего уж) и вытащить из него все что душе угодно. 🙌
#Транскрибация #WebAI #Whisper #MacOS

🌐 Nanobrowser - Веб-агент с ИИ, работающий локально в вашем браузере!
Альтернатива OpenAI Operator с гибкими настройками LLM

Расширение Chrome с открытым исходным кодом для веб-автоматизации на основе ИИ. Запускайте многоагентные рабочие процессы, используя собственный ключ API LLM. Альтернатива OpenAI Operator.

🔥Почему Nanobrowser?
Ищете мощный браузерный агент с искусственным интеллектом, который не будет стоить 200 долларов в месяц, как OpenAI Operator? Nanobrowser в виде расширения для Chrome предоставляет расширенные возможности веб-автоматизации, при этом вы полностью контролируете процесс.

- 100% бесплатно — никаких абонентских платежей или скрытых расходов. Просто установите и используйте свои собственные ключи API, и вы будете платить только за то, что используете с помощью своих ключей API.
- Конфиденциальность превыше всего — всё работает в вашем локальном браузере. Ваши учётные данные остаются у вас и никогда не передаются никаким облачным сервисам.
- Гибкие возможности LLM — подключайтесь к предпочитаемым вами поставщикам LLM и свободно выбирайте разные модели для разных агентов.
- Полностью открытый исходный код — полная прозрачность в том, как автоматизируется ваш браузер. Никаких «чёрных ящиков» или скрытых процессов.

Примечание: в настоящее время мы поддерживаем OpenAI, Anthropic, Gemini, Ollama, Groq, Cerebras, Llama и пользовательских провайдеров, совместимых с OpenAI. В будущем мы будем поддерживать больше провайдеров.

📊 Основные функции
- Мультиагентная система: специализированные ИИ-агенты взаимодействуют для выполнения сложных веб-процессов
- Интерактивная боковая панель: интуитивно понятный интерфейс чата с обновлением статуса в реальном времени
- Автоматизация задач: легко автоматизируйте повторяющиеся задачи веб-автоматизации на разных сайтах
- Дополнительные вопросы: задавайте контекстные дополнительные вопросы о выполненных задачах
- История разговоров: легко получайте доступ к истории взаимодействия с ИИ-агентами и управляйте ею
- Поддержка нескольких языковых моделей: подключите предпочитаемых поставщиков языковых моделей и назначьте разные модели разным агентам!

https://nanobrowser.ai
⬇️ Получите Nanobrowser из Chrome Web Store бесплатно!
Подробно: https://github.com/nanobrowser/nanobrowser
#NanoBrowser #LocalAi #AiLocal #WebAi #AiWeb #Chrome #Edge #AiAgent #AgentAi

ℹ️ TranslateGemma 27b/12b/4b — это семейство легковесных современных открытых моделей перевода от Google, основанных на семействе моделей Gemma 3.

Модели TranslateGemma предназначены для решения задач перевода на 55 языках. Благодаря относительно небольшому размеру их можно использовать в средах с ограниченными ресурсами, например на ноутбуках, настольных компьютерах или в собственной облачной инфраструктуре, что упрощает доступ к современным моделям перевода и способствует развитию инноваций для всех.
📖 Все языки и метрики в документе: https://arxiv.org/pdf/2601.09012
🔥TranslateGemma на 12b превосходит в тех же заданиях базовую Gemma 3 24b

Даже такие пары есть:
English-Armenian, English-Hawaiian, English-Western Frisian, English-Corsican, English-Hmong, English-Maltese, English-Tajik, English-Samoan, English-Macedonian, English-Mongolian, EnglishGalician, English-Albanian, English-Uzbek, English-Uyghur, English-Belarusian, English-Sinhala, English-Basque, English-Haitian Creole, English-Bosnian, English-Kyrgyz, English-Kazakh, EnglishKhmer, English-Scottish Gaelic, English-Lao, English-Irish, English-Luxembourgish, English-Burmese, English-Sundanese, English-Javanese, English-Malay

Входные данные:
- Текстовая строка, представляющая переводимый текст
- Изображения, нормализованные до разрешения 896 x 896 и закодированные до 256 токенов каждое
- Общий входной контекст из 2000 токенов

Выход:
- Текст переведён на целевой язык

Модели:
27B https://huggingface.co/google/translategemma-27b-it
12B https://huggingface.co/google/translategemma-12b-it
4B https://huggingface.co/google/translategemma-4b-it

Чтобы переводить тексты с одного языка на другой с помощью этой модели в LM Studio, сначала исправьте проблему с шаблоном промта (prompt template). Перейдите в My Models > настройки модели > Prompt Template и переопределите шаблон на кастомный Jinja, чтобы обойти строгую структуру content. Вот пример простого шаблона (вставьте его в поле Jinja):

{{ bos_token }}
{% if messages[0]['role'] == 'system' %}
{{ messages[0]['content'] }}
{% endif %}
{% for message in messages %}
{% if message['role'] == 'user' %}
<start_of_turn>user
{{ message['content'] }}<end_of_turn>
{% elif message['role'] == 'assistant' %}
<start_of_turn>model
{{ message['content'] }}<end_of_turn>
{% endif %}
{% endfor %}
{% if add_generation_prompt %}
<start_of_turn>model
{% endif %}

Это позволит использовать модель без ошибки, обрабатывая content как обычный текст.
В системном промте (system prompt) пропишите инструкцию для перевода, чтобы модель понимала задачу. Пример:
"Ты профессиональный переводчик. Переводи предоставленный текст с указанного исходного языка на целевой язык. Формат входа: source: [код исходного языка, например en], target: [код целевого языка, например ru], text: [текст для перевода]. Выводи только перевод без дополнительных комментариев."
Затем в пользовательском промте (user prompt) указывайте:
"source: en, target: ru, text: Hello world!"
Модель выдаст перевод. Коды языков — стандартные ISO 639-1 (en — английский, ru — русский, de — немецкий и т.д.). Если хотите фиксированные языки (например, всегда с русского на английский), укажите это в системном промте без нужды в формате.

Что интересно: https://chatgpt.com/translate/ поддерживает 50 языков, а 🔥TranslateGemma - 55 языков!

🌎 TranslateGemma 4B есть и прямо в браузере с #WebGPU https://huggingface.co/spaces/webml-community/TranslateGemma-WebGPU

📊 Оценка качества TranslateGemma https://alconost.mt/mqm-tool/case-studies/translategemma/ (Обсуждение)

#TranslateGemma #LocalAi #AiLocal #ModelAi #AiModel #Gemma3 #AiTranslate #AiПеревод

ℹ️ STEP3-VL-10B — это облегчённая базовая модель с открытым исходным кодом, призванная изменить представление о компромиссе между компактностью и эффективностью и передовым мультимодальным интеллектом. Несмотря на компактные 10B параметров, STEP3-VL-10B отлично справляется с визуальным восприятием, сложными рассуждениями и ориентированностью на человека.
Она стабильно превосходит модели размером до 10 млрд параметров и конкурирует или превосходит значительно более крупные модели с открытыми весами (в 10–20 раз больше по размеру), такие как GLM-4.6V (106B-A12B), Qwen3-VL-Thinking (235B-A22B), а также флагманские проприетарные модели, такие как Gemini 2.5 Pro и Seed-1.5-VL.
Результаты показывают, что STEP3-VL-10B — это самая мощная модель с открытым исходным кодом в классе параметров 10B.
Модель: https://huggingface.co/stepfun-ai/Step3-VL-10B
Демо: https://huggingface.co/spaces/stepfun-ai/Step3-VL-10B - отлично отвечает на русском!
Обсуждение на Reddit.
#StepfunAi #Step3VL10B #LocalAi #AiLocal #ModelAi #AiModel

🔍 Решения для локальных глубоких исследований:

1) https://gptr.dev
https://github.com/assafelovic/gpt-researcher

2) https://deerflow.tech
https://github.com/bytedance/deer-flow

3) https://github.com/Alibaba-NLP/DeepResearch - Tongyi DeepResearch

4) https://github.com/stanford-oval/storm - STORM

5) https://github.com/ItzCrazyKns/Perplexica - Perplexica

6) https://github.com/MiroMindAI/MiroFlow

7) https://github.com/murtaza-nasir/maestro

8) https://github.com/sentient-agi/ROMA

9) https://blog.langchain.com/deep-agents /

10) https://github.com/miurla/morphic

11) https://github.com/edoigtrd/ubiquite

12) https://github.com/SalesforceAIResearch/enterprise-deep-research

13) https://github.com/ruc-datalab/DeepAnalyze

14) https://github.com/RUC-NLPIR/DeepAgent

15) https://github.com/vamplabAI/sgr-deep-research

16) https://github.com/AstroPilot-AI/Denario

17) https://github.com/CMBAgents/cmbagent

18) https://github.com/sagar-n/deepagents/tree/v3.0.0/deep-research-agents-v3

19) https://github.com/anilsharmay/full-stack-local-deep-research-agent

20) https://github.com/microsoft/autogen

21) https://github.com/huggingface/smolagents/tree/main/examples/open_deep_research

22) https://github.com/rupeshs/verity - Verity — это поисковая система на основе искусственного интеллекта в стиле Perplexity, которая работает полностью локально на компьютерах с ИИ. Она сочетает в себе поиск на основе SearXNG, извлечение данных и локальные рассуждения на основе больших языковых моделей для генерации обоснованных, проверяемых ответов без использования облачных сервисов.(Обсуждение)

Обсуждение на Reddit.
#DeepResearchAgent #DeepResearch #AiAgent #LocalAi #AiLocal