Спарсить все новости России и застрять на пару месяцев

Я люблю что-нибудь парсить. У меня в голове давно была мысль регулярно собирать все новости России, чтобы можно было посмотреть их дистрибуцию. Просто потому что интересно. Это было ошибкой.

Да чо там, настроить парсинг и сделать простой дизайн займет неделю, думал я. Что может пойти не так?

Что в итоге сделал:
- пришлось реверс инжинирить запросы к апишке в приложениях новостей: парсить больше 40 сайтов, чтобы оно всё стабильно работало дело не благодарное
- нужно как-то управлять парсером, приспособил для этого дела префект https://www.prefect.io/
- настроить всякие ETLки для обработки и фильтрации данных: привести слова к нормальной форме, убрать союзы, предлоги, частицы, местоимения, наречия, бессмысленные слова
- фронт стал головной болью, так как я по бекенду и не люблю фронт, пока придумал идею, пока сделал что-то хоть как-то работающее,благо есть курсор но всё равно получилось не очень
- нужно сделать апишечку чтобы раздавать данные на фронт, привет fastapi
- настроить базовую безопасность: всякие кросс ориджин запросы, рейтлимиты, разрешённые хосты и прочее
- задеплоить весь этот зоопарк: нджинкс за которым префект сервер, префект воркеры, фронт и бек в докере
- ну и мониторить хорошо бы: простой обработчик ошибок и эксепшенов, который шлёт всякое в телеграм
- придумать название и купить домен, настроить днсы, установить сертификаты

Что в итоге? Было конечно интересно и поучительно. Много нового узнал. Фронт правда выглядит не так как я хотел, но как есть. Что дальше с этим делать непонятно. Сейчас в базе 86019 новостей с начала этого года.

А ну и ссылка на сайт: https://fromrussiawithnews.com/ Там самые частотные слова в новостях по разным регионам. Такая средняя температура по больнице. Если прблизить, то можно даже что-то прочитать.

Основная мысль этого проекта: больше не буду что-то начинать делать, если нет хотя бы примерного плана как это можно монетизировать.

Визиты за отчётный период: ≈ 75,9 млн

Свой первый домен я зарегистрировал 3 апреля 2015 года. Мне хотелось сделать сайт, чтобы зарабатывать на нём с рекламы. Ну вот это всё: не работать на дядю, ты спишь а сайт работает и прочие мантры. Это был обычный информационный сайт про собак. Опубликовал около 100 статей. Через какое-то время он мне стал приносить 10 000 рублей в месяц. Я поверил во всё это и начал делать сайты немного посмелее.

Я сделал ещё несколько небольших сайтов и подумал, а не сделать ли мне что-то побольше? Так 14 мая 2016 я стартовал сайт про сад-огород. Когда я собрал все поисковые запросы по теме чтобы прикинуть сколько статей можно написать, их оказалось больше 1500. Одна статья на круг с семантикой, написанием, проверкой и публикацией выходила в районе 750 рублей. Путём нехитрых математических рассчётов получаем уже больше 1 млн рублей. У меня конечно тогда не было таких денег, но я все деньги заработанные на сайтах «реинвестировал». Все свободные деньги с зарплаты, а я тогда работал на работе, тоже спускал в контент. Когда я начинал я не верил, что у меня получится, но глаза однажды увидели цифру 1500 админке сайте в графе «Опубликовано».

В мае 2018 года я увидел что суммарный трафик на моих сайтах был больше 2 млн посещений в месяц. Кажется я уже уволился с работы и занимался только сайтами.

В течении нескольких лет я делал сайты. Учился их продвигать. Организовывал работу редакции. Нанимал и увольнял людей. Оптимизировал рекламу. Учился вести бухгалтерский и финансовый учёт. Оказалось что деньги компании и твои деньги это две большие разницы. Что в словосочетании Юридическое лицо слово «лицо» не просто так.

Потом ситуация на рынке стала меняться. Яндекс потихоньку стал заворачивать трафик максимально на свои сервисы и всё меньше платить партнёрам. Гугл тоже двигался в этом направлении. Я забивал на развитие сайтов и занимался своими делами.

Примерно в 2021 году я полностью прекратил создание новых сайтов. Потом началась война и гугл перестал работать в России. -50% дохода за один день. Кажется последний раз когда приходили деньги от Яндекса это было 3000 рублей.

Какие выводы? Да хер знает. Я думаю, чтобы что-то работало нужны не только дисциплина, смелость, желание что-то делать но и везение. Без него ничего не получится.

Осень это начало нового года. Берешь себя в руки, и начинаешь активную работу до января (с)

А с чего лучше начать брать себя в руки? Конечно с постановки целей. Именно для этого есть рамка цели. Когда читаешь, вроде бы всё понятно. Но когда начинаешь писать мозги скрипят. Именно поэтому я сделал ИИ бота, который помогает написать цель по рамке цели. Можно зайти, сначала почитать немного про рамку цели, а можно и сразу писать что думаешь!

Давайте сразу к примерам.

Цель: хочу пива

Ответ бота: Братан, я понимаю, что иногда просто хочется пива, но то, что ты написал, - это даже не цель, а скорее крик души!

Сильные стороны: ты честен с собой и знаешь, чего хочешь прямо сейчас. Формулировка позитивная, без всяких 'не хочу работать' или 'избавиться от стресса'.

Как улучшить: превращаем хотелку в нормальную цель! Добавь контекст (где, когда, с кем), критерии (какое именно пиво, сколько, какие ощущения получишь), ресурсы (бюджет, время), и главное - первый конкретный шаг. Например: 'Я наслаждаюсь бокалом качественного светлого пива в пивном баре на Тверской с лучшим другом в эту пятницу в 19:00, чувствую расслабление и радость от общения, трачу до 1500 рублей, и мой первый шаг - сегодня до 18:00 написать другу и забронировать столик'.

Короче, давай не просто хотеть, а планировать качественный отдых!

Попробовать

Пару дней назад посетил прекрасную конференцию про программирование с ИИ https://www.ai-dev.live. Самое интересное:

1. Вчера время на программирование тратилось много. Сегодня тратится поменьше, но нужно котролировать что на выходе ИИ. Завтра будет нужно очень детально описвать задачу и контроливать, запрограммировать сможет нейроночка.

2. Фидбек и конроль важны для ИИ разработки. Модель может наговнокодить всякого, нужно фильтровать.

3. Эффективный контекст у современных языковых моделей 100-200 тысяч токенов, дальше модель тупеет. Наглядно https://contextarena.ai

4. Ели использовать много mcp в своих инструментах разработки, то они замусоривают контекст. А контекст нужно беречь как мы уже выяснили. Используй только то, что нужно прямо сейчас

5. Paywrite mcp для тестирования (https://www.youtube.com/watch?v=IixdI2bTR1g)

6. Основные инструменты для разработки:
cursor (https://cursor.com)
claude code (https://www.claude.com/product/claude-code)
codex (https://openai.com/codex)

7. Интересные иснтрументы для разработки:
shotgun pro c хитрым контекстом (https://shotgunpro.dev/)
codealive c хитрым рагом (https://www.codealive.ai/)

Решил поучаствовать в челендже по созданию ИИ агентов https://erc.timetoact-group.at/ Для разогрева нужно сделать агента, который будет делать покупки по разным заданиям. Со второй попытки удалось решить все 100% заданий. Хочу ещё попробовать использовать гигачат и яндекс ллм в качестве моделей у агента 😂

FLUX.2: Nano banana давай досвидания?

Недавно вышла новая моделька FLUX.2 для работы с изображениями. Погенерил разное из официального промпт гайда https://docs.bfl.ai/guides/prompting_guide_flux2

Что можно выделить:
- Топ фича писать промпты на разных языках, при этом модель сама будет учитывать культурные особенности
- Json промпты понравились, я давно думал про что-то такое. Можно задавать прям конкретные rgb цвета!
- Иллюстраторы, фотографы, ретушёры и похожие ребята пока не идут на завод, работа у них по прежнему есть

Стоит это хозяйство на официальном сайте по 4 цента за изображение. В целом думаю отличный вариант если работаешь с графикой.

В комментах покидаю разные изображения с промптами.

Юху, 10 место из 521 команд в соревновании по агентам! Ссылка на лидерборд https://erc.timetoact-group.at/assets/erc3.html

Наконец можно сгенерировать любую аудиокнигу локально! Правда есть нюанс...

Сегодня погонял локальную модель для генерации голоса https://github.com/resemble-ai/chatterbox. У них есть мультиязычная модель которая поддерживает 23 языка, в том числе русский. Можно испльзовать существующий голос или клонировать.

Несколько особенностей:
- большой текст нужно разбивать на маленькие кусочки, иначе не хватает памяти
- аудио для клонирования голоса чем длинее, тем лучше
- нужно расставлять ударения в тексте, тогда качество заметно выше
- 15 минут аудио это 13648 знаков или 1864 слов или 99 предложений

К посту приложил 15 минутный отрывок из «Незнайки на луне» Носова с итальянским акцентом. Отрывок генерировался 90 минут, тот самый нюанс.

Приятного прослушивания.

Самая большая сложность с ии инструментами

Вот ты навайбкодил офигенный инструмент. Конечно он использует ллм под капотом. И что самое удивительное он реально работает! Экономит время, увеличивает эффективность, всё удобно. В общем очень круто получилось. Кажется что это мечта, кто может не хотеть таким пользоваться?

И ты начинаешь продавать этот сервис другим компаниям. Руководитель воодушевлён, можно увеличить эффективность отделать в два раза! Покупает подписку, а люди не пользуются. Почему?

Например люди думают, что этот сервис заменит этих самых людей. Это как бегать вокруг стульев. Через некоторое время люди понимают, что кому-то одному не хватит места. И потом ещё одному. И ещё. Поэтому лучше не начинать пользоваться.

Или люди могут думать что этот сервис позволяет лучше следить за ними. А значит находить больше причин, чтобы критиковать их. Кому нравится когда его критикуют? Или может быть тоже уволить потом.

Или люди не хотят больше зарабатывать. Эффект таксиста. Казалось бы, в новогоднюю ночь поработай столько же времени как и в обычный день, тарифы больше, можно больше заработать. Но люди выбирают заработать столько же, но поработать поменьше.

Получается самая большая сложность со всеми ии инструментами это не ии инструменты. Это люди. В случае выше это люди которые не пользуются.

Или есть два стартапа. ИИ инструменты у всех одинаковые. Один популярный, другой нет. Что их отличает? Люди, которые не покупают один, но покупают другой.

Получается такой вот парадокс.

Как на счёт пересобрать программу под другую платформу с помощью ИИ?

Чем можно заниматься на выходных? Например поиграть! А если твоя игра есть только для виндовс, а у тебя мак? Если есть исходники и клод код то можно перекомпилить и поиграть!

Именно этим я и занимался пару дней. Пересобрал и выложил на гитхаб https://github.com/tjvjk/engine-sim-macos Эта штука эмулирует работу двигателя и издаёт похожие звуки без всяких семплов. Чистая физика.

Каждый двигатель нужно описывать отдельно: расположение, поршни, коленвал, шатуны, маховик, клапаны. В общем всё серьёзно. В ручную это создавать тоже долго и муторно. Тут тоже на помощь приходит клод код.

Если бы не было клод кода то я бы даже не стал таким заниматься, а тут перекомпилил и сделал несколько моделей российских двигателей: ЗИЛ 130, мотоцикл Урал, Нива и УАЗ. В комментарии выложу пару демо.

Записываем в возможности ИИ ещё перекомпиляцию для разных платформ.

Как сделать караоке минус из любой песни?

Нейронка https://github.com/adefossez/demucs отделяет голос от музыки. На вход песня, на выходе два трека: один только с голосом, второй только музыка. Остаётся только сгенерить видео с текстом, но это уже дело техники.

Самый дешёвый поиск по файлам с ИИ

Недавно наткнулся на идею, что можно использовать консольные утилиты как для тулы для поиска по текстам для ллм агентов.

Например, есть гигабайты текстовых файлов и нужно поискать что-то по ним. Как быть? В старом добром линуксе есть grep который очень быстрый и ищет почти что угодно, особенно если знать регулярные выражения. Аналогичные тулы есть для почти чего угодно: пдф, ворд, эксель, почти любые форматы текстовых файлов. Именно так работает клод код, например.

За выходные набросал код ИИ агента, который и работает с такими тулами. Что там есть:
- openai совместимая либа, я использую опенроутер, но можно быстро переделать под что угодно
- пока поиск только по текстовым файлам и пдф, планирую расширить
- асинхронный код
- из инфраструктуры нужен только жесткий диск, который дешёвый и везде есть
- не нужна векторная база, чанки, реранкинг, переиндексирование и прочие побочные действия
- как интерфейс можно использовать веб, телеграм бот, мобильное приложение

В одном из проектов я уже использовал с телеграм ботом, работает. Стоимость одного ответа 1-2 цента.

Основной недостаток - может долго отрабатывать нейронка. Поиск может занимать минуту. Но похоже это всё равно быстрее чем искать руками.

Код на гитхабе: https://github.com/tjvjk/greprag

В следующий раз напишу какие есть метрики чтобы оценить качество поиска такими тулами. В ИИ разработке всегда нужно начинать со сбора тест кейсов.