Запросы к GPT с российских серверов

Если вы не делаете свои сервисы – не читайте дальше, вам это ни к чему

У меня есть сервер в РФ, на котором у меня крутятся всякие боты и демки. Как только я хочу отправлять запросы к LLMкам, все ломается – ни openai, ни anthropic ни гугл не отвечают пользователем с российскими IPшниками

Варианты:
1. Перетащить все на мой американский VPS (будут больше задержки для всего, особенно для демок на streamlit'е)
2. Использовать OpenRouter (все мы знаем тенденцию штук с приставкой Open переставать такими быть. И не будет оригинальных личных кабинетов. Но в целом норм вариант)
3. Сделать из американского сервера прокси. (Самый бесшовный способ)

В первом комменте инструкция для тех, кому нужно

Если вам нужно, но нет своего сервака вне РФ, можно мне в личку написать, я в вайтлист своего могу добавить IPшник вашего сервера

(для обычных устройств это не нужно, просто используйте VPN)

FOMO от постов

Давно уже думаю, как решить проблему с переизбытком информации в телеге.

Если читать все интересные каналы, то это занимает кучу времени, а реально интересных постов только 10 процентов.

Если читать только каналы с высокой долей интересных постов, то пропущу много инфы.

В итоге сделал себе бота, который подписывается на все мои каналы и скидывает мне саммари на каждый пост, и я читаю только те, что заинтересовали.

В первой версии пишет немного по-инфоцыгански, но в целом работает

Секреты ведения блога от Эндрю Чена, которые он наработал за 2 десятилетия (тут).

Там в целом много крутого, но меня особенно зацепила вот эта часть:

Думать о себе как о журналисте, который освещает интересные идеи, тенденции, продукты и все, что происходит вокруг вас, приводит к гораздо лучшему/сильному контенту

Я сам часто не пишу про что-то потому что «ну про это же уже написали, кококо». Хотя именно мой взгляд на это сам по себе несет ценность.

С чем-то я могу согласиться и рассказать, почему, а с чем-то я могу поспорить и привести аргументы, которых не было в оригинале. До кого-то я просто донесу мысль, которая не приходила по другим каналам.

Буду чаще писать про все, что вижу

Скрытый ризонинг

Если вы делаете какую-то систему на основе интерфейса ChatGPT (например, используя Custom GPTs), то скорее всего сталкивались с тем, что нужно делать какие-то промежуточные шаги, которые не хочется показывать в финальном ответе.

Если бы интерфейс был полностью свой, то можно было бы вынести эти шаги в отдельные запросы к API. Но в случае с чатом так не получится.

Поэтому я придумал хак, как можно их прятать в невидимую ссылку

Закрытая бета

Сделал, чтобы бот работал для других юзеров, а не только для меня. Набираю 5 ранних пользователей на закрытое тестирование, пока бесплатно.

Нужно нажать start тут: @personal_feed_tgbot

Получат доступ первые 5

Google > OpenAI

Я уже удивлялся, что гугл оказывается давно выкатил серьезные фичи, которых нет у OpenAI.

Но сейчас они пошли сильно дальше, тут крутой пост от @ai_newz, после которого у меня прям руки зачесались потестить.

То что он в целом работает я понял быстро, но захотел потестить всякую всрань типа умения понимать и отвечать с разной высотой и громкостью голоса. И абсолютно новый режим с вебкой, на видео видно, как я охуеваю в некоторые моменты.

Записи тестов:
Тут просто голос
Тут с вебкой

"Можно ненадолго почувствовать себя как в фантастике, пока это не стало обыденностью" (с) эйай ньюз

Ссылка (с VPN не в Европе)

Перерождение CommuniCare

Одна из главных причин, по которой этот проект заморожен – он очень далек от меня. Был бы я многодетным отцом или детским психологом в завязке – другое дело.

Еще одна причина – он автоматизирует процесс, которого не существует. Никто не ходит тренировать общение с детьми через игру по ролям

Но есть такие области, где такие тренировки вполне приняты, и которые мне сейчас намного ближе.

Например, Саша сейчас строит отдел продаж в компании где работает, и там ребята очень много тренируются, в т.ч. и на реальных клиентах, но это супер стрессово.

Так что мы сегодня быстро перестроили CommuniCare под продажников.

Самое интересное – я "абстрагировал" домен от самой платформы, и теперь можно создавать "курсы" на разные темы вообще без изменения кода.

Где еще может зайти прокачка навыков через role-playing тренажер? Помню из старых комментов:

* Дейтинг
* Прохождение собесов
* ???

GPT в гугл-таблицах уже давно

После того, как я сделал в google sheets GPT поисковик по статьям для моих друзей из Esprezo, я понял, что эту супер универсальный инструмент. Ресерч поисковых запросы через ahrefs вывел на двух мощных конкурентов:

https://gptforwork.com
https://app.gpt.space

Сначала мой микро-анализ лендоса gptforwork, потому что он охуенный, а потом, какая нам может быть польза от самого продукта

Лендос:

1. Емкая формулировка ценности в самом начале (делай работу оптом, 1000x быстрее)

2. Конкретный кейсы использования = квалификация клиентов ("о, это же мои задачи") + доп. подсветка боли ("о, это же мой геммор")

3. Описаны категории пользователей => "о, такие же ребята как я это используют, надо и мне глянуть" (социальное подтверждение, fomo)

4. Сравнение в числах/деньгах с ручной работой на конкретном кейсе

5. Числа, что у них стабильно много пользователей (опять социальное доказательство)

6. Отзывы пользователей, которые снова подсвечивают все что выше. Даже "типа" негативные вставили (повышение доверия)

———

Зачем это вам?

С этой штукой можно делать простые версии AI продуктов кому угодно без кода вообще.

Это может быть внутренний продукт для команды. Или вообще какой-то инструмент для себя любимого. Вдохновение искать на лендингах выше

———

Что мне с этого?

Я понял, что рынок уже достаточно большой, там точно есть деньги, при этом он уже занят очень серьезными ребятами. Но можно делать на рынок РФ, раз в целом это уже продается => сильно ниже продуктовые риски. Что думаете?

Мне сильно мешает добиваться результатов сломанные циклы обратной связи

Чем сильнее цепочка действие → результат, тем меньше сил и внимания тратится на "подвисшие процессы" и больше мотивации делать следующее действие. А дальше начинается цепная реакция.

Стараюсь укорачивать все такие цепочки.

Сделал бота для себя → начал пользоваться, почувствовал пользу (открываю 1 пост из 5)
→ Сделал доступ для других → получил кучу фидбэка и людей в waitlist'е (приятно)
→ Сделал изменения → XXX:

1. Переписал промпты уже раз 8. Теперь меньше врет, не переходит на английский, вставляет ссылки в текст,
2. Сделал обработку тех постов, которые прилетели, пока бот был отключен (например во время раскатки изменений), а то некоторые посты пропадали
3. Убрал саммари коротких сообщений – просто отправляются как есть
4. Сделал иконку, чтобы проще было искать в списке чатов (30 итераций с Dalle и 30 минут времени)

Что такое XXX? Я еще не знаю 🤷‍♂️
Сегодня дам доступ еще пачке людей из waitlist'а и посмотрим, к чему это приведет.

P.s. если вас там нет, то все еще можно попасть

ыть

Супер гайд про ведение канала от Егора Данилова (ex-CPO ivi.ru и юле, предприниматель, почти 30к органических подписчиков)

Третий раз перечитываю и каждый раз что-то меняю.

1. Сперва начал обращать внимание на то, как выглядит начало постов в превью (в списке чатов)

2. Трижды переписывал био. Сейчас оно целиком помещается без кнопки "показать еще"

3. Ищу новое название для канала. Палка с одним концом – непонятная новым подписчикам пасхалка из той жизни, где я катался автостопом по Африкам.

4. Пытаюсь писать посты, которые будут достаточно полезны/интересны, что их захочется переслась. Слежу за статой (пока так себе, но по парочке private shares на пост есть)

5. Ищу идеи для постов, чтобы написать на habr, vc.ru или в вастрик клуб. Пока туплю, если честно. Наверное, нужно что-то простое закинуть, чтобы обосраться и не напрягаться

———

Кстати, че думаете про иконку канала?

Делать ИИ продукты намного проще чем кажется. Проблема только в том, что нужно отделить сигнал от шума – разобраться, с чего начать, что использовать, кто для этого нужен, а главное чего делать не стоит.

Меня позвала записать про это видос Катя – фаундер айти агенства, которая брала у меня консультации по нескольким проектам. Для нас обоих это первый такой опыт, но по-моему у нас здорово получилось приземлить все это на реальные кейсы, а не просто пофилософствовать.

Вот ссылка на видео

А вот черновик тизера, который я накидал для монтажера как референс. Делюсь им тут, потому что мне он нравится

Прошлый мой подход к GPT в таблицах никуда не годится.

Там я сделал кастомную функцию =GPT(...), которую можно вписать в табличку, передав ей промпт, и она даст ответ от нейросети 🫨

Так любой человек может обработать сразу сотни элементов без навыков программирования и без ручной копипасты

Но Google таблицы рандомно перезапускают такие формулы раз в какое-то время.

Понятно, чем это чревато?

Кучей потраченных денег на бесполезную перегенерацию данных.

Большие ребята из gptforwork (писал тут) решают это через кэширование или отдельную кнопку, чтобы подменить формулы на их значения, но все выглядит костыльно.

А как не костыльно?

Недавно у gptforworks появился режим с боковой панелью. Я развил эту идею для одного из проектов, с которым сейчас помогаю.

Самая главная фича – можно создавать отдельные операции, переключаться между ними или вообще запускать из обычного интерфейса табличек (конец видео).

Если вам такое очень надо, пишите в личку, дам доступ

Как стать AI разработчиком в 2025?

Если вы никогда не писали код - никак.

Шутка, на самом деле появление LLM уровня gpt-4 открывает столько низковисящих возможностей, что даже очень костыльные системы построенные на no-code решениях или простигоспади гугл-таблицах, могут давать кучу бизнес-ценности.

Тут стоит только найти повторяющуюся рутину в вашей области, попробовать решить ее с помощью gpt, поитерироваться, чтобы получать хороший результат в 1-3 промпта, а потом интегрировать в существующие процессы.

Мб даже автоматизировать, чтобы работало сразу для пачки объектов.

Поздравляю, вы AI инженер на минималках.

Дальше изучаете подходы к промптингу, few-shot learning, structured_output, паттерны типа «чек-лист», разные виды RAG систем (как доставать релевантные куски из больших баз знаний), разбираетесь с тем что такое ембеддинги, чтобы понять, что они не работают, и другие умные слова.

Я вот в своем диджитал пузыре нифига не знаю про реальные проблемы в реальном бизнесе, поэтому предлагаю ими со мной поделиться в обмен на помощь с решением:)

Про то, как стать AI разработчиком для тех, кто уже умеет прогать – в следующем посте

Как разработчику стать AI разработчиком в 2025?

Поздравляю, вы уже AI разработчик.

Шутка. Вы только на 90% AI разработчик.

Самое сложное, как и в предыдущем кейсе – найти проект, где так или иначе нужен AI. Либо придумать его на своем текущем рабочем месте. Я так сделал 2 года назад, предложив в CodeSignal начать уже анализировать качество кода разработчиков, которые проходят технический скрининг на нашей платформе.

Параллельно со мной было еще несколько человек, которые переключались на AI разработку из обычной, так что я не просто статистический выброс.

Самая большая ошибка – идти изучать классический Machine Learning и обучение нейронок. Это профессия, которая будет вымирать – компаниям больше не нужно обучать кастомные нейронки под свои задачи, они просто берут GPT.

В этой области останутся только самые топовые ребята, которые будут обучать передовые модели в гугле, OpenAI, и т.д.

Все что оттуда нужно – это понимать классы задач (классификация, регрессия и т.д.), метрики для них (и то, как они связаны с бизнесом) и зачем нужен train-test split (и что такое data-leakage). Это прям база, ее даже с GPT можно разобрать самостоятельно

А это точно вообще нужно?

Рабочий прототип можно делать и так, просто на ручном вайб-чеке ответов. Штука выше нужна для выстраивания итеративного процесса разработки и надежной валидации решения – а без этого фиг "продашь" компании запуск такого проекта.

Что точно нужно?

Все в целом похоже на предыдущий пост, но с определенными отличиями.

1. Прочитать методичку про промптингу
2. Восхититься идеей ембеддингов
3. Разочароваться в ней
4. Научиться работать со structured_outputs, чтобы структура ответа модели была детерминированной
5. Начать использовать LangChain, чтобы понять, что вы это зря.
6. Потратить кучу времени итерируясь над промптами в реальных задачах, чтобы обучить свою нейросетку в голове.
7. Научиться делать мониторинг (и самих ответов, и метрик, и костов, и ошибок, и дрифта входных данных)


Ни к коем случае не лезть в дообучение моделей, оно вас сожрет
(если вы точно знаете, почему мой тезис голословный, то вы не аудитория поста, вас не сожрет. мб)

И есть еще другой способ, гораздо проще.

Сейчас большинству LLM-продуктов не хватает нормальных разработчиков, которые умеют не просто демки фигачить, а писать нормальный продакшн код.

Нужно просто не ссать, что это "какой-то непонятный AI в котором я не шарю", потому что под капотом там то же перекладывание json'ов.

А там уже и в AI-контекст вкатитесь и на месте прочувствуете все микро-различия AI разработки от обычной.

Кто пользуются GPT через костыли, это пост для вас.

Несколько подписчиков по моему совету уже перешли на deepseek и очень довольны. Да, модель немного потупее, зато без запар с VPN, временными симками и т.д.

Пару дней назад они выкатили модель, которая уже на уровне GPT-4o, так что теперь и этого минуса нет. А для сложных задач у них есть бесплатный Deep Think режим плюс они еще недавно добавили поиск по интернету.

Это ваш бро:
https://chat.deepseek.com/

Пишу статью как я "ем стекло" (начиная с увольнения и заканчивая тем как перестал заниматься тренажером по общению с детьми)

И замечаю столько необоснованных решений. И только прописывая сейчас их текстом, понимаю, насколько у меня на самом деле нет нормальных объяснений

Почему я решил, что работать в молодом стартапе – плохая идея?

Почему я перестал делать тренажер для менеджеров и переключился на родителей?

Почему его продвигали так как продвигали?

Почему решили заморозить и начать делать что-то другое?

Почему я опять пишу код вместо того чтобы продавать?

———

В следующем году буду писать себе такие письменные обоснования на все важные решения.

Весь год ссался написать пост на хабр и другие внешние площадки. Но я все еще могу успеть хотя бы начать в этом году.

Накидал черновик и вышло даже как подведение части итогов года.

Мне очень нужен ваш фидбэк (в комменты или личку, без разницы)

Неочевидный плюс ведения канала и личного дневника – можно закинуть все записи за год в GPT и попросить анализ "со стороны".

Правда пришлось постараться, чтобы не было графомании. Claude, кстати, гораздо меньше воды льет по сравнению с GPT и Google Gemini

Есть моменты, которые прям неприятно читать, но жиза 🤷‍♂️

P.s. Промпты в комментах

Один из самых мощных паттернов в работе с LLM из моего 2024 года

Еще в 2023 я использовал в продакше Chain of Thought и Chain of Prompts (цепочка мыслей и цепочка промптов).

Первое – это "думай по шагам", чтобы LLM не сразу давала ответ, а сначала подумала "вслух" (сейчас все модели уже сразу дообучены так делать).

Второе – разбиваем сложную задачу на несколько этапов и делаем их по очереди отдельными запросами (выдели логические блоки из текста и придумай названия → напиши саммари для каждого → переведи на русский)

Но тут несколько проблем:
1. Chain of Thought выбирает совсем разные шаги для похожих входных данных и вообще делает что хочет
2. Chain of Prompts жрет кучу денег, т.к. каждый этап делаем новый запрос (заново загружая токены контекст). Плюс занимает больше времени на выполнение (бывает критично).

А что делать то?

✨Custom Chain of Though✨ – делаем один запрос, но четко указываем, какие шаги нужно сделать и формат результата

Упрощенный пример из двух шагов:

[тут у нас какой-то промт]...

Ответь сначала на английском. Потом переведи на русский

# output format

Response
<english response>

Translation
<перевод на русский>

Тут модель при генерации ответа "думает" на своем родном английском → нет просадки качества из-за чужого языка. При этом сразу получаем версию на русском. Так она еще и лучше по качеству, чем если просто в новом чате скинуть английский результат и попросить перевести. Есть идеи почему так? 🙃

Ну и че тут такого, все очевидно, где рокет саенс?

А нет рокет саенса, это простой дубовый подход, который работает. Дает управляемую генерацию в несколько шагов, экономит деньги и снижает задержку до результата.

А если использовать structured output, то LLMка, даже если очень захочет, не сможет сгенерировать другие шаги. Ну и так можно не только линейный список шагов задавать, а еще и дерево с ветвлениями, которые выбираются прям во время генерации.

А это, я считаю, разъеб.