GPT не хватает данных для обучения

Я уже писал о проблеме прожорливости ChatGPT и о том, что он потребляет больше, чем некоторые страны вместе взятые. Однако, я не предполагал, что может возникнуть проблема с количеством данных (источник).

У меня была гипотеза, что данных настолько много, что весь интернет перелопатить в принципе невозможно. Казалось бы, ChatGPT обучиться на этом всём интернете не составит труда и поддерживать прокормить данными любую модель.

Но оказалось, что ChatGPT столкнулся с проблемой нехватки данных, на которых можно обучаться. Уже думают о том, чтобы работать с автосубтитрами роликов YouTube.

Что ж, неожиданный поворот. Уверен, какое-то решение найдут для того, чтобы ChatGPT обучать и прогресс это не остановит!

#gpt

Запрет лички от левых людей

Павел Дуров не обманул и сделал так, что пользователи без премиума могут закрыть личку от своих неконтактов.

В настройках конфиденциальности появилась опция выбора того, кто может отправлять мне сообщения.

Правда я бы еще сделал опцию "только мои контакты", потому что нежелательные контакты могут легко иметь премиум статус, а желания общаться с ними у меня может не оказаться.

В описании своего профиля разместил ссылку на своего @amorevbot, чтобы со мной можно было связаться, но уже через бота. Про то как себе такого бота запустить, рассказывал тут.

Интеграции с Telegram Invoice

Классно сделали в телеге, что можно принимать платежи за что угодно, не выходя из телеги. Но, увы, выпустили достаточно сырой продукт. Причем для покупки Telegram Premium используется отдельная, менее сырая, версия.

Если проводить платеж через какой-нибудь попсовый провайдер (STRIPE, Сберпей), то там проходит гладко и легко. А если нужно удовлетворить какой-нибудь узкий кейс, то начинается ад на земле. Провайдеры вписались в Telegram Invoice ради того, чтобы быть вписанными, а не чтобы работать.

— A-Pay (тоже самое, что Paykassma, pay-crm) просто не работает и сами разработчики говорят что-то из серии "ну мы там в списке на интеграцию есть, но так мы не работаем — интегрируйтесь через веб).
— ЮКасса может верифицировать аккаунт вечность и интеграция в тестовом режиме разительно отличается от интеграции в боевом режиме. То есть часть механик, которая писалась под тестовый режим, идет на помойку и необходимо писать еще дополнительные обработчики.
— Smart Glocal просто не работают. Вернее как, работают только в тестовом режиме, а в боевом режиме не отвечают на запросы техподдержки.

Так что мой вам совет (если вы планируете интегрироваться в платежками телеги) — либо подключайте попсовые, либо обходите это дело за километр.

А телеге было бы неплохо провести ревизию интеграций в их функционале — просто самому сделать интеграцию. Еще было бы неплохо, чтобы аккаунт разработчика Telegram угнали и он попытался его вернуть доступными способами — через поддержку, которая молчит неделями, а мошенник рвет сессию при любой попытке вернуть доступ.

Но, в контексте телеграма, это звучит также "фантастично", как посадить в инвалидную коляску архитектора Ижевского парка и заставить его кататься по его гениальным пандусам.

Мой хейт к телеге уже известен моим старым подписчикам, а для новичков предлагаю к ознакомлению пост, который многих уже достал, но я не перестану возмущаться телегой...

#разработка #telegram

Потреблять результат, а не искать причину его отсутствия.

Обожаю вопрос "а почему оно сломалось то?".

Например на сложном проекте упал какой-то модуль, потому что (можете сразу на следующий абзац переходить — дальше пример причины) разработчик А не очень умел в инверсию зависимостей, а разработчик Б обошел этот косяк, хардкодом прописав переменную окружения без проверки мержинга базовых переменных окружений, а при релизе в прод эта переменная не указалась и функционал отвалился, но его мало используют, поэтому 2 месяца баг не был заметен.

Еще могу понять ситуации, где этот вопрос задает такой же специалист и потом тоже будет решать подобную проблему. Тут стоит быть в курсе. Но, что интересно, такие люди реже интересуются такими вопросами. А вот менеджеры очень любят спросить "ну а почему оно упало то?" и ответ "потому-что" их не устроит) Ответ выше их устроит, но пользы никакой не принесет, кроме факта "разработчики А и Б накосячили".

Либо от лени, либо от перегрузки (скорее первое) я перестал интересоваться причинами проблем, а интересуюсь фактом исправления проблемы. Если понимаю, что надо будет потом делать кому-то другому, то скажу чтобы ему показали или, еще лучше, сделали мини-доку. Но, обычно, работающего функционала мне достаточно.

Этот подход стал распространяться на другие области жизни. Жить, потребляя результат, проще чем жить в поиска причины его отсутствия.

Приказ №66

Тут, правда, не приказ, а выпуск 66-й выложил своих обзоров новостей. Прошу смотреть/слушать, любить и жаловать)

66-й обзор новостей из мира IT
Песков потребовал от Дурова // GPT-5 негде обучать // Сбер помогает с криптой
Видео: YouTube, VK, RT, Dzen
Аудио: amorev.ru/podcast

"Тут надо все переделать"

Гоните специалистов, которые приходят в проект с ноги и авторитетно говорят "все говно и надо делать с нуля".

Если говно прям "все", то не стоит ждать от исполнителя чего-то, кроме такого же "всеговна". Дайте ему сначала переделать часть системы, встроить обновленное решение в текущие процессы так, чтобы ничего не сломалось.

Если получится один раз, то пусть, постепенно, также переписывает все. Таким путем можно и все поправить или, на реальном примере, показать необходимость более радикальных мер. Истинное мастерство — поменять и улучшить часть системы, а не "ломать целиком и строить".

Лучше поменять спеца на проекте, чем переделывать проект под спеца.

За свою практику лично я подобное говорил раз 20, переписывал раз 8. Вспомнил сейчас только 3 успешных кейса, когда "всесломать" закончилось хорошо. В остальных случаях лишь сгорели нервы, деньги и время.

Как доказать, что перемены нужны?

Вчера писал пост про то, что надо гнать людей, желающих проводить революцию в проекте, все ломать и начинать с нуля. Возникает вопрос "продажи рефакторинга".

Бизнес никогда не хочет рефакторинг, а разработчики, в среднем, хотят его всегда. А как быть, если действительно там все плохо что-то идет не так а говорить "всеговно" я уже запретил?)

Сам пока ответа не знаю и регулярно с этими вопросами сталкиваюсь с обоих сторон.

Если бы не конкуренция на рынке труда, то я бы, в галере, запретил бы рефакторинг и бил бы по пальцам за любую строчку кода, которую я не могу продать:) А там, где я разраб, требовал бы разрешить мне вечно рефакторить то, что мне интересно рефакторить.

"Сегодня мне подключили Энтернет"

Примерно так я написал в своей тетрадке где-то во втором классе. Знаковый был день. А вчера был знаковый день для всех нас!

Вчера был праздник 30-летия жизни доменной зоны .ru. Мне в этом году тоже будет 30 лет — выходит мы с рунетом ровесники. Никогда об этом не задумывался:)

Пусть с опозданием на один день, но с праздником нас. Интернет — великолепная часть моей жизни, работы и отдыха!

Игнор уведомлений

Есть такие люди, которые умеют мастерски игнорировать уведомления. Не скрывать их, чтобы не не видеть, а именно игнорировать.

Например когда есть в активном окне непрочитанные чаты в телеге. Если канал/чат не рабочий и пропускать сообщения там не страшно, то я его сразу же в архив кидаю, чтобы глаза не мозолил. Но я видел что бывает у других в телеге и там прям ВСЕ ВСЕ ВСЕ каналы вперемешку летят и разобраться невозможно. Просто жесть каша.

У меня есть знакомые, которые в телеге не могут переписываться, потому что каналов так много непрочитанных, что среди них личка теряется...

А еще я знаю, что есть люди, способные ехать на машине не пристёгнутыми под аккомпанемент пищалки, намекающей, что жизнь резко стала чуть менее надежно держаться в руках водителя. Верх слабоумия стойкости!)

Поддержка через Telegram

Я тут жаловался на то, как плоха ЮКасса при интеграции через Telegram Invoice. Сейчас ситуация стала по-лучше и ребята из юкассы активно помогают в настройке.

И движение началось супер активно, когда общения началось в формате текстовой переписки. Все бы супер, но переписка идет через почту. Ничего против почты не имею, но она куда менее удобна, чем Telegram.

Я прям обожаю сервисы, у которых есть поддержка в виде Telegram бота и это прям, в моей голове, чуть ли не стандарт индустрии для сервисов, где предоставляются какие-то API, с которыми надо интегрироваться разработчикам.

А иногда вообще нужно организовать созвон, чтобы можно было экран пошарить и показать проблему. Но это, к счастью, нужно крайне редко.

Если вдруг у вас такого бота-поддержки нет, а вы бы хотели, то напоминаю что у меня есть опенсорсный бот для организации простой коммуникации с клиентами через бота.

Порядок в Telegram

Если вдруг вы зайдете в мой офис, то ужаснетесь от бардака. Причем это я еще приберусь, чтобы не позориться перед новым гостем. Вообще в офлайн-мире бардак всегда со мной и я этим совсем не горжусь.

Но вот в телеграме у меня образцовый порядок. В комментах к посту про уведомления, обсуждали удобные настройки телеги и я решил сюда поделиться тем какие у меня папки. Вдруг кому-то будет полезно. У меня их всего 2.

Папка "Новые"
Включить: Контакты, Не контакты, Группы, Каналы, Боты
Исключить: Прочитанные, Архивированные

Папка "Личные":
Включить: Контакты, Не контакты
Исключить: Прочитанные

В архив я направляю все, что мне нужно читать не срочно — новостные каналы, чаты какие-нибудь и тд.

Итог: с компа нажимаю CTRL+3, разбираю непрочитанную именно личку (она приоритетнее), потом CTRL+2 и разбираю остальные чаты. С телефона просто свайпаю между папками. Поддерживать порядок становится очень легко.

67-й выпуск обзора новостей

HR битва Tesla и OpenAI // Платный Google с ИИ // 30 лет рунету
Видео: YouTube, VK, RT, Dzen
Аудио: amorev.ru/podcast

Взлет TON монеты

Монета взлетела и мне говорят про это несколько раз в день. Привязывают к чему угодно — к опусканию Дурова в ванну, выход новой версии телеги для бизнеса или то, что USDT скоро запустят на TON.

Что делать с этим? Входить ли в TON и стремиться стать крипто-миллионером? Если готовы потерять все или большую часть того, что вложите — флаг в руки. Если потеря этих денег для вас критичная, то обходите стороной.

И я пишу это не потому, что "не верю в тон, он скам и тд", а потому что в любые инвестиции стоит идти с пониманием, что все может рухнуть в любой момент. Особенно в крипте.

Если вы покупаете TON (любой другой актив), потому что знакомый вам сказал, что сделал Х2 на этом и вами движет зависть или желание запрыгнуть в последний вагон, то добро пожаловать в хомяки, которых нагревает рынок раз за разом.

Может у вас есть какая-то долгосрочный инвест-план на TON? Во-первых вы бы вряд-ли дочитали бы до этого абзаца, т.к. вам такие посты не интересны. Во-вторых стоит понимать, что там где долгосрок, там и железные нервы и спокойное поведение при падении цены на купленный актив.

Ниже скрин коммента к моему выпуску новостей, где я, словно попугай, уже 100500-й раз говорю держаться от мира крипты как можно дальше и я свое видение не меняю. Обривают на любом рынке, но на рынке крипты это делают с особой жестокостью.

Ну и вообще я просто программист и нечего меня слушать на эти темы:)

Еще оптимизации работы с Telegram

Добавление к посту про папки в телеге делюсь еще тем, чем я пользуюсь из горячих клавиш:

Поиск:
— начать поиск в открытом чате: CTRL+F
— начать поиск по всем чатам, которые есть: ESC жать до тех пор, пока не начнется поиск (если вы глубоко в чате с топиками)
— сам поиск провожу по первым словам в чате. Например чат "Антон Морев" надется просто вбив "а м"

Внутри чата:
— быстрое прокручивание: зажимаем SHIFT или CTRL и чаты скроллятся быстрее
— стрелка вверх: редактирование сообщения
— CTRL + стрелка вверх: выбор сообщения для ответа

Буду рад, если окажется вам полезным:)

"Круто, ты молодец!"

Как часто вы говорите это своим сотрудникам? не важно — это ваши начальники или ваши подчиненные. Про хорошие результаты приятно слышать всем.

И речь не про "завалить приятностями где уместно и нет" — это отталкивает еще больше. Но просто сказать "о, красава" когда человек решил задачу лишним не будет.

Есть в работе люди, которые пишет ТОЛЬКО когда чего-то сломалось, чего-то не так и так далее.

Например если идет какой-то показ заказчику свыше, то о поломках узнаем сразу ("коллеги, опять баги, ну что за дела?"), а если все ок, то тишина и о результатах показа приходится спрашивать отдельно.

С ними, в целом, тоже все просто — если человек молчит, значит все нормально. Вопрос лишь в том — хочешь ли ты быть тем человеком, которому рады только когда он молчит?

Вы, кстати, все молодцы, что подписаны на меня и лайкаете мои посты. Спасибо!:)

Победа над тормозами на ПК

Тормозящий рабочий комп — невероятно бесячая жесть. А у меня еще 7 мониторов. То есть тормоза масштабируются в 7 раз. Заметил, что иногда комп начинает дико тормозить и приходится перезагружаться.

Причем я понимал, что проблема именно на уровне софта, а не железа — с ним все в порядке. Проблема железа не решается перезагрузкой компа, а тут решалось и какое-то время все ок.

Сегодня утром психанул от тормозов и пошел разбираться в чем дело. Понял, что бутылочным горлышком являются мои SSD диски (Samsung EVO все, кроме системного). У меня, кстати, уже умирали диски неожиданной смертью.

У меня их 4 и общий объем 3.5ТБ. За половину рабочего дня у меня 100500 прог запущено и SSD является очень важной артерией, которая сбоит и заставляет биться в конвульсиях комп и меня вместе с ним.

Причем тупило все, что не связано с системой. Системный диск (не самсунг) работал и работает отлично. Причем их загрузка была не высока, но просто подвисало именно на IO операциях.

Разгуглился и нашел, что официальные
драйвера AMD конфликтуют с самсунгами. Решение проблемы оказалось крайне простым — переключить драйвера на SSD с AMD на виндовый.

Тормоза ушли и вместе с ним мое раздражение на весь этот мир. Я прям задышал по-другому за рабочим компом. Аж работать захотелось.

Джун, мидл, сениор

Я люблю иногда задуматься над аллегориями. Например как пояснить разницу между грейдами разраба (джун/мидл/сениор) простыми словами. На выходных катался с детьми на велосипеде и понял, что один из них велосипедист-джун, а второй хороший такой миддл.

Джун-велосипелист
— не может ехать без дополнительных задних колес.
— проезжает бордюры только с помощью папы.
— если упал, то без слез и/или папы не встать.
— без присмотра сразу поедет под колеса проезжающему мимо грузовику

Все это актуально и для джунов-разрабов, только вместо страховочных колес у них изолированные окружения, где не могут ничего сломать, а вместо папы есть ментор, который не позволит уронить прод и покажет как лучше делать задачу.

С джунами больше работы, чем пользы (=удовольствия от катания). Иногда от сложности обучения хочется сдаться, забить и делать свои сеньорские задачи (=кататься по городу)

Мидл-велосипедист
— едет без колес и отлично может кататься по двору у дома
— при падении встает и едет дальше молча
— если отправить его в другой город, то точно заблудится
— если попросить его посмотреть за джуном (младшим братом), то, вероятнее всего, поедут под грузовик оба
— если дать ему задачу "доехать до дачи" и отправить, то, скорее всего, не доедет.

С мидлом уже кайфово делать проекты (=кататься по городу), но если отдать ему проект и не следить за ним (=отправить на велике в другой город), то стоит готовиться к чему угодно. Плюс окружение собирать надо ему руками других сеньоров (=готовить велик к сезону).

Сам мидл быстро становится уверенным, что он готов делать все с нуля и ваше недоверие к нему ничем не обосновано (="пап, я уже ездил в магазин, значит доеду и до другого города")

Ну а Senior-разраб сам проект с нуля напишет с командой или без, тестами покроет и зарелизит успешно (=велосипед себе купит, соберет, подкрутит и доедет куда нужно). Сениором без предыдущих стадий стать невозможно, но не факт, что откатав 10 лет на велосипеде с доп. колесами ты сразу становишься сеньором.

Вот так у меня получился еще один способ пояснения разницы между грейдами разработчика.

Немного сдавший гигачат

Интересное очень субъективное наблюдение. Нейросеть GigaChat от сбера слегка стала менее эффективной. Ребята в галере сделали несколько интеграций с ней, которые работали и отлично радовали.

За день до демонстрации интеграции гигачат начал писать свои сожаления, что не может выдать нужный ответ вместо адекватного ответа. Ииии.. никакие попытки prompt-инжиниринга не дали успешного результата — вместо результата получаем сожаления.

Конечно была первая шальная мысль пойти с этими сожалениями к клиенту — "ну смотрите, даже сберовский гигачат сожалеет, а вы от нас еще чего-то хотите". Но, увы, такой путь нам не подходит.

Пришлось, за невероятно краткие сроки, пересобирать модель общения с гигачатом, обогащать информацию системы, добавлять дополнительные поля, чтобы минимизировать "пространство для сожаления" нейросети.

Вроде успех получился, на мой взгляд. Ну и опыт интересный. Нейросеть раз и перестала решать задачи, которая умела решать. Это может быть связано с тем, что вышла новая модель Pro, а наше апи работало на обычном Lite режиме. Правда Pro режим тоже не выдал того, чего было нужно.

Я думал, что дебажить мой код или интеграцию с API сервисами неудобно. Отладка работы с нейросетями еще неудобней:)

Веб пуши?

Кто придумал браузерные уведомления? Или кто пользуется браузерными уведомлениями?

У меня все браузерные уведомления выключены и в хроме настроено жестко, чтобы даже не спрашивалось разрешить ли уведомления.

Но зато с позиции разработки это всегда гемор. Просто стабильно именно на веб пушах все идет так, как не хотелось бы. Например Firebase занимается дискриминацией и отправляет пуши в одном проекте по настроению.

Мы ничего в коде не меняем, а пуши то приходят то нет. Причем в логах все одинаково во всех случаях. Бесит невероятно. Особенно когда понимаешь их бесполезность в проекте. Лучше бы Telegram бота для уведомлений подрубили.

Напишите в комментах, если вы прям осознанно ставите уведомления браузерные и пользуетесь ими.

Ложная уверенность в ChatGPT

Заметил за собой то, что, когда я готовлю какой-то текстовый контент, я активно использую ChatGPT и иногда слишком сильно ему доверяю.

Сейчас готовлю новый доклад для конференции, на которой буду выступать в среду. И там тема, которая далека от программирования и касается управления командой и взаимодействия с людьми. ChatGPT мне активно помогает в создании этой презы, т.к. он быстрее чем яндекс дает "полезную" информацию.

В какой-то момент заметил, что я не гуглю информацию, а спрашиваю его и ChatGPT с таким уверенным лицом мне даёт информацию, будто это именно так и никак иначе. Я заметил, что я ловко начинаю ему доверять и не проверять, не заниматься фактчекингом. Как в жизни если человек говорит с уверенным лицом и интонацией, то ему легче доверять.

Я перепроверяю то, что планирую отправить в конечном варианте в презентацию. Увидел, что ChatGPT выдаёт много вещей, которые похожи на правду, но правдой не являются, так что стоит быть очень внимательным и осторожным.

Но внутренний лентяй, конечно, все равно хочет остаться внутри нейросетевого пузыря и ничего дальше не искать... Оно ведь так удобно...

68 обзор новостей из мира IT

Samsung обогнал Apple // ИИ-поиск от Яндекс // Штрафы за пьяный самокат
Видео: YouTube, VK, RT, Dzen
Аудио: amorev.ru/podcast