Вчера OpenAI представила новые версии своих моделей gpt-4 и gpt-3.5-turbo, а также версию gpt-3.5-turbo с контекстом 16k. Это обновление будет особенно полезно для языков, использующих кириллицу, так как они обычно токенизируются в большее количество токенов, чем английский.

В то же время было объявлено о начале процесса вывода из эксплуатации старых моделей: gpt-3.5-turbo-0301 и gpt-4-0314. Они будут доступны до 13 сентября 2023 года.

В очередной раз частично снижены цены. Стоимость популярной модели встраивания text-embedding-ada-002 снижена на 75% до $0.0001 за 1K токенов. Кроме того, введено снижение на 25% стоимости токенов в исходящих сообщениях для gpt-3.5-turbo. Теперь разработчики могут использовать эту модель всего за $0.0015 за 1K входных токенов и $0.002 за 1K выходных токенов. Цена gpt-3.5-turbo-16k составляет $0.003 за 1K входных токенов и $0.004 за 1K выходных токенов.

Надо сказать то что снижение цен очень важно. В своей работе я вынужден экономить и использовать GPT-4 только в особых случаях (скажем только в 15% моего токенного объема), так как разница в цене с GPT-3 составляла 15 раз. Правда сейчас она станет еще больше - ведь на 4-ку цены не поменялись. Но мои общие расходы все равно снизятся.

Midjourney prompt: Small man lost in a neuro network matrix landscape, macro photo, tilt-shift

Еще из интересного, от туда же. Появилась возможность описывать функции для gpt-4-0613 и gpt-3.5-turbo-0613. Это позволит моделям умно создавать объекты JSON с аргументами для вызова этих функций. Конечно же это все делается для всё большего удобства автоматизации запросов.

В качестве примера приводятся преобразование пользовательского запрос типа "Какая сейчас погода в Бостоне?" в вызов функции get_current_weather(location: string, unit: 'celsius' | 'fahrenheit'), или "Кто мои десять лучших клиентов в этом месяце?" в вызов API, вроде get_customers_by_revenue(start_date: string, end_date: string, limit: int).

Midjourney prompt: a massive old-fashioned telephone switchboard operator

Викенд прошёл не даром, опять есть продвижения по моему стартапу выходного дня - flashbacks.ai. Пора рассказать по-больше.

Я очень боюсь деменции. Ну вернее как бы ожидаю ее и потихоньку готовлюсь. Готовлюсь к тому что буду меньше помнить. Потихоньку пытаюсь приучить себя вести записи, но получается не очень - наплывами, время от времени. Использую разные красивые инструменты для этого, но это не помогает. Ну не хватает дисциплины и все тут.

Люди, которые меня хорошо знают наверняка замечали, что в моменты приподнятого настроения, когда я очень хочу что то рассказать, чем то поделиться, я начинаю скакать с темы на тему. Говорю об одном, вскользь упоминаю про другое, и тут же, полностью переключаюсь, а к старому могу и не вернуться. Часто я это осознаю, но так же часто - не замечаю. С работой, кстати, у меня такая же история. Потому у меня всегда было много проектов. Я очень рад что сейчас, благодаря моим новым помощникам, я могу заниматься кучей проектов одновременно.

Так вот, недавно я столкнулся с темой векторного представления текстов (Embeddings) и использования его для поиска релевантной информации и работы с ИИ. Сначала было очень не понятно, но когда разобрался - был поражен мощности и удобству инструмента. Он позволяет находить релевантную информацию именно по смыслу, а не по конкретным словам. Например сейчас я использую эту технологию для автоматической расстановки релевантных ссылок на мои старые статьи в новых.

Когда я понял, как это работает, то решил, что обязательно сделаю свою собственную базу знаний, переведу ее в вектора и буду использовать для решения повседневных задач. Этакая память, которая помнит все. Но при этом - именно твоя, а не общая. Отправлять туда можно все что угодно - свои мысли, идеи, наблюдения. Статьи, новости, документы. Голосовые сообщения естественно. Система будет переводить все в вектора и систематизировать. Идей для использования много, например твиты писать за меня. Ну или целую книгу, как я всегда мечтал :) Пока не буду рассказывать все подробности. Будем пробовать.

Итак, проект будет представлять из себя коллекцию телеграм-ботов, с которыми нужно будет общаться. Будет отдельный бот для записи информации, отдельный для работы с ней, а также разные для более мелких задач. Безусловно, ожидается бот-психотерапевт, бот по спорту и бот по питанию. Думаю, набор можно будет формировать динамически в зависимости от тарифного плана.

Также будет веб-интерфейс (сайт) для визуального представления всей собранной информации и работы с ней. Там хочу сделать раздел вроде дневника - где по дням будет саммари общения с ботами за день. Если дело пойдет, то можно будет добавить iOS- и Android-приложения. И да, я пока все собираюсь делать сам. Дальше - видно будет.

Базовый веб-интерфейс я сделал еще в прошлые выходные. Там есть регистрация, работает пользовательская зона, где вскоре появится информация. В эти выходные я занимался созданием "пакетного бота-агента" - базового класса, на основе которого я буду писать своих помощников. И прогресс очень большой - тестовый бот умеет пользоваться тремя базовыми моделями (3.5, 3.5-16k и 4-8k), поддерживает бесконечное число контекстов, которые хранятся в Firebase, причем для каждого контекста можно задать и менять модель, температуру и объем.

Отдельно поработал над выводом информации - markdown парсится, програмный код выдается в отдельных сообщениях для удобства копирования. Вчера уже решал программистские задачи через своего бота, а не через ChatGPT Plus: 16k окно - это другой уровень.

Также для каждого запроса высчитывается точная цена (чтобы по бизнес-модели все сходилось). Средний запрос ChatGPT4 на полное контекстное окно по себестоимости обходится почти в 30 центов. Очень дорого. Надеюсь, будут и дальше снижать цены

Так что дело идёт к публичной альфе. Скоро выпущу первого бота на свободу. А для этого решил заранее подумать об аватарах. Аватар важен для бота - он должен выделяться на фоне ваших контактов. И, учитывая, что помощников ожидается много, хочется, чтобы аватары были в одном стиле. В итоге сами-знаете-кто подкинули мне несколько идей, и я поручил MidJourney на ночь генерировать примеры аватаров в различных стилях. Вышло больше 1000 изображений. Смотреть такое количество не очень удобно, поэтому превратил их в анимированные гифки.

Можете перейти по ссылке, посмотреть их все и отметить пальцем или мышкой видео со стилями, которые вам нравятся. Выбрать можно сколько угодно. Не пугайтесь мигания - помните, что это просто набор сгенерированных аватарок, объединённых для удобства в одно видео. Внизу есть кнопочка "Submit", а также поле для комментариев, куда можно написать что угодно или вообще ничего не писать. Заходите и голосуйте - мне очень интересно, что вам понравится.

Последний сезон наследников конечно нечто. Первые две серии плевался, теперь постоянно получаю удовольствие.

Генеративные запросы vs скрипты
Основное отличие между скриптовыми и генеративными решениями заключается в методах формирования ответов в AI-приложениях:

1. Скриптовые решения используют предопределённые ответы или набор заранее подготовленных ответов для конкретных ситуаций или запросов. Эти решения считаются более надёжными и ограниченными, так как они следуют фиксированному набору вариантов. Однако, они обычно менее творческие и человекоподобные, поскольку способны представить результаты только на основе заранее определённого содержания. Часто их применяют там, где требуются строгие рамки - например, в медицине или обучении.

2. Генеративные решения, напротив, способны создавать новые и уникальные ответы, основываясь на входных данных и полученном контексте. Они применяют алгоритмы машинного обучения, в частности глубокого обучения, и модели-трансформеры для обработки входных данных или даже генерации выходных данных, которые не были заранее запрограммированы. Генеративные решения часто считаются более рискованными из-за возможности неожиданных результатов, но они более творческие, увлекательные и человекоподобные, так как могут адаптироваться и импровизировать в процессе взаимодействия с пользователями.

Стартапы в AI вынуждены искать оптимальный баланс между этими двумя подходами, учитывая свой целевой рынок и нишу, а также включая необходимые меры безопасности и стратегии управления рисками при выборе генеративных решений.

Я провожу много экспериментов именно с генерацией входных данных, то есть с генерацией "промптов". Получается, что AI-модель общается сама с собой (точнее, с другой своей сущностью). Этот процесс действительно завораживает.

Midjourney prompt: The night sea journey through two different streams: one straight, the other winding with unexpected turns. Dynamic composition and dramatic lighting,blue, red, turquoise, orange, violet

Второй день эксперементирую с текстами на русском. Вот вам видео как мой скрипт создает статью на 20.000 символов за 15 минут. В качестве источников используются все статьи с первой страницы выдачи гугла по главному ключевику. Задания под каждый раздел пишет AI. Тоесть он пишет задания сам для себя.

В то время пока я придумываю промпты для генерации промптов для создания уникальных статей, откладывая работу над своим AI-стартапом до выходных, четырехнедельный стартап Mistral.ai, основанный троицей специалистов из Meta и Google DeepMind с общим опытом в машинном обучении более 20 лет (и, вероятно, серьезным недосыпом), поднял 105 миллионов евро в Европе на основании всего лишь семистраничного Google Doc. Презу делать было некогда, да и продукт — отсутствует, как обычно. Современное искусство.

Основатели делают ставку на то, что большинство новых проектов в области AI на данный момент основаны на ChatGPT, что серьезно их ограничивает. Они планируют разработать свои модели (и использовать открытые). К концу текущего года обогнать 3.5turbo и Google Bard по производительности.

Их модели также будут частично открытыми, работать на ноутах с 16 ГБ памяти (возможно, придется закрыть все вкладки в Chrome) и иметь контекст в миллионы слов. Их обучение будет проводиться не на секретных данных (тех, которые всегда обещают стереть), а на "высококачественных европейских".

Очевидно, стоит немного сократить объем информации на flashbacks.ai и попытаться привлечь хотя бы 10 миллионов евро... Если бы у меня был еще хотя бы год опыта...

Midjourney prompt: the 3 men tech nerds swimming in the sea of money, storybook illustration in style of Cezanne and Shishkin and Mona Edulesco

AGI, или "Искусственный интеллект общего назначения", представляет собой концепцию системы, способной выполнять любую интеллектуальную задачу, которую может выполнить человек. В отличие от существующих моделей, хорошо выполняющих определенные задачи, вроде персонализации рекомендаций на основе предыдущего поиска, управления беспилотными автомобилями, распознавания раковых клеток и генерации статей, AGI должен уметь гораздо больше.

Базовые интеллектуальные способности AGI - это умение решать задачи, использовать стратегии, принимать решения в условиях неопределенности, представлять знания, включая здравый смысл, планировать, учиться, общаться на естественном языке. Использовать все эти навыки для достижения поставленных целей.

Создание AGI - это основная цель известных компаний в области искусственного интеллекта - OpenAI, DeepMind и Anthropic. Однако сроки разработки AGI остаются предметом дискуссий среди исследователей и экспертов. Кто-то утверждает, что это возможно в течение нескольких лет или десятилетий. Другие - говорят про столетия или вовсе - невозможность.

Стивен Хокинг и Илон Маск, выражали обеспокоенность возможными последствиями создания AGI. Хокинг предупреждал, что AGI может воспринимать нас как угрозу и действовать соответственно, а Маск заявил, что чувствующий ИИ может быть опаснее ядерной войны.

В то время как некоторые спорят о том, представляют ли современные системы глубокого обучения, такие как GPT-4, раннюю, хотя и неполную форму AGI, другие считают, что для создания AGI необходимы новые подходы. AGI все еще является преимущественно теоретической концепцией.

Midjourney prompt: minimalism, product photo of autonomous droids collection --ar 2:1

Я думаю такие вещи как GPT-4 или Midjourney - это просто инструменты, с помощью которых AGI будет действовать в будущем. Однако уже сейчас из этих инструментов можно выстраивать небольшие работающие схемы по универсальному решению задач и одним из примеров такой системы является AutoGPT.

AutoGPT - это программный пакет на Python, который появился в апреле этого года. С помощью него создается автономный агент, умеющий спорить сам с собой, приводить доводы и доказывать, гуглить, суммировать информацию и хранить её в долгосрочной и краткосрочной памяти, создавать, скачивать и сохранять файлы, запускать програмный код, генерировать речь и изображения.

На входе ты ставишь ему общую задачу, так же можно задать несколько подзадач для большей ясности, он - путем рассуждений создает план работ и переходит к его выполнению. Выглядит жутковато. Работает пока не очень стабильно, иногда зацикливается на одном месте. Однако это хороший пример того как вообще может выглядеть подобная автономная система.

Вот несколько примеров использования: создание веб сайта, личный помощник на базе AutoGPT, подготовка к подкасту, создать видео, провести исследование и составить отчет, подобрать новости по теме, автоматизировать продажи в магазине на Shopify.

AutoGPT стал для меня одним из главных вдохновителей на создание собственных автономных агентов, ведущих сейчас мои контентные проекты. И да, все же пока приходится за ними немного присматривать и даже чинить, когда они ломаются.

Первые впечатления от России.
- На паспортном спросили только откуда я прилетел.
- На моей тайской симке инстаграм работает без VPN.
- ChatGPT в приложении тоже работает, может позже перестанет.
- Ради эксперимента снял 10.000 рублей с моей карты касикорн банка в банкомате Тинькофф. Курс получился 2,35. Терпимо.
- Вова спросил как они тут выживают без 7-Eleven?
- Ну и чистота, конечно, удивительная.

отличный сборник авторских стилей (почти 400) художников и фотографов, удобно использоваться для составления промтов для Midjourney https://docs.google.com/spreadsheets/d/16KKh1FQmd-r98K9aWPBux5m9lc9PCV_T1AWgU54qXm8/edit#gid=0

Авторы Мона Авад и Пол Трембле подали судебный иск против компании OpenAI, разработчика, обвиняя его в нарушении авторских прав. Писатели считают, что их книги были незаконно использованы для обучения ChatGPT, так как он смог составить очень точные резюме их произведений. Этот первый писательский иск и результаты разбирательства окажут значительное влияние на всю индустрию.

В то же время OpenAI все больше скрывает информацию об источниках обучения. Ранее упоминалось количество книг, использованных для этого, но их происхождение никогда не раскрывалось. Адвокаты писателей утверждают, что такие объемы (294 000 томов) можно взять только из теневых библиотек (Library Genesis или Z-Library), где их можно скачать оптом через торренты. То есть фактически OpenAI обвиняют в воровстве. Компания пока никак публично не ответила на это.

Вопрос об использовании материалов, защищенных авторским правом, в целях обучения ИИ вызывает противоречивые мнения. Некоторые эксперты полагают, что это может быть признано судом как "добросовестное использование", в то время как другие считают это незаконным копированием. Решение этого дела может сыграть важную роль в будущем развитии технологий ИИ и их соответствии законодательству о защите авторских прав.

Я считаю, что неправильно отделять обучение ИИ от обучения людей. Если человек может читать книги, то почему ИИ не имеет на это право? Но безусловно, книга должна быть оплачена. А что думаете вы?

Midjourney prompt: 300000 books, piles

Вчера познакомился с Денисом Башировым, предпринимателем из Ульяновска. Он занимается самыми разными бизнесами: сельское хозяйство, производство, строительство и даже кафе "Техника". Погуляли по центру города, обсуждая его амбициозный проект по оптимизации потребления для ответственных людей. Идея крутая, но довольно сложная.

Постепенно разговор перешел на детей. У Дениса, как и у меня, их трое. Говорили о том, как трудно большинству детей в возрасте 15-16 лет выбрать направление, которое реально интересует. В котором они хотят развиваться дальше. А первый выбор приходится делать именно в этом возрасте.

Обсуждали софт скиллы, особенно важные для счастливой и интересной жизни. Сошлись на умении дружить и поддерживать отношения, а также на любопытстве. Так же согласились о важности знания азов психологии. Пытались понять, как это можно развить у детей (решили, что только своим примером).

Сегодня наткнулся на новое эссе Пола Грэма "Как делать хорошую работу". Ещё не читал, но уже знаю, что слово "curiosity" (любопытство) там употребляется 23 раза.

Интерпретатор кода будет доступен пользователям ChatGPT Plus в течении недели. Он позволит им запускать код, будет даже возможность работать с загруженными файлами. Можно просить его анализировать данные, строить диаграммы, редактировать файлы. Страшное всё ближе.

5 человек сегодня посчитали нужным переслать мне новость о том что ChatGPT «тупеет». Отшучивался отшучивался и вот, только что OpenAI объявили, что продляют поддержку предыдущих версий моделей до июня следующего года. Походу и правда.

В какое удивительное время мы живем!
Бывший разведчик Пентагона, вчера, в конгрессе США, заявил, что "абсолютно уверен": правительство владеет технологиями нечеловеческого происхождения.

- Дэвид Груш говорит, что убежден в наличии у правительства устройств, созданных не людьми, а так же "биологических объектов", основываясь на свидетельствах 40 человек.
- Ранее он служил в разведке Военно-воздушных сил, а затем присоединился к группе, исследующей неопознанные аномальные явления (UAP).
- В мае 2022 года Груш стал осведомителем, переживая, что действия правительства в области исследования UAP скрыты от общественности и не подконтрольны конгрессу.
- Пентагон опроверг заявления Груша о наличии или обратном инжиринге внеземных объектов.
- Груш полагает, что правительство впервые столкнулось с нечеловеческими технологиями в 1930-х годах, и что за этим последовала "многолетняя кампания по снижению общественного интереса к этой теме".
- Это были вторые в этом году публичный слушания конгресса на тему UAP.
- Среди свидетелей были бывшие пилоты ВМС Райан Грейвс и Дэвид Фрейвор, которые докладывали о столкновениях с неидентифицированными летающими объектами.
- Такие наблюдения не являются редкостью. Движения объектов, которые они наблюдали, превосходят известные технологические возможности.
- Пилоты так же отметили, что сообщения о таких наблюдениях могут негативно сказаться на их карьере, что способствует сокрытию подобных случаев.

Это ChatGPT суммировал для меня и вас статью https://news.yahoo.com/ufo-whistleblower-hearing-house-oversight-non-human-craft-uap-navy-pilots-171759861.html