На edX появилось 2 новых курса от Databricks:

Databricks: Large Language Models: Application through Production
Databricks: Large Language Models: Foundation Models from the Ground Up

Теперь вы сможете удивлять своими познаниями на собеседованиях про LLM из 🧱

PS Databricks готов к новому раунду инвестиций и они планируют выйти в положительный кэш фло в 2025. Думаю многие сотрудники databricks неплохо обкешатся рано и поздно.

Вот у snowflake тоже акции были дорогие на IPO но потом упали (явно были переоценены), посмотрим как у databricks.

Люди: изобрели промт «думай пошагово», улучшили производительность LLM, горды собой

LLM: придумал для себя промт «глубоко вдохни и подумай», улучшил производительность еще сильнее, забыл сообщить об этом кожаным

В данной таблице приведены примеры промтов, которые LLM делают сами для себя и их сравнительная эффективность.

📊 Advanced Data Analysis от OpenAI: Эволюция аналитики данных

Не так давно я столкнулся с функцией Advanced Data Analysis, которую предоставляет OpenAI. Для тех, кто не в курсе, это нечто большее, чем просто инструмент для анализа данных.

Как это работает? Ваши данные обрабатываются на серверах компании с помощью gpt-4. И эта модель может не только написать код, но и исполнить его. И хотя это может показаться техническим, результаты порой поражают.

Что мне понравилось:

Автоматизация работы с эксель-таблицами - фильтрация, прогнозирование.
Конвертация данных между форматами.
Генерация дополнительных данных.
Построение и интерпретация графиков.
Возможность работы с медиафайлами (хотя я им пока мало пользовался).
Представьте: у меня есть данные о клиентах. Я задаю модели вопросы, и она быстро выдает ответы. Наиболее удивительно то, как модель может предложить разные способы анализа или аппроксимации данных.

Тем не менее, есть и недостатки. Модель иногда интерпретирует запросы по-своему, и нужно дважды проверять результаты. Есть определенные нюансы, на которые следует обратить внимание, чтобы получить наилучший результат.

Для тех, кто хочет попробовать: функция доступна в настройках OpenAI. Перейдите в Settings & Beta, затем выберите Beta features и активируйте "Advanced data analysis". Обратите внимание: эта функция доступна только для платных пользователей OpenAI Plus.

Но в итоге? Для меня это настоящая революция в аналитике. То, что раньше занимало часы в Excel или Python, теперь можно сделать за минуты.

Кто бы мог подумать, что будущее аналитики так близко? Как вы думаете, готовы ли мы к таким изменениям?

Пример использования:
1) https://www.youtube.com/watch?v=Axm_at_LuCA
2) https://www.youtube.com/watch?v=PBZVCjkTGrY

#ai #gpt #analytics #openai

Вот сейчас будет круто: команда энтузиастов создала модель Open Interpreter — копию Code Interpreter в ChatGPT, но работающую локально.

Благодаря этому вы можете делать что угодно со своим компьютером с помощью текстовых команд — сделать краткую выжимку со статьи Word, изменить настройки системы или управлять браузером.

Доступно полностью бесплатно, установить можно с GitHub.

https://t.me/exploitex/9595

Gorilla: open source модель для вызова 1600+ сторонних API

Gorilla получает на вход запрос на естественном языке и находит семантически и синтаксически правильное API для вызова. С помощью Gorilla впервые продемонстрировано, как использовать LLMs для точного вызова более 1 600 API (их число постоянно растет).

Модель обученна на основе LLaMA и превосходит производительность GPT-4 в написании вызовов API. Gorilla генерирует корректные вызовы API для моделей машинного обучения без галлюцинаций, адаптируется к изменениям в документации и принимает во внимание ограничения API. Производительность настроенной модели превосходит GPT-4 на трех масштабных наборах данных.

Для оценки возможностей модели авторы создали набор данных APIBench, который включает в себя API HuggingFace, TorchHub и TensorHub. Если хотите добавить свое API, просто создайте пул-реквест в репозитории и напишите авторам на электронную почту.

#StateoftheArt

Devin — автономный AI-программист, который умеет самостоятельно разрабатывать приложения

Devin получает текстовый запрос от пользователя, составляет план разработки и, следуя плану, пишет нужный код. По ходу разработки нейросеть самостоятельно скачивает нужные файлы, изучает документацию и исправляет ошибки в коде.

—
@aioftheday — новости вокруг искусственного интеллекта

В BigQuery слева-сверху окна редактора запросов появилась кнопка ввода промта. Умение писать SQL запросы постепенно обесценивается, но и скорость написания запросов и исправление ошибок становится быстрее.
@killer_ferature

#LLaMa 3 добавили в #VSCode.

Ставите расширение CodeGPT для VSCode и потом ставите Ollama, после чего в терминале пишем:

ollama pull llama3:8b

В настройках расширения, где «Select a mode» выбираете LLaMa 3 и пользуемся.

#LLaMa3 #CodeGPT #Ollama

Написал статью про семантический поиск с помощью посгреса и OpenAI API.

Казалось бы, в посгресе и так есть неплохой полнотекстовый поиск (tsvector/tsquery), и вы из коробки можете проиндексировать ваши тексты, а потом поискать по ним. Но на самом деле это не совсем то, что нужно — такой поиск работает лишь по чётким совпадениям слов. Т.е. postgres не догадается, что "кошка гонится за мышью" — это довольно близко к "котёнок охотится на грызуна". Как же победить такую проблему?


TLDR:


1. Преобразовываем наши тексты в наборы чисел (векторы) при помощи API openAI.
2. Сохраняем векторы в базе с помощью pgvector.
3. Легко ищем близкие друг к другу векторы или ищем их по вектору-запросу.
4. Ускоряем индексами.

Как всегда, буду рад плюсикам на Хабре:

https://habr.com/ru/companies/karuna/articles/809305/

Канал Cross Join. Подпишись

💬 Amazon открыла больший доступ к своему корпоративному чат-боту Q. Инструмент также обзавелся новыми функциями.

Новая функция Amazon Q Developer помогает с кодированием, тестированием и отладкой приложений. Разработчики могут запрашивать у чат-бота список ресурсов AWS и автоматизировать задачи.

🧑‍💻 Amazon Q Apps позволяет создавать приложения на базе генеративного ИИ даже без опыта кодирования. Для этого достаточно описать нужный тип программы в запросе.

#Amazon #Q