👆Шпаргалка по аналогичным операциям в Pandas и SQL. Если вы знакомы с каким-то из этих инструментов лучше, чем с другим, то пригодится.

Источник

Примечание: в четвёртой строчке таблицы опечатка — df.dtypes, а не df.dtyes; в десятой строчке таблицы правильный SQL-запрос — SELECT * FROM table1
UNION ALL
SELECT * FROM table2;

🐍💼 Подготовка к собеседованию по Python: решаем 5 интересных задач

Проверяем двоичные деревья на симметричность, вычисляем расстояние Дамерау-Левенштейна и оцениваем сложность алгоритмов.

Читать статью

⚡Через полчаса начнётся OpenAI DevDay — первая онлайн-конференция для разработчиков от создателей ChatGPT

CEO компании Сэм Альтман ранее пообещал «несколько отличных новинок». По слухам, OpenAI может удешевить доступ к моделям GPT, улучшить UI в браузере и представить новые инструменты.

Трансляцию можно посмотреть по этой ссылке в 21:00 по мск. А мы обязательно расскажем о самых интересных анонсах OpenAI 😉

О чём рассказала OpenAI на DevDay

🤖 Новая GPT-4 Turbo
- Расширено контекстное окно — от 32 тысяч токенов до 128 тысяч (более 300 страниц текста). Модель научили аккуратно работать с последовательностями такой длины.
- Стало больше контроля при получении ответов через API-запросы. Теперь можно заставить модель всегда возвращать JSON и сделать ответы более стабильными через специальный seed. Также можно возвращать log probabilities.
- База знаний обновлена до апреля 2023-го.
- Стоимость входных токенов для GPT-4 Turbo снижена в 3 раза, а выходных токенов — в 2 раза по сравнению с GPT-4.

Новая модель доступна в виде gpt-4-1106-preview. Стабильную версию обещают в ближайшие недели.

🧑‍💻 Assistants API
Для создания ассистентов, которые имеют собственные инструкции, используют внешние источники информации и могут выполнять различные задачи. API поддерживает интерпретатор кода, извлечение информации из базы знаний и функции. Есть фишка для управления состояниями ассистентов — threads, в которые просто добавляются новые сообщения. Подробнее можно почитать в документации.

🪄 Доступ к DALL·E 3 через API

🎤 Text-to-speech (TTS) API для озвучания текста

👥 GPTs
Появился инструмент для создания кастомизированных версий ChatGPT. Не требует писать код: собственное приложение можно сделать в специальном редакторе с помощью команд на естественном языке. Можно дать GPT инструкции и дополнительные знания, а также выбрать, что будет делать помощник, например, искать в интернете. OpenAI запускает GPT Store, где разработчики смогут разместить собственные GPTs.

🤔 Что думаете об анонсах? Будете что-нибудь использовать в работе?

Очередной #дайджест по Data Science:

✍️ Исследование режима Copy-on-Write в Pandas
Подробный разбор в двух частях. Автор объясняет механизм работы CoW, который позволяет удобно изменять любой объект DataFrame или Series, полученный из другого объекта.
✍️ Как улучшить точность генеративных ответов LLM с помощью собственного RAG
Большие языковые модели могут галлюцинировать при ответах на вопросы по загруженным документам. Иными словами, LLM выдаёт неправильные ответы, поскольку использует устаревшие данные из «весов». Справиться с этим поможет Retrieval-augmented generation (RAG).
✍️ «ChatGPT-детектор» отличает сгенерированные ИИ научные статьи от настоящих с высокой точностью
Исследователи рассказывают о создании классификатора, который с высокой точностью определяет фальшивки.
✍️ Создание игры Angry Pumpkins с помощью нейросетей
Перевод статьи разработчика Javi Lopez, в которой он рассказывает, как создал игру только с помощью промптов к GPT-4, Midjourney и DALL-E.

💬Признавайтесь, часто используете ChatGPT (или аналоги) в работе? Действительно облегчает жизнь?

🔥 — часто, упрощает работу
🤔 — изредка
👾 — я старовер и не пользуюсь этим

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

👯 Представлена YOLO-NAS Pose — лучшая на сегодня модель для определения поз людей на видео

Ранее в этом году стартап Deci выпустил систему обнаружения объектов YOLO-NAS. Теперь на её основе создали новый инструмент. Утверждается, что M-версия YOLO-NAS Pose определяет позы на видео с задержкой на 38.85% меньше, чем у L-модели YOLOv8.

YOLO-NAS Pose выполняет две задачи одновременно: детектирует людей на видео и определяет их позы за один проход. Модель неплохо работает сразу с несколькими людьми в кадре.

Репозиторий с YOLO-NAS Pose
Колаб с примером
Колаб для файн-тюнинга

🚀 Ускоряем EDA с ydata-profiling

Разведочный анализ данных (exploratory data analysis, EDA) — первый шаг во многих проектах машинного обучения. Сделать его быстрее можно с помощью библиотеки ydata-profiling.

Одной строчкой кода можно получить подробный отчёт в формате html, включающий:
▫️основные статистики по каждой колонке (среднее, медиана, мода);
▫️распределение данных;
▫️корреляции между признаками;
▫️количество пропущенных значений и т.д.

Есть мнение, что для более хорошего понимания данных всё равно следует провести EDA вручную, но ydata-profiling позволяет сделать эффективный первичный анализ.

Репозиторий с инструкцией

Ночью прошёл GitHub Universe 2023, на котором говорили, вы не поверите, про ИИ

В декабре на платформе станет официально доступен Copilot Chat как часть подписки GitHub Copilot. В его основе лежит модель OpenAI GPT-4. Copilot Chat использует ваш открытый код для контекста, помогает находить ошибки и предлагает новые решения. Инструмент добавят и в IDE от JetBrains — предварительная версия уже доступна.

Помимо этого, GitHub намерен внедрять новую подписку Copilot корпоративного уровня. Copilot Enterprise даст возможность персонализировать Copilot Chat под кодовую базу организации.

Также анонсировали GitHub Copilot Workspace. Работать это будет так: вы открываете issue, платформа генерирует спецификацию и автоматически создаёт план, как внедрить требуемые изменения. Все предлагаемые решения можно запустить и протестировать. Если появятся какие-то ошибки, Copilot Workspace автоматически их исправит. Новый инструмент планируют выпустить в 2024 году.

⚽ Футбольных комментаторов тоже заменили?

Разработчик скормил модели gpt-4-vision-preview каждый кадр футбольной трансляции и попросил её сгенерировать дикторский текст. Этот текст озвучила модель TTS. Автор утверждает, что не совершал никаких дополнительных манипуляций с роликом. По его мнению, можно добиться даже лучшего результата.

Код проекта

🗺 Яндекс записал подкаст про создание новых высокодетализированных Карт

Гостями недавнего выпуска Yet Another Podcast стали технический директор Яндекс Карт Илья Власюк и продакт-менеджер Андрей Столяров. Они рассказали, какие задачи решает обновление, откуда для него брались данные и что ждет Карты в будущем.

А еще ответили на вопросы о метках транспорта, пользе разметки в приложении и о том, какие задачи в Картах решают нейросети. Полный выпуск по ссылке 👀

Говорят, что без знания линейной алгебры, матанализа и теории вероятностей в Data Science делать нечего. А насколько у вас хорошо с математикой?

🔥 — изучал, отлично разбираюсь
👍 — есть пробелы в знаниях, но в целом с математикой дружу
🎉 — у меня и без этого всё прекрасно

Поделитесь в комментариях, в какой области работаете и какие знания, по вашему мнению, нужны для входа в вашу область👇
#холивар

Подборка лучших статей «Библиотеки программиста» за октябрь: сохраняй в заметки, чтобы не пропустить #самыйсок

📊 Эффективная работа с JSON в Go
🔝 Лучшие практики Go: путь к чистому коду
📚 ТОП-8 книг по DevOps в 2023 году
💪 6 сервисов для подготовки к техническим собеседованиям
🗺️ Карьерная карта: что это, как ее составить и почему она обязательно нужна разработчику
🛡️ 8 способов защиты от манипуляций на работе
👩‍💻 Женщины в ИТ: проблемы и преимущества сложной профессии
🤖 8 лучших бесплатных курсов по ИИ и глубокому обучению
👨‍💻 9 трендов в найме айтишников в 2023 году
🤔 9 мифов об IT и найме айтишников
🤖 25 бесплатных AI-инструментов для разработчиков
☁️ ТОП-10 бессерверных фреймворков
🚩 Итог одной валютной удаленки: проработал месяц бесплатно и ушел с долгами
💻 20 лучших ноутбуков для программиста в 2023 году
🧠 Как научиться критически мыслить: 6 эффективных способов
❔ Результаты ежегодного опроса разработчиков StackOverflow: 20+ главных инсайтов 2023 года

Билл Гейтс: «ИИ полностью изменит то, как вы используете компьютер»

Сооснователь Microsoft написал новый пост в своём блоге, в котором сообщил, что современное программное обеспечение «довольно глупое», но скоро это изменится.

По мнению Гейтса, глупость ПО заключается в том, что вы не можете общаться с ним как с другим человеком. Можно использовать Microsoft Word и Google Docs для рабочих задач, но нельзя попросить их отправить письмо или запланировать вечеринку. Наверное, вы уже поняли, к чему клонит Гейтс — такие задачи в будущем за вас будет выполнять ИИ-помощник.

Случится это, как считает Билл, уже в ближайшие 5 лет. Он видит это так: человек будет просто говорить любому из своих устройств, что он хочет, а то будет исполнять поручения. По сути, у каждого будет свой личный ИИ-ассистент. Или, иными словами, агент. Главным его преимуществом станет «память»: он запомнит все предпочтения и модели поведения пользователя.

Гейтс обозначил и трудности, связанные с созданием ИИ-ассистентов. Например, до сих пор никто не придумал, как могла бы выглядеть структура данных для такого агента. Нужен новый тип базы данных, который сохранял бы конфиденциальность. Неясно также, как именно человек будет взаимодействовать с агентами — через смартфоны, очки или наушники? Гейтс делает ставку на последнее.

Главный вопрос, которым задаётся предприниматель, — как агенты повлияют на социальную жизнь? Что будет делать человек с таким большим количеством освободившегося времени и захочет ли получать образование, если ответы на все вопросы ему сможет дать ИИ-ассистент?

Что думаете вы? 🤔