Откройте новые горизонты искусственного интеллекта с аналитикой данных

Согласно докладу Всемирного экономического форума, профессия аналитика данных является одной из самых востребованных в России и за рубежом. Возможность анализа данных становится ключом к пониманию и оптимизации работы искусственного интеллекта.

По данным сервиса Хабр Карьера, средняя зарплата аналитика на позиции джуниор составляет 90 000 рублей, а зарплаты опытных аналитиков достигают 300 000 рублей.

Если вас интересует аналитика или вы уже развиваетесь в этой сфере и хотите существенно улучшить свои скиллы, хочу порекомендовать вам курс – Аналитик PRO от Changellenge » Education. Это самый полный курс аналитики на рынке.

Он подойдет вам, если вы хотите прокачаться как аналитик данных, бизнес-аналитик, финансовый аналитик - в нем есть все что нужно для роста в любом направлении аналитики.

На 12 месячном курсе вы прокачаете ключевые навыки, необходимые аналитику — работа с данными:
🔵Python, SQL, Excel,
а также визуализация данных:
🔵Tableau, PPT, и с помощью Python.

Научитесь строить финансовые модели, погрузитесь в продуктовую и маркетинговую аналитику. И все попробуете на практике.

Из интересного для поиска работы за рубежом:
🔵В комплекте - мини-курс о специфике поиска работы за рубежом.
🔵При необходимости - подготовят вам резюме на английском.
🔵Карьерный консультант поможет с поиском офферов в России или за рубежом.

Школа специализируется исключительно на обучении аналитике, выпустила уже более 3500 учеников, а её выпускники программ работают в Яндексе, VK, Газпроме и других крупных компаниях.

В программе мастер-классы от экспертов из компаний уровня Avito и VK, реальные бизнес-проекты от компаний уровня Тинькофф, которые можно сразу указать в резюме. 83% студентов получают оффер в аналитике сразу после окончания обучения.

Сейчас на программу действует скидка 50%. По промокоду AI10 действует дополнительная скидка 10 000 руб. на курс "Аналитик PRO". Оставь заявку по ссылке и получи бесплатную консультацию по программе!

#Реклама. ООО «Высшая школа аналитики и стратегии». ИНН:7716917009 erid:2Vtzqx9mZsQ

💭 ЧАТ: Че как вы тут вообще? Утро воскресенья, чем занимаетесь?

Влияет ли fine tuning LLM на новых знаниях на галлюцинации модели?


На этот интригующий вопрос решили ответить исследователи из Google.


Основные тезисы:

1. LLM с трудом удается переварить новые фактические знания посредством fine tuning-a. Примеры, вводящие новые знания, изучаются значительно медленнее, чем те, которые соответствуют уже существующим знаниям модели.

2. По мере того, как LLM со временем усваивает новые знания, ее склонность к галлюцинациям возрастает. При этом наблюдается линейная корреляция между долей примеров fine tuning-a, вводящих новые знания, и увеличением количества галлюцинаций.

3. Fine tuning в основном помогает модели более эффективно использовать уже существующие знания, а не приобретать новые знания. Примеры fine tuning-a, соответствующие уже существующим знаниям модели, изучаются быстрее и повышают производительность.

4. Авторы разработали контролируемое исследование, в котором варьировали долю примеров fine tuning-a, вводящих новые знания, и анализировали их влияние на производительность модели. Также исследователи впервые предложили классифицировать факты по отношению к базе знаний модели на четыре категории.

5. Fine tuning на новых фактических знаниях создает риск overfitting-a, что может привести к снижению производительности и усилению галлюцинаций. Ранняя остановка (early stopping) во время fine tuning-a помогает снизить этот риск.

6. Дообучение на примерах, отнесенных к категории «Может быть, известно» (те вопросы, на которые модель спорадически давала правильные ответы), оказалась особенно полезным. Этот выбор улучшил способность модели обрабатывать такие примеры без значительного увеличения галлюцинаций.


📜 Пэйпер

🦙 Реализации LLaMa-3 с нуля

Привет, AI-энтузиасты! Готовы к захватывающему путешествию в мир создания языковых моделей? Тут выложили супер подробный туториал о реализации LLaMa-3 от Meta с нуля! 🦙💻

Что такое LLaMa-3? Это передовая языковая модель, способная генерировать человекоподобный текст. Она использует архитектуру трансформера и обучена на огромном объеме данных. 📚

Но как именно она работает под капотом? 🔧 Один из лучших способов разобраться - реализовать ее самостоятельно, tensor за tensor'ом, matrix multiplication за matrix multiplication. 🧩

Именно этим мы и займемся! Наш путь будет полон захватывающих этапов:
- Подготовка данных и токенизация 🪄
- Создание эмбеддингов и их нормализация 🎛️
- Реализация механизма внимания (attention) 🎯
- Применение позиционных эмбеддингов 📍
- И многое другое! 🎉

Хотите узнать все детали и погрузиться в код? Тогда скорее переходите по ссылке на GitHub:

💻 GitHub

🤖🔍 Компания Anthropic впервые детально изучила внутреннее устройство современной продакшн-модели - Claude Sonnet.

Что удалось выяснить? 👇

▫️В модели закодированы миллионы концептов - от конкретных сущностей (города, люди, химические элементы) до абстрактных понятий (гендерные стереотипы, секретность). Причем мультимодально и мультиязычно!

▫️Схожие концепты (например, достопримечательности Сан-Франциско) располагаются "близко" друг к другу. Прямо как у людей в голове! 🧠

▫️Усиливая или подавляя определенные паттерны активации нейронов (т.н. "фичи"), можно влиять на поведение модели - например, заставить ее генерировать фишинговые письма, от которых она обычно отказывается. 😮

Anthropic заявляют, что их цель - сделать ИИ более безопасным. Идентификация фичей, связанных с нежелательным поведением - первый шаг. В будущем это поможет лучше детектировать и пресекать такое поведение.

Работа только началась, многое еще предстоит изучить. Но это важная веха в интерпретируемости ИИ и понимании того, как мыслят большие языковые модели! 🎉

Хотите узнать детали - читайте научную статью "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet".

🌁 Блог-пост

Images that Sound: Composing Images and Sounds on a Single Canvas

abs: https://arxiv.org/abs/2405.12221
project page: https://ificl.github.io/images-that-sound/
code: https://github.com/IFICL/images-that-sound

This paper introduces an inference-time procedure that generates images that are also spectrograms corresponding to the prompt. It uses a latent image and audio diffusion model with same latent space (Stable Diffusion v1.5 and Auffusion) and denoise the same latent with both.

@opendatascience

Mistral-7B-v0.3 теперь open-source!


Главные моменты:

- Лицензия Apache 2.0 для чекпойнтов базовой и инстракт моделей

- Расширенный словарь до 32768

- Поддержка токенайзера v3

- Поддержка function calling (API запросов)

- Безцензурность 🤬 (fine tuning проходил без модерации)


🤗 HuggingFace

Скажите что-то на карьерном

Тинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться тут

#реклама
АО «Тинькофф Банк», ИНН 7710140679

Компания Нейролинк обявила о конкурсе на самую лучшую компрессию сигнала

Компания Neuralink проводит соревнование по сжатию данных, полученных от импланта, встроенного в моторную кору головного мозга приматов.

Имплант генерирует поток данных со скоростью около 200 Мбит/с, но способен передавать по беспроводной связи лишь 1 Мбит/с, поэтому необходимо сжатие более чем в 200 раз. Алгоритм сжатия должен работать в реальном времени (менее 1 мс) и потреблять мало энергии (менее 10 мВт, включая радиопередачу).

Участникам предлагается создать исполняемые файлы для кодирования и декодирования, обеспечивающие сжатие без потерь. Решения будут оцениваться по коэффициенту сжатия на другом наборе данных, а дополнительные баллы будут присуждаться за оптимизацию скорости и энергоэффективности.

Кто хочет со мной поучаствовать? Пишите в комментах, попробуем организоваться в команду

Ссылка на соревнование

Stanford обновил свой ранкинг прозрачности LLM


Что нового 👀

- Средний балл составляет 58, а высший балл — 85 из 100. Это на 21 балл выше среднего показателя за октябрь 2023 года

- По сравнению с индексом за октябрь 2023 есть значительное улучшение: верхняя граница выросла на 31 балл, а нижняя — на 21 балл. Все восемь разработчиков, получившие баллы по FMTI за октябрь 2023 г. и май 2024 г., улучшили свои оценки.

- Из 100 показателей прозрачности 96 удовлетворяются как минимум одним разработчиком, а 89 — несколькими.

- Разработчики активно публикуют отчеты о прозрачности. Это контрастирует с нашим предыдущим подходом, когда команда FMTI собирала информацию из Интернета.

- Разработчики раскрыли в своих отчетах в среднем 17 новых показателей.

💻 Сайт


📜 Пэйпер

🔥 Wunder fund: вакансия Senior Data Researcher 🔥

TLDR: Wunder Fund, Senior Data Researcher, Алготрейдинг, HFT

🌍 Локация: Remote/Релокация в несколько стран

💰Вилка: от $5k до $7k на руки, иногда больше — договоримся (есть привязка к валюте, можем платить в долларах или крипте)

👁 Инфа: Мы — Wunder Fund, занимаемся высокочастотной торговлей (HFT) с 2014 года. Торгуем на 14 биржах по всему миру и наш дневной оборот больше $5 млрд. Сейчас ищем в команду Senior Data Researcher, который возглавит направление нейросетей в Wunder Fund.

Вам предстоит обучать модели, проверять гипотезы и добиваться максимальной точности моделей. Задача похожа на Kaggle-соревнование, только модели и фичи должны считаться максимально быстро.

Вы будете работать в сильной команде — это лучшие программисты, математики, физики, выпускники лучших вузов, победители соревнований и международных олимпиад. Наша сфера очень конкурентна, поэтому мы используем самые современные технологии, чтобы обеспечить максимальную скорость и точность наших систем.

🤓 Что вам понадобится

- Хорошо знать Python и математику
- Быть опытным практиком пристального вглядывания в данные
- Иметь успехи в Kaggle соревнованиях (Kaggle Master/Grandmaster)
- Иметь опыт успешного обучения трансформеров и LSTM.
- Будет плюсом: опыт в соревнованиях по NLP, Speech Recognition.

Условия: работа в команде выпускников МГУ и Физтеха, полная удаленка, гибкий график, ЗП по результатам собеседования от $5,000 до $7,000 на руки.

Небольшой видос про data science у нас и исследования — https://youtu.be/in2wXwxeaqs

Ссылка на вакансию: https://clck.ru/3A2CnM

Как откликнуться

Пишите в ТГ @nedifar1703

#реклама

Поправки к скандальному законопроекту SB 1047 (про регулирование обучения моделей в Калифорнии)

Как многие из вас помнят, я живу в Сан Франциско. И это опредленно ИИ столица мира. На днях мне довелось сходить на городское собрание (town hall) с Сенатором Вайнером - автором скандального законопроекта SB 1047 (про регулирование обучения моделей в Калифорнии).

Несколько месяцев назад сенатор Скотт Вайнер представил законопроект SB 1047, целью которого является регулирование разработки и использования передовых моделей искусственного интеллекта. В первоначальной версии законопроекта по сути предлагалось ввести лицензирование всех моделей ИИ (и их производных, таких как файн-тюнинг), превышающих определенный порог вычислительной мощности. Очевидно, что в таком виде законопроект уничтожил бы все стартапы в сфере ИИ в штате, а следовательно, и во всем мире.

Однако похоже, что за последнее время законопроект претерпел значительные изменения. Вот несколько ключевых моментов, которые прозвучали на встрече:

- Критерий размера модели (в твиттере шутили, что раньше по похожим соображениям США регулировал экспорт Play Station 2) будет исключен из законопроекта. Вместо этого будут введены новые метрики, например, объем инвестиций в обучение модели не менее 100 миллионов долларов (кстати не плохой incentive для того что бы укладывать больше вычислений в меньшую стоимость).

Как SB 1047 повлияет на разработчиков?

Если вы создадите нечто, что впоследствии будет использовано во вред кому-либо, на вас могут подать в суд и втянуть в судебную тяжбу. Однако такая ситуация существует в Калифорнии уже давно.

Если вы компания, подпадающая под действие законопроекта (сенатор пошутил: если вы буквально Сундар Пичаи, гендиректор Google), вы должны:
- Провести тестирование на наличие опасных возможностей
- Разработать план по борьбе с этими экстремальными рисками
- Внедрить разумные меры безопасности перед развертыванием модели
- Поддерживать уровень информационной безопасности, соразмерный этим рискам
- Убедиться, что вы можете отключить модели, находящиеся в вашем распоряжении

Цель законопроекта - управление рисками, их снижение и минимизация. В дальнейшем будет еще 4 возможности внести поправки в законопроект.

Вопросы и ответы:

- С какими сообществами открытого исходного кода вы общались? Например с разработчиками открытого ПО из Amazon никто не разговаривал.
Сенатор не смог назвать ни одного сообщества, с которым они консультировались.

- Как вы предотвратите торможение инноваций в сфере ИИ (как GDPR сделал с Европой)?
Это не GDPR. Этот законопроект гласит: если вы создаете огромную модель ИИ, проведите оценку безопасности и управляйте рисками.

- Ультралевые считают, что законопроект недостаточно строгий. Они беспокоятся, что защита информаторов (стукачей, которые будут репортить те самые экстримальные риски) в нем слишком слабая. Как осведомители могут чувствовать себя в безопасности?
Защита информаторов предусмотрена в законопроекте.

- Почему было убрано определение оценки моделей по бенчмаркам?
Правительству сложно успевать за технологическим развитием. Скоро и меньшие модели смогут конкурировать по этим бенчмаркам, и тогда законопроект должен будет регулировать также и стартапы. Но это не является целью. Стартапы должны чувствовать себя спокойно.
В идеале должен быть орган, обновляющий бенчмарки, но это не предусмотрено законопроектом.

- Как определить, что модели проявляют опасные возможности? На что способны такие модели?
"Модели облегчают причинение существенного вреда". "Действительно широкие общественные риски".
1 категория: если модель облегчает создание биологического/химического оружия.
2 категория: автономная преступность на сумму более 500 млн долларов.

- Что происходит, когда модель с открытым исходным кодом работает так же хорошо как проприетарная модель? Может ли Meta выпустить модель на 400 млрд параметров в открытый доступ и ожидать, что на нее не подадут в суд?
Eсли Meta заявляет, что тестирует модели, нет оснований им не верить. В остальном эти проблемы пока не решены. Цель - стимулировать безопасность.

Судя по рекламе, уже на следующей неделе, нас наконец-то ждет обновление Сири (или что-то типа такого).

Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы действия, следовательно агентные фрэймворки.

А что может быть агентнее по-настоящему работающей Сири?

Пэт проект - “Sandy”.

Привет, друзья!

Я тут недавно завел себе нового четвероногого друга - щенка золотистого ретривера! И теперь у меня пэт проект по DL (Dog Learning)! 🐶🧠

Каждый день - это новый челлендж и возможность прокачать свои навыки дрессировки. Прямо как в машинном обучении, только вместо нейросетей - 3х месячный щеночек!

Но, как и в любом ML проекте, без качественных данных никуда. Поэтому я активно ищу лучшие ресурсы для своего "датасета" по воспитанию щенка.

Впереди много работы по сбору данных и обучению моей персональной "нейросети". Но я полон энтузиазма применить свои навыки ML-инженера в этой новой области! 😄

А у вас, друзья, есть опыт в "Dog Learning"? Может посоветуете еще какие-то годные ресурсы для начинающих собаководов?

Накидайте пожалуйста в комменты список книг, фильмов и Youtube-каналов, которые, must-have для каждого начинающего собаковода.

Буду очень благодарен за советы и лайфхаки, которые облегчат мне этот интересный челлендж! 🙏

Если вы задумывались как выглядит будущее -> вероятнее всего вот так. Уютные дома на фоне Урбана, а мимо проносятся беспилотные Waymo.

Где-то там внизу копошиться ткмные полчища в Тендерлоине, и в то же время дамы и господа выгуливают своих собачек на велосипедах с колясками.

📍Alamo Square

Сэм Альтман куда-то идет на Apple WWDC. ChatGPT - это Siri 2.0?

Слово Агент не сказали ни разу, но AI у нас теперь Apple Intelegence =)

Биомеханика и ИИ: предсказание нейронной активности с помощью виртуальных грызунов

Биологический мозг — (пока) непостижимо сложный процессор, который, например, без труда контролирует каждое движение, даже когда мы идём ночью на кухню за последним кусочком пиццы. В этот момент активны сенсомоторный стриатум и моторная кора, отвечающие за планирование и выполнение движений.

А что, если мы натренируем нейросеть, которая бы предсказывала движения какого-нибудь чертовски умного животного и генерировала активность нужных областей мозга? Будет ли соответствовать предсказание модели нейронной активности реальных животных при выполнении тех же действий? У ученых из Гарварда и DeepMind есть ответ – да, будет. Они создали виртуальную крысу, чтобы понять, как мозг контролирует движение. Оказалось, что эта цифровая крыса может предсказывать нейронную активность настоящих крыс лучше всего, что сейчас есть.

Сделали биомеханическую модель с учётом основных частей тела и суставов, позволяющих реалистично имитировать движения крысы и использовали симулятор MuJoCo для воспроизведения движений. Виртуальную крысу контролировала нейросеть, состоящая из персептронов и LSTM, натренированная на видео с одновременной регистрацией нейронной активности. Использовались методы 3D pose-estimation и регистрации скелета и суставов. На выходе - данные для планирования движений и нейронная активность в сенсомоторном стриатуме и моторной коре. Модель обратной динамики (которая планирует, какие мышечные движения требуются, чтобы крыса переместилась из одной точки в другую) показала лучшую предсказательную способность, чем альтернативные модели прямой динамики и последовательного прогнозирования.

Возможности открываются поистине впечатляющие: робототехника, реабилитация и протезирование, "мозг-компьютер" интерфейсы (BCI), моделирование и симуляция поведения, и вообще чуть продвинуться в понимании нейронных механизмов, лежащих в основе обучения, памяти и координации движений.

Статья Nature
Github
Data