Forwarded from Data Science by ODS.ai 🦜
This media is not supported in your browser
VIEW IN TELEGRAM
Images that Sound: Composing Images and Sounds on a Single Canvas
abs: https://arxiv.org/abs/2405.12221
project page: https://ificl.github.io/images-that-sound/
code: https://github.com/IFICL/images-that-sound
This paper introduces an inference-time procedure that generates images that are also spectrograms corresponding to the prompt. It uses a latent image and audio diffusion model with same latent space (Stable Diffusion v1.5 and Auffusion) and denoise the same latent with both.
@opendatascience
abs: https://arxiv.org/abs/2405.12221
project page: https://ificl.github.io/images-that-sound/
code: https://github.com/IFICL/images-that-sound
This paper introduces an inference-time procedure that generates images that are also spectrograms corresponding to the prompt. It uses a latent image and audio diffusion model with same latent space (Stable Diffusion v1.5 and Auffusion) and denoise the same latent with both.
@opendatascience
AI Для Всех
Часть 7. Q&A с Андреем Карпаты Q: Что вы думаете о Devin и как он сопоставляется с другими инструментами, такими как Workspace от Microsoft? Андрей поделился своим мнением о Devin, программном инженере искусственного интеллекта, разработанном компанией Cognition…
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Сиолошная
Подглядел у @j_links ссылку на невероятную историю (твиттер тред тут)
Исследователи обучали агента играть в игру NetHack. Это очень старая ролевая игра из времён (1987 г.), когда нормальных пользовательских интерфейсов не было, и всё происходило в консоли. Игрок проходит уровни, собирает вещи и награды, участвует в сражениях и набирает очки — и всё выражается самыми простыми символами.
Агент научился стабильно набирать примерно 5000 очков. Но однажды после запуска он достиг лишь ~3000, то есть показал результат существенно хуже. Отладка решений всегда дело весёлое, поэтому автор треда попробовал:
— найти проблему в коде загрузки модели агента
— откатить код на пару дней назад
— откатить код на несколько недель назад (ну там то ТОЧНО всё работает?)
— пересобрать окружение
— поменять версию CUDA (драйверов для запуска нейросетей на видеокарте)
— запустить код на персональном ноутбуке, а не сервере
...и ничего не помогало: агент предательски, но стабильно играл на 3000 очков.
После этого автор треда написал автору модели, тот ответил:
— А, да, вероятно, сегодня полнолуние🌗
Что??😑
И да, в тот день и вправду было полнолуние. Чувак запустил игру, и увидел ...надпись «Ты — везунчик! Сегодня полнолуние»
Оказывается, в NetHack есть механика , которая немного меняет процесс игры каждый раз, когда наступает полнолуние (проверка происходит по времени вашей системы). В этот день у героя увеличивается удача, и меняется ещё пара вещей. Это не делает игру сложнее, но модель просто не понимает, как изменились правила, и старается играть так, как привыкла — отсюда и просадка в очках. Для проверки можно сменить время на компьютере — и агент снова набирает 5000 очков.
❓ вот так и сиди отлаживай программу
Исследователи обучали агента играть в игру NetHack. Это очень старая ролевая игра из времён (1987 г.), когда нормальных пользовательских интерфейсов не было, и всё происходило в консоли. Игрок проходит уровни, собирает вещи и награды, участвует в сражениях и набирает очки — и всё выражается самыми простыми символами.
Агент научился стабильно набирать примерно 5000 очков. Но однажды после запуска он достиг лишь ~3000, то есть показал результат существенно хуже. Отладка решений всегда дело весёлое, поэтому автор треда попробовал:
— найти проблему в коде загрузки модели агента
— откатить код на пару дней назад
— откатить код на несколько недель назад (ну там то ТОЧНО всё работает?)
— пересобрать окружение
— поменять версию CUDA (драйверов для запуска нейросетей на видеокарте)
— запустить код на персональном ноутбуке, а не сервере
...и ничего не помогало: агент предательски, но стабильно играл на 3000 очков.
После этого автор треда написал автору модели, тот ответил:
— А, да, вероятно, сегодня полнолуние
Что??
И да, в тот день и вправду было полнолуние. Чувак запустил игру, и увидел ...
Оказывается, в NetHack есть
Please open Telegram to view this post
VIEW IN TELEGRAM
Mistral-7B-v0.3 теперь open-source!
Главные моменты:
- Лицензия Apache 2.0 для чекпойнтов базовой и инстракт моделей
- Расширенный словарь до 32768
- Поддержка токенайзера v3
- Поддержка function calling (API запросов)
- Безцензурность 🤬 (fine tuning проходил без модерации)
🤗 HuggingFace
Главные моменты:
- Лицензия Apache 2.0 для чекпойнтов базовой и инстракт моделей
- Расширенный словарь до 32768
- Поддержка токенайзера v3
- Поддержка function calling (API запросов)
- Безцензурность 🤬 (fine tuning проходил без модерации)
🤗 HuggingFace
Скажите что-то на карьерном
Тинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться тут
#реклама
АО «Тинькофф Банк», ИНН 7710140679
Тинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться тут
#реклама
АО «Тинькофф Банк», ИНН 7710140679
Компания Нейролинк обявила о конкурсе на самую лучшую компрессию сигнала
Компания Neuralink проводит соревнование по сжатию данных, полученных от импланта, встроенного в моторную кору головного мозга приматов.
Имплант генерирует поток данных со скоростью около 200 Мбит/с, но способен передавать по беспроводной связи лишь 1 Мбит/с, поэтому необходимо сжатие более чем в 200 раз. Алгоритм сжатия должен работать в реальном времени (менее 1 мс) и потреблять мало энергии (менее 10 мВт, включая радиопередачу).
Участникам предлагается создать исполняемые файлы для кодирования и декодирования, обеспечивающие сжатие без потерь. Решения будут оцениваться по коэффициенту сжатия на другом наборе данных, а дополнительные баллы будут присуждаться за оптимизацию скорости и энергоэффективности.
Кто хочет со мной поучаствовать? Пишите в комментах, попробуем организоваться в команду
Ссылка на соревнование
Компания Neuralink проводит соревнование по сжатию данных, полученных от импланта, встроенного в моторную кору головного мозга приматов.
Имплант генерирует поток данных со скоростью около 200 Мбит/с, но способен передавать по беспроводной связи лишь 1 Мбит/с, поэтому необходимо сжатие более чем в 200 раз. Алгоритм сжатия должен работать в реальном времени (менее 1 мс) и потреблять мало энергии (менее 10 мВт, включая радиопередачу).
Участникам предлагается создать исполняемые файлы для кодирования и декодирования, обеспечивающие сжатие без потерь. Решения будут оцениваться по коэффициенту сжатия на другом наборе данных, а дополнительные баллы будут присуждаться за оптимизацию скорости и энергоэффективности.
Кто хочет со мной поучаствовать? Пишите в комментах, попробуем организоваться в команду
Ссылка на соревнование
Stanford обновил свой ранкинг прозрачности LLM
Что нового 👀
- Средний балл составляет 58, а высший балл — 85 из 100. Это на 21 балл выше среднего показателя за октябрь 2023 года
- По сравнению с индексом за октябрь 2023 есть значительное улучшение: верхняя граница выросла на 31 балл, а нижняя — на 21 балл. Все восемь разработчиков, получившие баллы по FMTI за октябрь 2023 г. и май 2024 г., улучшили свои оценки.
- Из 100 показателей прозрачности 96 удовлетворяются как минимум одним разработчиком, а 89 — несколькими.
- Разработчики активно публикуют отчеты о прозрачности. Это контрастирует с нашим предыдущим подходом, когда команда FMTI собирала информацию из Интернета.
- Разработчики раскрыли в своих отчетах в среднем 17 новых показателей.
💻 Сайт
📜 Пэйпер
Что нового 👀
- Средний балл составляет 58, а высший балл — 85 из 100. Это на 21 балл выше среднего показателя за октябрь 2023 года
- По сравнению с индексом за октябрь 2023 есть значительное улучшение: верхняя граница выросла на 31 балл, а нижняя — на 21 балл. Все восемь разработчиков, получившие баллы по FMTI за октябрь 2023 г. и май 2024 г., улучшили свои оценки.
- Из 100 показателей прозрачности 96 удовлетворяются как минимум одним разработчиком, а 89 — несколькими.
- Разработчики активно публикуют отчеты о прозрачности. Это контрастирует с нашим предыдущим подходом, когда команда FMTI собирала информацию из Интернета.
- Разработчики раскрыли в своих отчетах в среднем 17 новых показателей.
💻 Сайт
📜 Пэйпер
🔥 Wunder fund: вакансия Senior Data Researcher 🔥
TLDR: Wunder Fund, Senior Data Researcher, Алготрейдинг, HFT
🌍 Локация: Remote/Релокация в несколько стран
💰Вилка: от $5k до $7k на руки, иногда больше — договоримся (есть привязка к валюте, можем платить в долларах или крипте)
👁 Инфа: Мы — Wunder Fund, занимаемся высокочастотной торговлей (HFT) с 2014 года. Торгуем на 14 биржах по всему миру и наш дневной оборот больше $5 млрд. Сейчас ищем в команду Senior Data Researcher, который возглавит направление нейросетей в Wunder Fund.
Вам предстоит обучать модели, проверять гипотезы и добиваться максимальной точности моделей. Задача похожа на Kaggle-соревнование, только модели и фичи должны считаться максимально быстро.
Вы будете работать в сильной команде — это лучшие программисты, математики, физики, выпускники лучших вузов, победители соревнований и международных олимпиад. Наша сфера очень конкурентна, поэтому мы используем самые современные технологии, чтобы обеспечить максимальную скорость и точность наших систем.
🤓 Что вам понадобится
- Хорошо знать Python и математику
- Быть опытным практиком пристального вглядывания в данные
- Иметь успехи в Kaggle соревнованиях (Kaggle Master/Grandmaster)
- Иметь опыт успешного обучения трансформеров и LSTM.
- Будет плюсом: опыт в соревнованиях по NLP, Speech Recognition.
Условия: работа в команде выпускников МГУ и Физтеха, полная удаленка, гибкий график, ЗП по результатам собеседования от $5,000 до $7,000 на руки.
Небольшой видос про data science у нас и исследования — https://youtu.be/in2wXwxeaqs
Ссылка на вакансию: https://clck.ru/3A2CnM
Как откликнуться
Пишите в ТГ @nedifar1703
#реклама
TLDR: Wunder Fund, Senior Data Researcher, Алготрейдинг, HFT
🌍 Локация: Remote/Релокация в несколько стран
💰Вилка: от $5k до $7k на руки, иногда больше — договоримся (есть привязка к валюте, можем платить в долларах или крипте)
👁 Инфа: Мы — Wunder Fund, занимаемся высокочастотной торговлей (HFT) с 2014 года. Торгуем на 14 биржах по всему миру и наш дневной оборот больше $5 млрд. Сейчас ищем в команду Senior Data Researcher, который возглавит направление нейросетей в Wunder Fund.
Вам предстоит обучать модели, проверять гипотезы и добиваться максимальной точности моделей. Задача похожа на Kaggle-соревнование, только модели и фичи должны считаться максимально быстро.
Вы будете работать в сильной команде — это лучшие программисты, математики, физики, выпускники лучших вузов, победители соревнований и международных олимпиад. Наша сфера очень конкурентна, поэтому мы используем самые современные технологии, чтобы обеспечить максимальную скорость и точность наших систем.
🤓 Что вам понадобится
- Хорошо знать Python и математику
- Быть опытным практиком пристального вглядывания в данные
- Иметь успехи в Kaggle соревнованиях (Kaggle Master/Grandmaster)
- Иметь опыт успешного обучения трансформеров и LSTM.
- Будет плюсом: опыт в соревнованиях по NLP, Speech Recognition.
Условия: работа в команде выпускников МГУ и Физтеха, полная удаленка, гибкий график, ЗП по результатам собеседования от $5,000 до $7,000 на руки.
Небольшой видос про data science у нас и исследования — https://youtu.be/in2wXwxeaqs
Ссылка на вакансию: https://clck.ru/3A2CnM
Как откликнуться
Пишите в ТГ @nedifar1703
#реклама
Поправки к скандальному законопроекту SB 1047 (про регулирование обучения моделей в Калифорнии)
Как многие из вас помнят, я живу в Сан Франциско. И это опредленно ИИ столица мира. На днях мне довелось сходить на городское собрание (town hall) с Сенатором Вайнером - автором скандального законопроекта SB 1047 (про регулирование обучения моделей в Калифорнии).
Несколько месяцев назад сенатор Скотт Вайнер представил законопроект SB 1047, целью которого является регулирование разработки и использования передовых моделей искусственного интеллекта. В первоначальной версии законопроекта по сути предлагалось ввести лицензирование всех моделей ИИ (и их производных, таких как файн-тюнинг), превышающих определенный порог вычислительной мощности. Очевидно, что в таком виде законопроект уничтожил бы все стартапы в сфере ИИ в штате, а следовательно, и во всем мире.
Однако похоже, что за последнее время законопроект претерпел значительные изменения. Вот несколько ключевых моментов, которые прозвучали на встрече:
- Критерий размера модели (в твиттере шутили, что раньше по похожим соображениям США регулировал экспорт Play Station 2) будет исключен из законопроекта. Вместо этого будут введены новые метрики, например, объем инвестиций в обучение модели не менее 100 миллионов долларов (кстати не плохой incentive для того что бы укладывать больше вычислений в меньшую стоимость).
Как SB 1047 повлияет на разработчиков?
Если вы создадите нечто, что впоследствии будет использовано во вред кому-либо, на вас могут подать в суд и втянуть в судебную тяжбу. Однако такая ситуация существует в Калифорнии уже давно.
Если вы компания, подпадающая под действие законопроекта (сенатор пошутил: если вы буквально Сундар Пичаи, гендиректор Google), вы должны:
- Провести тестирование на наличие опасных возможностей
- Разработать план по борьбе с этими экстремальными рисками
- Внедрить разумные меры безопасности перед развертыванием модели
- Поддерживать уровень информационной безопасности, соразмерный этим рискам
- Убедиться, что вы можете отключить модели, находящиеся в вашем распоряжении
Цель законопроекта - управление рисками, их снижение и минимизация. В дальнейшем будет еще 4 возможности внести поправки в законопроект.
Вопросы и ответы:
- С какими сообществами открытого исходного кода вы общались? Например с разработчиками открытого ПО из Amazon никто не разговаривал.
Сенатор не смог назвать ни одного сообщества, с которым они консультировались.
- Как вы предотвратите торможение инноваций в сфере ИИ (как GDPR сделал с Европой)?
Это не GDPR. Этот законопроект гласит: если вы создаете огромную модель ИИ, проведите оценку безопасности и управляйте рисками.
- Ультралевые считают, что законопроект недостаточно строгий. Они беспокоятся, что защита информаторов (стукачей, которые будут репортить те самые экстримальные риски) в нем слишком слабая. Как осведомители могут чувствовать себя в безопасности?
Защита информаторов предусмотрена в законопроекте.
- Почему было убрано определение оценки моделей по бенчмаркам?
Правительству сложно успевать за технологическим развитием. Скоро и меньшие модели смогут конкурировать по этим бенчмаркам, и тогда законопроект должен будет регулировать также и стартапы. Но это не является целью. Стартапы должны чувствовать себя спокойно.
В идеале должен быть орган, обновляющий бенчмарки, но это не предусмотрено законопроектом.
- Как определить, что модели проявляют опасные возможности? На что способны такие модели?
"Модели облегчают причинение существенного вреда". "Действительно широкие общественные риски".
1 категория: если модель облегчает создание биологического/химического оружия.
2 категория: автономная преступность на сумму более 500 млн долларов.
- Что происходит, когда модель с открытым исходным кодом работает так же хорошо как проприетарная модель? Может ли Meta выпустить модель на 400 млрд параметров в открытый доступ и ожидать, что на нее не подадут в суд?
Eсли Meta заявляет, что тестирует модели, нет оснований им не верить. В остальном эти проблемы пока не решены. Цель - стимулировать безопасность.
Как многие из вас помнят, я живу в Сан Франциско. И это опредленно ИИ столица мира. На днях мне довелось сходить на городское собрание (town hall) с Сенатором Вайнером - автором скандального законопроекта SB 1047 (про регулирование обучения моделей в Калифорнии).
Несколько месяцев назад сенатор Скотт Вайнер представил законопроект SB 1047, целью которого является регулирование разработки и использования передовых моделей искусственного интеллекта. В первоначальной версии законопроекта по сути предлагалось ввести лицензирование всех моделей ИИ (и их производных, таких как файн-тюнинг), превышающих определенный порог вычислительной мощности. Очевидно, что в таком виде законопроект уничтожил бы все стартапы в сфере ИИ в штате, а следовательно, и во всем мире.
Однако похоже, что за последнее время законопроект претерпел значительные изменения. Вот несколько ключевых моментов, которые прозвучали на встрече:
- Критерий размера модели (в твиттере шутили, что раньше по похожим соображениям США регулировал экспорт Play Station 2) будет исключен из законопроекта. Вместо этого будут введены новые метрики, например, объем инвестиций в обучение модели не менее 100 миллионов долларов (кстати не плохой incentive для того что бы укладывать больше вычислений в меньшую стоимость).
Как SB 1047 повлияет на разработчиков?
Если вы создадите нечто, что впоследствии будет использовано во вред кому-либо, на вас могут подать в суд и втянуть в судебную тяжбу. Однако такая ситуация существует в Калифорнии уже давно.
Если вы компания, подпадающая под действие законопроекта (сенатор пошутил: если вы буквально Сундар Пичаи, гендиректор Google), вы должны:
- Провести тестирование на наличие опасных возможностей
- Разработать план по борьбе с этими экстремальными рисками
- Внедрить разумные меры безопасности перед развертыванием модели
- Поддерживать уровень информационной безопасности, соразмерный этим рискам
- Убедиться, что вы можете отключить модели, находящиеся в вашем распоряжении
Цель законопроекта - управление рисками, их снижение и минимизация. В дальнейшем будет еще 4 возможности внести поправки в законопроект.
Вопросы и ответы:
- С какими сообществами открытого исходного кода вы общались? Например с разработчиками открытого ПО из Amazon никто не разговаривал.
Сенатор не смог назвать ни одного сообщества, с которым они консультировались.
- Как вы предотвратите торможение инноваций в сфере ИИ (как GDPR сделал с Европой)?
Это не GDPR. Этот законопроект гласит: если вы создаете огромную модель ИИ, проведите оценку безопасности и управляйте рисками.
- Ультралевые считают, что законопроект недостаточно строгий. Они беспокоятся, что защита информаторов (стукачей, которые будут репортить те самые экстримальные риски) в нем слишком слабая. Как осведомители могут чувствовать себя в безопасности?
Защита информаторов предусмотрена в законопроекте.
- Почему было убрано определение оценки моделей по бенчмаркам?
Правительству сложно успевать за технологическим развитием. Скоро и меньшие модели смогут конкурировать по этим бенчмаркам, и тогда законопроект должен будет регулировать также и стартапы. Но это не является целью. Стартапы должны чувствовать себя спокойно.
В идеале должен быть орган, обновляющий бенчмарки, но это не предусмотрено законопроектом.
- Как определить, что модели проявляют опасные возможности? На что способны такие модели?
"Модели облегчают причинение существенного вреда". "Действительно широкие общественные риски".
1 категория: если модель облегчает создание биологического/химического оружия.
2 категория: автономная преступность на сумму более 500 млн долларов.
- Что происходит, когда модель с открытым исходным кодом работает так же хорошо как проприетарная модель? Может ли Meta выпустить модель на 400 млрд параметров в открытый доступ и ожидать, что на нее не подадут в суд?
Eсли Meta заявляет, что тестирует модели, нет оснований им не верить. В остальном эти проблемы пока не решены. Цель - стимулировать безопасность.
Судя по рекламе, уже на следующей неделе, нас наконец-то ждет обновление Сири (или что-то типа такого).
Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы действия, следовательно агентные фрэймворки.
А что может быть агентнее по-настоящему работающей Сири?
Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы действия, следовательно агентные фрэймворки.
А что может быть агентнее по-настоящему работающей Сири?
This media is not supported in your browser
VIEW IN TELEGRAM
Пэт проект - “Sandy”.
Привет, друзья!
Я тут недавно завел себе нового четвероногого друга - щенка золотистого ретривера! И теперь у меня пэт проект по DL (Dog Learning)! 🐶🧠
Каждый день - это новый челлендж и возможность прокачать свои навыки дрессировки. Прямо как в машинном обучении, только вместо нейросетей - 3х месячный щеночек!
Но, как и в любом ML проекте, без качественных данных никуда. Поэтому я активно ищу лучшие ресурсы для своего "датасета" по воспитанию щенка.
Впереди много работы по сбору данных и обучению моей персональной "нейросети". Но я полон энтузиазма применить свои навыки ML-инженера в этой новой области! 😄
А у вас, друзья, есть опыт в "Dog Learning"? Может посоветуете еще какие-то годные ресурсы для начинающих собаководов?
Накидайте пожалуйста в комменты список книг, фильмов и Youtube-каналов, которые, must-have для каждого начинающего собаковода.
Буду очень благодарен за советы и лайфхаки, которые облегчат мне этот интересный челлендж! 🙏
Привет, друзья!
Я тут недавно завел себе нового четвероногого друга - щенка золотистого ретривера! И теперь у меня пэт проект по DL (Dog Learning)! 🐶🧠
Каждый день - это новый челлендж и возможность прокачать свои навыки дрессировки. Прямо как в машинном обучении, только вместо нейросетей - 3х месячный щеночек!
Но, как и в любом ML проекте, без качественных данных никуда. Поэтому я активно ищу лучшие ресурсы для своего "датасета" по воспитанию щенка.
Впереди много работы по сбору данных и обучению моей персональной "нейросети". Но я полон энтузиазма применить свои навыки ML-инженера в этой новой области! 😄
А у вас, друзья, есть опыт в "Dog Learning"? Может посоветуете еще какие-то годные ресурсы для начинающих собаководов?
Накидайте пожалуйста в комменты список книг, фильмов и Youtube-каналов, которые, must-have для каждого начинающего собаковода.
Буду очень благодарен за советы и лайфхаки, которые облегчат мне этот интересный челлендж! 🙏
Если вы задумывались как выглядит будущее -> вероятнее всего вот так. Уютные дома на фоне Урбана, а мимо проносятся беспилотные Waymo.
Где-то там внизу копошиться ткмные полчища в Тендерлоине, и в то же время дамы и господа выгуливают своих собачек на велосипедах с колясками.
📍Alamo Square
Где-то там внизу копошиться ткмные полчища в Тендерлоине, и в то же время дамы и господа выгуливают своих собачек на велосипедах с колясками.
📍Alamo Square
AI Для Всех
Судя по рекламе, уже на следующей неделе, нас наконец-то ждет обновление Сири (или что-то типа такого). Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы…
Слово Агент не сказали ни разу, но AI у нас теперь Apple Intelegence =)
Media is too big
VIEW IN TELEGRAM
Биомеханика и ИИ: предсказание нейронной активности с помощью виртуальных грызунов
Биологический мозг — (пока) непостижимо сложный процессор, который, например, без труда контролирует каждое движение, даже когда мы идём ночью на кухню за последним кусочком пиццы. В этот момент активны сенсомоторный стриатум и моторная кора, отвечающие за планирование и выполнение движений.
А что, если мы натренируем нейросеть, которая бы предсказывала движения какого-нибудь чертовски умного животного и генерировала активность нужных областей мозга? Будет ли соответствовать предсказание модели нейронной активности реальных животных при выполнении тех же действий? У ученых из Гарварда и DeepMind есть ответ – да, будет. Они создали виртуальную крысу, чтобы понять, как мозг контролирует движение. Оказалось, что эта цифровая крыса может предсказывать нейронную активность настоящих крыс лучше всего, что сейчас есть.
Сделали биомеханическую модель с учётом основных частей тела и суставов, позволяющих реалистично имитировать движения крысы и использовали симулятор MuJoCo для воспроизведения движений. Виртуальную крысу контролировала нейросеть, состоящая из персептронов и LSTM, натренированная на видео с одновременной регистрацией нейронной активности. Использовались методы 3D pose-estimation и регистрации скелета и суставов. На выходе - данные для планирования движений и нейронная активность в сенсомоторном стриатуме и моторной коре. Модель обратной динамики (которая планирует, какие мышечные движения требуются, чтобы крыса переместилась из одной точки в другую) показала лучшую предсказательную способность, чем альтернативные модели прямой динамики и последовательного прогнозирования.
Возможности открываются поистине впечатляющие: робототехника, реабилитация и протезирование, "мозг-компьютер" интерфейсы (BCI), моделирование и симуляция поведения, и вообще чуть продвинуться в понимании нейронных механизмов, лежащих в основе обучения, памяти и координации движений.
Статья Nature
Github
Data
Биологический мозг — (пока) непостижимо сложный процессор, который, например, без труда контролирует каждое движение, даже когда мы идём ночью на кухню за последним кусочком пиццы. В этот момент активны сенсомоторный стриатум и моторная кора, отвечающие за планирование и выполнение движений.
А что, если мы натренируем нейросеть, которая бы предсказывала движения какого-нибудь чертовски умного животного и генерировала активность нужных областей мозга? Будет ли соответствовать предсказание модели нейронной активности реальных животных при выполнении тех же действий? У ученых из Гарварда и DeepMind есть ответ – да, будет. Они создали виртуальную крысу, чтобы понять, как мозг контролирует движение. Оказалось, что эта цифровая крыса может предсказывать нейронную активность настоящих крыс лучше всего, что сейчас есть.
Сделали биомеханическую модель с учётом основных частей тела и суставов, позволяющих реалистично имитировать движения крысы и использовали симулятор MuJoCo для воспроизведения движений. Виртуальную крысу контролировала нейросеть, состоящая из персептронов и LSTM, натренированная на видео с одновременной регистрацией нейронной активности. Использовались методы 3D pose-estimation и регистрации скелета и суставов. На выходе - данные для планирования движений и нейронная активность в сенсомоторном стриатуме и моторной коре. Модель обратной динамики (которая планирует, какие мышечные движения требуются, чтобы крыса переместилась из одной точки в другую) показала лучшую предсказательную способность, чем альтернативные модели прямой динамики и последовательного прогнозирования.
Возможности открываются поистине впечатляющие: робототехника, реабилитация и протезирование, "мозг-компьютер" интерфейсы (BCI), моделирование и симуляция поведения, и вообще чуть продвинуться в понимании нейронных механизмов, лежащих в основе обучения, памяти и координации движений.
Статья Nature
Github
Data
Q&A с Винодом Хослой.
Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B)
Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun Microsystems, затем основал Khosla Ventures - одну из самых больших и серьезных венчурных фирм (занимается инвестициями в тех)
Q: Что происходит с нынешней волной ИИ?
Нынешняя волна ИИ позволяет создать огромную экономическую ценность, подобно тому, как iPhone позволил создать целый класс приложений, а Интернет - такие компании, как Amazon и Google. ИИ способен повлиять на такие отрасли, как продажи, медицина, юриспруденция и многие другие. Подобно тому, как iPhone произвел революцию в сфере мобильных приложений, а Интернет породил гигантов электронной коммерции, ИИ способен изменить (и прирастить) значительную часть экономики. В ближайшие годы торговые представители, врачи, юристы и профессионалы во многих других сферах смогут дополнить или даже заменить свои функции решениями на базе ИИ.
Q: Как в сфере ИИ проходит гонка между компаниями и стартапами, и что вы можете посоветовать?
У инкумбентов всегда есть большие преимущества, в то время как стартапы отлично справляются с задачей взлома роста (growth hacking).
Такие известные компании, как Google, имеют большие карманы и могут позволить себе эксперименты и неудачи, что дает им преимущество в гонке ИИ.
Однако стартапы могут уравнять шансы, найдя инновационные способы обучения моделей ИИ с использованием значительно меньшего количества данных, например, с помощью нейросимволических методов, сочетающих нейронные сети с символьными рассуждениями. Такой подход может помочь стартапам конкурировать, не требуя огромных вычислительных ресурсов, которыми обладают ведущие компании.
Часть 2.
Продолжение следует
Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B)
Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun Microsystems, затем основал Khosla Ventures - одну из самых больших и серьезных венчурных фирм (занимается инвестициями в тех)
Q: Что происходит с нынешней волной ИИ?
Нынешняя волна ИИ позволяет создать огромную экономическую ценность, подобно тому, как iPhone позволил создать целый класс приложений, а Интернет - такие компании, как Amazon и Google. ИИ способен повлиять на такие отрасли, как продажи, медицина, юриспруденция и многие другие. Подобно тому, как iPhone произвел революцию в сфере мобильных приложений, а Интернет породил гигантов электронной коммерции, ИИ способен изменить (и прирастить) значительную часть экономики. В ближайшие годы торговые представители, врачи, юристы и профессионалы во многих других сферах смогут дополнить или даже заменить свои функции решениями на базе ИИ.
Q: Как в сфере ИИ проходит гонка между компаниями и стартапами, и что вы можете посоветовать?
У инкумбентов всегда есть большие преимущества, в то время как стартапы отлично справляются с задачей взлома роста (growth hacking).
Такие известные компании, как Google, имеют большие карманы и могут позволить себе эксперименты и неудачи, что дает им преимущество в гонке ИИ.
Однако стартапы могут уравнять шансы, найдя инновационные способы обучения моделей ИИ с использованием значительно меньшего количества данных, например, с помощью нейросимволических методов, сочетающих нейронные сети с символьными рассуждениями. Такой подход может помочь стартапам конкурировать, не требуя огромных вычислительных ресурсов, которыми обладают ведущие компании.
Часть 2.
Продолжение следует
AI Для Всех
Q&A с Винодом Хослой. Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B) Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun…
Q&A с Винодом Хослой. Часть 2.
Q: Многие стартапы пытаются оставить юристов без работы. Произойдет ли это?
Да, это произойдет. Стартапы должны сосредоточиться на удовлетворении конкретных потребностей юридической отрасли. Юридическая профессия созрела для разрушения, и решения, основанные на искусственном интеллекте, скорее всего, автоматизируют многие задачи, которые сейчас выполняют юристы. Однако вместо того чтобы пытаться полностью заменить юристов, стартапам следует сосредоточиться на решении конкретных проблем и устранении неэффективности правовой системы. Нацелившись на нишевые области и разработав специализированные инструменты ИИ, стартапы смогут занять достойное место в развивающемся юридическом ландшафте.
Q: Что вы думаете о сфере потребительских носимых устройств (Rabbit, Meta и т. д.)? Будет ли он развиваться, и подходит ли он больше для стартапов или крупных компаний?
Носимые устройства, вероятно, будут играть важную роль через 10 лет, особенно на некоторых рынках, таких как игры и работа. Широкое распространение среди потребителей маловероятно, так как это очень сложно.
Многообещающими являются специализированные корпоративные приложения или что-нибудь настолько специфичное, как Устройство для лечения СДВГ. Пользовательский опыт имеет решающее значение. Я в восторге от голографических (плоских 3D) дисплеев, которые могут создавать социальное взаимодействие, а не изолировать людей друг от друга.
Несмотря на то что потребительские носимые устройства могут не получить широкого распространения, в отдельных вертикалях существуют значительные возможности. Игровые и корпоративные приложения, например, направленные на концентрацию внимания и повышение производительности, - вот области, где носимые устройства скорее всего будут процветать.
Стартапы могут иметь преимущество в создании специализированных решений для этих рынков, поскольку они могут быстро развиваться и вносить изменения на основе отзывов пользователей. Кроме того, большой потенциал имеют такие инновации, которые обеспечивают совместный опыт и социальное взаимодействие. Как всегда, ключевым фактором успеха в сфере носимых устройств будет обеспечение привлекательного пользовательского опыта.
Хороший тест на то, будет ли устройство массовым - представьте себе бабушку в Тайланде. Если она пользуется вашим устройством - значит вы придумали что-то по настоящему массовое.
Q: Какие области финтеха вызывают у вас интерес?
Финтех - это обширная и быстро развивающаяся область с множеством интересных возможностей. Платежные системы, такие как индийская UPI, демонстрируют, как технологии могут значительно снизить стоимость транзакций и расширить охват населения финансовыми услугами.
Блокчейн способен оптимизировать процессы и повысить безопасность в некоторых приложениях. Финансирование малого бизнеса и кредитование клиентов - области, созревшие для разрушения, поскольку традиционные модели зачастую медленны, громоздки и не отвечают потребностям современных предприятий и потребителей. Даже такие фундаментальные методы, как ведение бухгалтерского учета с двойной записью, возможно, требуют пересмотра в цифровую эпоху. Основная проблема заключается в том, чтобы сориентироваться в сложном нормативном ландшафте и преодолеть сопротивление укоренившихся интересов, которые стремятся сохранить статус-кво.
Q: Как вы размышляете и учитесь?
Непрерывное обучение необходимо, независимо от возраста. Я обнаружил, что чтение научных работ и участие в дискуссиях с другими людьми - это мощный способ расширить свои знания и опровергнуть свои предположения. Активно изучая различные точки зрения и приветствуя конструктивные разногласия, я могу усовершенствовать свои идеи и глубже понять сложные темы. Очень важно оставаться скромным и непредвзятым, поскольку те, кто считает, что уже все знает, часто учатся меньше всего. Мысль о том, что нужно учиться всю жизнь и быть готовым к тому, что ваши взгляды будут оспариваться, - это ключ к личностному и интеллектуальному росту.
Часть 1.
Q: Многие стартапы пытаются оставить юристов без работы. Произойдет ли это?
Да, это произойдет. Стартапы должны сосредоточиться на удовлетворении конкретных потребностей юридической отрасли. Юридическая профессия созрела для разрушения, и решения, основанные на искусственном интеллекте, скорее всего, автоматизируют многие задачи, которые сейчас выполняют юристы. Однако вместо того чтобы пытаться полностью заменить юристов, стартапам следует сосредоточиться на решении конкретных проблем и устранении неэффективности правовой системы. Нацелившись на нишевые области и разработав специализированные инструменты ИИ, стартапы смогут занять достойное место в развивающемся юридическом ландшафте.
Q: Что вы думаете о сфере потребительских носимых устройств (Rabbit, Meta и т. д.)? Будет ли он развиваться, и подходит ли он больше для стартапов или крупных компаний?
Носимые устройства, вероятно, будут играть важную роль через 10 лет, особенно на некоторых рынках, таких как игры и работа. Широкое распространение среди потребителей маловероятно, так как это очень сложно.
Многообещающими являются специализированные корпоративные приложения или что-нибудь настолько специфичное, как Устройство для лечения СДВГ. Пользовательский опыт имеет решающее значение. Я в восторге от голографических (плоских 3D) дисплеев, которые могут создавать социальное взаимодействие, а не изолировать людей друг от друга.
Несмотря на то что потребительские носимые устройства могут не получить широкого распространения, в отдельных вертикалях существуют значительные возможности. Игровые и корпоративные приложения, например, направленные на концентрацию внимания и повышение производительности, - вот области, где носимые устройства скорее всего будут процветать.
Стартапы могут иметь преимущество в создании специализированных решений для этих рынков, поскольку они могут быстро развиваться и вносить изменения на основе отзывов пользователей. Кроме того, большой потенциал имеют такие инновации, которые обеспечивают совместный опыт и социальное взаимодействие. Как всегда, ключевым фактором успеха в сфере носимых устройств будет обеспечение привлекательного пользовательского опыта.
Хороший тест на то, будет ли устройство массовым - представьте себе бабушку в Тайланде. Если она пользуется вашим устройством - значит вы придумали что-то по настоящему массовое.
Q: Какие области финтеха вызывают у вас интерес?
Финтех - это обширная и быстро развивающаяся область с множеством интересных возможностей. Платежные системы, такие как индийская UPI, демонстрируют, как технологии могут значительно снизить стоимость транзакций и расширить охват населения финансовыми услугами.
Блокчейн способен оптимизировать процессы и повысить безопасность в некоторых приложениях. Финансирование малого бизнеса и кредитование клиентов - области, созревшие для разрушения, поскольку традиционные модели зачастую медленны, громоздки и не отвечают потребностям современных предприятий и потребителей. Даже такие фундаментальные методы, как ведение бухгалтерского учета с двойной записью, возможно, требуют пересмотра в цифровую эпоху. Основная проблема заключается в том, чтобы сориентироваться в сложном нормативном ландшафте и преодолеть сопротивление укоренившихся интересов, которые стремятся сохранить статус-кво.
Q: Как вы размышляете и учитесь?
Непрерывное обучение необходимо, независимо от возраста. Я обнаружил, что чтение научных работ и участие в дискуссиях с другими людьми - это мощный способ расширить свои знания и опровергнуть свои предположения. Активно изучая различные точки зрения и приветствуя конструктивные разногласия, я могу усовершенствовать свои идеи и глубже понять сложные темы. Очень важно оставаться скромным и непредвзятым, поскольку те, кто считает, что уже все знает, часто учатся меньше всего. Мысль о том, что нужно учиться всю жизнь и быть готовым к тому, что ваши взгляды будут оспариваться, - это ключ к личностному и интеллектуальному росту.
Часть 1.
Telegram
AI Для Всех
Q&A с Винодом Хослой.
Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B)
Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun…
Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B)
Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun…
This media is not supported in your browser
VIEW IN TELEGRAM
Способны ли LLMs изобретать лучшие способы для обучения себя же?
Традиционно развитие моделей глубокого обучения проходило методом проб и ошибок, базируясь на опыте исследователей и их теоретических знаниях. В последние несколько лет LLM прокачались до такого уровня, что могут сами генерировать гипотезы и код.
Ребята из Sakana.ai задались вопросом: «Можем ли мы использовать ИИ для автоматизации исследований и новых открытий в домене ИИ?»
Ранее в этом году команда разработала инновационный подход к созданию базовых моделей, смешивая существующие модели с использованием эволюционных алгоритмов (привет природе!)
Вдохновлённые результатами, исследователи пошли дальше и решили ответить на следующий вопрос: "Способны ли LLMs изобретать лучшие способы для обучения себя же?"
На данном этапе команда предложила новый процесс с использованием LLMs для синтеза новых алгоритмов оптимизации предпочтений. Это помогло обнаружить множественные высокоэффективные функции потерь (loss function) при оптимизации предпочтений. Одна из таких функций потерь получила имя Discovered Preference Optimization (DiscoPOP) 🪩. Эта новая функция работает намного лучше чем Direct Preference Optimization (DOP) и другие релевантные методы. Исследователи проанализировали работу DiscoPOP и обнаружили удивительные и контринтуитивные особенности.
Команда делает открытым исходный код для не только затюненых чекпойнтов модели и обнаруженных лосс функций, но и для самого процесса поиска. 🔍 🥳
Исследователи сотрудничали с Оксфордским и Кембриджским университетами в работе над данным проектом.
Добро пожаловать в киберпанк! 🤖
👨💻 Блог
💻 GitHub
🤗 HuggingFace
Традиционно развитие моделей глубокого обучения проходило методом проб и ошибок, базируясь на опыте исследователей и их теоретических знаниях. В последние несколько лет LLM прокачались до такого уровня, что могут сами генерировать гипотезы и код.
Ребята из Sakana.ai задались вопросом: «Можем ли мы использовать ИИ для автоматизации исследований и новых открытий в домене ИИ?»
Ранее в этом году команда разработала инновационный подход к созданию базовых моделей, смешивая существующие модели с использованием эволюционных алгоритмов (привет природе!)
Вдохновлённые результатами, исследователи пошли дальше и решили ответить на следующий вопрос: "Способны ли LLMs изобретать лучшие способы для обучения себя же?"
На данном этапе команда предложила новый процесс с использованием LLMs для синтеза новых алгоритмов оптимизации предпочтений. Это помогло обнаружить множественные высокоэффективные функции потерь (loss function) при оптимизации предпочтений. Одна из таких функций потерь получила имя Discovered Preference Optimization (DiscoPOP) 🪩. Эта новая функция работает намного лучше чем Direct Preference Optimization (DOP) и другие релевантные методы. Исследователи проанализировали работу DiscoPOP и обнаружили удивительные и контринтуитивные особенности.
Команда делает открытым исходный код для не только затюненых чекпойнтов модели и обнаруженных лосс функций, но и для самого процесса поиска. 🔍 🥳
Исследователи сотрудничали с Оксфордским и Кембриджским университетами в работе над данным проектом.
Добро пожаловать в киберпанк! 🤖
💻 GitHub
🤗 HuggingFace
Please open Telegram to view this post
VIEW IN TELEGRAM
06/19/24 AI and Chill на Russian River
Я знаю что меня читает какое то количество людей в Bay Area. Оказывается, следующая среда (19 июня) - это выходной. На улице прекрасная погода, в связи с чем предлагаю встретится почилить на речке.
В программе - купаться, загорать и обсуждать свежайшие события в мире ИИ.
📍 Локация
☺️ RSVP
Пожалуйста кликните RSVP, что бы понимать кто приедет
Я знаю что меня читает какое то количество людей в Bay Area. Оказывается, следующая среда (19 июня) - это выходной. На улице прекрасная погода, в связи с чем предлагаю встретится почилить на речке.
В программе - купаться, загорать и обсуждать свежайшие события в мире ИИ.
📍 Локация
☺️ RSVP
Пожалуйста кликните RSVP, что бы понимать кто приедет
Forwarded from DL in NLP (Vlad Lialin)
Тут знакомая DL-школа DeepSchool, про которых я уже писал раньше ищет преподавателей на курс по LLM с опытом работы в индустрии
Я когда-то сам вел лекции и если вы хотите заполнить пробелы в своих знаниях и систематизировать их, то преподавание — отличный вариант, плюс есть возможность пообщаться с другими препами и узнать их мнения / заполнить пробелы в каких-то очень узких областях
Что ребята дают:
— доступ ко всем курсам школы: можно приходить на лекции, задавать вопросы, сдавать домашки и получать ревью
— оплата за подготовку материалов
— оплата за лекции и ревью заданий
— редактор поможет с текстами
— а дизайнер нарисует красивую презентацию
Что ребята ждут:
— опыт в DL-индустрии/ресёрче от 3 лет
— опыт работы с LLM от 1 года
Если вы работаете с LLM, хотите пообщаться с другими практикующими инженерами, вместе поработать и перенять опыт, заполните, пожалуйста, эту форму
Я когда-то сам вел лекции и если вы хотите заполнить пробелы в своих знаниях и систематизировать их, то преподавание — отличный вариант, плюс есть возможность пообщаться с другими препами и узнать их мнения / заполнить пробелы в каких-то очень узких областях
Что ребята дают:
— доступ ко всем курсам школы: можно приходить на лекции, задавать вопросы, сдавать домашки и получать ревью
— оплата за подготовку материалов
— оплата за лекции и ревью заданий
— редактор поможет с текстами
— а дизайнер нарисует красивую презентацию
Что ребята ждут:
— опыт в DL-индустрии/ресёрче от 3 лет
— опыт работы с LLM от 1 года
Если вы работаете с LLM, хотите пообщаться с другими практикующими инженерами, вместе поработать и перенять опыт, заполните, пожалуйста, эту форму