Поправки к скандальному законопроекту SB 1047 (про регулирование обучения моделей в Калифорнии)
Как многие из вас помнят, я живу в Сан Франциско. И это опредленно ИИ столица мира. На днях мне довелось сходить на городское собрание (town hall) с Сенатором Вайнером - автором скандального законопроекта SB 1047 (про регулирование обучения моделей в Калифорнии).
Несколько месяцев назад сенатор Скотт Вайнер представил законопроект SB 1047, целью которого является регулирование разработки и использования передовых моделей искусственного интеллекта. В первоначальной версии законопроекта по сути предлагалось ввести лицензирование всех моделей ИИ (и их производных, таких как файн-тюнинг), превышающих определенный порог вычислительной мощности. Очевидно, что в таком виде законопроект уничтожил бы все стартапы в сфере ИИ в штате, а следовательно, и во всем мире.
Однако похоже, что за последнее время законопроект претерпел значительные изменения. Вот несколько ключевых моментов, которые прозвучали на встрече:
- Критерий размера модели (в твиттере шутили, что раньше по похожим соображениям США регулировал экспорт Play Station 2) будет исключен из законопроекта. Вместо этого будут введены новые метрики, например, объем инвестиций в обучение модели не менее 100 миллионов долларов (кстати не плохой incentive для того что бы укладывать больше вычислений в меньшую стоимость).
Как SB 1047 повлияет на разработчиков?
Если вы создадите нечто, что впоследствии будет использовано во вред кому-либо, на вас могут подать в суд и втянуть в судебную тяжбу. Однако такая ситуация существует в Калифорнии уже давно.
Если вы компания, подпадающая под действие законопроекта (сенатор пошутил: если вы буквально Сундар Пичаи, гендиректор Google), вы должны:
- Провести тестирование на наличие опасных возможностей
- Разработать план по борьбе с этими экстремальными рисками
- Внедрить разумные меры безопасности перед развертыванием модели
- Поддерживать уровень информационной безопасности, соразмерный этим рискам
- Убедиться, что вы можете отключить модели, находящиеся в вашем распоряжении
Цель законопроекта - управление рисками, их снижение и минимизация. В дальнейшем будет еще 4 возможности внести поправки в законопроект.
Вопросы и ответы:
- С какими сообществами открытого исходного кода вы общались? Например с разработчиками открытого ПО из Amazon никто не разговаривал.
Сенатор не смог назвать ни одного сообщества, с которым они консультировались.
- Как вы предотвратите торможение инноваций в сфере ИИ (как GDPR сделал с Европой)?
Это не GDPR. Этот законопроект гласит: если вы создаете огромную модель ИИ, проведите оценку безопасности и управляйте рисками.
- Ультралевые считают, что законопроект недостаточно строгий. Они беспокоятся, что защита информаторов (стукачей, которые будут репортить те самые экстримальные риски) в нем слишком слабая. Как осведомители могут чувствовать себя в безопасности?
Защита информаторов предусмотрена в законопроекте.
- Почему было убрано определение оценки моделей по бенчмаркам?
Правительству сложно успевать за технологическим развитием. Скоро и меньшие модели смогут конкурировать по этим бенчмаркам, и тогда законопроект должен будет регулировать также и стартапы. Но это не является целью. Стартапы должны чувствовать себя спокойно.
В идеале должен быть орган, обновляющий бенчмарки, но это не предусмотрено законопроектом.
- Как определить, что модели проявляют опасные возможности? На что способны такие модели?
"Модели облегчают причинение существенного вреда". "Действительно широкие общественные риски".
1 категория: если модель облегчает создание биологического/химического оружия.
2 категория: автономная преступность на сумму более 500 млн долларов.
- Что происходит, когда модель с открытым исходным кодом работает так же хорошо как проприетарная модель? Может ли Meta выпустить модель на 400 млрд параметров в открытый доступ и ожидать, что на нее не подадут в суд?
Eсли Meta заявляет, что тестирует модели, нет оснований им не верить. В остальном эти проблемы пока не решены. Цель - стимулировать безопасность.
Как многие из вас помнят, я живу в Сан Франциско. И это опредленно ИИ столица мира. На днях мне довелось сходить на городское собрание (town hall) с Сенатором Вайнером - автором скандального законопроекта SB 1047 (про регулирование обучения моделей в Калифорнии).
Несколько месяцев назад сенатор Скотт Вайнер представил законопроект SB 1047, целью которого является регулирование разработки и использования передовых моделей искусственного интеллекта. В первоначальной версии законопроекта по сути предлагалось ввести лицензирование всех моделей ИИ (и их производных, таких как файн-тюнинг), превышающих определенный порог вычислительной мощности. Очевидно, что в таком виде законопроект уничтожил бы все стартапы в сфере ИИ в штате, а следовательно, и во всем мире.
Однако похоже, что за последнее время законопроект претерпел значительные изменения. Вот несколько ключевых моментов, которые прозвучали на встрече:
- Критерий размера модели (в твиттере шутили, что раньше по похожим соображениям США регулировал экспорт Play Station 2) будет исключен из законопроекта. Вместо этого будут введены новые метрики, например, объем инвестиций в обучение модели не менее 100 миллионов долларов (кстати не плохой incentive для того что бы укладывать больше вычислений в меньшую стоимость).
Как SB 1047 повлияет на разработчиков?
Если вы создадите нечто, что впоследствии будет использовано во вред кому-либо, на вас могут подать в суд и втянуть в судебную тяжбу. Однако такая ситуация существует в Калифорнии уже давно.
Если вы компания, подпадающая под действие законопроекта (сенатор пошутил: если вы буквально Сундар Пичаи, гендиректор Google), вы должны:
- Провести тестирование на наличие опасных возможностей
- Разработать план по борьбе с этими экстремальными рисками
- Внедрить разумные меры безопасности перед развертыванием модели
- Поддерживать уровень информационной безопасности, соразмерный этим рискам
- Убедиться, что вы можете отключить модели, находящиеся в вашем распоряжении
Цель законопроекта - управление рисками, их снижение и минимизация. В дальнейшем будет еще 4 возможности внести поправки в законопроект.
Вопросы и ответы:
- С какими сообществами открытого исходного кода вы общались? Например с разработчиками открытого ПО из Amazon никто не разговаривал.
Сенатор не смог назвать ни одного сообщества, с которым они консультировались.
- Как вы предотвратите торможение инноваций в сфере ИИ (как GDPR сделал с Европой)?
Это не GDPR. Этот законопроект гласит: если вы создаете огромную модель ИИ, проведите оценку безопасности и управляйте рисками.
- Ультралевые считают, что законопроект недостаточно строгий. Они беспокоятся, что защита информаторов (стукачей, которые будут репортить те самые экстримальные риски) в нем слишком слабая. Как осведомители могут чувствовать себя в безопасности?
Защита информаторов предусмотрена в законопроекте.
- Почему было убрано определение оценки моделей по бенчмаркам?
Правительству сложно успевать за технологическим развитием. Скоро и меньшие модели смогут конкурировать по этим бенчмаркам, и тогда законопроект должен будет регулировать также и стартапы. Но это не является целью. Стартапы должны чувствовать себя спокойно.
В идеале должен быть орган, обновляющий бенчмарки, но это не предусмотрено законопроектом.
- Как определить, что модели проявляют опасные возможности? На что способны такие модели?
"Модели облегчают причинение существенного вреда". "Действительно широкие общественные риски".
1 категория: если модель облегчает создание биологического/химического оружия.
2 категория: автономная преступность на сумму более 500 млн долларов.
- Что происходит, когда модель с открытым исходным кодом работает так же хорошо как проприетарная модель? Может ли Meta выпустить модель на 400 млрд параметров в открытый доступ и ожидать, что на нее не подадут в суд?
Eсли Meta заявляет, что тестирует модели, нет оснований им не верить. В остальном эти проблемы пока не решены. Цель - стимулировать безопасность.
Судя по рекламе, уже на следующей неделе, нас наконец-то ждет обновление Сири (или что-то типа такого).
Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы действия, следовательно агентные фрэймворки.
А что может быть агентнее по-настоящему работающей Сири?
Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы действия, следовательно агентные фрэймворки.
А что может быть агентнее по-настоящему работающей Сири?
This media is not supported in your browser
VIEW IN TELEGRAM
Пэт проект - “Sandy”.
Привет, друзья!
Я тут недавно завел себе нового четвероногого друга - щенка золотистого ретривера! И теперь у меня пэт проект по DL (Dog Learning)! 🐶🧠
Каждый день - это новый челлендж и возможность прокачать свои навыки дрессировки. Прямо как в машинном обучении, только вместо нейросетей - 3х месячный щеночек!
Но, как и в любом ML проекте, без качественных данных никуда. Поэтому я активно ищу лучшие ресурсы для своего "датасета" по воспитанию щенка.
Впереди много работы по сбору данных и обучению моей персональной "нейросети". Но я полон энтузиазма применить свои навыки ML-инженера в этой новой области! 😄
А у вас, друзья, есть опыт в "Dog Learning"? Может посоветуете еще какие-то годные ресурсы для начинающих собаководов?
Накидайте пожалуйста в комменты список книг, фильмов и Youtube-каналов, которые, must-have для каждого начинающего собаковода.
Буду очень благодарен за советы и лайфхаки, которые облегчат мне этот интересный челлендж! 🙏
Привет, друзья!
Я тут недавно завел себе нового четвероногого друга - щенка золотистого ретривера! И теперь у меня пэт проект по DL (Dog Learning)! 🐶🧠
Каждый день - это новый челлендж и возможность прокачать свои навыки дрессировки. Прямо как в машинном обучении, только вместо нейросетей - 3х месячный щеночек!
Но, как и в любом ML проекте, без качественных данных никуда. Поэтому я активно ищу лучшие ресурсы для своего "датасета" по воспитанию щенка.
Впереди много работы по сбору данных и обучению моей персональной "нейросети". Но я полон энтузиазма применить свои навыки ML-инженера в этой новой области! 😄
А у вас, друзья, есть опыт в "Dog Learning"? Может посоветуете еще какие-то годные ресурсы для начинающих собаководов?
Накидайте пожалуйста в комменты список книг, фильмов и Youtube-каналов, которые, must-have для каждого начинающего собаковода.
Буду очень благодарен за советы и лайфхаки, которые облегчат мне этот интересный челлендж! 🙏
Если вы задумывались как выглядит будущее -> вероятнее всего вот так. Уютные дома на фоне Урбана, а мимо проносятся беспилотные Waymo.
Где-то там внизу копошиться ткмные полчища в Тендерлоине, и в то же время дамы и господа выгуливают своих собачек на велосипедах с колясками.
📍Alamo Square
Где-то там внизу копошиться ткмные полчища в Тендерлоине, и в то же время дамы и господа выгуливают своих собачек на велосипедах с колясками.
📍Alamo Square
AI Для Всех
Судя по рекламе, уже на следующей неделе, нас наконец-то ждет обновление Сири (или что-то типа такого). Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы…
Слово Агент не сказали ни разу, но AI у нас теперь Apple Intelegence =)
Media is too big
VIEW IN TELEGRAM
Биомеханика и ИИ: предсказание нейронной активности с помощью виртуальных грызунов
Биологический мозг — (пока) непостижимо сложный процессор, который, например, без труда контролирует каждое движение, даже когда мы идём ночью на кухню за последним кусочком пиццы. В этот момент активны сенсомоторный стриатум и моторная кора, отвечающие за планирование и выполнение движений.
А что, если мы натренируем нейросеть, которая бы предсказывала движения какого-нибудь чертовски умного животного и генерировала активность нужных областей мозга? Будет ли соответствовать предсказание модели нейронной активности реальных животных при выполнении тех же действий? У ученых из Гарварда и DeepMind есть ответ – да, будет. Они создали виртуальную крысу, чтобы понять, как мозг контролирует движение. Оказалось, что эта цифровая крыса может предсказывать нейронную активность настоящих крыс лучше всего, что сейчас есть.
Сделали биомеханическую модель с учётом основных частей тела и суставов, позволяющих реалистично имитировать движения крысы и использовали симулятор MuJoCo для воспроизведения движений. Виртуальную крысу контролировала нейросеть, состоящая из персептронов и LSTM, натренированная на видео с одновременной регистрацией нейронной активности. Использовались методы 3D pose-estimation и регистрации скелета и суставов. На выходе - данные для планирования движений и нейронная активность в сенсомоторном стриатуме и моторной коре. Модель обратной динамики (которая планирует, какие мышечные движения требуются, чтобы крыса переместилась из одной точки в другую) показала лучшую предсказательную способность, чем альтернативные модели прямой динамики и последовательного прогнозирования.
Возможности открываются поистине впечатляющие: робототехника, реабилитация и протезирование, "мозг-компьютер" интерфейсы (BCI), моделирование и симуляция поведения, и вообще чуть продвинуться в понимании нейронных механизмов, лежащих в основе обучения, памяти и координации движений.
Статья Nature
Github
Data
Биологический мозг — (пока) непостижимо сложный процессор, который, например, без труда контролирует каждое движение, даже когда мы идём ночью на кухню за последним кусочком пиццы. В этот момент активны сенсомоторный стриатум и моторная кора, отвечающие за планирование и выполнение движений.
А что, если мы натренируем нейросеть, которая бы предсказывала движения какого-нибудь чертовски умного животного и генерировала активность нужных областей мозга? Будет ли соответствовать предсказание модели нейронной активности реальных животных при выполнении тех же действий? У ученых из Гарварда и DeepMind есть ответ – да, будет. Они создали виртуальную крысу, чтобы понять, как мозг контролирует движение. Оказалось, что эта цифровая крыса может предсказывать нейронную активность настоящих крыс лучше всего, что сейчас есть.
Сделали биомеханическую модель с учётом основных частей тела и суставов, позволяющих реалистично имитировать движения крысы и использовали симулятор MuJoCo для воспроизведения движений. Виртуальную крысу контролировала нейросеть, состоящая из персептронов и LSTM, натренированная на видео с одновременной регистрацией нейронной активности. Использовались методы 3D pose-estimation и регистрации скелета и суставов. На выходе - данные для планирования движений и нейронная активность в сенсомоторном стриатуме и моторной коре. Модель обратной динамики (которая планирует, какие мышечные движения требуются, чтобы крыса переместилась из одной точки в другую) показала лучшую предсказательную способность, чем альтернативные модели прямой динамики и последовательного прогнозирования.
Возможности открываются поистине впечатляющие: робототехника, реабилитация и протезирование, "мозг-компьютер" интерфейсы (BCI), моделирование и симуляция поведения, и вообще чуть продвинуться в понимании нейронных механизмов, лежащих в основе обучения, памяти и координации движений.
Статья Nature
Github
Data
Q&A с Винодом Хослой.
Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B)
Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun Microsystems, затем основал Khosla Ventures - одну из самых больших и серьезных венчурных фирм (занимается инвестициями в тех)
Q: Что происходит с нынешней волной ИИ?
Нынешняя волна ИИ позволяет создать огромную экономическую ценность, подобно тому, как iPhone позволил создать целый класс приложений, а Интернет - такие компании, как Amazon и Google. ИИ способен повлиять на такие отрасли, как продажи, медицина, юриспруденция и многие другие. Подобно тому, как iPhone произвел революцию в сфере мобильных приложений, а Интернет породил гигантов электронной коммерции, ИИ способен изменить (и прирастить) значительную часть экономики. В ближайшие годы торговые представители, врачи, юристы и профессионалы во многих других сферах смогут дополнить или даже заменить свои функции решениями на базе ИИ.
Q: Как в сфере ИИ проходит гонка между компаниями и стартапами, и что вы можете посоветовать?
У инкумбентов всегда есть большие преимущества, в то время как стартапы отлично справляются с задачей взлома роста (growth hacking).
Такие известные компании, как Google, имеют большие карманы и могут позволить себе эксперименты и неудачи, что дает им преимущество в гонке ИИ.
Однако стартапы могут уравнять шансы, найдя инновационные способы обучения моделей ИИ с использованием значительно меньшего количества данных, например, с помощью нейросимволических методов, сочетающих нейронные сети с символьными рассуждениями. Такой подход может помочь стартапам конкурировать, не требуя огромных вычислительных ресурсов, которыми обладают ведущие компании.
Часть 2.
Продолжение следует
Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B)
Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun Microsystems, затем основал Khosla Ventures - одну из самых больших и серьезных венчурных фирм (занимается инвестициями в тех)
Q: Что происходит с нынешней волной ИИ?
Нынешняя волна ИИ позволяет создать огромную экономическую ценность, подобно тому, как iPhone позволил создать целый класс приложений, а Интернет - такие компании, как Amazon и Google. ИИ способен повлиять на такие отрасли, как продажи, медицина, юриспруденция и многие другие. Подобно тому, как iPhone произвел революцию в сфере мобильных приложений, а Интернет породил гигантов электронной коммерции, ИИ способен изменить (и прирастить) значительную часть экономики. В ближайшие годы торговые представители, врачи, юристы и профессионалы во многих других сферах смогут дополнить или даже заменить свои функции решениями на базе ИИ.
Q: Как в сфере ИИ проходит гонка между компаниями и стартапами, и что вы можете посоветовать?
У инкумбентов всегда есть большие преимущества, в то время как стартапы отлично справляются с задачей взлома роста (growth hacking).
Такие известные компании, как Google, имеют большие карманы и могут позволить себе эксперименты и неудачи, что дает им преимущество в гонке ИИ.
Однако стартапы могут уравнять шансы, найдя инновационные способы обучения моделей ИИ с использованием значительно меньшего количества данных, например, с помощью нейросимволических методов, сочетающих нейронные сети с символьными рассуждениями. Такой подход может помочь стартапам конкурировать, не требуя огромных вычислительных ресурсов, которыми обладают ведущие компании.
Часть 2.
Продолжение следует
AI Для Всех
Q&A с Винодом Хослой. Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B) Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun…
Q&A с Винодом Хослой. Часть 2.
Q: Многие стартапы пытаются оставить юристов без работы. Произойдет ли это?
Да, это произойдет. Стартапы должны сосредоточиться на удовлетворении конкретных потребностей юридической отрасли. Юридическая профессия созрела для разрушения, и решения, основанные на искусственном интеллекте, скорее всего, автоматизируют многие задачи, которые сейчас выполняют юристы. Однако вместо того чтобы пытаться полностью заменить юристов, стартапам следует сосредоточиться на решении конкретных проблем и устранении неэффективности правовой системы. Нацелившись на нишевые области и разработав специализированные инструменты ИИ, стартапы смогут занять достойное место в развивающемся юридическом ландшафте.
Q: Что вы думаете о сфере потребительских носимых устройств (Rabbit, Meta и т. д.)? Будет ли он развиваться, и подходит ли он больше для стартапов или крупных компаний?
Носимые устройства, вероятно, будут играть важную роль через 10 лет, особенно на некоторых рынках, таких как игры и работа. Широкое распространение среди потребителей маловероятно, так как это очень сложно.
Многообещающими являются специализированные корпоративные приложения или что-нибудь настолько специфичное, как Устройство для лечения СДВГ. Пользовательский опыт имеет решающее значение. Я в восторге от голографических (плоских 3D) дисплеев, которые могут создавать социальное взаимодействие, а не изолировать людей друг от друга.
Несмотря на то что потребительские носимые устройства могут не получить широкого распространения, в отдельных вертикалях существуют значительные возможности. Игровые и корпоративные приложения, например, направленные на концентрацию внимания и повышение производительности, - вот области, где носимые устройства скорее всего будут процветать.
Стартапы могут иметь преимущество в создании специализированных решений для этих рынков, поскольку они могут быстро развиваться и вносить изменения на основе отзывов пользователей. Кроме того, большой потенциал имеют такие инновации, которые обеспечивают совместный опыт и социальное взаимодействие. Как всегда, ключевым фактором успеха в сфере носимых устройств будет обеспечение привлекательного пользовательского опыта.
Хороший тест на то, будет ли устройство массовым - представьте себе бабушку в Тайланде. Если она пользуется вашим устройством - значит вы придумали что-то по настоящему массовое.
Q: Какие области финтеха вызывают у вас интерес?
Финтех - это обширная и быстро развивающаяся область с множеством интересных возможностей. Платежные системы, такие как индийская UPI, демонстрируют, как технологии могут значительно снизить стоимость транзакций и расширить охват населения финансовыми услугами.
Блокчейн способен оптимизировать процессы и повысить безопасность в некоторых приложениях. Финансирование малого бизнеса и кредитование клиентов - области, созревшие для разрушения, поскольку традиционные модели зачастую медленны, громоздки и не отвечают потребностям современных предприятий и потребителей. Даже такие фундаментальные методы, как ведение бухгалтерского учета с двойной записью, возможно, требуют пересмотра в цифровую эпоху. Основная проблема заключается в том, чтобы сориентироваться в сложном нормативном ландшафте и преодолеть сопротивление укоренившихся интересов, которые стремятся сохранить статус-кво.
Q: Как вы размышляете и учитесь?
Непрерывное обучение необходимо, независимо от возраста. Я обнаружил, что чтение научных работ и участие в дискуссиях с другими людьми - это мощный способ расширить свои знания и опровергнуть свои предположения. Активно изучая различные точки зрения и приветствуя конструктивные разногласия, я могу усовершенствовать свои идеи и глубже понять сложные темы. Очень важно оставаться скромным и непредвзятым, поскольку те, кто считает, что уже все знает, часто учатся меньше всего. Мысль о том, что нужно учиться всю жизнь и быть готовым к тому, что ваши взгляды будут оспариваться, - это ключ к личностному и интеллектуальному росту.
Часть 1.
Q: Многие стартапы пытаются оставить юристов без работы. Произойдет ли это?
Да, это произойдет. Стартапы должны сосредоточиться на удовлетворении конкретных потребностей юридической отрасли. Юридическая профессия созрела для разрушения, и решения, основанные на искусственном интеллекте, скорее всего, автоматизируют многие задачи, которые сейчас выполняют юристы. Однако вместо того чтобы пытаться полностью заменить юристов, стартапам следует сосредоточиться на решении конкретных проблем и устранении неэффективности правовой системы. Нацелившись на нишевые области и разработав специализированные инструменты ИИ, стартапы смогут занять достойное место в развивающемся юридическом ландшафте.
Q: Что вы думаете о сфере потребительских носимых устройств (Rabbit, Meta и т. д.)? Будет ли он развиваться, и подходит ли он больше для стартапов или крупных компаний?
Носимые устройства, вероятно, будут играть важную роль через 10 лет, особенно на некоторых рынках, таких как игры и работа. Широкое распространение среди потребителей маловероятно, так как это очень сложно.
Многообещающими являются специализированные корпоративные приложения или что-нибудь настолько специфичное, как Устройство для лечения СДВГ. Пользовательский опыт имеет решающее значение. Я в восторге от голографических (плоских 3D) дисплеев, которые могут создавать социальное взаимодействие, а не изолировать людей друг от друга.
Несмотря на то что потребительские носимые устройства могут не получить широкого распространения, в отдельных вертикалях существуют значительные возможности. Игровые и корпоративные приложения, например, направленные на концентрацию внимания и повышение производительности, - вот области, где носимые устройства скорее всего будут процветать.
Стартапы могут иметь преимущество в создании специализированных решений для этих рынков, поскольку они могут быстро развиваться и вносить изменения на основе отзывов пользователей. Кроме того, большой потенциал имеют такие инновации, которые обеспечивают совместный опыт и социальное взаимодействие. Как всегда, ключевым фактором успеха в сфере носимых устройств будет обеспечение привлекательного пользовательского опыта.
Хороший тест на то, будет ли устройство массовым - представьте себе бабушку в Тайланде. Если она пользуется вашим устройством - значит вы придумали что-то по настоящему массовое.
Q: Какие области финтеха вызывают у вас интерес?
Финтех - это обширная и быстро развивающаяся область с множеством интересных возможностей. Платежные системы, такие как индийская UPI, демонстрируют, как технологии могут значительно снизить стоимость транзакций и расширить охват населения финансовыми услугами.
Блокчейн способен оптимизировать процессы и повысить безопасность в некоторых приложениях. Финансирование малого бизнеса и кредитование клиентов - области, созревшие для разрушения, поскольку традиционные модели зачастую медленны, громоздки и не отвечают потребностям современных предприятий и потребителей. Даже такие фундаментальные методы, как ведение бухгалтерского учета с двойной записью, возможно, требуют пересмотра в цифровую эпоху. Основная проблема заключается в том, чтобы сориентироваться в сложном нормативном ландшафте и преодолеть сопротивление укоренившихся интересов, которые стремятся сохранить статус-кво.
Q: Как вы размышляете и учитесь?
Непрерывное обучение необходимо, независимо от возраста. Я обнаружил, что чтение научных работ и участие в дискуссиях с другими людьми - это мощный способ расширить свои знания и опровергнуть свои предположения. Активно изучая различные точки зрения и приветствуя конструктивные разногласия, я могу усовершенствовать свои идеи и глубже понять сложные темы. Очень важно оставаться скромным и непредвзятым, поскольку те, кто считает, что уже все знает, часто учатся меньше всего. Мысль о том, что нужно учиться всю жизнь и быть готовым к тому, что ваши взгляды будут оспариваться, - это ключ к личностному и интеллектуальному росту.
Часть 1.
Telegram
AI Для Всех
Q&A с Винодом Хослой.
Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B)
Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun…
Продолжаю пользоваться преимущиствами жизни в Bay Area - сходил на ужин с Винодом Хослой (у него состояние $7.5B)
Винод Хосла - индийско-американский бизнесмен-миллиардер и венчурный капиталист. Поднял свои миллиарды на компании Sun…
This media is not supported in your browser
VIEW IN TELEGRAM
Способны ли LLMs изобретать лучшие способы для обучения себя же?
Традиционно развитие моделей глубокого обучения проходило методом проб и ошибок, базируясь на опыте исследователей и их теоретических знаниях. В последние несколько лет LLM прокачались до такого уровня, что могут сами генерировать гипотезы и код.
Ребята из Sakana.ai задались вопросом: «Можем ли мы использовать ИИ для автоматизации исследований и новых открытий в домене ИИ?»
Ранее в этом году команда разработала инновационный подход к созданию базовых моделей, смешивая существующие модели с использованием эволюционных алгоритмов (привет природе!)
Вдохновлённые результатами, исследователи пошли дальше и решили ответить на следующий вопрос: "Способны ли LLMs изобретать лучшие способы для обучения себя же?"
На данном этапе команда предложила новый процесс с использованием LLMs для синтеза новых алгоритмов оптимизации предпочтений. Это помогло обнаружить множественные высокоэффективные функции потерь (loss function) при оптимизации предпочтений. Одна из таких функций потерь получила имя Discovered Preference Optimization (DiscoPOP) 🪩. Эта новая функция работает намного лучше чем Direct Preference Optimization (DOP) и другие релевантные методы. Исследователи проанализировали работу DiscoPOP и обнаружили удивительные и контринтуитивные особенности.
Команда делает открытым исходный код для не только затюненых чекпойнтов модели и обнаруженных лосс функций, но и для самого процесса поиска. 🔍 🥳
Исследователи сотрудничали с Оксфордским и Кембриджским университетами в работе над данным проектом.
Добро пожаловать в киберпанк! 🤖
👨💻 Блог
💻 GitHub
🤗 HuggingFace
Традиционно развитие моделей глубокого обучения проходило методом проб и ошибок, базируясь на опыте исследователей и их теоретических знаниях. В последние несколько лет LLM прокачались до такого уровня, что могут сами генерировать гипотезы и код.
Ребята из Sakana.ai задались вопросом: «Можем ли мы использовать ИИ для автоматизации исследований и новых открытий в домене ИИ?»
Ранее в этом году команда разработала инновационный подход к созданию базовых моделей, смешивая существующие модели с использованием эволюционных алгоритмов (привет природе!)
Вдохновлённые результатами, исследователи пошли дальше и решили ответить на следующий вопрос: "Способны ли LLMs изобретать лучшие способы для обучения себя же?"
На данном этапе команда предложила новый процесс с использованием LLMs для синтеза новых алгоритмов оптимизации предпочтений. Это помогло обнаружить множественные высокоэффективные функции потерь (loss function) при оптимизации предпочтений. Одна из таких функций потерь получила имя Discovered Preference Optimization (DiscoPOP) 🪩. Эта новая функция работает намного лучше чем Direct Preference Optimization (DOP) и другие релевантные методы. Исследователи проанализировали работу DiscoPOP и обнаружили удивительные и контринтуитивные особенности.
Команда делает открытым исходный код для не только затюненых чекпойнтов модели и обнаруженных лосс функций, но и для самого процесса поиска. 🔍 🥳
Исследователи сотрудничали с Оксфордским и Кембриджским университетами в работе над данным проектом.
Добро пожаловать в киберпанк! 🤖
💻 GitHub
🤗 HuggingFace
Please open Telegram to view this post
VIEW IN TELEGRAM
06/19/24 AI and Chill на Russian River
Я знаю что меня читает какое то количество людей в Bay Area. Оказывается, следующая среда (19 июня) - это выходной. На улице прекрасная погода, в связи с чем предлагаю встретится почилить на речке.
В программе - купаться, загорать и обсуждать свежайшие события в мире ИИ.
📍 Локация
☺️ RSVP
Пожалуйста кликните RSVP, что бы понимать кто приедет
Я знаю что меня читает какое то количество людей в Bay Area. Оказывается, следующая среда (19 июня) - это выходной. На улице прекрасная погода, в связи с чем предлагаю встретится почилить на речке.
В программе - купаться, загорать и обсуждать свежайшие события в мире ИИ.
📍 Локация
☺️ RSVP
Пожалуйста кликните RSVP, что бы понимать кто приедет
Forwarded from DL in NLP (Vlad Lialin)
Тут знакомая DL-школа DeepSchool, про которых я уже писал раньше ищет преподавателей на курс по LLM с опытом работы в индустрии
Я когда-то сам вел лекции и если вы хотите заполнить пробелы в своих знаниях и систематизировать их, то преподавание — отличный вариант, плюс есть возможность пообщаться с другими препами и узнать их мнения / заполнить пробелы в каких-то очень узких областях
Что ребята дают:
— доступ ко всем курсам школы: можно приходить на лекции, задавать вопросы, сдавать домашки и получать ревью
— оплата за подготовку материалов
— оплата за лекции и ревью заданий
— редактор поможет с текстами
— а дизайнер нарисует красивую презентацию
Что ребята ждут:
— опыт в DL-индустрии/ресёрче от 3 лет
— опыт работы с LLM от 1 года
Если вы работаете с LLM, хотите пообщаться с другими практикующими инженерами, вместе поработать и перенять опыт, заполните, пожалуйста, эту форму
Я когда-то сам вел лекции и если вы хотите заполнить пробелы в своих знаниях и систематизировать их, то преподавание — отличный вариант, плюс есть возможность пообщаться с другими препами и узнать их мнения / заполнить пробелы в каких-то очень узких областях
Что ребята дают:
— доступ ко всем курсам школы: можно приходить на лекции, задавать вопросы, сдавать домашки и получать ревью
— оплата за подготовку материалов
— оплата за лекции и ревью заданий
— редактор поможет с текстами
— а дизайнер нарисует красивую презентацию
Что ребята ждут:
— опыт в DL-индустрии/ресёрче от 3 лет
— опыт работы с LLM от 1 года
Если вы работаете с LLM, хотите пообщаться с другими практикующими инженерами, вместе поработать и перенять опыт, заполните, пожалуйста, эту форму
🚀 Новый уровень бесплатного ИИ: Claude 3.5 Sonnet от Anthropic
Друзья, в мире искусственного интеллекта произошло значимое событие! Компания Anthropic представила Claude 3.5 Sonnet - новейшую версию своей языковой модели.
Что нужно знать:
1️⃣ Повышенный интеллект: Claude 3.5 Sonnet превосходит конкурентов и предыдущие версии в тестах на рассуждение, знания и программирование.
2️⃣ Улучшенное понимание: Модель лучше схватывает нюансы, юмор и сложные инструкции.
3️⃣ Высокая скорость: Работает в 2 раза быстрее 3 модели.
4️⃣ Продвинутое зрение: Улучшенные возможности анализа изображений, графиков и диаграмм.
5️⃣ Новые функции: Появилась функция "Artifacts" для совместной работы с ИИ над проектами.
Claude 3.5 Sonnet доступен бесплатно на Claude.ai и в приложении Claude для iOS. Также его можно использовать через API Anthropic и облачные сервисы Amazon и Google.
📒Блог-пост
👨🎨Поговорить с Claude
Друзья, в мире искусственного интеллекта произошло значимое событие! Компания Anthropic представила Claude 3.5 Sonnet - новейшую версию своей языковой модели.
Что нужно знать:
1️⃣ Повышенный интеллект: Claude 3.5 Sonnet превосходит конкурентов и предыдущие версии в тестах на рассуждение, знания и программирование.
2️⃣ Улучшенное понимание: Модель лучше схватывает нюансы, юмор и сложные инструкции.
3️⃣ Высокая скорость: Работает в 2 раза быстрее 3 модели.
4️⃣ Продвинутое зрение: Улучшенные возможности анализа изображений, графиков и диаграмм.
5️⃣ Новые функции: Появилась функция "Artifacts" для совместной работы с ИИ над проектами.
Claude 3.5 Sonnet доступен бесплатно на Claude.ai и в приложении Claude для iOS. Также его можно использовать через API Anthropic и облачные сервисы Amazon и Google.
📒Блог-пост
👨🎨Поговорить с Claude
🍽️ Инсайты от Даниэля Гросса. Часть 1.
Введение и контекст
13 декабря 2023 года я посетил уникальный ужин, на котором присутствовал один из самых проницательных умов в мире технологий — Даниэль Гросс.
Кто такой Даниэль Гросс?
Даниэль Гросс — американский предприниматель и инвестор израильского происхождения, чье имя известно многим в Кремниевой долине. Его путь к успеху начался с создания поисковой системы для разработчиков, которую впоследствии приобрела компания Apple. С тех пор Гросс стал одним из самых влиятельных инвесторов в сфере технологий, особенно в области искусственного интеллекта.
Почему я об этом пишу сейчас? Потому что Даниель - кофаундер новой компании Ильи Суцкевера - SSI Inc. Помимо этого Даниэль работает вместе с Недом Фридманом, инвестируя во все подряд - от разработки кремниевых чипов до создания передовых графических процессоров (GPU). Кроме того, он руководит программой AI Grant (https://aigrant.org), направленной на поддержку инновационных проектов в сфере ИИ.
Почему мнение Гросса так важно?
Даниэль Гросс известен своим уникальным видением будущего технологий. Его прогнозы и идеи часто оказываются пророческими, а инвестиции — успешными. Поэтому возможность услышать его мысли о будущем ИИ и технологий в целом — это шанс заглянуть за горизонт сегодняшнего дня.
🔮 Взгляд в будущее: ИИ в 2024 году (напоминаю, что встреча была в декабре 2023 года)
Скачек от LLM к Агентам
Гросс выделил три ключевых вызова, которые необходимо преодолеть для перехода от крупных языковых моделей (LLM) к полноценным ИИ-агентам:
1. Улучшение алгоритмов поиска решений (например beam search)
2. Повышение качества данных
3. Решение проблемы нехватки данных
Оптимистичный прогноз Гросса заключается в том, что эти проблемы могут быть решены уже в течение 8-12 месяцев.
Текущее состояние ИИ: "Докембрийская эра"
Интересно сравнение Гросса текущего состояния языковых моделей с "докембрийской эрой". Это метафора подчеркивает, что мы находимся лишь в самом начале пути развития ИИ, и впереди нас ждут грандиозные эволюционные скачки в этой области.
💼 ИИ и экономика: На пороге революции
Даниэль Гросс провел интересную параллель между текущей ситуацией в ИИ и началом эры массового производства, которая когда-то изменила рынок труда (вспомним, как дешевая рабочая сила повлияла на Детройт). Это сравнение заставляет задуматься: как развитие ИИ повлияет на ценность человеческого интеллекта в экономике?
Универсальные удаленные работники и специализированные модели
Гросс предвидит появление в ближайшем будущем "универсальных удаленных работников" — ИИ-систем, способных выполнять базовые задачи, такие как создание простых веб-приложений или базовый графический дизайн. Однако он также подчеркивает, что в краткосрочной перспективе специализированные модели ИИ, особенно в сочетании с конкретными продуктами, будут превосходить общие языковые модели.
Экономические последствия
Развитие ИИ может серьезно трансформировать традиционные бизнес-модели. Гросс предполагает, что это может привести к исчезновению посредников и изменению ландшафта для таких сервисов, как Upwork и Zapier. Он также высказал интригующую мысль о том, что в скором времени ИИ сможет выполнять задачи, типичные для людей с IQ около 105.
Часть 2.
Введение и контекст
13 декабря 2023 года я посетил уникальный ужин, на котором присутствовал один из самых проницательных умов в мире технологий — Даниэль Гросс.
Кто такой Даниэль Гросс?
Даниэль Гросс — американский предприниматель и инвестор израильского происхождения, чье имя известно многим в Кремниевой долине. Его путь к успеху начался с создания поисковой системы для разработчиков, которую впоследствии приобрела компания Apple. С тех пор Гросс стал одним из самых влиятельных инвесторов в сфере технологий, особенно в области искусственного интеллекта.
Почему я об этом пишу сейчас? Потому что Даниель - кофаундер новой компании Ильи Суцкевера - SSI Inc. Помимо этого Даниэль работает вместе с Недом Фридманом, инвестируя во все подряд - от разработки кремниевых чипов до создания передовых графических процессоров (GPU). Кроме того, он руководит программой AI Grant (https://aigrant.org), направленной на поддержку инновационных проектов в сфере ИИ.
Почему мнение Гросса так важно?
Даниэль Гросс известен своим уникальным видением будущего технологий. Его прогнозы и идеи часто оказываются пророческими, а инвестиции — успешными. Поэтому возможность услышать его мысли о будущем ИИ и технологий в целом — это шанс заглянуть за горизонт сегодняшнего дня.
🔮 Взгляд в будущее: ИИ в 2024 году (напоминаю, что встреча была в декабре 2023 года)
Скачек от LLM к Агентам
Гросс выделил три ключевых вызова, которые необходимо преодолеть для перехода от крупных языковых моделей (LLM) к полноценным ИИ-агентам:
1. Улучшение алгоритмов поиска решений (например beam search)
2. Повышение качества данных
3. Решение проблемы нехватки данных
Оптимистичный прогноз Гросса заключается в том, что эти проблемы могут быть решены уже в течение 8-12 месяцев.
Текущее состояние ИИ: "Докембрийская эра"
Интересно сравнение Гросса текущего состояния языковых моделей с "докембрийской эрой". Это метафора подчеркивает, что мы находимся лишь в самом начале пути развития ИИ, и впереди нас ждут грандиозные эволюционные скачки в этой области.
💼 ИИ и экономика: На пороге революции
Даниэль Гросс провел интересную параллель между текущей ситуацией в ИИ и началом эры массового производства, которая когда-то изменила рынок труда (вспомним, как дешевая рабочая сила повлияла на Детройт). Это сравнение заставляет задуматься: как развитие ИИ повлияет на ценность человеческого интеллекта в экономике?
Универсальные удаленные работники и специализированные модели
Гросс предвидит появление в ближайшем будущем "универсальных удаленных работников" — ИИ-систем, способных выполнять базовые задачи, такие как создание простых веб-приложений или базовый графический дизайн. Однако он также подчеркивает, что в краткосрочной перспективе специализированные модели ИИ, особенно в сочетании с конкретными продуктами, будут превосходить общие языковые модели.
Экономические последствия
Развитие ИИ может серьезно трансформировать традиционные бизнес-модели. Гросс предполагает, что это может привести к исчезновению посредников и изменению ландшафта для таких сервисов, как Upwork и Zapier. Он также высказал интригующую мысль о том, что в скором времени ИИ сможет выполнять задачи, типичные для людей с IQ около 105.
Часть 2.
🍽️ Инсайты от Даниэля Гросса. Часть 2.
🖥️ Технологии и инвестиции: Взгляд изнутри
Специализированные vs. общие модели
Гросс рассуждал о потенциальном пересечении специализированных моделей ИИ и общих языковых моделей типа GPT.
Он отметил, что некоторые области (например, прогнозирование погоды) могут остаться вотчиной специализированных моделей.
Ключевые факторы развития ИИ
Интересный вопрос, поднятый Гроссом: что важнее для развития ИИ — вычислительная мощность (FLOPS) или объем обучающих данных (токены)?
Пользовательский опыт в ИИ
Гросс подчеркнул важность пользовательского опыта, особенно времени отклика (задержка), в приложениях с использованием ИИ.
Инвестиционная стратегия
Стратегия Гросса в инвестировании фокусируется на технологиях с потенциалом роста около 50% в год. Он также отметил, что склонен инвестировать в продукты, которые может лично использовать и которые его воодушевляют.
Будущее ИИ в различных сферах
🌐 ИИ меняет мир: От развлечений до науки
1. Гросс предвидит широкое распространение ИИ-генерируемого контента в сфере развлечений, включая телешоу, фильмы и контент для социальных медиа.
2. По мнению Гросса, такие научные конференции, как NeurIPS, могут существенно измениться под влиянием ИИ уже в ближайшие годы.
Робототехника и аппаратное обеспечение
Хотя рынок может быть готов к продвинутой робототехнике, Гросс считает, что необходимое аппаратное обеспечение еще не достигло нужного уровня развития.
Этические и социальные последствия
Гросс признает, что ИИ уже давно принимает решения за людей, и общество должно будет адаптироваться к расширяющимся возможностям моделей ИИ.
Советы для стартапов от Даниэля Гросса:
1. Будьте терпеливы при найме первых трех членов команды (ровно столько сейчас в SSI Inc)
2. Постоянно занимайтесь рекрутингом, как только у вас появится работающий продукт
3. Осознайте редкость и важность хорошего вкуса в бизнесе
Будущее авторского права
Гросс предсказывает эволюцию законов об авторском праве, причем крупные компании, вероятно, найдут легальные способы использования контента, сгенерированного ИИ.
Заключительные мысли
Ужин с Даниэлем Гроссом предоставил уникальную возможность заглянуть в будущее технологий и ИИ через призму одного из самых проницательных умов в этой области. Его идеи о развитии ИИ, экономических последствиях и советы стартапам дают пищу для размышлений и действий всем, кто связан с технологической сферой.
Я надеюсь что мысли с этого ужина, проливают хоть немного света на то, чем теперь будет заниматься Суцкевер и его новая компания.
Часть 1.
🖥️ Технологии и инвестиции: Взгляд изнутри
Специализированные vs. общие модели
Гросс рассуждал о потенциальном пересечении специализированных моделей ИИ и общих языковых моделей типа GPT.
Он отметил, что некоторые области (например, прогнозирование погоды) могут остаться вотчиной специализированных моделей.
Ключевые факторы развития ИИ
Интересный вопрос, поднятый Гроссом: что важнее для развития ИИ — вычислительная мощность (FLOPS) или объем обучающих данных (токены)?
Пользовательский опыт в ИИ
Гросс подчеркнул важность пользовательского опыта, особенно времени отклика (задержка), в приложениях с использованием ИИ.
Инвестиционная стратегия
Стратегия Гросса в инвестировании фокусируется на технологиях с потенциалом роста около 50% в год. Он также отметил, что склонен инвестировать в продукты, которые может лично использовать и которые его воодушевляют.
Будущее ИИ в различных сферах
🌐 ИИ меняет мир: От развлечений до науки
1. Гросс предвидит широкое распространение ИИ-генерируемого контента в сфере развлечений, включая телешоу, фильмы и контент для социальных медиа.
2. По мнению Гросса, такие научные конференции, как NeurIPS, могут существенно измениться под влиянием ИИ уже в ближайшие годы.
Робототехника и аппаратное обеспечение
Хотя рынок может быть готов к продвинутой робототехнике, Гросс считает, что необходимое аппаратное обеспечение еще не достигло нужного уровня развития.
Этические и социальные последствия
Гросс признает, что ИИ уже давно принимает решения за людей, и общество должно будет адаптироваться к расширяющимся возможностям моделей ИИ.
Советы для стартапов от Даниэля Гросса:
1. Будьте терпеливы при найме первых трех членов команды (ровно столько сейчас в SSI Inc)
2. Постоянно занимайтесь рекрутингом, как только у вас появится работающий продукт
3. Осознайте редкость и важность хорошего вкуса в бизнесе
Будущее авторского права
Гросс предсказывает эволюцию законов об авторском праве, причем крупные компании, вероятно, найдут легальные способы использования контента, сгенерированного ИИ.
Заключительные мысли
Ужин с Даниэлем Гроссом предоставил уникальную возможность заглянуть в будущее технологий и ИИ через призму одного из самых проницательных умов в этой области. Его идеи о развитии ИИ, экономических последствиях и советы стартапам дают пищу для размышлений и действий всем, кто связан с технологической сферой.
Я надеюсь что мысли с этого ужина, проливают хоть немного света на то, чем теперь будет заниматься Суцкевер и его новая компания.
Часть 1.
Telegram
AI Для Всех
🍽️ Инсайты от Даниэля Гросса. Часть 1.
Введение и контекст
13 декабря 2023 года я посетил уникальный ужин, на котором присутствовал один из самых проницательных умов в мире технологий — Даниэль Гросс.
Кто такой Даниэль Гросс?
Даниэль Гросс — американский…
Введение и контекст
13 декабря 2023 года я посетил уникальный ужин, на котором присутствовал один из самых проницательных умов в мире технологий — Даниэль Гросс.
Кто такой Даниэль Гросс?
Даниэль Гросс — американский…
AI Для Всех
🚀 Новый уровень бесплатного ИИ: Claude 3.5 Sonnet от Anthropic Друзья, в мире искусственного интеллекта произошло значимое событие! Компания Anthropic представила Claude 3.5 Sonnet - новейшую версию своей языковой модели. Что нужно знать: 1️⃣ Повышенный…
Media is too big
VIEW IN TELEGRAM
Claude 3.5: Artficats
Одна из новых функций - это генерация артифактов - интерактивных окон, которые появляются по запросу.
Попросил сгенирировать игру, что бы Claude показал свои возможности. Claude сделал текстовую игру на реакте, с сюжетом, инвентарем и картой.
Работает просто офигенно!
Одна из новых функций - это генерация артифактов - интерактивных окон, которые появляются по запросу.
Попросил сгенирировать игру, что бы Claude показал свои возможности. Claude сделал текстовую игру на реакте, с сюжетом, инвентарем и картой.
Работает просто офигенно!
AI Для Всех
Claude 3.5: Artficats Одна из новых функций - это генерация артифактов - интерактивных окон, которые появляются по запросу. Попросил сгенирировать игру, что бы Claude показал свои возможности. Claude сделал текстовую игру на реакте, с сюжетом, инвентарем…
Media is too big
VIEW IN TELEGRAM
Легким движением руки, коротенький промпт превращается в увлекательную игру - Лабиринт, который усложняется с каждым последующим уровнем!
Claude Artifacts позволяет быстро и легко почувстовать дыхание AGI.
Claude Artifacts позволяет быстро и легко почувстовать дыхание AGI.
Сложная система коммуникации слонов: МЛ помогает учёным обнаружить "имена" гигантов
Слоны одни из самых умных, социальных и эмоционально развитых существ на Земле. Они помнят сородичей, даже если долго не виделись, проявляют эмоции: радость, грусть и траур с случае утраты, они гармонично живут в матриархате, общаются широким спектром звуков, и, как показало недавнее исследование, кажется, называют друг друга по имени - используют уникальные акустические сигналы, обращаясь к знакомым слонам.
В отличие от дельфинов и попугаев, которые подражают звукам других особей, слоны создают совершенно уникальные звуки для обозначения своих сородичей.
Дело было так.
Исследователи записали звуки, издаваемые слонами в дикой природе при общении друг с другом и в одиночестве. Наблюдали за хорошо изученной семьёй слонов, членов которой люди научились хорошо различать (в т.ч. по уникальной форме ушей). Т.е для каждой записи был известен "владелец" звука, а иногда и адресат.
Затем удалили шумы, длительную тишину, нормировали громкость и немного нарезали.
Для анализа использовали кластеризацию (k-means, DBSCAN), группируя похожие звуки вместе и выделяя уникальные "имена"; сверточные нейросети (CNN) для идентификации уникальных паттернов в акустических данных для каждого слона (да, спектрограммы в мире науки - это "image"), рекуррентные нейросети (а именно - LTSM), чтобы учитывать контекст предыдущих звуковых событий.
В итоге алгоритмы не только идентифицировали уникальные звуки, но и классифицировали их, связывая определенные зовы с конкретными слонами: кто кого зовет (не оч точно, зато не случайно). Это позволило сделать гипотезу, что каждый слон имеет свой уникальный "зов", аналогичный человеческому имени.
Здорово, что люди прикладывают усилия, чтобы понять мир вокруг и сложные коммуникативные системы, будь то кашалоты, слоны или мы сами.
Статья в Nature
Данные
Код (R)
Кадр из Ashes and Snow
Слоны одни из самых умных, социальных и эмоционально развитых существ на Земле. Они помнят сородичей, даже если долго не виделись, проявляют эмоции: радость, грусть и траур с случае утраты, они гармонично живут в матриархате, общаются широким спектром звуков, и, как показало недавнее исследование, кажется, называют друг друга по имени - используют уникальные акустические сигналы, обращаясь к знакомым слонам.
В отличие от дельфинов и попугаев, которые подражают звукам других особей, слоны создают совершенно уникальные звуки для обозначения своих сородичей.
Дело было так.
Исследователи записали звуки, издаваемые слонами в дикой природе при общении друг с другом и в одиночестве. Наблюдали за хорошо изученной семьёй слонов, членов которой люди научились хорошо различать (в т.ч. по уникальной форме ушей). Т.е для каждой записи был известен "владелец" звука, а иногда и адресат.
Затем удалили шумы, длительную тишину, нормировали громкость и немного нарезали.
Для анализа использовали кластеризацию (k-means, DBSCAN), группируя похожие звуки вместе и выделяя уникальные "имена"; сверточные нейросети (CNN) для идентификации уникальных паттернов в акустических данных для каждого слона (да, спектрограммы в мире науки - это "image"), рекуррентные нейросети (а именно - LTSM), чтобы учитывать контекст предыдущих звуковых событий.
В итоге алгоритмы не только идентифицировали уникальные звуки, но и классифицировали их, связывая определенные зовы с конкретными слонами: кто кого зовет (не оч точно, зато не случайно). Это позволило сделать гипотезу, что каждый слон имеет свой уникальный "зов", аналогичный человеческому имени.
Здорово, что люди прикладывают усилия, чтобы понять мир вокруг и сложные коммуникативные системы, будь то кашалоты, слоны или мы сами.
Статья в Nature
Данные
Код (R)
Кадр из Ashes and Snow
Media is too big
VIEW IN TELEGRAM
🧬 Искусственный интеллект создал новый флуоресцентный белок
Ученые из компании EvolutionaryScale разработали языковую модель ESM3, которая способна генерировать функциональные белки, ранее не существовавшие в природе.
Ключевые моменты:
• ESM3 создала новый зеленый флуоресцентный белок (GFP), получивший название esmGFP
• esmGFP имеет лишь 58% сходства с ближайшим известным флуоресцентным белком
• Такое различие соответствует более чем 500 миллионам лет эволюции в природе
• esmGFP светится так же ярко, как и природные GFP
ESM3 - это языковая модель, обученная на огромном количестве последовательностей белков. Она работает похоже на ChatGPT, но вместо человеческих слов "понимает" язык аминокислот - строительных блоков белков.
Как это работает:
1. Модель изучила миллиарды белковых последовательностей
2. Она научилась предсказывать, какие аминокислоты могут идти друг за другом
3. При этом модель уловила скрытые правила, по которым эволюция "собирает" работающие белки
Теперь ESM3 может генерировать новые последовательности, которые с высокой вероятностью образуют стабильные и функциональные белки. Она как бы "представляет" все возможные пути эволюции и может создавать белки, которых нет в природе, но которые могли бы существовать.
Модель (которая уже доступна по API), открывает огромные возможности для создания новых ферментов, лекарств и биоматериалов, позволяя исследователям быстро находить работающие варианты среди триллионов возможных последовательностей.
💎 Блог-пост
📄 Статья
🧬 API модели
Ученые из компании EvolutionaryScale разработали языковую модель ESM3, которая способна генерировать функциональные белки, ранее не существовавшие в природе.
Ключевые моменты:
• ESM3 создала новый зеленый флуоресцентный белок (GFP), получивший название esmGFP
• esmGFP имеет лишь 58% сходства с ближайшим известным флуоресцентным белком
• Такое различие соответствует более чем 500 миллионам лет эволюции в природе
• esmGFP светится так же ярко, как и природные GFP
ESM3 - это языковая модель, обученная на огромном количестве последовательностей белков. Она работает похоже на ChatGPT, но вместо человеческих слов "понимает" язык аминокислот - строительных блоков белков.
Как это работает:
1. Модель изучила миллиарды белковых последовательностей
2. Она научилась предсказывать, какие аминокислоты могут идти друг за другом
3. При этом модель уловила скрытые правила, по которым эволюция "собирает" работающие белки
Теперь ESM3 может генерировать новые последовательности, которые с высокой вероятностью образуют стабильные и функциональные белки. Она как бы "представляет" все возможные пути эволюции и может создавать белки, которых нет в природе, но которые могли бы существовать.
Модель (которая уже доступна по API), открывает огромные возможности для создания новых ферментов, лекарств и биоматериалов, позволяя исследователям быстро находить работающие варианты среди триллионов возможных последовательностей.
💎 Блог-пост
📄 Статья
🧬 API модели
Media is too big
VIEW IN TELEGRAM
За пределами возможностей CRISPR: мостовая рекомбинация прокладывает путь в геномный дизайн
Представьте, что вам нужно отредактировать документ, но у вас в руках только ножницы. Вы можете вырезать нежелательные слова, вставить новые, но точное редактирование слегка невозможно. И тут вдруг изобрают ручку, позволяющую писать и свободно корректировать текст. Именно такой прорыв происходит в мире редактирования генома благодаря новому методу под названием "мостовая рекомбинация".
В конце 1990-х годов человечество открыло РНК-интерференцию (RNAi) — первый шаг к программируемой биологии, позволяющий выключать определенные гены. Это было похоже на пульт дистанционного управления для генов.
В начале 2010-х появилась технология CRISPR, позволяющая не только выключать гены, но и редактировать их напрямую. CRISPR стал базовым редактором для ДНК, давая возможность вырезать нежелательные гены и вставлять полезные. Однако этот метод имеет ограничения, поскольку работает через разрезание ДНК (может случайно не там порезать и потенциально вызвать нежелательные мутации).
Исследователи из Arc Institute, во главе с доктором Патриком Сю (Patrick D. Hsu), изучали транспозоны бактерий, так называемые "прыгающие гены". Их внимание привлекли элементы IS110, минималистичные гены, состоящие из фермента для резки и вставки и загадочных flanking (пограничных, фланговых) сегментов ДНК.
При вырезании элемента IS110 из генома, flanking сегменты образуют молекулу РНК, которая складывается в две петли: одна связывается с элементом IS110, другая — с целевой ДНК, куда должен быть вставлен элемент. Эта РНК, названная "мостовой РНК", служит инструкцией для фермента, указывая, куда и что вставить.
В отличие от CRISPR, который разрезает ДНК и полагается на механизмы репарации клетки, мостовая рекомбинация не разрывает ДНК. Вместо этого, она разворачивает небольшую часть ДНК, вставляет новый фрагмент и сворачивает обратно. Это позволяет избежать ошибок, связанных с починкой.
Кроме того, мостовая РНК может быть запрограммирована на распознавание любой последовательности ДНК, что позволяет точно вставлять любой фрагмент ДНК в любое место генома.
Возможности и перспективы головокружительные, кшно:
1. Генная терапия: Больше никаких непредсказуемых случайных вставок терапевтических генов (проблема CRIPR). Корректирующие гены доставляются в целевые зоны генома (специфичность вставки 84,9%), т.е можно оценить соотношение риска и пользы вмешательства.
2. Синтетическая биология: Создание организмов с новыми признаками. Мммм! Достаточно разработать ген и вставить его в нужное место. Как раз тут новый флуоресцентный белок подвезли. Кому?
3. Сельское хозяйство: Точная вставка полезных генов в культуры может помочь созданию устойчивых к засухе растений, напр.
Про МЛ коротко - это удобный инструмент в умелых руках:
Собственно, программирование мостовой РНК для связывания с целевым сегментом с минимизацией неспецифических взаимодействий.
Алгоритмы оптимизации для подбора условий, при которых ферменты работают наиболее эффективно и безопасно, концентрации реагентов, температуру и тд.
Анализ ДНК и предсказания участков, которые наиболее подходят для вставки новых генов, и для анализа результатов, чтобы заметить нежелательные эффекты.
И изучение литературы и генерация гипотез.
Arc Institute буквально построил мост в эру геномного дизайна. Они🌐 репо так и назвали: BridgeRNADesigner
💙 Arc Institute
🐯 Nature
Представьте, что вам нужно отредактировать документ, но у вас в руках только ножницы. Вы можете вырезать нежелательные слова, вставить новые, но точное редактирование слегка невозможно. И тут вдруг изобрают ручку, позволяющую писать и свободно корректировать текст. Именно такой прорыв происходит в мире редактирования генома благодаря новому методу под названием "мостовая рекомбинация".
В конце 1990-х годов человечество открыло РНК-интерференцию (RNAi) — первый шаг к программируемой биологии, позволяющий выключать определенные гены. Это было похоже на пульт дистанционного управления для генов.
В начале 2010-х появилась технология CRISPR, позволяющая не только выключать гены, но и редактировать их напрямую. CRISPR стал базовым редактором для ДНК, давая возможность вырезать нежелательные гены и вставлять полезные. Однако этот метод имеет ограничения, поскольку работает через разрезание ДНК (может случайно не там порезать и потенциально вызвать нежелательные мутации).
Исследователи из Arc Institute, во главе с доктором Патриком Сю (Patrick D. Hsu), изучали транспозоны бактерий, так называемые "прыгающие гены". Их внимание привлекли элементы IS110, минималистичные гены, состоящие из фермента для резки и вставки и загадочных flanking (пограничных, фланговых) сегментов ДНК.
При вырезании элемента IS110 из генома, flanking сегменты образуют молекулу РНК, которая складывается в две петли: одна связывается с элементом IS110, другая — с целевой ДНК, куда должен быть вставлен элемент. Эта РНК, названная "мостовой РНК", служит инструкцией для фермента, указывая, куда и что вставить.
В отличие от CRISPR, который разрезает ДНК и полагается на механизмы репарации клетки, мостовая рекомбинация не разрывает ДНК. Вместо этого, она разворачивает небольшую часть ДНК, вставляет новый фрагмент и сворачивает обратно. Это позволяет избежать ошибок, связанных с починкой.
Кроме того, мостовая РНК может быть запрограммирована на распознавание любой последовательности ДНК, что позволяет точно вставлять любой фрагмент ДНК в любое место генома.
Возможности и перспективы головокружительные, кшно:
1. Генная терапия: Больше никаких непредсказуемых случайных вставок терапевтических генов (проблема CRIPR). Корректирующие гены доставляются в целевые зоны генома (специфичность вставки 84,9%), т.е можно оценить соотношение риска и пользы вмешательства.
2. Синтетическая биология: Создание организмов с новыми признаками. Мммм! Достаточно разработать ген и вставить его в нужное место. Как раз тут новый флуоресцентный белок подвезли. Кому?
3. Сельское хозяйство: Точная вставка полезных генов в культуры может помочь созданию устойчивых к засухе растений, напр.
Про МЛ коротко - это удобный инструмент в умелых руках:
Собственно, программирование мостовой РНК для связывания с целевым сегментом с минимизацией неспецифических взаимодействий.
Алгоритмы оптимизации для подбора условий, при которых ферменты работают наиболее эффективно и безопасно, концентрации реагентов, температуру и тд.
Анализ ДНК и предсказания участков, которые наиболее подходят для вставки новых генов, и для анализа результатов, чтобы заметить нежелательные эффекты.
И изучение литературы и генерация гипотез.
Arc Institute буквально построил мост в эру геномного дизайна. Они
Please open Telegram to view this post
VIEW IN TELEGRAM
Прелести жизни в СФ - Alex (Head of Dev Relations @ Anthropic) - рассказывает про новинки ИИ после работы