Forwarded from эйай ньюз
Диффузия оптимизирует нейронки
А вот тут вышла статья, где с помощью диффузионной модели заменяют традиционные оптимизаторы типа SGD или ADAM.
На вход поступают текущие веса оптимизируемой нейронки, текущий лосс, желаемый лосс, и параметр шага диффузии. А диффузионная модель предсказывает новые веса нейросети. Ускорение по сравнению с традиционной оптимизацией в ≈1000 раз.
@ai_newz
А вот тут вышла статья, где с помощью диффузионной модели заменяют традиционные оптимизаторы типа SGD или ADAM.
На вход поступают текущие веса оптимизируемой нейронки, текущий лосс, желаемый лосс, и параметр шага диффузии. А диффузионная модель предсказывает новые веса нейросети. Ускорение по сравнению с традиционной оптимизацией в ≈1000 раз.
@ai_newz
Telegram
DL in NLP
Learning to Learn with Generative Models of Neural Network Checkpoints
Peebles, Radosavovic, et al. [Berkeley]
Статья: arxiv.org/abs/2209.12892
Код: github.com/wpeebles/G.pt
Блог: тык
Помните про парадигму learning to learn и всякие оптимитзаторы на основе…
Peebles, Radosavovic, et al. [Berkeley]
Статья: arxiv.org/abs/2209.12892
Код: github.com/wpeebles/G.pt
Блог: тык
Помните про парадигму learning to learn и всякие оптимитзаторы на основе…
Открыт набор PhD студентов в New York University
Это там где ЛеКун. Аспирантура в США бесплатная, более того, вам даже будут платить стипендию что-то типа 30к$ в год
Подаваться тут
Это там где ЛеКун. Аспирантура в США бесплатная, более того, вам даже будут платить стипендию что-то типа 30к$ в год
Подаваться тут
ИИ-изображения - новый клип-арт.
Microsoft добавляет DALL-E в свой пакет Office, таким образом картинки сгенерированные ИИ скоро появятся в каждой PowerPoint презентации.
Заметка на The Verge
Microsoft добавляет DALL-E в свой пакет Office, таким образом картинки сгенерированные ИИ скоро появятся в каждой PowerPoint презентации.
Заметка на The Verge
Поддержите канал
Привет! Мне приятно, что так много людей читает мой канал, и как вы могли заметить, я стараюсь обходится почти без рекламы.
С донатов и рекламы я оплачиваю своего психотерапевта, и сейчас у меня осталось ровно на одно занятие.
Если хотите поддержать канал - закиньте денег на Тиньков.
Или с иностранных счетов на Revolut.
Каждому поддержавшему отвечу на вопрос про Долину и жизнь в ней ;)
Привет! Мне приятно, что так много людей читает мой канал, и как вы могли заметить, я стараюсь обходится почти без рекламы.
С донатов и рекламы я оплачиваю своего психотерапевта, и сейчас у меня осталось ровно на одно занятие.
Если хотите поддержать канал - закиньте денег на Тиньков.
Или с иностранных счетов на Revolut.
Каждому поддержавшему отвечу на вопрос про Долину и жизнь в ней ;)
Тинькофф Банк
Сбор на другое
Артемий Новоселов собирает 20 000 ₽.
А вы занимаетесь с психотерапевтом?
Anonymous Poll
21%
Да
19%
Нет - чушь какая
31%
Нет - денег нет
29%
Тык с умным видом 🤨
Forwarded from Data Science by ODS.ai 🦜
TLDR: GPT-3 has unexpected application — modelling of socialogical studies. Average responses of a certain groups can be to some algorithmical accuracy predicted by in silico modelling.
What this means: sociologists won’t have to conduct costly live researches and will be able to run experiments in simulations. Marketers and politicians are getting their hands on cheap solution for modelling their slogans and value propositions. This enables people to check more hypothesis faster and to manipulate society with more efficiency.
ArXiV: https://arxiv.org/abs/2209.06899
#gpt3 #psychohistory #nlu #sociology
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from DLStories
А тут, наконец, вышел новый выпуск подкаста Deep Learning Stories, который мы записывали в конце августа🙃
#podcast
S01E05: AI в сейсмологии с Артемием Новоселовым
Гость выпуска — Артемий Новоселов, постдок рисерчер в Stanford University и автор канала NN for Science. В Стенфорде Артемий занимается ML в сейсмологии.
Обсудили с Артемием:
- путь Артемия в рисерче: как добраться до Стенфорда;
- что такое землетрясения и какими методами их пытаются предсказывать;
- AI в сейсмологии: как применяется сейчас, какие есть проблемы и какое видится будущее;
- немного о жизненном: о выгорании, мотивации, психологической помощи.
Ссылки на выпуск:
Yandex Music
Apple Music
Google Music
Spotify
Anchor.fm
YouTube (скоро будет, но без видео в этот раз)
—————————————
Поддержать подкаст и канал можно тут
#podcast
S01E05: AI в сейсмологии с Артемием Новоселовым
Гость выпуска — Артемий Новоселов, постдок рисерчер в Stanford University и автор канала NN for Science. В Стенфорде Артемий занимается ML в сейсмологии.
Обсудили с Артемием:
- путь Артемия в рисерче: как добраться до Стенфорда;
- что такое землетрясения и какими методами их пытаются предсказывать;
- AI в сейсмологии: как применяется сейчас, какие есть проблемы и какое видится будущее;
- немного о жизненном: о выгорании, мотивации, психологической помощи.
Ссылки на выпуск:
Yandex Music
Apple Music
Google Music
Spotify
Anchor.fm
YouTube (скоро будет, но без видео в этот раз)
—————————————
Поддержать подкаст и канал можно тут
Stanford-SASP.pdf
55.4 KB
Stanford CS проводит программу поддержки заявок для недопредставленных студентов. Если вы рассматриваете возможность поступления на программу PhD по компьютерным наукам в Стэнфорде, они обещают сделать все возможное, чтобы дать обратную связь по вашему заявлению.
Подайте заявку до 29 октября.
Подайте заявку до 29 октября.
Compressed Vision for Efficient Video Understanding
DeepMind опубликовал интересную статью, с далеко идущими последствиями. Идея довольно простая и элегантная:
У нас есть много длинных видео, работать с ними сложно по ряду причин (long sequences, размер и тп). Так почему бы нам сначала не сжать эти видосы (с помощью нейрокодека), а потом обучать нейросеть уже на сжатых видео?
Так они и поступили. Мне кажется этот подход будет хорошо работать и с другими долгими последовательностями, например со стримами с датчиков.
🌟 Блог-пост
📖 Статья
#CV #compression #pretraining
DeepMind опубликовал интересную статью, с далеко идущими последствиями. Идея довольно простая и элегантная:
У нас есть много длинных видео, работать с ними сложно по ряду причин (long sequences, размер и тп). Так почему бы нам сначала не сжать эти видосы (с помощью нейрокодека), а потом обучать нейросеть уже на сжатых видео?
Так они и поступили. Мне кажется этот подход будет хорошо работать и с другими долгими последовательностями, например со стримами с датчиков.
🌟 Блог-пост
📖 Статья
#CV #compression #pretraining
This media is not supported in your browser
VIEW IN TELEGRAM
StabeDiffusion AR
Тут подвезли версию реально крутого метаверса. Вот так точно будет веселее жить в панельных кварталах, главное не забывать носить очки 🤓.
Источник
Тут подвезли версию реально крутого метаверса. Вот так точно будет веселее жить в панельных кварталах, главное не забывать носить очки 🤓.
Источник
Adversarial Latent Autoencoders
Авторы статьи добавили к StyleGAN дополнительный лосс из Autoencoders, который минимизирует разницу латентных векторов (вместо минимизации разницы в пиксельном пространстве между восстановленным изображением и оригиналом; привет Stable Diffusion). Это решило проблему генерации “мыльных” изображений, которой страдают AE.
Для этого они разбили дискриминатор, сделав его CNN часть энкодером, а оставшаяся FCN часть теперь принимает на вход эмбеддинг и, как и раньше, классифицирует его как фейк/реальный. Таким образом, можно повторно использовать веса дискриминатора.
Такой нехитрый трюк позволяет:
1. изменять реальные изображения, извлекая и манипулируя их скрытыми признаками
2. искать похожие изображения, сравнивая эмбеддинги
3. кластеризовать и размечать датасеты небольшим количеством лейблов
👨💻 Код
📖 Статья
#GAN #AE #CV
@karray
Авторы статьи добавили к StyleGAN дополнительный лосс из Autoencoders, который минимизирует разницу латентных векторов (вместо минимизации разницы в пиксельном пространстве между восстановленным изображением и оригиналом; привет Stable Diffusion). Это решило проблему генерации “мыльных” изображений, которой страдают AE.
Для этого они разбили дискриминатор, сделав его CNN часть энкодером, а оставшаяся FCN часть теперь принимает на вход эмбеддинг и, как и раньше, классифицирует его как фейк/реальный. Таким образом, можно повторно использовать веса дискриминатора.
Такой нехитрый трюк позволяет:
1. изменять реальные изображения, извлекая и манипулируя их скрытыми признаками
2. искать похожие изображения, сравнивая эмбеддинги
3. кластеризовать и размечать датасеты небольшим количеством лейблов
👨💻 Код
📖 Статья
#GAN #AE #CV
@karray
Postdocs in Santa Cruz, CA
Applications are invited for two postdoctoral scholars in Arctic
Amplification. This work is part of a collaborative project funded by the DOE on the role of warm moist air intrusions as a hypothesised driver of
Arctic amplification. The postdoctoral scholars will conduct novel numerical water tracer and/or radiative-locking experiments in the Energy
Exascale Earth System Model (E3SM) to investigate the provenance of moisture intrusions and how they promote water vapor and cloud feedback over the Arctic.
The selected candidates will ideally have training in atmospheric sciences;
knowledge of extratropical dynamics and/or polar climate; and demonstrated experience modeling and coding, as well as working with large, complex datasets. Applicants with expertise in running and configuring global climate models, such as CESM, E3SM, or another state-of-the-art Earth system model are strongly encouraged to apply.
Apply to work at UC Santa Cruz: recruit.ucsc.edu/JPF01403
Apply to work at University of Victoria: Email the application materials as
a single pdf to hansingh@uvic.ca
#job
Applications are invited for two postdoctoral scholars in Arctic
Amplification. This work is part of a collaborative project funded by the DOE on the role of warm moist air intrusions as a hypothesised driver of
Arctic amplification. The postdoctoral scholars will conduct novel numerical water tracer and/or radiative-locking experiments in the Energy
Exascale Earth System Model (E3SM) to investigate the provenance of moisture intrusions and how they promote water vapor and cloud feedback over the Arctic.
The selected candidates will ideally have training in atmospheric sciences;
knowledge of extratropical dynamics and/or polar climate; and demonstrated experience modeling and coding, as well as working with large, complex datasets. Applicants with expertise in running and configuring global climate models, such as CESM, E3SM, or another state-of-the-art Earth system model are strongly encouraged to apply.
Apply to work at UC Santa Cruz: recruit.ucsc.edu/JPF01403
Apply to work at University of Victoria: Email the application materials as
a single pdf to hansingh@uvic.ca
#job
Глуповатая машина: ИИ для антропологии
По мнению некоторых, цель антропологии - не объяснение культуры, а ее экспликация. Авторы стати утверждают, что алгоритмы машинного обучения могут быть полезны в процессе экспликации и объясняют как именно.
На основе набора данных из 175 тысяч комментариев в Facebook была обучена нейронная сеть, которая должна была предсказывать реакцию эмодзи на основе комментария.
Дальше группу людей попросили посоревноваться с машиной. Авторы демонстрируют, что:
а) машина может достичь той же (низкой) точности, что и игроки (51%),
б) она терпит неудачу примерно теми же способами, что и игроки, и
в) легко предсказуемые реакции эмодзи, как правило, отражают однозначные ситуации, где интерпретация проста.
Получается, что можно использовать неудачи нейронной сети, чтобы указать людям на более глубокие и неоднозначные ситуации, где интерпретация затруднена, а объяснение становится необходимым и интересным.
📖 Статья
По мнению некоторых, цель антропологии - не объяснение культуры, а ее экспликация. Авторы стати утверждают, что алгоритмы машинного обучения могут быть полезны в процессе экспликации и объясняют как именно.
На основе набора данных из 175 тысяч комментариев в Facebook была обучена нейронная сеть, которая должна была предсказывать реакцию эмодзи на основе комментария.
Дальше группу людей попросили посоревноваться с машиной. Авторы демонстрируют, что:
а) машина может достичь той же (низкой) точности, что и игроки (51%),
б) она терпит неудачу примерно теми же способами, что и игроки, и
в) легко предсказуемые реакции эмодзи, как правило, отражают однозначные ситуации, где интерпретация проста.
Получается, что можно использовать неудачи нейронной сети, чтобы указать людям на более глубокие и неоднозначные ситуации, где интерпретация затруднена, а объяснение становится необходимым и интересным.
📖 Статья
Как работает звук?
Увидел в одном из чатиков классную интерактивную статью про то что такое звук и как он работает. Обязательно полистайте
Интерактивная статья
Увидел в одном из чатиков классную интерактивную статью про то что такое звук и как он работает. Обязательно полистайте
Интерактивная статья
Принципы биологических нейронных вычислений снова станут катализатором революции в ИИ
Человечеству ещё далеко до создания по-настоящему дееспособностого интеллекта.
LeCun et al развивают область исследований NeuralAI - фундаментальную науку на стыке нейробиологии и ИИ.
Цель в создании искусственных агентов, которые бы могли:
- взаимодействовать с миром
Сенсорные функции контролируются сложной архитектурой, часть модулей действует автономно в отсутствие данных от модулей более высокого уровня (сон прерывается при резком звуке)
- обладать поведенческой гибкостью
Чтобы различать опасность пустого пластикового пакета и тяжёлого ящика, летящего в лобовое стекло
- быть энергоэффективными
Нейроны мозга работают в режиме редких всплесков активации и делают вероятностные выводы, работая на кусочке сахара
Понадобится расширенный тест Тьюринга и эволюция - начнем с органоидов с простейшими стимулами, двигающихся к "пище" и избегающих "опасности"
Миру нужны инженеры-нейробиологи.
📖 Статья
@GingerSpacetail
Человечеству ещё далеко до создания по-настоящему дееспособностого интеллекта.
LeCun et al развивают область исследований NeuralAI - фундаментальную науку на стыке нейробиологии и ИИ.
Цель в создании искусственных агентов, которые бы могли:
- взаимодействовать с миром
Сенсорные функции контролируются сложной архитектурой, часть модулей действует автономно в отсутствие данных от модулей более высокого уровня (сон прерывается при резком звуке)
- обладать поведенческой гибкостью
Чтобы различать опасность пустого пластикового пакета и тяжёлого ящика, летящего в лобовое стекло
- быть энергоэффективными
Нейроны мозга работают в режиме редких всплесков активации и делают вероятностные выводы, работая на кусочке сахара
Понадобится расширенный тест Тьюринга и эволюция - начнем с органоидов с простейшими стимулами, двигающихся к "пище" и избегающих "опасности"
Миру нужны инженеры-нейробиологи.
📖 Статья
@GingerSpacetail
Computational Scientist position on Python-based ML-enabled weather and climate modeling
The Atmospheric and Oceanic Sciences Program at Princeton University, in cooperation with NOAA's Geophysical Fluid Dynamics Laboratory (GFDL), seeks a computational scientist/scientific programmer to assist our scientists working to integrate a computationally-advanced Python-based machine-learning (ML) augmented atmosphere model into the existing GFDL modeling system. The goal is to permit ML-powered improvements to our models and to incorporate new diagnostics and use cases for this system. This project is funded by the NOAA Technology Incubator of the National Oceanic and Atmospheric Administration's Office of the Chief Information Officer.
The successful applicant will work with Lucas Harris at GFDL and Chris Bretherton and Oliver Fuhrer at the Allen Institute for Artificial Intelligence (AI2), and will work closely with other scientists in GFDL's Weather and Climate Dynamics Division and at AI2. This computational scientist will port AI2's Python-wrapped climate model workflow into GFDL's System for High-resolution prediction on Earth-to-Local Domains (SHiELD) and set up the AI2 machine-learning workflow on a NOAA computing system. The applicant will then work to update the model with the newest version of SHiELD's codes and continue to integrate new updates to SHiELD and in AI2's ML workflow. This applicant will then assist GFDL and AI2 scientists in applying the ML-augmented model to scientific problems of interest.
Scientists or engineers with a strong background in software engineering, computer science, computational science, high-performance computing, machine learning, mathematics, or physics are encouraged to apply. Knowledge of both Python and Fortran will be extremely useful, as will some experience with hydrodynamic codes or numerical models, and machine learning software. Applicants should have strong experience working in a collaborative environment and an ability to learn new technologies. This is a one-year position with potential for renewal based on candidate performance and continued funding. Candidates should have at least a Master's degree in an appropriate field, including but not limited to computer science, mathematics, physics, atmospheric science, or engineering. Complete applications include a CV, publication list, and 2 letters of recommendation. Review of applications will begin immediately and continue until the position is filled. Princeton is interested in candidates who, through their research, will contribute to the diversity and excellence of the academic community.
Applicants should apply online
#job
The Atmospheric and Oceanic Sciences Program at Princeton University, in cooperation with NOAA's Geophysical Fluid Dynamics Laboratory (GFDL), seeks a computational scientist/scientific programmer to assist our scientists working to integrate a computationally-advanced Python-based machine-learning (ML) augmented atmosphere model into the existing GFDL modeling system. The goal is to permit ML-powered improvements to our models and to incorporate new diagnostics and use cases for this system. This project is funded by the NOAA Technology Incubator of the National Oceanic and Atmospheric Administration's Office of the Chief Information Officer.
The successful applicant will work with Lucas Harris at GFDL and Chris Bretherton and Oliver Fuhrer at the Allen Institute for Artificial Intelligence (AI2), and will work closely with other scientists in GFDL's Weather and Climate Dynamics Division and at AI2. This computational scientist will port AI2's Python-wrapped climate model workflow into GFDL's System for High-resolution prediction on Earth-to-Local Domains (SHiELD) and set up the AI2 machine-learning workflow on a NOAA computing system. The applicant will then work to update the model with the newest version of SHiELD's codes and continue to integrate new updates to SHiELD and in AI2's ML workflow. This applicant will then assist GFDL and AI2 scientists in applying the ML-augmented model to scientific problems of interest.
Scientists or engineers with a strong background in software engineering, computer science, computational science, high-performance computing, machine learning, mathematics, or physics are encouraged to apply. Knowledge of both Python and Fortran will be extremely useful, as will some experience with hydrodynamic codes or numerical models, and machine learning software. Applicants should have strong experience working in a collaborative environment and an ability to learn new technologies. This is a one-year position with potential for renewal based on candidate performance and continued funding. Candidates should have at least a Master's degree in an appropriate field, including but not limited to computer science, mathematics, physics, atmospheric science, or engineering. Complete applications include a CV, publication list, and 2 letters of recommendation. Review of applications will begin immediately and continue until the position is filled. Princeton is interested in candidates who, through their research, will contribute to the diversity and excellence of the academic community.
Applicants should apply online
#job
Нейрокомпрессия звука
Сжатие является важной частью современного Интернета, поскольку оно позволяет людям легко обмениваться высококачественными фотографиями, прослушивать аудиосообщения, транслировать любимые передачи и многое другое.
Сегодня, исследователи из Мета совершили прорыв в области гиперкомпрессии аудио с помощью ИИ. Представьте себе, что вы слушаете аудиосообщение друга в районе с низким качеством связи, а оно не тормозит и не глючит.
Они создали трехкомпонентную систему и обучили ее сжимать аудиоданные до заданного размера. Затем эти данные могут быть декодированы с помощью нейронной сети.
Они добились примерно 10-кратной степени сжатия по сравнению с MP3 при 64 кбит/с без потери качества. Хотя подобные методы уже применялись для речи, они первыми применили их для стереофонического аудио с частотой дискретизации 48 кГц (т.е. качество CD), которое является стандартом для распространения музыки.
Pied Piper только что стал реальностью, более того - опенсорсной.
🦦 Блог-пост
📖 Статья
🤤 Код
Сжатие является важной частью современного Интернета, поскольку оно позволяет людям легко обмениваться высококачественными фотографиями, прослушивать аудиосообщения, транслировать любимые передачи и многое другое.
Сегодня, исследователи из Мета совершили прорыв в области гиперкомпрессии аудио с помощью ИИ. Представьте себе, что вы слушаете аудиосообщение друга в районе с низким качеством связи, а оно не тормозит и не глючит.
Они создали трехкомпонентную систему и обучили ее сжимать аудиоданные до заданного размера. Затем эти данные могут быть декодированы с помощью нейронной сети.
Они добились примерно 10-кратной степени сжатия по сравнению с MP3 при 64 кбит/с без потери качества. Хотя подобные методы уже применялись для речи, они первыми применили их для стереофонического аудио с частотой дискретизации 48 кГц (т.е. качество CD), которое является стандартом для распространения музыки.
Pied Piper только что стал реальностью, более того - опенсорсной.
🦦 Блог-пост
📖 Статья
🤤 Код