Forwarded from Нейроэстетика
Forwarded from AbstractDL
🔥InstructGPT: новое поколение GPT от OpenAI
Архитектурно это всё та же GPT-3, вся фишка в дообучении:
1. Сначала, они её немного зафайнтюнили на чистых данных.
2. Потом вручную разметили качество получающихся аутпутов и обучили reward модель его предсказывать.
3. Далее в ход пошёл Reinforcement Learning алгоритм (PPO), который по этой reward модели ещё чуть-чуть затюнил GPT.
В итоге InstructGPT стала менее токсичной, реже путается в фактах и в целом лучше справляется со всеми задачами. Говорят, что даже 1.3B новая модель лучше, чем 175B старая.
P.S. Похоже, что RL теперь снова в моде благодаря языковым моделям.
Статья, блог, GitHub
Архитектурно это всё та же GPT-3, вся фишка в дообучении:
1. Сначала, они её немного зафайнтюнили на чистых данных.
2. Потом вручную разметили качество получающихся аутпутов и обучили reward модель его предсказывать.
3. Далее в ход пошёл Reinforcement Learning алгоритм (PPO), который по этой reward модели ещё чуть-чуть затюнил GPT.
В итоге InstructGPT стала менее токсичной, реже путается в фактах и в целом лучше справляется со всеми задачами. Говорят, что даже 1.3B новая модель лучше, чем 175B старая.
P.S. Похоже, что RL теперь снова в моде благодаря языковым моделям.
Статья, блог, GitHub
Forwarded from Denis Sexy IT 🤖
На этой неделе было много научных новостей о которых я не писал, так что ловите дайджест:
✨Китайский термоядерный реактор проработал 17 минут, немного энергии «рукотворных звёзд» (Rus / Eng)
🕺 Физики воссоздали материю первых мгновений жизни Вселенной и обнаружили загадочные «частицы Х» (Rus / Eng)
💡Учёные получили электричество из пустоты, воссоздав в графене экстремальную силу нейтронных звёзд (Rus / Eng)
🐸 Учёные смогли заново отрастить лягушке отрезанные лапки — для этого использовали биореакторы с регенерирующим коктейлем (Rus / Eng)
🌌 Австралийские учёные нашли неизвестный ранее объект в Млечном Пути, излучающий минутные радиоимпульсы каждые 18 минут (Rus / Eng)
💉 Moderna начала тестировать на людях вакцину против ВИЧ, созданную на базе препарата от Covid-19 (Rus / Eng)
Я не удивлюсь если такими темпами ученые на следующей неделе откроют портал в параллельную вселенную, и буднично об этом напишут в виде исследования в pdf 🌚
Будущее прекрасно
✨Китайский термоядерный реактор проработал 17 минут, немного энергии «рукотворных звёзд» (Rus / Eng)
🕺 Физики воссоздали материю первых мгновений жизни Вселенной и обнаружили загадочные «частицы Х» (Rus / Eng)
💡Учёные получили электричество из пустоты, воссоздав в графене экстремальную силу нейтронных звёзд (Rus / Eng)
🐸 Учёные смогли заново отрастить лягушке отрезанные лапки — для этого использовали биореакторы с регенерирующим коктейлем (Rus / Eng)
🌌 Австралийские учёные нашли неизвестный ранее объект в Млечном Пути, излучающий минутные радиоимпульсы каждые 18 минут (Rus / Eng)
💉 Moderna начала тестировать на людях вакцину против ВИЧ, созданную на базе препарата от Covid-19 (Rus / Eng)
Я не удивлюсь если такими темпами ученые на следующей неделе откроют портал в параллельную вселенную, и буднично об этом напишут в виде исследования в pdf 🌚
Будущее прекрасно
Forwarded from GitHub Community
Vosk - автономный модуль для распознавания речи с открытым исходным кодом
Поддерживает модели распознавания речи для 18 языков включая русский
Используется для распознавание речи в чат-ботах, умной бытовой техники и виртуальных помощниках. С помощью модуля также можно создавать субтитры для фильмов, транскрипцию для лекций и интервью.
GitHub | #Python #Speech #Recognition #Java #CSharp #Cpp #NodeJS
Поддерживает модели распознавания речи для 18 языков включая русский
Используется для распознавание речи в чат-ботах, умной бытовой техники и виртуальных помощниках. С помощью модуля также можно создавать субтитры для фильмов, транскрипцию для лекций и интервью.
GitHub | #Python #Speech #Recognition #Java #CSharp #Cpp #NodeJS
Forwarded from S.E.Book
📓 Data Security: Technical and Organizational Protection Measures against Data Loss and Computer Crime.
💬 This book is a translation of the original German 2nd edition Datensicherheit by Thomas H. Lenhard, published by Springer Fachmedien Wiesbaden GmbH, part of Springer Nature in 2020. The translation was done with the help of artificial intelligence. A subsequent human revision was done primarily in terms of content, so that the book will read stylistically differently from a conventional translation. Springer Nature works continuously to further the development of tools for the production of books and on the related technologies to support the authors.
📌 Download.
#Eng #Security
💬 This book is a translation of the original German 2nd edition Datensicherheit by Thomas H. Lenhard, published by Springer Fachmedien Wiesbaden GmbH, part of Springer Nature in 2020. The translation was done with the help of artificial intelligence. A subsequent human revision was done primarily in terms of content, so that the book will read stylistically differently from a conventional translation. Springer Nature works continuously to further the development of tools for the production of books and on the related technologies to support the authors.
📌 Download.
#Eng #Security
Forwarded from эйай ньюз
Помните Copilot? Это та система автодополнения кода от OpenAI, работающая на GPT-3.
Вот еще вам крутой пример ее работы. Умная штучка. Но я не буду нагнетать страх и сулить потерю работы.
Вот еще вам крутой пример ее работы. Умная штучка. Но я не буду нагнетать страх и сулить потерю работы.
Forwarded from Big Data Science
🌦TOP-10 Data Science conferences in February 2022:
1. 02 Feb - Virtual conference DataOps Unleashed https://dataopsunleashed.com/
2. 03 Feb - Beyond Big Data: AI/Machine Learning Summit 2022, Pittsburgh, USA https://www.pghtech.org/events/BeyondBigData2022
3. 10 Feb - Online-summit AICamp ML Data Engineering https://www.aicamp.ai/event/eventdetails/W2022021009
4. 12-13 Feb - IAET International Conference on Machine Learning, Smart & Nanomaterials, Design Engineering, Information Technology & Signal Processing. Budapest, Hungary https://institute-aet.com/mns-22/
5. 16 Feb - DSS Hybrid Miami: AI & ML in the Enterprise. Miami, FL, USA & Virtual https://www.datascience.salon/miami/
6. 17-18 Feb - RE.WORK San Francisco, CA, USA and Online
Reinforcement Learning Summit: https://www.re-work.co/events/reinforcement-learning-summit-2022
Deep Learning Summit: https://www.re-work.co/events/deep-learning-summit-2022 Enterprise AI Summit: https://www.re-work.co/events/enterprise-ai-summit-2022
7. 18-20 Feb - International Conference on Compute and Data Analysis (ICCDA 2022). Sanya, China http://iccda.org/
8. 21-25 Feb - WSDM'22, The 15th ACM International WSDM Conference. Online. http://www.wsdm-conference.org/2022/
9. 22-23 Feb - AI & ML Developers Conference. Virtual. https://cnvrg.io/mlcon
10. 26-27 Feb - 9th International Conference on Data Mining and Database (DMDB 2022). Vancouver, Canada https://ccseit2022.org/dmdb/
1. 02 Feb - Virtual conference DataOps Unleashed https://dataopsunleashed.com/
2. 03 Feb - Beyond Big Data: AI/Machine Learning Summit 2022, Pittsburgh, USA https://www.pghtech.org/events/BeyondBigData2022
3. 10 Feb - Online-summit AICamp ML Data Engineering https://www.aicamp.ai/event/eventdetails/W2022021009
4. 12-13 Feb - IAET International Conference on Machine Learning, Smart & Nanomaterials, Design Engineering, Information Technology & Signal Processing. Budapest, Hungary https://institute-aet.com/mns-22/
5. 16 Feb - DSS Hybrid Miami: AI & ML in the Enterprise. Miami, FL, USA & Virtual https://www.datascience.salon/miami/
6. 17-18 Feb - RE.WORK San Francisco, CA, USA and Online
Reinforcement Learning Summit: https://www.re-work.co/events/reinforcement-learning-summit-2022
Deep Learning Summit: https://www.re-work.co/events/deep-learning-summit-2022 Enterprise AI Summit: https://www.re-work.co/events/enterprise-ai-summit-2022
7. 18-20 Feb - International Conference on Compute and Data Analysis (ICCDA 2022). Sanya, China http://iccda.org/
8. 21-25 Feb - WSDM'22, The 15th ACM International WSDM Conference. Online. http://www.wsdm-conference.org/2022/
9. 22-23 Feb - AI & ML Developers Conference. Virtual. https://cnvrg.io/mlcon
10. 26-27 Feb - 9th International Conference on Data Mining and Database (DMDB 2022). Vancouver, Canada https://ccseit2022.org/dmdb/
Data Teams Summit
Data Teams Summit | Peer-to-Peer Virtual Data Conference | Jan 24, 2024
Data Team Summit is an annual virtual community event aimed at helping DataOps professionals build, manage, and monitor data pipelines.
Forwarded from Ты в тренде или уходи
💩 Самый вредный совет для программиста — [10:17]
В этом видео автор рассказывает, почему изучать теорию, азы программирования и получать высшее образование НЕ так важно для большинства разработчиков, как просто практиковать и улучшать свои навыки.
Вы также узнаете, почему программистов на рынке сейчас катастрофически не хватает и как воспользоваться этим, чтобы найти хорошую вакансию.
1. Почему важно знать Computer Science — [0:30]
2. Как начинают свою карьеру многие программисты — [1:08]
3. Нужно ли высшее образование программисту — [2:58]
4. Почему для новичков есть много задач — [4:07]
5. Почему программистов не хватает — [6:06]
Перейти к просмотру
#профессия
В этом видео автор рассказывает, почему изучать теорию, азы программирования и получать высшее образование НЕ так важно для большинства разработчиков, как просто практиковать и улучшать свои навыки.
Вы также узнаете, почему программистов на рынке сейчас катастрофически не хватает и как воспользоваться этим, чтобы найти хорошую вакансию.
1. Почему важно знать Computer Science — [0:30]
2. Как начинают свою карьеру многие программисты — [1:08]
3. Нужно ли высшее образование программисту — [2:58]
4. Почему для новичков есть много задач — [4:07]
5. Почему программистов не хватает — [6:06]
Перейти к просмотру
#профессия
Forwarded from эйай ньюз
Diffusion models are autoencoders
Тут один ученый из DeepMind написал блогпост, в котором проводит аналогии между диффузионными моделями и автоэнкодерами. Завтра утром буду читать за чашечкой кофе 🤓
Если хотите посмотреть другие мои посты о диффузионных моделях, то вот они:
[0], [1], [2], [3],
Тут один ученый из DeepMind написал блогпост, в котором проводит аналогии между диффузионными моделями и автоэнкодерами. Завтра утром буду читать за чашечкой кофе 🤓
Если хотите посмотреть другие мои посты о диффузионных моделях, то вот они:
[0], [1], [2], [3],
Sander Dieleman
Diffusion models are autoencoders
Diffusion models have become very popular over the last two years. There is an underappreciated link between diffusion models and autoencoders.