Forwarded from Марк Panenko
Вообще у нас есть целый выпуск завтрака про такие книги. @LilitSitri Рекомендую послушать и приходить на датазавтрак обсудить.
Как раз планирую через пару недель что то про книги записать новое. Любые пожелания приветствуются.
https://music.yandex.ru/album/27545130/track/121288313
Как раз планирую через пару недель что то про книги записать новое. Любые пожелания приветствуются.
https://music.yandex.ru/album/27545130/track/121288313
Яндекс Музыка
Завтрак про книги в DS для Team Lead слушать онлайн на Яндекс Музыке
Слушайте на Яндекс Музыке
Forwarded from Mashkka про Data Science
📖Paper Watch: Главные вопросы про статьи и Research: Как писать? Куда подавать? И зачем вообще мне это?
В новом выпуске #paperwatch ваша покорная слуга рассказывает про то, как и зачем делать исследования и research, а также дает easy writing paper recipe. Объясняю на пальцах основные правила написания статей и то, как максимально "безболезненно писать статьи". Что при этом обязательно стоит учесть, на чем сделать акцент и как распределить свое время.
😊Буду рада, если вебинар убедит вам в том, что статьи - это классно, интересно и нестрашно. Главное запастись терпением и спокойно делать research.
📺Запись
🖥Слайды
В новом выпуске #paperwatch ваша покорная слуга рассказывает про то, как и зачем делать исследования и research, а также дает easy writing paper recipe. Объясняю на пальцах основные правила написания статей и то, как максимально "безболезненно писать статьи". Что при этом обязательно стоит учесть, на чем сделать акцент и как распределить свое время.
😊Буду рада, если вебинар убедит вам в том, что статьи - это классно, интересно и нестрашно. Главное запастись терпением и спокойно делать research.
📺Запись
🖥Слайды
Forwarded from ду́но
Мы ищем стажеров!
👩🌾
Тестовые задания и подробные описания позиций можно найти по ссылкам выше, дедлайн подачи заявки — 15 августа.
- - —
@dunnolab
👩🌾
shorties — это персональная программа, в которой мы выращиваем таланты до полноценных Research Engineer’ов или Research Scientist’ов в зависимости от ваших интересов.🔭 Intern Research Scientist
Вы будете заниматься написанием статей на top-tier ИИ конференции (NeurIPS, ICLR, ICML) и участием в научном дискурсе: проведение экспериментов, проверка и генерация исследовательских идей, которые направлены на развитие научного знания.
🧪 Intern Research Engineer
Вы будете заниматься созданием новых frontier-технологий и применением Reinforcement Learning в реальных задачах.
Тестовые задания и подробные описания позиций можно найти по ссылкам выше, дедлайн подачи заявки — 15 августа.
- - —
@dunnolab
🔥1
Forwarded from Data Secrets
Вышло дополнение к очень классной книге «Hands-On Generative AI»
Если еще не читали – обязательно занесите в ридинг лист. Книга новая, вышла в декабре, а теперь вот и обновление со свежими диффузионными и трансформерными архитектурами подоспело.
Что в книге? Если кратко, то просто ВСЕ, что связано с генеративными моделями: разбор трансформера, разбор диффузии, разборы самых известных архитектур и их файнтюнинга. В качестве приятного дополнения главы про Generating Audio.
Читать можно на O’reilly.
Если еще не читали – обязательно занесите в ридинг лист. Книга новая, вышла в декабре, а теперь вот и обновление со свежими диффузионными и трансформерными архитектурами подоспело.
Что в книге? Если кратко, то просто ВСЕ, что связано с генеративными моделями: разбор трансформера, разбор диффузии, разборы самых известных архитектур и их файнтюнинга. В качестве приятного дополнения главы про Generating Audio.
Читать можно на O’reilly.
Forwarded from Start Career in DS
🔥 ТОП-10 вопросов из собеседований по NLP
🔎 Знание основ NLP и умение работать с LLM становятся ключевыми навыками для Data Scientistа и ML-Engineerа.
Рынок труда активно требует опытных специалистов в этой области, и чтобы чувствовать себя уверенно на собеседовании, мы подготовили список основных вопросов на подобных секциях и готовы поделиться им с вами!
❗️К каждому вопросу прилагаются полезные ресурсы для углубления знаний по данной теме.
1. Что такое Tf-IDF и как он работает?
2. Как обучается word2vec?
3. Какие виды токенизаторов есть и как они обучаются? Как оценить качество токенизатора?
4. Для чего используется позиционная кодировка, почему мы не можем просто кодировать индексами токенов?
5. Основное отличие BERT и GPT моделей?
6. Как можно решить проблему галлюцинаций в LLM?
7. Можно ли подать модели с входным контекстом 8к токенов последовательность с 32к токенами? Что произойдет?
8. Сравни вычислительную сложность у RNN/LSTM и Attention блоков в трансформерах?
9. Как можно оптимизировать расчет attention-оценок в трансформерах? Какие есть подходы?
10. Какие есть гиперпараметры генерации в GPT моделях?
📚Дополнительные ресурсы для лучшей подготовке к собеседованиям по NLP и LLM:
▫️Русский курс по NLP от Hugging Face с самого нуля.
▫️Также отличный курс от Лены Войты по базовым концепциям NLP.
▫️Онлайн-ресурс с объяснением ключевых терминов и того, что сейчас используется в индустрии, начиная с базовых вещей.
▫️100 вопросов и ответов для интервью по NLP
▫️Топ-50 вопросов из собеседований по NLP
▫️Вопросы по NLP 2024 года
Ставьте лайки❤️ и огоньки🔥
Обязательно пишите комментарии под постом и добавляйте свои варианты вопросов из собеседований!
До встречи👋🏻
🔎 Знание основ NLP и умение работать с LLM становятся ключевыми навыками для Data Scientistа и ML-Engineerа.
Рынок труда активно требует опытных специалистов в этой области, и чтобы чувствовать себя уверенно на собеседовании, мы подготовили список основных вопросов на подобных секциях и готовы поделиться им с вами!
❗️К каждому вопросу прилагаются полезные ресурсы для углубления знаний по данной теме.
1. Что такое Tf-IDF и как он работает?
2. Как обучается word2vec?
3. Какие виды токенизаторов есть и как они обучаются? Как оценить качество токенизатора?
4. Для чего используется позиционная кодировка, почему мы не можем просто кодировать индексами токенов?
5. Основное отличие BERT и GPT моделей?
6. Как можно решить проблему галлюцинаций в LLM?
7. Можно ли подать модели с входным контекстом 8к токенов последовательность с 32к токенами? Что произойдет?
8. Сравни вычислительную сложность у RNN/LSTM и Attention блоков в трансформерах?
9. Как можно оптимизировать расчет attention-оценок в трансформерах? Какие есть подходы?
10. Какие есть гиперпараметры генерации в GPT моделях?
📚Дополнительные ресурсы для лучшей подготовке к собеседованиям по NLP и LLM:
▫️Русский курс по NLP от Hugging Face с самого нуля.
▫️Также отличный курс от Лены Войты по базовым концепциям NLP.
▫️Онлайн-ресурс с объяснением ключевых терминов и того, что сейчас используется в индустрии, начиная с базовых вещей.
▫️100 вопросов и ответов для интервью по NLP
▫️Топ-50 вопросов из собеседований по NLP
▫️Вопросы по NLP 2024 года
Ставьте лайки❤️ и огоньки🔥
Обязательно пишите комментарии под постом и добавляйте свои варианты вопросов из собеседований!
До встречи👋🏻
Forwarded from Data Secrets
Она разделена на три больших раздела:
1) База LLM (тут все про токены, эмбеддинги, внимание etc)
2) Претрейн (как предобучают LLM и мультимодальные модели, что такое RAG и Topic Modeing)
3) Файнтюнинг
С сегодняшнего дня книга доступна на маркетплейсах и на сайте O’Reilly (а там предусмотрен бесплатный пробный период на 7 дней, и карту вводить не требуется).
Сохраняйте и добавляйте в свой ридинг бэклог!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from что-то на DL-ском
Содержательная статья на Хабр, в которой проводится экскурс по базовым подходам к рекомендательным системам. Жмак читать 🫵
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from L M
Ongoing курс по LLM агентам
https://llmagents-learning.org/f24
потихоньку выкладывают записи лекций и слайды
https://llmagents-learning.org/f24
потихоньку выкладывают записи лекций и слайды
Forwarded from Агенты ИИ | AGI_and_RL
ммм, ребята попытались скомпилить все в одно по тюнингу ллмковых со свежими подходами
Норм обзорчик собрали, пусть будет
Stage 1: Dataset Preparation
Stage 2: Model Initialisation
Stage 3: Training Environment Setup
Stage 4: Partial or Full Fine-Tuning
Stage 5: Evaluation and Validation
Stage 6: Deployment
Stage 7: Monitoring and Maintenance
115 страничек
The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities
https://arxiv.org/abs/2408.13296
Норм обзорчик собрали, пусть будет
Stage 1: Dataset Preparation
Stage 2: Model Initialisation
Stage 3: Training Environment Setup
Stage 4: Partial or Full Fine-Tuning
Stage 5: Evaluation and Validation
Stage 6: Deployment
Stage 7: Monitoring and Maintenance
115 страничек
The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities
https://arxiv.org/abs/2408.13296
arXiv.org
The Ultimate Guide to Fine-Tuning LLMs from Basics to...
This report examines the fine-tuning of Large Language Models (LLMs), integrating theoretical insights with practical applications. It outlines the historical evolution of LLMs from traditional...
Forwarded from эйай ньюз
CS492(D): Diffusion Models and Their Applications
Курс по Диффузионным моделям от KAIST (Южная Корея) - если хочется поднять базу, не ходя в университет.
Читает леции вот этот чувак - Minhyuk Sung. На сайте есть записи всех лекций и слайды, плюс 2 гостевые лекции от крутых ученых.
Список лекций:
1 - Course Introduction
2 - Introduction to Generative Models / GAN / VAE
3 - DDPM 1
4 - DDPM 2
5 - DDIM 1
6 - DDIM 2 / CFG
7 - CFG / Latent Diffusion / ControlNet / LoRA
8 - Zero-Shot Applications
9 - Guest Lecture 1 by Or Patashnik
10 - DDIM Inversion / Score Distillation 1
11 - Score Distillation 2
12 - Diffusion Synchronization
13 - Inverse Problems 1
14 - Inverse Problems 2
15 - Probability Flow ODE / DPM-Solver
16 - Flow Matching 1
17 - Flow Matching 2
18 - Course Summary
19 - Guest Lecture 2 by Jiaming Song, Chief Scientist at Luma AI
https://mhsung.github.io/kaist-cs492d-fall-2024/
Ну а еще почитать про диффузию можно у меня :) Вот пара ссылок:
- Как ускорить диффузию часть 1, часть 2
- Моя любимая статья по диффузионным моделям (база)
- Разбор нашей статьи Cashe Me if You Can по ускорению диффузионок
- И ещё пара туториалов, вот первый и второй
#ликбез
@ai_newz
Курс по Диффузионным моделям от KAIST (Южная Корея) - если хочется поднять базу, не ходя в университет.
Читает леции вот этот чувак - Minhyuk Sung. На сайте есть записи всех лекций и слайды, плюс 2 гостевые лекции от крутых ученых.
Список лекций:
1 - Course Introduction
2 - Introduction to Generative Models / GAN / VAE
3 - DDPM 1
4 - DDPM 2
5 - DDIM 1
6 - DDIM 2 / CFG
7 - CFG / Latent Diffusion / ControlNet / LoRA
8 - Zero-Shot Applications
9 - Guest Lecture 1 by Or Patashnik
10 - DDIM Inversion / Score Distillation 1
11 - Score Distillation 2
12 - Diffusion Synchronization
13 - Inverse Problems 1
14 - Inverse Problems 2
15 - Probability Flow ODE / DPM-Solver
16 - Flow Matching 1
17 - Flow Matching 2
18 - Course Summary
19 - Guest Lecture 2 by Jiaming Song, Chief Scientist at Luma AI
https://mhsung.github.io/kaist-cs492d-fall-2024/
Ну а еще почитать про диффузию можно у меня :) Вот пара ссылок:
- Как ускорить диффузию часть 1, часть 2
- Моя любимая статья по диффузионным моделям (база)
- Разбор нашей статьи Cashe Me if You Can по ускорению диффузионок
- И ещё пара туториалов, вот первый и второй
#ликбез
@ai_newz
Forwarded from Data Secrets
Известный мировой тех.подкаст про AI Latent.Space в честь Нового Года выложили 2025 AI Engineering Reading List
Это огромный список актуальных мастридов для ML/AI инженеров. В нем нет базовой базы, а только те статьи, которые непосредственно относятся к современным развивающимся методам и технологиям.
Охвачены 10 самых важных на сегодняшний день областей: файнтюнинг, агенты, диффузия, голос, вижн модели, генерация кода, RAG, цепочки рассуждений, бенчмарки и эвал, и frontier LLMs.
Список получился у ребят действительно очень крутой и насущный, так что обязательно забирайте себе в бэклог или в ридинг-клабы.
Это огромный список актуальных мастридов для ML/AI инженеров. В нем нет базовой базы, а только те статьи, которые непосредственно относятся к современным развивающимся методам и технологиям.
Охвачены 10 самых важных на сегодняшний день областей: файнтюнинг, агенты, диффузия, голос, вижн модели, генерация кода, RAG, цепочки рассуждений, бенчмарки и эвал, и frontier LLMs.
Список получился у ребят действительно очень крутой и насущный, так что обязательно забирайте себе в бэклог или в ридинг-клабы.
Forwarded from эйай ньюз
Принес вам 14 книг по Machine Learning для прочтения в 2024 году
Вкатывающимся в ML архиважно иметь структурированную информацию для обучения. Чтобы избежать головокружения от длины списка, советую для начала выбрать по одной книге из каждой секции и вперёд штудировать!
🧠 Фундамент
1. Deep Learning: Foundations and Concepts (Bishop & Bishop, 2023)
2. Deep Learning (Goodfellow, Bengio, Courville, 2016)
3. The Little Book of Deep Learning (Fleuret, 2023). [тык]
4. Mathematics for Machine Learning (Deisenroth, Faisal, Ong, 2020)
5. Probabilistic Machine Learning (Murphy, 2012-2023)
6. Linear Algebra and Learning from Data (Strang, 2019)
💻 Более практические
7. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 3rd Edition (Géron, 2022)
7. Dive into Deep Learning (Zhang et al., 2023)
9. Designing Machine Learning Systems (Huyen, 2022)
10. Fundamentals of Data Engineering (Reis & Housley, 2022)
🤗 LLM-ки
11. Natural Language Processing with Transformers, Revised Edition (Tunstall, von Werra, Wolf, 2023)
12. Hands-On Large Language Models (Alammar and Grootendorst, 2024 - WIP)
🎉 Генеративный AI
13. Generative Deep Learning, 2nd Edition (Foster, 2023)
14. Hands-On Generative AI with Transformers and Diffusion Models (Cuenca et al., 2024 - WIP)
Многие из книг можно найти в интернете бесплатно. Список, конечно, не исчерпывающий, но довольно вместительный.
Часть списка подготовил мой знакомый из Hugging Face, Omar Sanseviero, а я его дополнил. #книги #books
@ai_newz
Вкатывающимся в ML архиважно иметь структурированную информацию для обучения. Чтобы избежать головокружения от длины списка, советую для начала выбрать по одной книге из каждой секции и вперёд штудировать!
1. Deep Learning: Foundations and Concepts (Bishop & Bishop, 2023)
2. Deep Learning (Goodfellow, Bengio, Courville, 2016)
3. The Little Book of Deep Learning (Fleuret, 2023). [тык]
4. Mathematics for Machine Learning (Deisenroth, Faisal, Ong, 2020)
5. Probabilistic Machine Learning (Murphy, 2012-2023)
6. Linear Algebra and Learning from Data (Strang, 2019)
7. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 3rd Edition (Géron, 2022)
7. Dive into Deep Learning (Zhang et al., 2023)
9. Designing Machine Learning Systems (Huyen, 2022)
10. Fundamentals of Data Engineering (Reis & Housley, 2022)
🤗 LLM-ки
11. Natural Language Processing with Transformers, Revised Edition (Tunstall, von Werra, Wolf, 2023)
12. Hands-On Large Language Models (Alammar and Grootendorst, 2024 - WIP)
13. Generative Deep Learning, 2nd Edition (Foster, 2023)
14. Hands-On Generative AI with Transformers and Diffusion Models (Cuenca et al., 2024 - WIP)
Многие из книг можно найти в интернете бесплатно. Список, конечно, не исчерпывающий, но довольно вместительный.
Часть списка подготовил мой знакомый из Hugging Face, Omar Sanseviero, а я его дополнил. #книги #books
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
🙏1
Forwarded from toshik
Scribd
OceanofPDF.com the Hundred-Page Language Models Book - Andriy Burkov
The document introduces 'The Hundred-Page Language Models Book' by Andriy Burkov, which is a concise and accessible guide to understanding machine learning and language models. It features endorsements from industry leaders and provides a structured approach…