Интересное что-то
522 subscribers
2.72K photos
253 videos
140 files
4.53K links
Материалы и мысли, понадерганные отовсюду
Блог: https://t.me/asisakov_channel
Чат: https://t.me/youknowds_chat
Download Telegram
Финальные результаты Enterprise RAG Challenge

- Team Leaderboard - оценивает команды (берется лучшее решение каждой команды)
- SotA Leaderboard - оценивает все эксперименты, которые прислали команды вместе с заполненным опросником.

Колонки:
- Hours - сколько часов прошло между публикацией вопросов и генерацией ответов командой
- R - Retrieval Score. Max: 100
- G - Generation Score. Max: 100
- Score - Final score (R/3+G). Max: 133
- AI - команды использовали наш AI Research (мой курс, работа в TimeToAct или комьюнити 🤗)
- Lcl - использовались модели, которые можно запустить локально

Картинки в оригинале лежат тут: https://abdullin.com/erc/. Позже я туда добавлю ссылки на все отчеты и посты участников, сделаю расширенные таблицы на основе опросников (с фильтрациями)

Спасибо всем за участие - было очень круто! У нас вместе уже получилось продвинуть вперед SotA по построению RAG систем с LLM под капотом. Первые инсайты я опубликовал раньше, но основной анализ еще впереди.

Ваш, @llm_under_hood 🤗
800+ SQL Server Interview Questions and Answers .pdf
1 MB
🖥 Полезнейший сборник из 800+ вопросов по SQL, которые часто задают на собеседованиях.

Он также включает задачи для самостоятельной работы и множество примеров.

Сборник отлично подходит для тех, кто хочет прокачать свои навыки работы с SQL, освежить знания и проверить свои знания.

GitHub

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 GPU Puzzles

Набор интерактивных упражнений («паззлов») для обучения программированию под GPU с использованием CUDA.

Это целая серия задач, где требуется написать небольшие CUDA-ядра (ядра GPU), реализующие операции вроде сложения с константой (map), поэлементного суммирования (zip), работы с блоками и потоками, свёртки, матричного умножения и других параллельных алгоритмов.

Основная цель репозитория – дать начинающим возможность непосредственно попрактиковаться в программировании под GPU, без необходимости погружаться в сложную документацию.

Для удобства рекомендуется запускать задания в Google Colab с включённым режимом GPU.

Репозиторий лицензирован по MIT, имеет высокую популярность (более 10 тыс звёзд) и является частью серии обучающих проектов (наряду с Tensor Puzzles, Autodiff Puzzles, Triton Puzzles и другими).

А здесь реализация задач на C++

Github
Colab

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Второй признак рабочего аргумента

Это продолжение заметки про три признака рабочего аргумента. Что такое аргумент и первый признак «Подходит под тему дискуссии» разобрали в прошлой заметке.



Помните ту встречу с коллегой, когда вы рационально обосновываете своё предложение, от которого выиграют все, а в ответ слышите «поток сознания»? Вот вы ходите по кругу аргументов уже час, и дело не двигается?

Почему такое может случиться? Об этом мы и поговорим сегодня и в среду.


Признак рабочего аргумента №2: аргумент сформулирован на языке выгод для второй стороны


То есть, учитывает особенности вашего собеседника, например: опыт, должность, степень влияния на принятие решения. Также полезно помнить об особенностях характера оппонента: можно использовать больше рациональных (цифры) или эмоциональных (описания кейсов) комментариев.

Обычно наиболее эффективны аргументы, которые касаются финансовых, экономических и других выгод для оппонента.


Например


Тезис:

Мы оценим эту задачу так же, как остальные новые задачи, и после 2 апреля вернусь к тебе с более точным ответом.



Пример аргумента, который сформулирован на языке выгод для собеседника, ценящего цифры:

«Чтобы стабильно добиваться поставленных KPI, мы строго придерживаемся процесса оценки всех новых задач. Это также позволяет нам расставлять приоритеты осознанно, учитывать загрузку, риски и взаимосвязи между задачами. В итоге мы релизим фичи быстрее и качественнее. До прошлого года этого процесса не было, мы укладывались в сроки всего в 20% задач, а теперь, с этим процессом, в 60%».



Аргумент не на языке выгод для собеседника, ценящего цифры:

Если мы возьмём эту задачу в обход процесса, это может демотивировать команду. Ребята видят, что мы работаем по чётким правилам, и рассчитывают на справедливое распределение задач. Если одна задача проходит вне очереди, то другие начнут задаваться вопросом: почему именно эта, а не их приоритеты? Это может подорвать доверие к процессу и снизить мотивацию. Поэтому важно, чтобы мы оценивали задачи одинаково для всех — это поддерживает командный дух и продуктивность.



Если аргумент сформулирован не на языке выгод дня собеседника, то чаще всего в ответ звучит что-то такое:

— если собеседник с развитыми коммуникационными навыками: «да, я понимаю, это тоже важно, но %его ценность% в данном случае важнее.»

— если собеседник без прокаченных коммуникационных навыков: «И чо?»


___

В среду будет тёмная сторона этого метода. А пока поделитесь мнением что думаете о втором признаке аргумента? Это работает? Используете его в работе?
Тёмная сторона

Это продолжение темы «аргумент сформулирован на языке выгод для второй стороны»

Галоп Гишгалопа: что делать, если тезис защитить хочется, но погружение не позволяет сформулировать какую-то одну внятную позицию?

Обрушьте поток аргументов.

Можно использовать несвязанные или ложные доводы, но в большом количестве и без пауз, чтобы у собеседника не было времени их разобрать.

Собеседник, если вопрос не супер важен, в итоге интуитивно соглашается или перестаёт спорить.

Этот приём называется «Галоп Гишгалопа». Любимый приём эмоциональных собеседников и приверженцев СДВГ-практик. Реже им пользуются осмысленные манипуляторы, т. к. у него есть характерный «душок» и он требует эмоциональных вложений.

Например, «Я полностью понимаю, насколько это важно! Но если мы сейчас нарушим процесс, другие команды могут начать делать то же самое, и мы потеряем управляемость. А если эта задача окажется сложнее, чем кажется, и у нас не будет ресурсов? Ведь мы уже работаем на пределе. И что, если срочно понадобится другой приоритетный проект, а мы уже взяли это? А если мы запустим без анализа, а потом придётся переделывать, и мы потеряем доверие команды? Да и в целом, наша компания строит свою силу именно на чётких процессах — если мы начнём их игнорировать, где гарантия, что завтра другие отделы не сделают то же самое? В конце концов, если взять одну внепроцессную задачу, почему не взять ещё три? Это создаст хаос, который уже никто не сможет контролировать!»


Что тут не так?

Засыпаем собеседнику сразу горсть доводов, нагнетаем эмоциональный фон, создаём «эффект лавины», доводя ситуацию до крайности: «если взять одну, то придётся брать ещё три»

Не даём собеседнику сфокусироваться на сути, чтобы он почувствовал перегруженность информацией и в итоге был вынужден просто согласиться.


А если оба собеседника галопируют?

Смешно и грустно, но я периодически вижу, как оба собеседника используют этот приём и тратят на это колоссальное количество времени и эмоций.

Например, как босс может ответить своим галопом на галоп сотрудника: «Но мы же всегда говорим, что важны скорость и адаптивность! Если мы будем медлить, нас обгонят конкуренты. А если не внедрим это решение, мы потеряем клиентов. Более того, ты же сам говорил, что хочешь, чтобы команда развивалась, а эта задача — отличный вызов! Да и вообще, у нас сейчас кризисная ситуация, что в мире происходит, нет времени на раскачку, нам нужны быстрые решения. Вспомни, как в прошлом году мы экстренно меняли стратегию — если бы тогда следовали стандартным процессам, мы бы провалились. Разве ты хочешь, чтобы из-за бюрократии компания потеряла деньги?!»


Мой топ приёмов против Галопа Гишгалопа и подобных тёмных техник

1. «Стоп, давай обсуждать аргументы по очереди»

2. «Вижу, что для тебя это очень важно, давай разберём ключевой аргумент, что больше всего тебя беспокоит»

3. Проговаривание своими словами всей логической последовательности, как если бы я пересказывал наш диалог кому-то, кто совсем не «в теме». Вслух или про себя.

4. Действенный, но сложный на практике приём — переспросить: «Я не понял, с чем именно ты не согласен (или не понял твою позицию относительно моего тезиса), отрицаешь мой тезис?».

Эмоциональные собеседники иногда неосмысленно используют Галоп Гишгалопа, когда им не нравится мой тезис, но по факту возразить нечем. В этом случае мне помогает терпение и спокойное подсвечивание нестыковок моего тезиса и контраргументов от собеседника. Но для этого надо точно помнить свой тезис и не засчитывать спорные контраргументы. Это большая нагрузка на «оперативную память» мозга.

К сожалению, ни один способ не работает в 100% ситуаций. Бывает, что другая сторона настолько эмоционально заведена, что лучше просто переназначить встречу на другое время и в другом составе. В общем, тема объёмная и очень зависит от контекста.




Узнали себя или коллегу? Насколько легко получается общаться на языке выгод?
Forwarded from DeepSchool
Внедряем модель в production c использованием model-serving фреймворков

Обучить нейросеть — часто лишь вершина айсберга. Ценность от модели появляется тогда, когда она начинает обслуживать реальных пользователей (при условии, что пользователи довольны и платят 😉). В этом посте мы поговорим о процессе внедрения нейронных сетей, а также о фреймворках сервинга — инструментах, которые значительно его упрощают.

Мы узнаем:
- какие аспекты нужно учитывать при проектировании приложения с DL-моделью
- какие подходы можно использовать для эффективной обработки запросов к приложению
- чем нам могут быть полезны model-serving фреймворки и из каких компонентов они состоят
- как настроить и интегрировать Triton Inference Server

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/c-model-serving-1b4640e5343480d09140fe8d86902a91?pvs=4
Forwarded from КПД
Развлечения ради квантанул свежевышедшую gemma-3-27b-it через GPTQ (генно-модицированной версией с парой примбамбасов).

Картиночную SigLIPовскую тушку не трогал, она все равно маленькая.

Евалы на бенчах надеюсь добавить позднее, но вроде отвечает связно на паре VLM примерчиков.

[Карточка модели на лицехватс]
Про учебники (very hard)
The Principles of Deep Learning Theory (2022, 385 цит., 449 стр.)


Последнее время я писал про простые учебники для начинающих и очень ориентированные на практику. Возможно у кого то возник вопрос, а есть ли что-то невероятно сложное? Например, про современную математическую теорию DL, за 40-60 лет с доказательства универсальной теоремы аппроксимации вероятно уже что-то ещё придумали?

Вот такой учебник. Внутри Neural Tangent Kernel, основы теории информации для DL, теоремы про residul block (соединения вида x = x + f(x)), одна из теорий инициализации весов, нейронные сети с точки зрения термодинамики и ещё много очень странных вешей.

Рекомендую читать, только если вам этот мир абсолютно понятен и вы ищете покоя, умиротворения, гармонии от слияния с бесконечно вечным.

#dl #textbook #theory