Интересное что-то
517 subscribers
2.72K photos
253 videos
139 files
4.52K links
Материалы и мысли, понадерганные отовсюду
Блог: https://t.me/asisakov_channel
Чат: https://t.me/youknowds_chat
Download Telegram
Forwarded from Vikhr models
This media is not supported in your browser
VIEW IN TELEGRAM
Salt

Мы начали собирать эту модель в августе, в конце августа получили первый прототип, а потом стало выходить миллион вариантов вида: а давайте whisper для речи+GAN для генерации аудио, а потом вышел FishAudio который лучше работает, да и в целом хорошая модель.

Мы шли с другого конца, собрали решение поверх lm с расширенным токенайзером, использовали WavTokenizer для токенизации аудио.

Учили около 150 а100 часов для финального экспа, но количество экспов и денег сожженых в этот проект переваливает за то сколько я потратил на оригинальные Вихри.

По итогу получился не трансформер который понимает речь и генерирует речь, а Dalle1 like tts на основе llama3 3b.

Сейчас идут работы по дообучению на музыку/аудио, вероятно проект получит папир и обновление.
Сейчас модель неплохо работает на английском, на русский мы доучиваем модель.


huggingface
collab
А еще мы учимся на ошибках и в этот раз выкладываем весь код для обучения и aulate для подсчета аудио метрик


В релизе участвовали: Ksenya (основной контрибьютор), Костя, а я ходил пинал чтобы оно все не развалилось и доехало до какого то состояния.
Про лидерство в Dise

Как вы знаете, у Dise еще нет CTO. В октябре мы наняли троих очень талантливых и очень амбициозных разрабов, надеясь этот вопрос решить, но что то пошло не так...

Об этом в конце, что важнее, это заставило нас много думать и говорить о лидерстве, и вывести формулу, по которой мы теперь лидерские качества меряем.

Лидер—это тот, кому больше всех надо.

Оказалось это не вопрос экспертности или даже опыта, это вопрос инициативности, заряженности, и желания брать на себя ответственность, как бы это банально не звучало.

Leadership = Ownership + Control

Когда лидер берет на себя ответственность он становится тем с кого в конце спрашивают, и это дает ему власть спрашивать с других, потому что все понимают, что он забирает на себя риск и пострадает если что он, а оне они. Он закрывает других своей спиной, и из за этого другие его слушают и помогают.

Не может быть ответственности без власти, и не может быть власти без ответственности


На бытовом уровне, овнерщип означает:

1️⃣ Одержимость результатом. Если что то критическое не работает, этот человек не заснет пока решение не будет найдено. Если оно не может быть найдено, он предложит альтернативные пути обхода, потому что он видит общую картину, и понимает что варианта не решить у него нет. В лидерских ролях не существует отмазок.

Можно зафейлить задачу, но нельзя зафейлить миссию


2️⃣ Перфекционизм. Если что то не идеально, он не успокоится пока не будет сделано как надо. Он переживает про каждую деталь, потому что если верхушка принимает тяп-ляп, то ни у кого ниже нет инцентива делать лучше. Я слышал, как люди жалуются на ios 18 и говорят "это было бы невозможно при Стиве Джобсе", потому что он дрючил всех, и не допускал низкого качества, что в итоге определяло планку продуктов эпл. Я сам, каждый наш релиз, отправляю фронтендеру фиксы по отступам, цветам иконок, и обводкам, потому что после меня уже никто об этом не скажет.

3️⃣ Инициативность. И главное, он проактивно ищет новые возможности, и предлагает новые идеи, как улучшить общий результат, а не сидит в комфорте минимума своих прямых обязанностей, потому что упряжка не может бежать быстрее первой лошади. Он должен на своей энергии и одержимости общим успехом тащить всю упряжку и мотивировать других бежать быстрее.

За все это он получает контроль и другие плюшки.

Это точно не привилегия, это просто другая функция, с более широким диапазоном ups and downs. Расположенность к ней определяется исключительно настроем и личной мотивацией (ну и способностью это экзекьютить), и многим это просто не нужно чтобы достичь своих целей.
____

Мы поняли свои проблемы, когда раз за разом, когда у нас падал продукт, или банили домен, ни у кого не горела жопа так, чтобы поднять всех на уши, порисерчить, сделать самому, но решить. Мне приходилось говорить "алё, у нас вообще то прод лежит" или звать Диму. Дошло до того, что я начал проводить дейли синки и спрашивать всех по прогрессу и проверять все ли занимаются самыми приоритетными задачами.

Вышло это так, потому что я верю что можно иметь это лидерство, и этот овнерщип в каждом члене команды, хотя бы на уровне своей зоны ответственности, и мы наверно ожидали увидеть троих СТО, которые втроем будут не спать и переживать о продукте, но из за того что мы не наделили никого конкретно властью, это погубило личную инициативу брать ответственность за весь продукт, так как все стеснялись спрашивать с других. Но мы меняемся.
____

Напоследок, все что я сказал применимо в ровной степени к нашему дизайнеру СЕО. Сейчас, человек "которому больше всех надо"—это я. Но как только появится кто то, кто будет больше переживать про продукт и рост бизнеса, быстрее решать проблемы, и сильнее толкать компанию вперед своими идеями, то он/она станет помощником СЕО.
Please open Telegram to view this post
VIEW IN TELEGRAM
TLDR доклада "Как в яндексе делают ранжирование нейросетками в RecSys?"

1. Категориальные фичи кодируют эмбедингами
2. Вещественные фичи нормализуют / делают улучшенную бинаризацию (называют кусочно-линейным кодированием)
3. Используют один слой DCN, чтобы моделировать комбинации признаков
4. Затем 5 MLP слоев и дропаут
5. Добавляют на вход фичи с других моделей по пользователю (например, у них есть трансформер, который делает вектор пользователя по его истории)
6. Делаю несколько голов на несколько действий пользователя (клик, просмотр и тд.)
7. Кормят много данных с большим бачсайзом
8. Лосс на попарное ранжирование (сигмоида от разности логитов двух айтемов)
Forwarded from Data Funk
Выбросы — это точки, которые не следуют общей тенденции, какой бы она ни была. Что считать тенденцией зависит от задачи, но поиск таких точек в многомерном пространстве часто сводится к применению Isolation Forest, Local Outlier Factor, KNN или DBSCAN. Сюда же можно добавить дешевый и эффективный PCA, смысл использования которого, в том, что чем больше требуется компонент для восстановления точки из сжатого представления в исходное с заданной точностью, тем более аномальной является точка (классический PCA чувствителен к выбросам, поэтому лучше взять его устойчивые аналоги - robust PCA). В предыдущем посте я брал датасет англоязычных песен на Spotify за 5 лет, тут воспользовался им снова. По музыкальным характеристикам треков оценил минимально количество компонент PCA для реконструкции фичей каждого трека с фиксированной погрешностью, и усреднил их количество по каждому исполнителю. Также усреднил популярность.
Как за 5 минут склонировать свой голос и озвучить им подкаст 🤯🤯🤯

1. Открываем NotebookLM, загружаем туда ссылки на статьи или YouTube-видео и нажимаем "Generate Deep Dive Conversation".

2. Скачиваем готовый подкаст на английском с двумя ведущими.

3. Открываем Google AI Studio, загружаем в чат аудиофайл подкаста и просим извлечь текст.

4. Просим переписать сценарий подкаста под одного ведущего и нажимаем "Run".

5. Скачиваем несколько своих голосовых сообщений из WhatsApp/Telegram (я взял два первых, продолжительностью 1–1,5 минуты).

6. Открываем сайт hailuo.ai -> Voices -> "Create your Voice Clone", загружаем туда свои голосовые сообщения и нажимаем "Convert".

7. Копируем текст из Google AI Studio и вставляем его в hailuo.ai -> "Text to Speech", выбираем свой клонированный голос и нажимаем "Generate".

8. Готово! Потратил 0$

UPD: пример с моим голосом в комментариях к этому посту
Forwarded from Артем
Немного ссылок по Feature Engineering:
1. Общая информация про конструирование признаков: https://www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://habr.com/ru/companies/ruvds/articles/680498/&ved=2ahUKEwjgvLiZ0JCLAxUvR_EDHfdjMxgQFnoECBUQAQ&usg=AOvVaw1r_Q31wi1Hvn59t5elz2Og от @dfeeler
2. Целый гайд-пайплайн по преобразование данных: https://github.com/ashishpatel26/Amazing-Feature-E

Автоматический Feature Engineering:
Я знаю только один инструмент, который более-менее работает: https://github.com/alteryx/featuretools
Вот статейка на хабр: https://habr.com/ru/companies/lemana_tech/articles/511792/

Автоматический FE стоит применять тогда, когда уже сложно придумать свои признаки руками)
📚 Подведу результаты. Парой постов выше писал о книге «Кремлевская школа переговоров» от @ryzov_igor, с которой решил сделать незамысловатый экспериимент: прочитать книгу дважды, буквально начать читать её второй раз после прочтения впервые. И что же из этого вышло?

🤷 Если коротко, то я прочитал 2/3 книги и... решил сделать по ней MindMap, то есть взять и прочитать всё заново в третий раз 👹
В итоге вышел приличных объемов документ в Miro, делалось это как «шпаргалка», чтобы при подготовке к любым переговорам можно было посмотреть короткое содержание и понять тактику (это всё не отменяет чтение самой книги, она лишь позволяет быстро восполнить прочитанное). В итоге закончив его – понял, что это должна быть не только моя шпаргалка, но и другим читателям она очевидно пригодится.
Само собой публиковать без разрешения автора такое нельзя, поэтому я решился и написал Игорю Романовичу письмо. А сегодня пришел ответ с разрешением публикации 🕺

👍 Посмотреть полный MindMap по книге «Кремлевская школа переговоров» можно тут: https://miro.com/app/board/uXjVLxOP4W0=/?share_link_id=442164743425

#book
Please open Telegram to view this post
VIEW IN TELEGRAM
За что же биржи обычно берут деньги с бедных участников?

Оценим на примере CME минимальные расходы для гипотетическое фирмы, торгующей на собственный капитал.

Market Data

Лицензии на доступ к рыночным данным многообразны и разноплановы. (Интересно, как именно биржи придумывают за что взять с участников денег и почему именно столько...)

Для героев нашего примера ежемесячная стоимость доступа к рыночным данным для торговых роботов (non-display device) будет такой:

* Non-Display Category A – Trading As a Principal: 1 приложение $589 - 4+ приложений $3,521
* Category B – Internal Order Processing: 1 приложение $2,357 - 4+ приложения $2,951
* Category C - Risk Management/Research and Analysis etc: 1 приложение $351 - 4+ приложений $589

Если наши герои захотят использовать рыночные данные CME для отправки заявок за пределы CME, то придётся раскошелиться ещё на Category A3 – Trading on Alternative Venue: 1 приложение $1,759 - 4+ приложений - $4,132 в месяц.

Плюс ещё есть комиссии за display devices, но для этой оценки ими можно пренебречь.

(Интересный побочный вопрос - кто владеет интеллектуальной собственностью на рыночные данные? Кажется по факту получается что биржа, поэтому за доступ к историческим данным или за предоставление сохранённых вами данных третьим лицам она выставит отдельный счёт).

Подключение

Прямое подключение к сети биржи достаточно дорогое удовольствие. Для HFT нужна самая быстрая физическая линия в сo-location - 10 Gb - это $12к в месяц.

Торговые роботы работают на железе в co-location, но трейдеры там сидеть не могут. Чтобы им зайти на торговые машины через интернет нужно настроить VPN, который стоит $500/m за каждые 0.5 Mbps.

Итого

Таким образом, если вдруг наши герои смогут зарабатывать торгуя только лишь одним приложением через одну физическую линию только лишь на CME, то придётся заплатить бирже за рыночные данные от $40k в год и за физическое подключение к сети от $150k в год, и это не считая стоимости электричества и аренды серверной стойки в co-location, а также остальных сопутствующих расходов.

@engineer10x
Forwarded from Время Валеры
Небольшая заметка от Рони Кохави - P-values and Bayes Factors in A/B Testing: Frequentist or Bayesian A/B

Многие критикуют A/B тесты за то, что им непонятно, что такое P-value, и вместо этого хочется видеть какую-то вероятность успеха.
Отсюда люди начинают прибегать ко всякому: гаданию, Таро, баесовским приорам.

Рони говорит: всё здорово, но почему бы просто не использовать False Positive Risk?
In this document, I show that mapping from p-values to minimum and calibrated Bayes Factors, which can then be mapped to probabilities, seem to give values close to the FPR (False Positive Risk), or the probability that a statistically significant result is a false positive. This is an important empirical confirmation that I have not seen before.


Классическая история: если у вас 15% A/B тестов действительно успешны, вероятность ошибки первого рода составляет 5%, а второго рода — 20%, то какой у вас False Positive Rate? А False Positive Rate в нужную сторону? Все это довольно легко посчитать, безо всяких чудес.

А вот баесовские методы, требующие различных приоров и онлайн-калькуляторы, предлагающие их, почему-то либо не дают дополнительной информации, либо завышают положительную вероятность.
If all we are doing is providing a different mapping from four parameters (sample size of control, sample size of treatment, successes in control, successes in treatment) to probabilities using non-informative priors, then I find the Bayesian exercise losing much of the promise. Worse, the online Bayesian A/B calculators not only require fewer parameters than FPR does, but the “Chance to beat Control” seems highly exaggerated.

Рекомендую просматривать заметку каждый раз, когда рука будет тянуться к Баесу