Я скачал интернет
По своей диссертации я много работаю с большими данными. Из-за того, что я всю жизнь кнопки красил и вообще ваш питон только в универе видел, я нередко обращаюсь к ChatGPT за помощью в качестве ментора. Ух, и сколько часов он мне сэкономил, чтобы не гуглить каждый раз методы pandas, bs4, scikit-learn, seaborn и даже базового питоновского синтаксиса!
Недавно мы летали в Дубай на самолете, и 5 часов без интернета и других отвлекающих факторов казались перспективными для подготовки очередного этапа исследования. Но для того, чтобы не затупить на очередной фильтрации таблиц, мне нужна была документация по основным библиотекам, которые я использую. Я думал скачать pdf-ки с инструкциями, но вовремя наткнулся на ollama - инструмент для установки и взаимодействия с LLM локально. По сути это возможность запустить аналог ChatGPT на вашем устройстве, и для него не нужен доступ в сеть.
Никаких особых навыков для запуска тоже не понадобится:
1. Качаем ollama и устанавливаем ее
2. Открываем терминал, вводим:
Или выбираем другую модель из списка. Ждем завершения загрузки.
3. Скачиваем расширение для chrome - ollama-ui.
4. Открываем расширение, пользуемся!
Скорость ответа по понятным причинам сравнительно медленнее, чем у ChatGPT, и будет зависеть от характеристик вашего устройства. Я ждал ответа около минуты, но мог бы и меньше, если бы задал корректный промпт и не получал кучу воды. Вот вам примеры, что можно сделать, пока вы летите в самолете:
1. Почитать историю страны, куда вы летите, и попросить составить список достопримечательностей
2. Подушнить в споре с друзьями, куда правильно ставить ударение в слове, ведь у вас есть, у кого спросить
3. Попросить сгенерировать код под ваши задачи
4. Написать свой код, понять, что он не работает, попросить ollama исправить в нем ошибки
...
Список неограничен, ведь на вашем устройстве теперь хранится по сути zip-архив всего интернета, который весит как 1.5-часовой фильм. И это действительно восхищает
По своей диссертации я много работаю с большими данными. Из-за того, что я всю жизнь кнопки красил и вообще ваш питон только в универе видел, я нередко обращаюсь к ChatGPT за помощью в качестве ментора. Ух, и сколько часов он мне сэкономил, чтобы не гуглить каждый раз методы pandas, bs4, scikit-learn, seaborn и даже базового питоновского синтаксиса!
Недавно мы летали в Дубай на самолете, и 5 часов без интернета и других отвлекающих факторов казались перспективными для подготовки очередного этапа исследования. Но для того, чтобы не затупить на очередной фильтрации таблиц, мне нужна была документация по основным библиотекам, которые я использую. Я думал скачать pdf-ки с инструкциями, но вовремя наткнулся на ollama - инструмент для установки и взаимодействия с LLM локально. По сути это возможность запустить аналог ChatGPT на вашем устройстве, и для него не нужен доступ в сеть.
Никаких особых навыков для запуска тоже не понадобится:
1. Качаем ollama и устанавливаем ее
2. Открываем терминал, вводим:
ollama run llama2
Или выбираем другую модель из списка. Ждем завершения загрузки.
3. Скачиваем расширение для chrome - ollama-ui.
4. Открываем расширение, пользуемся!
Скорость ответа по понятным причинам сравнительно медленнее, чем у ChatGPT, и будет зависеть от характеристик вашего устройства. Я ждал ответа около минуты, но мог бы и меньше, если бы задал корректный промпт и не получал кучу воды. Вот вам примеры, что можно сделать, пока вы летите в самолете:
1. Почитать историю страны, куда вы летите, и попросить составить список достопримечательностей
2. Подушнить в споре с друзьями, куда правильно ставить ударение в слове, ведь у вас есть, у кого спросить
3. Попросить сгенерировать код под ваши задачи
4. Написать свой код, понять, что он не работает, попросить ollama исправить в нем ошибки
...
Список неограничен, ведь на вашем устройстве теперь хранится по сути zip-архив всего интернета, который весит как 1.5-часовой фильм. И это действительно восхищает
🔥14✍5❤5👍2
Пополнил коллекцию!
Эх, кажется, в прошлом году медаль была интереснее
Эх, кажется, в прошлом году медаль была интереснее
❤🔥22👍7❤1
А есть ли среди подписчиков кто-нибудь, кто работает с анализом данных, разрабатывает модели?
Посоветуйте, пожалуйста, какие-нибудь графические low-code инструменты по типу make.com, n8n.io (на скрине). Теряюсь в jupyter ноутбуке (в vscode), очень много ячеек становится с разными экспериментами.
Вроде нашел KNIME, но вдруг есть что-то удобнее 🤔
Посоветуйте, пожалуйста, какие-нибудь графические low-code инструменты по типу make.com, n8n.io (на скрине). Теряюсь в jupyter ноутбуке (в vscode), очень много ячеек становится с разными экспериментами.
Вроде нашел KNIME, но вдруг есть что-то удобнее 🤔
🤔4☃1
Исследование рынка продактов за 2024 год
Из интересного:
🔵 Общение с пользователями у продактов занимает меньше 10-20% времени, а большая его часть уходит на встречи и созвоны (у кого-то до 100%)
🔵 Больше половины опрошенных по выходным работают работу (потому что на выходные не поставить встречи) , либо делают очередной сайд-проект.
🔵 80% выгорали хотя бы раз. А вот это исследование рынка IT приводит значение в 58%, что тоже много и топ-1 среди остальных профессий. Еще бы, вы видели сколько встреч? А потом еще и пет-проект делать на выходных
🔵 Топ-3 навыка, которые хотят прокачать продакты: экономика, стратегия, аналитика. Эти навыки занимали топ и два года назад. Присмотритесь, если хотите перейти в профессию. Почему-то никто не хочет качать навык отказа от встреч.
А еще там очень крутой топ книг! Многие книги из списка рекомендую даже коллегам-технарям, которые не собираются в продакты.
Ссылка на исследование
Из интересного:
А еще там очень крутой топ книг! Многие книги из списка рекомендую даже коллегам-технарям, которые не собираются в продакты.
Ссылка на исследование
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥4❤🔥1
🎯 Путь в Школу Менеджеров Яндекса
Есть у Яндекса летние школы по разным направлениям, которые проводятся каждый год. 6 лет назад, когда я начинал путь во фронтенде, мечтал попасть в ШРИ (Школа Разработки Интерфейсов). Пробовал несколько лет, но так и не получилось - вступительные были очень жесткие (фронты, подтвердите!). 3 года назад я начал подаваться в ШМЯ (Школу Менеджеров Яндекса) и в этом году, наконец, поступил 🎉
Ежегодно туда подают заявки несколько тысяч человек, а проходят всего десятки. Обратной связи по заданиям нет, поэтому не всегда понятно, что было хорошо, а что нужно исправить в решениях. И раз у меня получилось в этом году, хочу поделиться решениями вступительных, чтобы вы смогли оттолкнуться от логики моих рассуждений, понять форму ответов, и пройти отбор в следующем году.
У меня написано несколько постов на эту тему, но сперва хочется понять ее актуальность - это определит формат и объем материалов
Есть у Яндекса летние школы по разным направлениям, которые проводятся каждый год. 6 лет назад, когда я начинал путь во фронтенде, мечтал попасть в ШРИ (Школа Разработки Интерфейсов). Пробовал несколько лет, но так и не получилось - вступительные были очень жесткие (фронты, подтвердите!). 3 года назад я начал подаваться в ШМЯ (Школу Менеджеров Яндекса) и в этом году, наконец, поступил 🎉
Ежегодно туда подают заявки несколько тысяч человек, а проходят всего десятки. Обратной связи по заданиям нет, поэтому не всегда понятно, что было хорошо, а что нужно исправить в решениях. И раз у меня получилось в этом году, хочу поделиться решениями вступительных, чтобы вы смогли оттолкнуться от логики моих рассуждений, понять форму ответов, и пройти отбор в следующем году.
У меня написано несколько постов на эту тему, но сперва хочется понять ее актуальность - это определит формат и объем материалов
🔥16❤3
Актуален разбор заданий ШМЯ?
Anonymous Poll
24%
Да, буду пробовать поступать в следующем году
65%
Да, просто интересно почитать
11%
Нет
Developer Experience (DX) для Продакта
Все говорят про DX для разработчиков, настало время заступиться за продактов! Да, IT-продактам нужен навык создания продуктов без команды разработчиков: для валидации гипотез, идей, а может даже и для привлечения первых платящих пользователей. Под хештегом #ProductDX буду публиковать инструменты, которые значительно упрощают мне работу по созданию MVP без навыков кода (почти).
Первые шаги, к тому, чтобы начать самостоятельно проверять свои идеи:
1. Купить домен, на который будет не стыдно скинуть ссылку (~700р/год)
2. Купить VPS (облачный сервер): 1 Гб RAM, 15 Гб ПЗУ достаточно для начала (~200р/мес)
3. Поставить на сервер CapRover
CapRover - это визуальный менеджер развертывания приложений/баз данных и веб-серверов.
С чем он поможет вам:
- Разворачивать приложения в один клик: Wordpress, Postgres, nocoDB, mongoDB, Moodle LMS и еще много готовых приложений, а с базовым знанием docker можно развернуть что угодно
- Использовать один домен и сервер для тысячи экспериментов: для нового проекта caprover просто создаст новый поддомен третьего уровня
- Бесплатно подключить и обновлять SSL-сертификаты - да, за них можно не платить, когда вы делаете MVP
- Мониторинг сервера и алерты в телеграм, если ваш MVP взлетел, пока вы спали, и сервера начали отказывать
- Не платить за тысячу разных low/no-code платформ, почтовых серверов
Инструкция по установке CapRover, а вот тут можно попробовать демо-версию, чтобы понять, что это вообще такое, и какие там есть возможности.
Все говорят про DX для разработчиков, настало время заступиться за продактов! Да, IT-продактам нужен навык создания продуктов без команды разработчиков: для валидации гипотез, идей, а может даже и для привлечения первых платящих пользователей. Под хештегом #ProductDX буду публиковать инструменты, которые значительно упрощают мне работу по созданию MVP без навыков кода (почти).
Первые шаги, к тому, чтобы начать самостоятельно проверять свои идеи:
1. Купить домен, на который будет не стыдно скинуть ссылку (~700р/год)
2. Купить VPS (облачный сервер): 1 Гб RAM, 15 Гб ПЗУ достаточно для начала (~200р/мес)
3. Поставить на сервер CapRover
CapRover - это визуальный менеджер развертывания приложений/баз данных и веб-серверов.
С чем он поможет вам:
- Разворачивать приложения в один клик: Wordpress, Postgres, nocoDB, mongoDB, Moodle LMS и еще много готовых приложений, а с базовым знанием docker можно развернуть что угодно
- Использовать один домен и сервер для тысячи экспериментов: для нового проекта caprover просто создаст новый поддомен третьего уровня
- Бесплатно подключить и обновлять SSL-сертификаты - да, за них можно не платить, когда вы делаете MVP
- Мониторинг сервера и алерты в телеграм, если ваш MVP взлетел, пока вы спали, и сервера начали отказывать
- Не платить за тысячу разных low/no-code платформ, почтовых серверов
Инструкция по установке CapRover, а вот тут можно попробовать демо-версию, чтобы понять, что это вообще такое, и какие там есть возможности.
🔥5👍4🆒4
EduTech_40_web_2.pdf
4 MB
Нашел полный инсайтов отчет СберУниверситета о геймификации продуктов. Если вы пробовали внедрять ее в свой продукт, то представляете, насколько это бывает непросто. Я тоже пробовал, у меня не получалось 🙂
Вот пара мыслей из отчета для следующей попытки добавить щепотку азарта в продукт:
P.S. Отчет заявлен изначально для сферы образования, но советы и приемы в нем универсальны — забирайте в любой продукт
Please open Telegram to view this post
VIEW IN TELEGRAM
❤17🔥5👍1💯1🏆1
Недавно Google добавил аварский язык (один из народов Дагестана) в свой переводчик. Это очень важное событие для небольшого народа. В одном из лезгинских чатов (еще один дагестанский народ) поднялось обсуждение - как сделать свой переводчик или попросить корпорации помочь с этим. Но в любом случае для работы с языком начинать нужно со сбора данных.
Как оказалось, на лезгинском языке очень сложно найти языковой корпус. На языке говорит всего 700К человек, а параллельный корпус с переводами почти никогда не собирался.
Мы собрали небольшую группу энтузиастов, соскребли по кусочкам с интернета то, что имелось, и разметили данные. Получилось 13 тысяч строк данных (со всего интернета!), состоящих из пар предложений русский-лезгинский. Это было немного, но хоть что-то.
Далее, дообучили модель NLLB, которая создана специально для языков с небольшим количеством данных. Разместили ее на HF и получили первый в мире лезгинский переводчик, и он уже умеет переводить простые фразы! Да, качество перевода пока оставляет желать лучшего, но это получился отличный Proof-of-Concept.
На этом мы остановиться не могли и начали работу по ручной разметке нужных нам данных. Благодаря первой версии переводчика, получилось заинтересовать массовую аудиторию и уже за первые две недели собрать довольно внушительный по текущим меркам датасет.
Краудсорсинг внезапно оказался очень увлекательной продуктовой задачей. Все решения мы разрабатывали очень быстро, итеративно дорабатывая на основе данных - чистый MVP, как он есть. В следующих постах подробнее раскрою, какие мы решения принимали, и как они влияли на активность в проекте.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥50❤13💯5
Это я в Дагестанском Технологическом Университете рассказываю про последние наши разработки, как ИИ помогает сохранять языки малых народов. И призываю других энтузиастов присоединяться к нам и делиться опытом и экспертизой.
Два месяца назад я писал про платформу для краудсорсинга параллельного языкового корпуса. А в последний месяц мы один за другим проводили эксперименты по созданию Text-to-Speech модели. И тут есть, чем поделиться)
Для того чтобы натренировать такую модель, нужно иметь довольно большой размеченный датасет (аудио+текст). Качество аудио должно быть близко к идеальному. Поэтому обычно созданием таких моделей занимаются корпорации, либо используются открытые датасеты. На русском и английском, например, таких датасетов довольно много. Но чтобы у небольшого народа была проделана такая работа - это большая редкость.
И тут нам очень повезло. В рамках работы над переводчиком мы познакомились с еще одним энтузиастом, основателем PublicDictionary, который горел идеей создания синтеза речи для малых народов. Он организовал и платформу для записи аудио, и разметку, купил качественные микрофоны и нашел людей, кто очень грамотно говорит на лезгинском. Но модель создать пока что не вышло, хотя попытки предпринимались. Мы решили объединить усилия и поэкспериментировать по правилу 20/80. Так у нас на руках оказался уникальный набор данных.
Для базовой модели выбрали VITS, нашли наработки Meta по созданию модели озвучки текста на базе VITS, подсмотрели, как они работают с фонемами, и начали экспериментировать.
Несмотря на довольно небольшой датасет (30 часов аудио), полученная модель получилась в каких-то местах лучше привычных русскоязычных моделей синтеза речи. На видео я как раз рассказываю про один из примеров, как модель с выражением читает стихи. Однако она все еще не идеальна: есть проблемы с проглатыванием звуков в некоторых сценариях. Но в рамках малоресурсного языка модель такого качества выведена впервые. И рад, что аудитория это тоже заметила и оценила - было приятно получить аплодисменты аудитории после демонстрации примеров работы.
Такие модели значительно упрощают работу с контентом: вы могли и сами заметить, как много подобного видео стало появляться в социальных сетях. Буду надеяться, что наши первые шаги в эту сторону помогут наполнить рекомендательные алгоритмы тиктока, инсты и ютуба, и позволят людям не забывать, как звучит их родной язык.
Два месяца назад я писал про платформу для краудсорсинга параллельного языкового корпуса. А в последний месяц мы один за другим проводили эксперименты по созданию Text-to-Speech модели. И тут есть, чем поделиться)
Для того чтобы натренировать такую модель, нужно иметь довольно большой размеченный датасет (аудио+текст). Качество аудио должно быть близко к идеальному. Поэтому обычно созданием таких моделей занимаются корпорации, либо используются открытые датасеты. На русском и английском, например, таких датасетов довольно много. Но чтобы у небольшого народа была проделана такая работа - это большая редкость.
И тут нам очень повезло. В рамках работы над переводчиком мы познакомились с еще одним энтузиастом, основателем PublicDictionary, который горел идеей создания синтеза речи для малых народов. Он организовал и платформу для записи аудио, и разметку, купил качественные микрофоны и нашел людей, кто очень грамотно говорит на лезгинском. Но модель создать пока что не вышло, хотя попытки предпринимались. Мы решили объединить усилия и поэкспериментировать по правилу 20/80. Так у нас на руках оказался уникальный набор данных.
Для базовой модели выбрали VITS, нашли наработки Meta по созданию модели озвучки текста на базе VITS, подсмотрели, как они работают с фонемами, и начали экспериментировать.
Несмотря на довольно небольшой датасет (30 часов аудио), полученная модель получилась в каких-то местах лучше привычных русскоязычных моделей синтеза речи. На видео я как раз рассказываю про один из примеров, как модель с выражением читает стихи. Однако она все еще не идеальна: есть проблемы с проглатыванием звуков в некоторых сценариях. Но в рамках малоресурсного языка модель такого качества выведена впервые. И рад, что аудитория это тоже заметила и оценила - было приятно получить аплодисменты аудитории после демонстрации примеров работы.
Такие модели значительно упрощают работу с контентом: вы могли и сами заметить, как много подобного видео стало появляться в социальных сетях. Буду надеяться, что наши первые шаги в эту сторону помогут наполнить рекомендательные алгоритмы тиктока, инсты и ютуба, и позволят людям не забывать, как звучит их родной язык.
❤35❤🔥15🔥14