Forwarded from Machinelearning
Открытый препринт книги Тарсиса Соуза (Tharsis Souza), PhD Лондонсого университета, в которой представлен критический анализ проблем и ограничений, возникающих у инженеров и руководителей технических проектов при разработке приложений на основе LLM.
Цель книги, по заявлению автора – помочь создавать надежные и безопасные системы на основе LLM, избегая распространенных ошибок.
Она ориентирована на разработчиков, технических менеджеров проектов и технических руководителей, стремящихся к углубленному пониманию и преодолению практических трудностей, связанных с внедрением LLM.
В отличие от преобладающего дискурса, акцентирующего возможности LLM, книга сосредоточена на практических сложностях и потенциальных ошибках реализации, предлагая подробное руководство по их преодолению.
В книге рассматриваются проблемы: структурной ненадежности, управления входными данными, тестирования, аспектов безопасности и элайнмента, зависимости от поставщиков и оптимизации затрат.
Книга сопровождается репозиторием с практическими примерами на Python, анализом реальных сценариев и решений.
@ai_machinelearning_big_data
#AI #ML #LLM #Book #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from NoML Digest
Про FCA для кластеризации и не только
В дополнение к докладу на прошлой неделе Егор рекомендует несколько статей от других команд, работающих над схожими задачами.
Две статьи про кластеризации от коллег из Ля Рошеля, которые так же разрабатывают теорию узорных структур (eng. Pattern Structures) :
▫️ Boukhetta S., Trabelsi M., Formal Concept Analysis for Trace Clustering in Process Mining, at ICCS 2023;
▫️ Waffo Kemgne M. et al., Fuzzy and Overlapping Communities Detection: An Improved Approach Using Formal Concept Analysis, at ASONAM 2024.
Две статьи от коллег из университета Артуа, где кластеризацию и бинарную классификацию решают через SAT солверы:
▫️ Ben Hassine M. et al, On the Discovery of Conceptual Clustering Models Through Pattern Mining, at ECAI 2024;
▫️ Hidouri A. et al., On the Learning of Explainable Classification Rules through Disjunctive Patterns, at ICTAI 2024.
В этой статье можно найти подробный обзор символьных подходов к кластеризации:
▫️ Pérez-Suárez A. et al., A review of conceptual clustering algorithms, in Artificial Intelligence Review, 2018.
Напоследок, в этой статье ниже можно найти множество техник и алгоритмов для оптимизации переборов описаний на бинарных данных:
▫️ Szathmary L. et al., A fast compound algorithm for mining generators, closed itemsets, and computing links between equivalence classes, in Annals of Mathematics and AI, 2014.
В дополнение к докладу на прошлой неделе Егор рекомендует несколько статей от других команд, работающих над схожими задачами.
Две статьи про кластеризации от коллег из Ля Рошеля, которые так же разрабатывают теорию узорных структур (eng. Pattern Structures) :
▫️ Boukhetta S., Trabelsi M., Formal Concept Analysis for Trace Clustering in Process Mining, at ICCS 2023;
▫️ Waffo Kemgne M. et al., Fuzzy and Overlapping Communities Detection: An Improved Approach Using Formal Concept Analysis, at ASONAM 2024.
Две статьи от коллег из университета Артуа, где кластеризацию и бинарную классификацию решают через SAT солверы:
▫️ Ben Hassine M. et al, On the Discovery of Conceptual Clustering Models Through Pattern Mining, at ECAI 2024;
▫️ Hidouri A. et al., On the Learning of Explainable Classification Rules through Disjunctive Patterns, at ICTAI 2024.
В этой статье можно найти подробный обзор символьных подходов к кластеризации:
▫️ Pérez-Suárez A. et al., A review of conceptual clustering algorithms, in Artificial Intelligence Review, 2018.
Напоследок, в этой статье ниже можно найти множество техник и алгоритмов для оптимизации переборов описаний на бинарных данных:
▫️ Szathmary L. et al., A fast compound algorithm for mining generators, closed itemsets, and computing links between equivalence classes, in Annals of Mathematics and AI, 2014.
Forwarded from Start Career in DS
Что такое Git и зачем он нужен Data Scientist'у
Git — важный инструмент разработки, который необходим каждому, кто пишет код, включая DS-специалистам.
Git - это система (программа), которая позволяет отслеживать и вести изменения в файлах вашего проекта. Git - преимущественно используется в разработке, но иногда и в других областях.
🗂 Репозиторий - это хранилище вашего кода для одного или нескольких проектов. Git позволяет хранить репозитории локально или использовать специальные веб-сайты: GitHub, Bitbucket, GitLab.
🔝 Основные преимущества Git:
1. Контроль версий — возможность фиксировать каждое изменение в проекте и возвращаться к любой версии кода.
2. Работа в команде — удобная командная разработка без конфликтов в коде.
3. Воспроизводимость — возможность фиксировать состояние кода и данных.
4. Портфолио/Трудоустройство — работодатели часто используют GitHub, как способ оценить навыки кандидата
5. Безопасность — код хранится не только на вашем компьютере, но и в удаленном репозитории.
📚Дополнительные материалы по теме:
- Подборка постов про Git от нашего канала🤗
- [RU] Официальная документация Git на русском
- [RU] Интерактивный тренажер с доступной теорией и практикой ключевых концепций Git
- [ENG] Официальная документация по GitHub (подойдет как новичкам для знакомство с платформой, так и опытным юзерам для продвинутого использования)
- [RU] Git за полчаса - руководство для начинающих
- [RU] Репозиторий с советами и трюками по Git
Ставьте ❤️ и 🔥под данным постом!
И не забывайте делиться полезными ресурсами по Git в комментариях!
Git — важный инструмент разработки, который необходим каждому, кто пишет код, включая DS-специалистам.
Git - это система (программа), которая позволяет отслеживать и вести изменения в файлах вашего проекта. Git - преимущественно используется в разработке, но иногда и в других областях.
🗂 Репозиторий - это хранилище вашего кода для одного или нескольких проектов. Git позволяет хранить репозитории локально или использовать специальные веб-сайты: GitHub, Bitbucket, GitLab.
🔝 Основные преимущества Git:
1. Контроль версий — возможность фиксировать каждое изменение в проекте и возвращаться к любой версии кода.
2. Работа в команде — удобная командная разработка без конфликтов в коде.
3. Воспроизводимость — возможность фиксировать состояние кода и данных.
4. Портфолио/Трудоустройство — работодатели часто используют GitHub, как способ оценить навыки кандидата
5. Безопасность — код хранится не только на вашем компьютере, но и в удаленном репозитории.
📚Дополнительные материалы по теме:
- Подборка постов про Git от нашего канала🤗
- [RU] Официальная документация Git на русском
- [RU] Интерактивный тренажер с доступной теорией и практикой ключевых концепций Git
- [ENG] Официальная документация по GitHub (подойдет как новичкам для знакомство с платформой, так и опытным юзерам для продвинутого использования)
- [RU] Git за полчаса - руководство для начинающих
- [RU] Репозиторий с советами и трюками по Git
Ставьте ❤️ и 🔥под данным постом!
И не забывайте делиться полезными ресурсами по Git в комментариях!
Telegram
Start Career in DS
🐈⬛ Бесплатный курс для начинающих - введение в Git
У нас уже были посты про Git:
– Интерактивный туториал (если вы уже немного понимаете в Git)
– Курс для тех, кто вообще не работал с гитом
– Что делать, если накосячил при работе с гитом
Есть ещё один…
У нас уже были посты про Git:
– Интерактивный туториал (если вы уже немного понимаете в Git)
– Курс для тех, кто вообще не работал с гитом
– Что делать, если накосячил при работе с гитом
Есть ещё один…
Forwarded from Dealer.AI
Color_coded_racetrack_large_channel.gif
1.2 MB
Лабиринты, тесты абстрактной логики и игра в жизнь.
Продолжаем думки на тему, а зачем ученые дяди и тети заставляют LLM решать задачки ARC, поиск пути в лабиринте и тп.
Рассуждения навеяны статьями:
- AlphaMaze
- Beyond A*
- On the Messure of intelligence
Увидев вчерашние посты, коллеги стали задаваться вопросом: "а возможно ли обучаясь на такой синтетике и вообще решая задачки типа лабиринта словить aha эффект – когда модель начнет использовать полученные навыки в других задачах, также как это у людей получается?"
И мой ответ, конечно это возможно, даже больше скажу авторы данных экспериментов в первую очередь преследуют именно цель трансфера знаний и навыков на смежные задачи. Ведь, на самом деле, нам не так интересно искать пути в лабиринте с помощью LLM для этого у нас итак куча алгоритмов аля A* и др. Они быстрее, легче и эффективнее. А тогда зачем?
Наша цель подобно, как человек решает задачи абстрактной логики – это аля IQ тесты, где по картинкам над понять закономерность, в тч ARC, тренировать теже области весов модели, как области коры мозга у человека, которые позволяют нам лучше решать другие задачи,где важно абстрактное мышление.
Поэтому исследователи гоняют лабиринты 5*5/10*10, покоряют бенчмарки ARC и тп и тд. И мы видим, в статье про AlphaMaze важные выводы,что тупой прямой тюн не работает, модель из коробки не работает. А чтобы решать такие задачи приходится тюнить R класса модели, т.е. учить рассуждениям, планированию специально. "Ризонинг нада качать(с)". Но на самом деле, ризонинг в т.ч. качается через обучение таким задачам.
Еще интересное, что делали ребята из sakana.ai про создание симулятора игры в жизнь, через работу в пространстве visual embeddings. Но можно пойти дальше, не просто искать переходные состояния в пространстве векторов, можно же предсказывать в принципе следующие состояния эволюции популяции. Это как в arc мы связываем серию изображений с следующим наиболее логичным к этой серии. А тут мы по серии развития популяции (тоже в виде картинок, там же 2d) можем по ее картинке предсказывать следующий шаг. Кто знает,где такой трансфер может сыграть, помимо ARC-лайк и планинга. Может в прогнозировании динамики сложных систем? Создании новых материалов и драгов?
В общем, идея интересная, записывайте. Пробуйте.
Продолжаем думки на тему, а зачем ученые дяди и тети заставляют LLM решать задачки ARC, поиск пути в лабиринте и тп.
Рассуждения навеяны статьями:
- AlphaMaze
- Beyond A*
- On the Messure of intelligence
Увидев вчерашние посты, коллеги стали задаваться вопросом: "а возможно ли обучаясь на такой синтетике и вообще решая задачки типа лабиринта словить aha эффект – когда модель начнет использовать полученные навыки в других задачах, также как это у людей получается?"
И мой ответ, конечно это возможно, даже больше скажу авторы данных экспериментов в первую очередь преследуют именно цель трансфера знаний и навыков на смежные задачи. Ведь, на самом деле, нам не так интересно искать пути в лабиринте с помощью LLM для этого у нас итак куча алгоритмов аля A* и др. Они быстрее, легче и эффективнее. А тогда зачем?
Наша цель подобно, как человек решает задачи абстрактной логики – это аля IQ тесты, где по картинкам над понять закономерность, в тч ARC, тренировать теже области весов модели, как области коры мозга у человека, которые позволяют нам лучше решать другие задачи,где важно абстрактное мышление.
Поэтому исследователи гоняют лабиринты 5*5/10*10, покоряют бенчмарки ARC и тп и тд. И мы видим, в статье про AlphaMaze важные выводы,что тупой прямой тюн не работает, модель из коробки не работает. А чтобы решать такие задачи приходится тюнить R класса модели, т.е. учить рассуждениям, планированию специально. "Ризонинг нада качать(с)". Но на самом деле, ризонинг в т.ч. качается через обучение таким задачам.
Еще интересное, что делали ребята из sakana.ai про создание симулятора игры в жизнь, через работу в пространстве visual embeddings. Но можно пойти дальше, не просто искать переходные состояния в пространстве векторов, можно же предсказывать в принципе следующие состояния эволюции популяции. Это как в arc мы связываем серию изображений с следующим наиболее логичным к этой серии. А тут мы по серии развития популяции (тоже в виде картинок, там же 2d) можем по ее картинке предсказывать следующий шаг. Кто знает,где такой трансфер может сыграть, помимо ARC-лайк и планинга. Может в прогнозировании динамики сложных систем? Создании новых материалов и драгов?
В общем, идея интересная, записывайте. Пробуйте.
Forwarded from Дратути Антон
Занимательное интервью
Я иногда посматриваю Оскара, иногда Михаила — они два достаточно известных предпринимателя, мне нравится их образ мышления, часто производят мысли, которые заставляют лично меня задуматься. Тут мне рекомендации подсунули ролик, где Оскар берёт интервью у Михаила. Очень понравилось то, как хорошо гость отвечал, а иногда и оспаривал тезисы ведущего — такое не часто встретишь!
Какие мысли меня зацепили.
Если бы бизнес все делали по-умному, то нашему миру было бы очень грустно.
Аргумент следующий: большое число убыточных бизнесов (без негативной коннотации) делают продукты и услуги, которыми мы пользуемся, которые составляют важную для нас ценность.
У любого человека капитал состоит из трёх компонент: деньги, компетенции и ресурсы. Вначале лучше ставить на компетенции и ресурсы, а потом уже на деньги.
Аргумент следующий: когда мы стартуем карьеру, у нас есть какие-то компетенции и ресурсы: здоровье, высокая готовность к риску и т.д. В этих условиях лучше качать компетенции, за счёт которых ты потом сможешь зарабатывать больше денег.
Мой пример более простой: если бы я сейчас выбирал какое-то место работы, я бы ставил на первое место те команды и компании, где я могу многому научиться в зоне моих интересов. Если брать мой текущий трек — "руководитель", то не так просто найти такого человека, который в тебя будет вкладывать свой ресурс. И тут не совсем важна даже сама компания и её амбиции, сколько тот человек, который тебя будет вести и обучать.
Люди 20-ти лет — самый ценный ресурс, на который общество не обращает внимание.
Аргумент следующий: в 20 лет человек как будто получает стартовый пакет — родители и/или общество вложились, образование есть. Но в этот момент происходит самое сложное: он оказывается наедине с реальностью. Карьеры рушатся, люди теряются, потому что поддержки уже нет. Ему просто говорят: "ну всё, давай, дальше сам".
Надо работать над сильными сторонами и забить на слабые, а не так, как популярно — прокачивать свои слабые стороны.
Аргумент следующий: надо развиваться в том, в чём ты себя нашёл, в чём ты хорош. Невозможно стать лучшим во всём, при этом очень легко стать среднячком везде. Куда лучше найти свои точки максимума и растить их.
Например, я когда-то забил на гуманитарные науки. Да, я, возможно, недостаточно эрудирован в каких-то областях (особенно литературе), но при этом весьма неплох в том, что делаю сейчас.
В общем рекомендую! Ссылка на видео: https://www.youtube.com/watch?v=queK6HTrKec
Как вам такие идеи? Какие из них вам ближе, а с какими не согласны?
Я иногда посматриваю Оскара, иногда Михаила — они два достаточно известных предпринимателя, мне нравится их образ мышления, часто производят мысли, которые заставляют лично меня задуматься. Тут мне рекомендации подсунули ролик, где Оскар берёт интервью у Михаила. Очень понравилось то, как хорошо гость отвечал, а иногда и оспаривал тезисы ведущего — такое не часто встретишь!
Какие мысли меня зацепили.
Если бы бизнес все делали по-умному, то нашему миру было бы очень грустно.
Аргумент следующий: большое число убыточных бизнесов (без негативной коннотации) делают продукты и услуги, которыми мы пользуемся, которые составляют важную для нас ценность.
У любого человека капитал состоит из трёх компонент: деньги, компетенции и ресурсы. Вначале лучше ставить на компетенции и ресурсы, а потом уже на деньги.
Аргумент следующий: когда мы стартуем карьеру, у нас есть какие-то компетенции и ресурсы: здоровье, высокая готовность к риску и т.д. В этих условиях лучше качать компетенции, за счёт которых ты потом сможешь зарабатывать больше денег.
Мой пример более простой: если бы я сейчас выбирал какое-то место работы, я бы ставил на первое место те команды и компании, где я могу многому научиться в зоне моих интересов. Если брать мой текущий трек — "руководитель", то не так просто найти такого человека, который в тебя будет вкладывать свой ресурс. И тут не совсем важна даже сама компания и её амбиции, сколько тот человек, который тебя будет вести и обучать.
Люди 20-ти лет — самый ценный ресурс, на который общество не обращает внимание.
Аргумент следующий: в 20 лет человек как будто получает стартовый пакет — родители и/или общество вложились, образование есть. Но в этот момент происходит самое сложное: он оказывается наедине с реальностью. Карьеры рушатся, люди теряются, потому что поддержки уже нет. Ему просто говорят: "ну всё, давай, дальше сам".
Надо работать над сильными сторонами и забить на слабые, а не так, как популярно — прокачивать свои слабые стороны.
Аргумент следующий: надо развиваться в том, в чём ты себя нашёл, в чём ты хорош. Невозможно стать лучшим во всём, при этом очень легко стать среднячком везде. Куда лучше найти свои точки максимума и растить их.
Например, я когда-то забил на гуманитарные науки. Да, я, возможно, недостаточно эрудирован в каких-то областях (особенно литературе), но при этом весьма неплох в том, что делаю сейчас.
В общем рекомендую! Ссылка на видео: https://www.youtube.com/watch?v=queK6HTrKec
Как вам такие идеи? Какие из них вам ближе, а с какими не согласны?
Forwarded from Плюшевый Питон
Дополнение про min-p
Как известно, семплеры (температура, top-p, top-k, позже Mirostat, min-p, DRY, XTC и другие) изначально были придуманы, чтобы компенсировать недостатки обучения GPT-подобных языковых моделей.
Такие модели на этапе претрейна и SFT учатся решать задачу _классификации_ (наиболее правдоподобного следующего токена). Inductive bias здесь в предположении, что на каждом шаге порождения текста может быть только один правильный следующий токен. В природе это не так ("Они решили назвать свою дочь <?>" - какой здесь единственный правильный следущий токен?). В обучающих данных это требование тоже не обязано соблюдаться - например, в SFT у вас могут быть разные эталонные ответы на один и тот же промпт.
Могут ли модели научиться в таком режиме генерировать связный текст, не содержащий внутренних противоречий? Да. Но как сделать так, чтобы ответы модели были ещё и разнообразными? Если на каждом шаге генерации брать самый вероятный токен - у вас всегда будут получаться одинаковые ответы на один и тот же запрос. Есть ситуации, когда важно разнообразие и возможность получить несколько неодинаковых ответов. Например, при решении творческих задач: брейншторминг, рерайтинг, ролплей и т.п. Тут на помощь и приходит семплирование. Сильно упрощая, оно позволяет нам не всегда брать самый вероятный токен, что делает ответы более живыми и разнообразными. Однако важно семплировать аккуратно, чтобы не сбиться с мысли и не начать порождать бред.😵
Классические семплеры, такие как температура и top-p, чувствительны к выбору модели и к решаемой задаче. Например, насыщенные модели, которые обучались на очень большом количестве токенов, требуют более высокой температуры, если нужно разнообразие генераций. Магия же min-p как раз в том, что мы можем использовать одни и те же параметры семплирования практически на любой модели и задаче, и при этом стабильно получать связные и разнообразные ответы.🙄
Интересно, что этот семплер появился уже довольно давно в сообществе LLM-ролплееров, использующих локальные модели. Вот один из ключевых постов его автора, наглядно разъясняющий его преимущества и недостатки традиционных семплеров. Пост был опубликован в r/LocalLLaMA ещё в ноябре 2023 года!
Я регулярно пользуюсь min-p в личных проектах и экспериментах с локальными моделями уже около года. Это единственный семплер, который у меня включен по дефолту - я не использую top-k, top-p и т.д. Он отлично подходит для всего, кроме, пожалуй, замера бенчмарков, но это особый случай. Если ещё не пробовали в своих задачах - попробуйте!👍
Как известно, семплеры (температура, top-p, top-k, позже Mirostat, min-p, DRY, XTC и другие) изначально были придуманы, чтобы компенсировать недостатки обучения GPT-подобных языковых моделей.
Такие модели на этапе претрейна и SFT учатся решать задачу _классификации_ (наиболее правдоподобного следующего токена). Inductive bias здесь в предположении, что на каждом шаге порождения текста может быть только один правильный следующий токен. В природе это не так ("Они решили назвать свою дочь <?>" - какой здесь единственный правильный следущий токен?). В обучающих данных это требование тоже не обязано соблюдаться - например, в SFT у вас могут быть разные эталонные ответы на один и тот же промпт.
Могут ли модели научиться в таком режиме генерировать связный текст, не содержащий внутренних противоречий? Да. Но как сделать так, чтобы ответы модели были ещё и разнообразными? Если на каждом шаге генерации брать самый вероятный токен - у вас всегда будут получаться одинаковые ответы на один и тот же запрос. Есть ситуации, когда важно разнообразие и возможность получить несколько неодинаковых ответов. Например, при решении творческих задач: брейншторминг, рерайтинг, ролплей и т.п. Тут на помощь и приходит семплирование. Сильно упрощая, оно позволяет нам не всегда брать самый вероятный токен, что делает ответы более живыми и разнообразными. Однако важно семплировать аккуратно, чтобы не сбиться с мысли и не начать порождать бред.
Классические семплеры, такие как температура и top-p, чувствительны к выбору модели и к решаемой задаче. Например, насыщенные модели, которые обучались на очень большом количестве токенов, требуют более высокой температуры, если нужно разнообразие генераций. Магия же min-p как раз в том, что мы можем использовать одни и те же параметры семплирования практически на любой модели и задаче, и при этом стабильно получать связные и разнообразные ответы.
Интересно, что этот семплер появился уже довольно давно в сообществе LLM-ролплееров, использующих локальные модели. Вот один из ключевых постов его автора, наглядно разъясняющий его преимущества и недостатки традиционных семплеров. Пост был опубликован в r/LocalLLaMA ещё в ноябре 2023 года!
Я регулярно пользуюсь min-p в личных проектах и экспериментах с локальными моделями уже около года. Это единственный семплер, который у меня включен по дефолту - я не использую top-k, top-p и т.д. Он отлично подходит для всего, кроме, пожалуй, замера бенчмарков, но это особый случай. Если ещё не пробовали в своих задачах - попробуйте!
Please open Telegram to view this post
VIEW IN TELEGRAM
Reddit
From the LocalLLaMA community on Reddit: Your settings are (probably) hurting your model - Why sampler settings matter
Explore this post and more from the LocalLLaMA community
Forwarded from AbstractDL
Люди, которые часто используют ChatGPT — идеальные детекторы AI-текста
Оказалось, что эксперты, регулярно пользующиеся LLM в своей работе, способны распознавать AI-генерацию с почти 100% точностью, обходя все существующие детекторы и БЕЗ ложных срабатываний (в режиме majority voting).
Вот главные признаки сгенерированного текста по их мнению:
- избыточное использование некоторых слов: "crucial", "testament", "vibrant" и др.
- структура слишком "правильная" и предсказуемая
- заключения всегда аккуратные, оптимистичные и подытоживающие
Да, выборка людей была небольшая — всего 9 человек, но это всё равно продемонстрировало, что тексты от GPT-4o, o1-pro и Claude-3.5-sonnet реально детектировать, причём никакие fancy способы защиты (парафразы, доп инструкции) совсем не помогли.
Авторы выложили в открытый доступ код и датасет из 300 пар сгенерированных\реальных статей с очень подробной разметкой.
Статья, GitHub
Оказалось, что эксперты, регулярно пользующиеся LLM в своей работе, способны распознавать AI-генерацию с почти 100% точностью, обходя все существующие детекторы и БЕЗ ложных срабатываний (в режиме majority voting).
Вот главные признаки сгенерированного текста по их мнению:
- избыточное использование некоторых слов: "crucial", "testament", "vibrant" и др.
- структура слишком "правильная" и предсказуемая
- заключения всегда аккуратные, оптимистичные и подытоживающие
Да, выборка людей была небольшая — всего 9 человек, но это всё равно продемонстрировало, что тексты от GPT-4o, o1-pro и Claude-3.5-sonnet реально детектировать, причём никакие fancy способы защиты (парафразы, доп инструкции) совсем не помогли.
Авторы выложили в открытый доступ код и датасет из 300 пар сгенерированных\реальных статей с очень подробной разметкой.
Статья, GitHub
Forwarded from Варим МЛ (Евгений Никитин)
Что взять для вашей следующей гениальной идеи с LLM под капотом - модель с миллионным контекстом или RAG? Разбираемся!
Заодно хочу порекомендовать (не реклама, платной рекламы всё ещё нет и не планируется) крутой продукт моего коллеги по Цельсу Жени Гутина. Это система на основе дообученных под русский язык Speech2Text и LLM-моделей, которая генерирует автоматический протокол и транскрипт любых ваших звонков. Мы её постоянно используем в Цельсе, а ещё она, вероятно, будет интегрирована в некоторые наши продукты, но я вам об этом не говорил.
#Жека #llm
Заодно хочу порекомендовать (не реклама, платной рекламы всё ещё нет и не планируется) крутой продукт моего коллеги по Цельсу Жени Гутина. Это система на основе дообученных под русский язык Speech2Text и LLM-моделей, которая генерирует автоматический протокол и транскрипт любых ваших звонков. Мы её постоянно используем в Цельсе, а ещё она, вероятно, будет интегрирована в некоторые наши продукты, но я вам об этом не говорил.
#Жека #llm
Telegraph
RAG мёртв? Хайп вокруг 1M-моделей
На Реддите и в твиттере время от времени появляются такие посты И такие У людей, которые уже успели повыкатывать приложения с LLM под капотом в продакшн, немедленно начинает бомбить в комментариях. Почему? Давайте разбираться. Эра большого контекста Проблему…
Forwarded from Product Sweat 💦
https://podlodka.io/407
Самый интересный подкаст, который я прослушал в январе. В нем достаточно базированный чел рассказывает, как с нуля вкатиться в селф-хостинг. То есть как начать некоторые сервисы выносить к себе на локалку или на свой сервер.
Зачем так делать? Ну например хочешь хранить данные у себя в synology и не вываливать на облака. Или у тебя есть серверок и хочешь меньше платить за подписку, а только за аренду сервера (и запускать больше сервисов для себя по цене одной подписки) или просто тебе нравится деплоить как хобби.
Для меня скорее мотивация в локальном умном доме, к котрому я постепенно присматриваюсь, но пока не вкладываюсь, только изучаю. Об этом как-нибудь еще расскажу.
Самый интересный подкаст, который я прослушал в январе. В нем достаточно базированный чел рассказывает, как с нуля вкатиться в селф-хостинг. То есть как начать некоторые сервисы выносить к себе на локалку или на свой сервер.
Зачем так делать? Ну например хочешь хранить данные у себя в synology и не вываливать на облака. Или у тебя есть серверок и хочешь меньше платить за подписку, а только за аренду сервера (и запускать больше сервисов для себя по цене одной подписки) или просто тебе нравится деплоить как хобби.
Для меня скорее мотивация в локальном умном доме, к котрому я постепенно присматриваюсь, но пока не вкладываюсь, только изучаю. Об этом как-нибудь еще расскажу.
podlodka.io
Podlodka #407 – Self-hosting
Одно из самых айтишных хобби – селфхостинг. Вместо того, чтобы полагаться на ненадежных облачных провайдеров, которые могут вас забанить в любой день по цвету паспорта, перед этим случайно слив ваши приватные данные, вы поднимаете свой собственный домашний…
Forwarded from Product Sweat 💦
Product Sweat 💦
https://podlodka.io/407 Самый интересный подкаст, который я прослушал в январе. В нем достаточно базированный чел рассказывает, как с нуля вкатиться в селф-хостинг. То есть как начать некоторые сервисы выносить к себе на локалку или на свой сервер. Зачем…
Вот о чем вы узнаете, если послушаете подкаст (собрано по видео через Google NotebookLM):
* Хоумлабинг (Homelabbing) - создание домашней лаборатории с серверами и сетями для различных задач.
* Пример: Покупка серверов и настройка сети дома для экспериментов и хранения данных.
* Дата хординг (Data hoarding) - хранение больших объемов данных дома.
* Пример: Создание архива фильмов и музыки на домашнем сервере.
* Syncthing - бесплатное программное обеспечение с открытым исходным кодом, которое синхронизирует файлы между платформами.
* Пример: Синхронизация файлов между устройствами без регистрации и подписки.
* RustDesk - бесплатное программное обеспечение с открытым исходным кодом для удалённого управления компьютерами.
* Пример: Удалённый доступ к компьютерам родственников для помощи в решении технических проблем.
* Google Photos - сервис для хранения и организации фотографий.
* Пример: Автоматическое распознавание лиц и поиск по изображениям.
* Галерея (Gallery) - платформа, которую можно использовать для организации библиотеки.
* Пример: Развернуть за несколько минут с помощью контейнеризации на любой доступной платформе.
* Dawarich - программное обеспечение для создания собственной Google Timeline.
* Пример: Использование данных из Google Timeline для визуализации перемещений.
* Google Takeout - сервис для выгрузки данных из сервисов Google.
* Пример: Выгрузка фотографий из Google Photos.
* NAS (Network Attached Storage) - сетевое хранилище данных.
* Пример: Хранение фотографий и других файлов с доступом из разных устройств в сети.
* Raid - технология, которая позволяет одновременно писать вместо одного SSD на два.
* Пример: Использование для повышения надежности хранения данных.
* CDN (Content Delivery Network) - сеть доставки контента.
* Пример: Cloudflare.
* Cloudflare - сервис, предоставляющий защиту от DDoS-атак и другие функции безопасности.
* Пример: Использование для защиты веб-сайта от вредоносного трафика.
* Proxmox - система виртуализации.
* Пример: Разделение домашних приложений в виртуальных машинах.
* LXC контейнеры - позволяют развернуть Docker и Kubernetes.
* Home Assistant - платформа для автоматизации умного дома.
* Пример: Управление устройствами умного дома.
* AdGuard Home - блокировка рекламы и трекеров на уровне всей сети.
* Пример: Блокировка рекламы на всех устройствах в доме.
* Автоматизация мультимедиа (Sonarr, Radarr и др.) - автоматическая загрузка фильмов и сериалов.
* Пример: Автоматическая загрузка новых серий сериалов.
* Calibre - программное обеспечение, которое позволяет читать FB2, EPUB и другие форматы.
* Jellyfin - медиасервер, который позволяет выводить контент на телевизор.
* Пример: Воспроизведение фильмов на телевизоре по беспроводной сети.
* Plex - медиасервер.
*Пример: Вещание в качестве на телевизоре по UPnP протоколу.
* Open Cloud - позволяет организовать свое облако.
* PhotoPrism - альтернатива для фотографии и фотогалереи, которую можно организовать.
* Grafana - инструменты для мониторинга.
* Synology Quick Connect - сервис для доступа к хранилищу Synology из любого места.
* MailPit - Cлушает на 25-м порту, берет все, что ему отправили без авторизации, и делает доставку на почту.
* Community Scripts - репозиторий, где можно почитать об этой штуке.
* Хоумлабинг (Homelabbing) - создание домашней лаборатории с серверами и сетями для различных задач.
* Пример: Покупка серверов и настройка сети дома для экспериментов и хранения данных.
* Дата хординг (Data hoarding) - хранение больших объемов данных дома.
* Пример: Создание архива фильмов и музыки на домашнем сервере.
* Syncthing - бесплатное программное обеспечение с открытым исходным кодом, которое синхронизирует файлы между платформами.
* Пример: Синхронизация файлов между устройствами без регистрации и подписки.
* RustDesk - бесплатное программное обеспечение с открытым исходным кодом для удалённого управления компьютерами.
* Пример: Удалённый доступ к компьютерам родственников для помощи в решении технических проблем.
* Google Photos - сервис для хранения и организации фотографий.
* Пример: Автоматическое распознавание лиц и поиск по изображениям.
* Галерея (Gallery) - платформа, которую можно использовать для организации библиотеки.
* Пример: Развернуть за несколько минут с помощью контейнеризации на любой доступной платформе.
* Dawarich - программное обеспечение для создания собственной Google Timeline.
* Пример: Использование данных из Google Timeline для визуализации перемещений.
* Google Takeout - сервис для выгрузки данных из сервисов Google.
* Пример: Выгрузка фотографий из Google Photos.
* NAS (Network Attached Storage) - сетевое хранилище данных.
* Пример: Хранение фотографий и других файлов с доступом из разных устройств в сети.
* Raid - технология, которая позволяет одновременно писать вместо одного SSD на два.
* Пример: Использование для повышения надежности хранения данных.
* CDN (Content Delivery Network) - сеть доставки контента.
* Пример: Cloudflare.
* Cloudflare - сервис, предоставляющий защиту от DDoS-атак и другие функции безопасности.
* Пример: Использование для защиты веб-сайта от вредоносного трафика.
* Proxmox - система виртуализации.
* Пример: Разделение домашних приложений в виртуальных машинах.
* LXC контейнеры - позволяют развернуть Docker и Kubernetes.
* Home Assistant - платформа для автоматизации умного дома.
* Пример: Управление устройствами умного дома.
* AdGuard Home - блокировка рекламы и трекеров на уровне всей сети.
* Пример: Блокировка рекламы на всех устройствах в доме.
* Автоматизация мультимедиа (Sonarr, Radarr и др.) - автоматическая загрузка фильмов и сериалов.
* Пример: Автоматическая загрузка новых серий сериалов.
* Calibre - программное обеспечение, которое позволяет читать FB2, EPUB и другие форматы.
* Jellyfin - медиасервер, который позволяет выводить контент на телевизор.
* Пример: Воспроизведение фильмов на телевизоре по беспроводной сети.
* Plex - медиасервер.
*Пример: Вещание в качестве на телевизоре по UPnP протоколу.
* Open Cloud - позволяет организовать свое облако.
* PhotoPrism - альтернатива для фотографии и фотогалереи, которую можно организовать.
* Grafana - инструменты для мониторинга.
* Synology Quick Connect - сервис для доступа к хранилищу Synology из любого места.
* MailPit - Cлушает на 25-м порту, берет все, что ему отправили без авторизации, и делает доставку на почту.
* Community Scripts - репозиторий, где можно почитать об этой штуке.