Наука о Данных (Big Data, СУБД)
3 subscribers
383 photos
533 links
Рынок и новости в сфере Data science (науке о данных) Tableau, Power BI. Язык R, SQL. Аналитика 1С, Machine Learning, Data Analyst
Download Telegram
Шпаргалка по LangChain
LangChain упрощает создание помощников ИИ с помощью больших языковых моделей, предоставляя интуитивно понятный API, возможности памяти, доступ к внешним инструментам, возможность связывать действия LLM и создавать шаблоны подсказок. Ознакомьтесь с нашей новейшей шпаргалкой, чтобы приступить к работе прямо сейчас.
https://www.kdnuggets.com/2023/08/langchain-cheat-sheet.html
LangChain + Streamlit + Llama: перенос диалогового ИИ на локальный компьютер
Интеграция LLM с открытым исходным кодом и LangChain для бесплатных генеративных ответов на вопросы (ключ API не требуется).
https://plainenglish.io/blog/langchain-streamlit-llama-bringing-conversational-ai-to-your-local-machine
Неструктурированные данные: примеры, инструменты, методики и рекомендации
В современном построенном на данных мире организации накапливают огромные объёмы информации, позволяющие принимать важные решения и выводы. Целых 80% от этой цифровой сокровищницы представляют собой неструктурированные данные, в которых отсутствует формат и упорядоченность.
https://habr.com/ru/articles/756454/
Работа с матрицами в python
Я недавно начал свой путь в data science и хочу поделиться свои опытом в написание алгоритмов для работы с матрицами, я планирую активно пополнять свой репозиторий новыми функциями (понимаю что можно все сделать с нампаем).
https://habr.com/ru/articles/755652/
Коллеги, всем добрый день!
Я учусь в Политехническом университете и прошу уделить 2-3 минуты внимания для мини-исследования СПбПУ по специфике управления персоналом в сфере ИТ: https://forms.gle/qzvYoJQRVCsBwUU99
А если передадите эти сведения коллегам - будет совсем хорошо!

И еще: у студентов направления "Управление персоналом" начинаются очередные "проектные" дисциплины и если у вас есть для них какие-нибудь не очень сложные задачи, которые они могли бы (попробовать) решить - сообщите. Например, что-нибудь поисследовать (информацию собрать, обработать, представить), поискать идеи или возможности по созданию новых продуктов, услуг, разработать макеты информационных материалов и т.п.
Сведения об этом можно оставить в комментариях в анкете с исследованием. Спасибо!
Опыт PT: BI на страже кибербезопасности
Сегодня мне хотелось бы поговорить о том, как можно применить BI, а также оценить роль, которую BI играет в цифровой трансформации компании. Ответы на эти вопросы мы получили на своем опыте, когда начали внедрять новую аналитическую платформу и обнаружили интерес к ней со стороны многих департаментов компании. Под катом — история, как мы перевели BI в Positive Technologies на единую платформу
https://habr.com/ru/articles/756758/
Reinforcement Learning from Human Feedback: когда одной математики мало
Сотни людей собрались на конференции ICML на туториале про обучение с подкреплением на основе отзывов (reinforcement learning from human feedback, RLHF). Докладчик спросил, кто хочет размечать данные. Пять, быть может, десять человек подняло руки. И это никого не удивило.
https://habr.com/ru/articles/755904/
Простые радости вертикального масштабирования
В последние 20 лет архитекторы программных и аппаратных систем перепробовали различные стратегии, которые позволили бы решать проблемы, связанные с большими данными. Пока программисты усердно переписывали код, приспосабливая его для горизонтального масштабирования на множество машин, железячники впихивали на каждый чип всё больше и больше транзисторов и ядер, чтобы увеличить объём работы, осуществимый на каждой машине.
https://habr.com/ru/articles/755626/
The owner of this channel has been inactive for the last 5 months. If they remain inactive for the next 10 days, they may lose their account and admin rights in this channel. The contents of the channel will remain accessible for all users.
Как мигрировать на российский BI без потери качества?
После ухода основных вендоров BI-решений: Qlik, Tableau, Power BI, на российском рынке на некоторое время возник вакуум. Проблематика экстренного импортозамещения коснулась многих крупных и средних компаний, ключевые бизнес-процессы которых были завязаны на BI-аналитике и возможности быстрого принятия решений, которые она предоставляет.
https://habr.com/ru/articles/755558/
S3 не сразу строилось
Вашему вниманию предлагается сокращённый перевод эпичного поста под авторством Энди Уорфилда, вице-президента и заслуженного инженера в компании Amazon, занятого разработкой S3. Пост основан на его пленарном выступлении с конференции USENIX FAST ‘23 и затрагивает три различных аспекта, касающихся выстраивания и эксплуатации такого огромного хранилища данных как S3. Если пост окажется интересным - рассмотрим вариант перевести и вторую часть.
https://habr.com/ru/articles/754340/
Бизнес-ключ и суррогатный ключ нужны оба
Пару дней назад я агитировал всеми уважаемого эксперта в хранилищах данных за новый стандарт суррогатных ключей UUIDv7 для высоконагруженных систем, и получил от него ответ:...
Пришлось писать ответное письмо, из которого родилась эта статья.
https://habr.com/ru/articles/754160/
Я сделал Stable Diffusion XL «умнее» обучив её на плохих изображениях, созданных искусственным интеллектом
В прошлом месяце Stability AI выпустила Stable Diffusion XL 1.0 (SDXL) и открыла её исходный код, не требуя каких-либо специальных разрешений для доступа к ней.
https://habr.com/ru/articles/756006/
Путь 11 страданий: это не ДЗЕН и не ДАО — это выбор российского BI
Мне, наконец, есть чем поделиться с вами. И это результаты практически годового процесса выбора BI-системы из числа российских разработок на замену одной из западных платформ. За это время мне стало очевидно, что примерно 50% действий, которые мы сделали, можно было и не делать, а 20% не стоило делать вовсе. В итоге получилась практически инструкция “как не надо” выбирать себе BI-систему, если вы хотите, чтобы она действительно начала приносить вам пользу ASAP.
https://habr.com/ru/articles/757954/
Бесконечное радио создаваемое нейронными сетями. Open-source проект
Привет всем увлеченным нейронными сетями или тем, кто хочет вникнуть в технологии. Сегодня я хотел бы познакомить вас со своим захватывающим проектом с открытым исходным кодом «Бесконечное нейронное радио». Бесконечное, потому что lofi музыка и подкасты могут генерироваться нейронными сетями бесконечно. В этой статье я бы хотел углубиться в то, как все работает изнутри.
https://habr.com/ru/articles/755788/
Аугментация экспрессивных аудиоданных на основе TTS
В этой статье мы поговорим о системах клонирования голоса на основе TTS (Text-to-Speech), которые мы используем в корпоративной лаборатории человеко-машинного взаимодействия ИТМО для аугментации речевых баз данных в рамках задачи мультимодального распознавания доминантности дикторов в полилогах.
https://habr.com/ru/articles/755770/
10 полезных ИИ, которые облегчат вашу жизнь
Искусственный интеллект продолжает стремительно развиваться и проникать во все сферы нашей жизни. Сегодня мы поговорим о 10 интересных нейросетях, которые могут сильно облегчить решение повседневных задач. Давайте разберемся, что умеют эти ИИ и как они могут помочь в работе и жизни.
https://habr.com/ru/articles/757988/
Приготовление зелья LLM для конкретного домена
Сделайте своего LLM экспертом в своей области.
https://www.kdnuggets.com/2023/08/brewing-domainspecific-llm-potion.html
📊 Рынок и новости в сфере Data Science: ключевые тренды и инструменты 2024 года

🔍 В 2024 году наука о данных продолжает стремительно развиваться, предоставляя новые возможности для анализа, визуализации и принятия решений на основе данных. Давайте рассмотрим ключевые события и тренды в области Data Science, а также популярные инструменты и технологии этого года!

🚀 Основные тренды и новости в сфере Data Science:
Развитие визуализации данных:

Tableau и Power BI остаются лидерами в области визуализации данных, предоставляя пользователям мощные инструменты для создания интерактивных дашбордов и отчетов. В 2024 году наблюдается активное развитие интеграции этих платформ с новыми источниками данных и улучшение пользовательского интерфейса.
Продвижение языка R и SQL:

Язык R продолжает быть популярным инструментом для статистического анализа и машинного обучения благодаря своей мощной экосистеме пакетов и библиотек. SQL остаётся ключевым языком для работы с базами данных, а его новые расширения и оптимизации упрощают сложные запросы и операции.
Аналитика и интеграция с 1С:

Аналитика 1С становится всё более важной для бизнеса, предлагая интеграцию с системами отчетности и управления данными. В 2024 году улучшения в аналитике 1С способствуют более глубокому анализу бизнес-процессов и данных.
Машинное обучение и AI:

Машинное обучение (ML) продолжает развиваться с акцентом на улучшение алгоритмов, ускорение обработки данных и развитие новых моделей. В этом году наблюдается рост применения AI в различных областях, включая предсказательную аналитику, обработку естественного языка и автоматизацию процессов.
Роль Data Analyst:

Профессия Data Analyst продолжает развиваться, требуя от специалистов всё большего набора навыков, включая знание инструментов визуализации, аналитики и машинного обучения. В 2024 году акцент на интеграцию и обработку больших данных делает работу аналитиков более стратегически важной.
📈 Перспективные направления для анализа и инвестиций:
Инструменты визуализации. Инвестирование в новые решения и платформы для визуализации данных, такие как Tableau и Power BI, может значительно улучшить аналитические возможности и принятие решений.
Языки программирования. Освоение языка R и SQL остаётся важным для профессионалов, работающих с данными. Изучение новых возможностей и библиотек в этих языках поможет в эффективном анализе и обработке данных.
Машинное обучение и AI. Инвестиции в развитие и внедрение машинного обучения и AI-технологий открывают новые возможности для оптимизации процессов и принятия решений на основе данных.
💡 Советы для профессионалов и организаций:
Оставайтесь в курсе новинок. Следите за последними достижениями в области визуализации данных, языков программирования и инструментов аналитики, чтобы эффективно использовать их в своей работе.
Развивайте навыки. Освойте новые технологии и инструменты в области Data Science, такие как передовые библиотеки для языка R или новые возможности SQL.
Инвестируйте в обучение и развитие. Регулярное обучение и повышение квалификации помогут оставаться конкурентоспособными и эффективно использовать современные технологии в аналитике и машинном обучении.
👥 Ваши мысли: Какие тренды и инструменты в сфере Data Science вам кажутся наиболее актуальными в 2024 году? Как вы используете Tableau, Power BI, R, SQL или машинное обучение в своей работе? Делитесь своими мыслями и задавайте вопросы в комментариях!
В каждом дне скрыты десятки маленьких моментов, которые зачастую ускользают от нашего внимания. Утренний свет, пробивающийся сквозь занавески. Тепло чашки с чаем, согревающей руки. Шум дождя за окном или тихий шорох

Мы живём в мире, где события сменяют друг друга с невероятной скоростью. Иногда кажется, что времени на передышку нет, что нужно быть быстрее, продуктивнее, успевать всё и сразу. Но правда в том, что именно в этих маленьких паузах, в умении замечать детали

Каждый день — это не просто список задач или череда встреч. Это возможность почувствовать, что ты живёшь. Это шанс задуматься о своих мечтах, вспомнить о важных людях и уделить немного времени чему-то настоящему.

Пусть сегодняшний день станет для вас не просто очередным. Остановитесь, вдохните глубже, посмотрите на мир вокруг. Что-то красивое, важное или вдохновляющее наверняка уже ждёт вашего взгляда. 💛