Бизнес направления в IT. Не забудем про наших любимых "проджектов", куда же без них☺️ Направления, связанные с бизнес-частью разработки ПО, также являются очень важными, несмотря на все разнообразие мемов про бизнес-аналитиков и проджектов) Ведь именно они занимаются самым неприятным: составление документации, общение с бизнесом, решение конфликтных ситуаций и т.д. Такое направление подходит тебе, если ты чувствуешь в себе задатки менеджера, но сторона айти тебе тоже не чужда.
✅Менеджер проектов. Задача менеджера проектов на первый взгляд кажется простой — организовать работу, чтобы задача была выполнена в срок. На деле это сложный баланс между заказчиком, компанией и командой. Менеджер проекта следит, чтобы заказчик принял работу и остался ей доволен, бюджет расходовался оптимально, а команда не выгорала. Чтобы всё это учесть, нужно уметь декомпозировать задачи, следить за их статусами и заниматься только тем, что необходимо на этом этапе.
Менеджер проекта должен уметь работать с рисками и просчитывать их, чтобы проблемы не были внезапными и всегда был план, как всё исправить. Эту специальность нельзя получить в вузе. Те, кто готов освоить профессию, получают знания на курсах и потом закрепляют их на практике в должности младшего менеджера проектов.
✅Бизнес-аналитик. Бизнес-аналитик выявляет потребности бизнеса и места в процессах, которые можно улучшить. Он помогает разработать полезную для бизнеса стратегию и воплотить её в жизнь. Важная черта для бизнес-аналитика — умение общаться и объяснять свою точку зрения тем, кто принимает решения. Бизнес-аналитик должен разбираться в экономике и финансах и в организационных процессах компании. Это поможет выбрать лучшую стратегию для развития компании. Специалистов можно разделить на две группы: на «чистых», которые занимаются исключительно бизнес-анализом, и «не чистых», которые закрывают задачи аналитика данных, продуктового или финансового аналитика. К какой группе принадлежит специалист, определяется спецификой проекта.
Итого...
Существует огромное множество направлений в IT. На этапе выбора важно понимать все существующие на рынке направления. Я лишь перечислил те из них, которые наиболее популярны среди начинающих компьютерщиков.
Вот основные этапы, которые помогут разобраться в бардаке направлений и возможностей:
🔥1. Карьерные IT подкасты. Вот некоторые из них:
https://facecast.net/w/32425b - IT с экспертами: на кого учиться и как найти работу. Вебинар от Яндекса
https://music.yandex.ru/album/14430395 - подкаст "IT-шниками не рождаются" от KARPOV.COURSES
https://music.yandex.ru/album/7570122?utm_source=web&utm_medium=copy_link - подкаст Podlodka
Наверняка есть и другие подкаст от других компаний. Но можно начать с этих👍
🔥2. Роадмапы, они же roadmaps, они же дорожные карты. Например, есть дорожная карта профессии аналитик данных. Она поможет тебе понять, с чего начать движение в сторону профессии мечты. Такие роадмапы спокойно гуглятся, вот пример сайта с роадмапами: https://roadmap.sh/data-analyst
🔥3. Попробуй начать прохождение бесплатных курсов типа "Введение в профессию ...". Ты сможешь за короткий промежуток времени понять, насколько тебе такое подходит. Если поймешь, что прошел какую-то постную фигню - не страшно, ведь у тебя еще целое море направлений в айти, которое можно попробовать☺️
Источники:
https://blog.skillfactory.ru/kem-rabotat-v-data-science-podborka-7-professiy/ - Кем работать в Data Science: подборка 7 профессий
https://testpro.io/ru/vidy-testirovshhikov/ - Виды тестировщиков
ссылка на статью - Профессии в IT без программирования
https://habr.com/ru/companies/yandex_praktikum/articles/791738/ - Чем занимаются бизнес-аналитики и как их нанимают: рассказывают работодатели и специалисты
✅Менеджер проектов. Задача менеджера проектов на первый взгляд кажется простой — организовать работу, чтобы задача была выполнена в срок. На деле это сложный баланс между заказчиком, компанией и командой. Менеджер проекта следит, чтобы заказчик принял работу и остался ей доволен, бюджет расходовался оптимально, а команда не выгорала. Чтобы всё это учесть, нужно уметь декомпозировать задачи, следить за их статусами и заниматься только тем, что необходимо на этом этапе.
Менеджер проекта должен уметь работать с рисками и просчитывать их, чтобы проблемы не были внезапными и всегда был план, как всё исправить. Эту специальность нельзя получить в вузе. Те, кто готов освоить профессию, получают знания на курсах и потом закрепляют их на практике в должности младшего менеджера проектов.
✅Бизнес-аналитик. Бизнес-аналитик выявляет потребности бизнеса и места в процессах, которые можно улучшить. Он помогает разработать полезную для бизнеса стратегию и воплотить её в жизнь. Важная черта для бизнес-аналитика — умение общаться и объяснять свою точку зрения тем, кто принимает решения. Бизнес-аналитик должен разбираться в экономике и финансах и в организационных процессах компании. Это поможет выбрать лучшую стратегию для развития компании. Специалистов можно разделить на две группы: на «чистых», которые занимаются исключительно бизнес-анализом, и «не чистых», которые закрывают задачи аналитика данных, продуктового или финансового аналитика. К какой группе принадлежит специалист, определяется спецификой проекта.
Итого...
Существует огромное множество направлений в IT. На этапе выбора важно понимать все существующие на рынке направления. Я лишь перечислил те из них, которые наиболее популярны среди начинающих компьютерщиков.
Вот основные этапы, которые помогут разобраться в бардаке направлений и возможностей:
🔥1. Карьерные IT подкасты. Вот некоторые из них:
https://facecast.net/w/32425b - IT с экспертами: на кого учиться и как найти работу. Вебинар от Яндекса
https://music.yandex.ru/album/14430395 - подкаст "IT-шниками не рождаются" от KARPOV.COURSES
https://music.yandex.ru/album/7570122?utm_source=web&utm_medium=copy_link - подкаст Podlodka
Наверняка есть и другие подкаст от других компаний. Но можно начать с этих👍
🔥2. Роадмапы, они же roadmaps, они же дорожные карты. Например, есть дорожная карта профессии аналитик данных. Она поможет тебе понять, с чего начать движение в сторону профессии мечты. Такие роадмапы спокойно гуглятся, вот пример сайта с роадмапами: https://roadmap.sh/data-analyst
🔥3. Попробуй начать прохождение бесплатных курсов типа "Введение в профессию ...". Ты сможешь за короткий промежуток времени понять, насколько тебе такое подходит. Если поймешь, что прошел какую-то постную фигню - не страшно, ведь у тебя еще целое море направлений в айти, которое можно попробовать☺️
Источники:
https://blog.skillfactory.ru/kem-rabotat-v-data-science-podborka-7-professiy/ - Кем работать в Data Science: подборка 7 профессий
https://testpro.io/ru/vidy-testirovshhikov/ - Виды тестировщиков
ссылка на статью - Профессии в IT без программирования
https://habr.com/ru/companies/yandex_praktikum/articles/791738/ - Чем занимаются бизнес-аналитики и как их нанимают: рассказывают работодатели и специалисты
👍5
Как и обещал направляю Библию аналитика данных. Возможно, ты про нее слышал. Прочти обязательно☝️
Книжка достаточно объемная, но можно и нужно читать отдельные главы, с которыми ты не в ладах. Рекомендуется открыть IDE и сразу пробовать вновь изученное😎
Ссыль: https://drive.google.com/file/d/1ua1ELtBwoEOiIwW90X5BjqkgcSMLVFGg/view?usp=drivesdk
P.S. если знаешь ещё литературу по pandas, кидай в комменты👇
Книжка достаточно объемная, но можно и нужно читать отдельные главы, с которыми ты не в ладах. Рекомендуется открыть IDE и сразу пробовать вновь изученное😎
Ссыль: https://drive.google.com/file/d/1ua1ELtBwoEOiIwW90X5BjqkgcSMLVFGg/view?usp=drivesdk
P.S. если знаешь ещё литературу по pandas, кидай в комменты👇
🔥7
Любишь матан? Хочешь вспомнить суровые ВУЗовские будни с мат. анализом? Тебе сюда😉🔥
И да, тут все серьезно. Это вам не бесплатный вводный урок по питону, это прям мощный курс для самых замотивированных. Я его не прошел, т.к. записался на другой курс на работе😂 Но я добью обязательно!
Что тут интересного? Всю дорогу вещают преподаватели из мехмата МГУ. Один из преподавателей - админ группы вк Ёжик в матане, ее многие знают, если не знаешь, находи срочно и подписывайся) Другие преподы тоже известны в узких кругах. Все материалы в доступе на их платформе, а преподы эти регулярно отвечают в чате вместе с кураторами😎
Если у тебя с чиселками совсем все плохо, то там есть раздел Базовая математика🤓. Его ведут классные ребята, студенты МГУ. Разжевывают всё будь здоров! Очень классно все вспоминается из школьной программы.
Всего 4 блока: Матанализ, Тервер и Статистика, Комбинаторика и Линал. По сути, базовый курс вузовского матана, но с продвинутыми штуками😍
Стоимость всего этого добра всего около 24к. Но там ещё скидки, промокоды предлагают, у меня вышло 20к. Курс останется у тебя навсегда😱 Поэтому считаю маст хэв.
Лови ссыль: https://proglib.academy/mathspro
И да, тут все серьезно. Это вам не бесплатный вводный урок по питону, это прям мощный курс для самых замотивированных. Я его не прошел, т.к. записался на другой курс на работе😂 Но я добью обязательно!
Что тут интересного? Всю дорогу вещают преподаватели из мехмата МГУ. Один из преподавателей - админ группы вк Ёжик в матане, ее многие знают, если не знаешь, находи срочно и подписывайся) Другие преподы тоже известны в узких кругах. Все материалы в доступе на их платформе, а преподы эти регулярно отвечают в чате вместе с кураторами😎
Если у тебя с чиселками совсем все плохо, то там есть раздел Базовая математика🤓. Его ведут классные ребята, студенты МГУ. Разжевывают всё будь здоров! Очень классно все вспоминается из школьной программы.
Всего 4 блока: Матанализ, Тервер и Статистика, Комбинаторика и Линал. По сути, базовый курс вузовского матана, но с продвинутыми штуками😍
Стоимость всего этого добра всего около 24к. Но там ещё скидки, промокоды предлагают, у меня вышло 20к. Курс останется у тебя навсегда😱 Поэтому считаю маст хэв.
Лови ссыль: https://proglib.academy/mathspro
proglib.academy
Математика для Data Science
Онлайн-курс от «Библиотеки программиста». Готовим к собеседованию в Яндекс, Google, Samsung, Amazon | Курс также идеально подходит к поступлению в ШАД | Программа разработана преподавателями ВМК МГУ
🔥4
Нет, нет, нет, я не забросил канал🙅♂️
Я же обещал про git рассказать, будет вам git. Иначе, как же вы еще сможете делиться с народом своими гениальными проектами🤌
Что же это вообще такое? Давайте прям по основам пробежимся)
Джунио Хамано, один из основоположников и главный мейнтейнер гита дал такое забавное определение:
Такую формулировку ты можешь увидеть в этом коммите (про коммиты узнаешь потом).
Git никак не расшифровывается, вообще на английском сленге это мерзавец) Но разработчики иногда придумывают разные забавные расшифровки, типа "global information tracking", или коверкают, произносят "get". Сам создатель гита и линукса Торвальдс вот что говорит по этому поводу:
Такие приколы...
Резюмируя, гит - это система контроля версий всего того, что в нее складывается. То есть это такая концепция, которая позволяет добавлять новые файлы, обновлять уже существующие и отслеживать все изменения в истории. GitHub, GitLab, GitVerse, BitBucket и прочее - это все просто удобные фреймворки для работы с git в команде, не более.
При этом файлы, с которыми работает git - текстовые, потому что только так он может распознать различия между двумя файлами и добавить эти изменения. Код - это по сути текстовые файлы, поэтому гит вполне с ним справляется)
Использовать эту технологию можно не только для программирования, но и просто для ведения заметок или блога. Вот здесь примеры работы с текстом в гит.
Как происходит работа в гите? Везде по-разному, но есть определенная база:
1. Написал код
2. Выполнил команду git add "то, что нужно добавить". Это по сути добавление файлов в отслеживание гитом, чтобы он их понюхал
3. Выполнил git commit -m *тут сообщение-комментарий для добавленного куска кода*. Это подтверждение изменений и добавление коммента
4. Потом можно выполнить git push, и тут твои правки и добавления кода улетают в общую кодовую базу проекта.
5. Откатываешь изменения, пока не увидели, что ты наделал
В принципе из таких процессов регулярно происходит работа разработчика. Неважно, на каком языке ты пишешь и как тебя зовут, все равно ты сделаешь свои первые git add и git commit🙌 Почему? Потому что любой код - это текст, а с текстом гит отлично справляется)
Самый популярный ресурс для публикации проектов - GitHub. Здесь ты можешь потренироваться работе с Git, поискать интересные проекты и выложить свои проекты, чтобы тебя быстрее взяли на работу. Так что регайся быстрее там, создавай свой первый репозиторий и скидывай 10 друзьям)
Так а как научиться гитить то? На вот эти два курса бесплатно и без регистрации:
1. https://practicum.yandex.ru/profile/git-basics/ - Курс от Я.Практикума. Тут много про командное взаимодействие в гит и удаленный репозиторий.
2. https://youtube.com/playlist?list=PLDyvV36pndZFHXjXuwA_NywNrVQO0aQqb&si=HB81nMxgQlIjOUyd - Курс от рандомного чувака на ютубе, но очень классный и понятный. В нем больше именно про базовые концепции гита и локальную работу.
!Оба курса желательно пройти, они короткие!
Я же обещал про git рассказать, будет вам git. Иначе, как же вы еще сможете делиться с народом своими гениальными проектами🤌
Что же это вообще такое? Давайте прям по основам пробежимся)
Джунио Хамано, один из основоположников и главный мейнтейнер гита дал такое забавное определение:
Git is a fast, scalable, distributed revision control system with an unusually rich command set that provides both high-level operations
and full access to internals
Такую формулировку ты можешь увидеть в этом коммите (про коммиты узнаешь потом).
Git никак не расшифровывается, вообще на английском сленге это мерзавец) Но разработчики иногда придумывают разные забавные расшифровки, типа "global information tracking", или коверкают, произносят "get". Сам создатель гита и линукса Торвальдс вот что говорит по этому поводу:
I'm an egotistical bastard, so I name all my projects after myself. First Linux, now git
Такие приколы...
Резюмируя, гит - это система контроля версий всего того, что в нее складывается. То есть это такая концепция, которая позволяет добавлять новые файлы, обновлять уже существующие и отслеживать все изменения в истории. GitHub, GitLab, GitVerse, BitBucket и прочее - это все просто удобные фреймворки для работы с git в команде, не более.
При этом файлы, с которыми работает git - текстовые, потому что только так он может распознать различия между двумя файлами и добавить эти изменения. Код - это по сути текстовые файлы, поэтому гит вполне с ним справляется)
Использовать эту технологию можно не только для программирования, но и просто для ведения заметок или блога. Вот здесь примеры работы с текстом в гит.
Как происходит работа в гите? Везде по-разному, но есть определенная база:
1. Написал код
2. Выполнил команду git add "то, что нужно добавить". Это по сути добавление файлов в отслеживание гитом, чтобы он их понюхал
3. Выполнил git commit -m *тут сообщение-комментарий для добавленного куска кода*. Это подтверждение изменений и добавление коммента
4. Потом можно выполнить git push, и тут твои правки и добавления кода улетают в общую кодовую базу проекта.
В принципе из таких процессов регулярно происходит работа разработчика. Неважно, на каком языке ты пишешь и как тебя зовут, все равно ты сделаешь свои первые git add и git commit🙌 Почему? Потому что любой код - это текст, а с текстом гит отлично справляется)
Самый популярный ресурс для публикации проектов - GitHub. Здесь ты можешь потренироваться работе с Git, поискать интересные проекты и выложить свои проекты, чтобы тебя быстрее взяли на работу. Так что регайся быстрее там, создавай свой первый репозиторий и скидывай 10 друзьям)
Так а как научиться гитить то? На вот эти два курса бесплатно и без регистрации:
1. https://practicum.yandex.ru/profile/git-basics/ - Курс от Я.Практикума. Тут много про командное взаимодействие в гит и удаленный репозиторий.
2. https://youtube.com/playlist?list=PLDyvV36pndZFHXjXuwA_NywNrVQO0aQqb&si=HB81nMxgQlIjOUyd - Курс от рандомного чувака на ютубе, но очень классный и понятный. В нем больше именно про базовые концепции гита и локальную работу.
!Оба курса желательно пройти, они короткие!
❤5
Канал все-таки немного заброшен(
Ну а чего, лето на дворе, иди гуляй💃 А то все за компухтером своим сидишь
Если серьезно, то вот немного про парсинг и с чем его едят🤓
Парсинг (1/2)
Для начала, давайте подумаем, что такое веб-страница в сети Интернет? Все просто, это текстовый документ, описанный с различными правилами форматирования и настройками, так называемым фронтендом. Сюда относим и HTML, и CSS, и JavaScript и прочую ересь, в которой я ничего не понимаю🤤
Если мы ткнем по рандомной странице правой кнопкой мыши и нажмем на "просмотр кода страницы" (см скрин), то появится что-то на древнеэльфийском, это и есть содержание страницы + правила форматирования (та самая фронтенд-ересь). О! СОДЕРЖАНИЕ! Оно то нам и нужно)
Здесь мы подходим к тому, для чего нужен парсинг, а нужен он для автоматизированного сбора информации с разных источников. Например, нужно извлечь все вакансии из hh.ru и проанализировать рынок айти вакансий. Берешь и парсишь hh.ru (хотя тут немного все иначе, сейчас расскажу как).
Ну а чего, лето на дворе, иди гуляй💃 А то все за компухтером своим сидишь
Если серьезно, то вот немного про парсинг и с чем его едят🤓
Парсинг (1/2)
Для начала, давайте подумаем, что такое веб-страница в сети Интернет? Все просто, это текстовый документ, описанный с различными правилами форматирования и настройками, так называемым фронтендом. Сюда относим и HTML, и CSS, и JavaScript и прочую ересь, в которой я ничего не понимаю🤤
Если мы ткнем по рандомной странице правой кнопкой мыши и нажмем на "просмотр кода страницы" (см скрин), то появится что-то на древнеэльфийском, это и есть содержание страницы + правила форматирования (та самая фронтенд-ересь). О! СОДЕРЖАНИЕ! Оно то нам и нужно)
Здесь мы подходим к тому, для чего нужен парсинг, а нужен он для автоматизированного сбора информации с разных источников. Например, нужно извлечь все вакансии из hh.ru и проанализировать рынок айти вакансий. Берешь и парсишь hh.ru (хотя тут немного все иначе, сейчас расскажу как).
❤2
Продолжаем)
Парсинг (2/2)
У некоторых сайтов (тот же hh.ru) есть бесплатное API (Application Programming Interface), это по сути инструкция для извлечения разных данных ресурса, если не углубляться. В результате, тебе возвращается словарь, он же json, в котором все данные, которые нужно разобрать и использовать. Вот мой код для извлечения данных из hh.ru, который я когда-то давно делал: https://github.com/Alexdemenev/hh_parsing/blob/main/hh_base_parsing.ipynb
Но если такого прекрасного API не завелось, велком в парсинг🤝 Здесь тебе нужно погрузиться в код страницы и понять, какие "теги" и в каком виде используются. Например, есть тег <a href=...>, внутри которого спрятаны ссылки. Вот если тебе нужно извлечь все такие ссылки, то в тексте кода страницы нужно циклом или с помощью библиотек питона извлечь все такие теги.
Для извлечения таких данных очень удобна библиотека BeautifulSoup. Для начала рекомендую изучить именно ее функционал. Например, нам нужны данные внутри тега <script id="__NEXT_DATA__", тогда библиотечка позволит это сделать с помощью метода find_all, примерно так:
json_data = content.find_all('script',id="__NEXT_DATA__")
json_data = json_data[0].contents[0]
json_data = json.loads(json_data)
Поиграться с BeautifulSoup можно в моем другом коде: https://github.com/Alexdemenev/Gapminder/blob/main/parser.ipynb
Здесь ты можешь попробовать извлечь фото и текстовые данные с сайта Gapminder, в котором собраны фотографии людей со всего мира с их доходом.
Также традиционно советую поизучать пару курсов, в которых подробнее объясняется это дело:
https://stepik.org/course/104774/syllabus - полноценный курс по парсингу. Да, платный, но всего около 2-3к. Сам его купил, но еще не проходил, т.к. пока нет нужды(
https://stepik.org/course/512/syllabus - его уже скидывал. Тут есть замечательная тема 3 "Применение Python: анализ текста". Здесь про базовый парсинг и АПИ.
Если знаете еще курсы, велком в комменты👇
Парсинг (2/2)
У некоторых сайтов (тот же hh.ru) есть бесплатное API (Application Programming Interface), это по сути инструкция для извлечения разных данных ресурса, если не углубляться. В результате, тебе возвращается словарь, он же json, в котором все данные, которые нужно разобрать и использовать. Вот мой код для извлечения данных из hh.ru, который я когда-то давно делал: https://github.com/Alexdemenev/hh_parsing/blob/main/hh_base_parsing.ipynb
Но если такого прекрасного API не завелось, велком в парсинг🤝 Здесь тебе нужно погрузиться в код страницы и понять, какие "теги" и в каком виде используются. Например, есть тег <a href=...>, внутри которого спрятаны ссылки. Вот если тебе нужно извлечь все такие ссылки, то в тексте кода страницы нужно циклом или с помощью библиотек питона извлечь все такие теги.
Для извлечения таких данных очень удобна библиотека BeautifulSoup. Для начала рекомендую изучить именно ее функционал. Например, нам нужны данные внутри тега <script id="__NEXT_DATA__", тогда библиотечка позволит это сделать с помощью метода find_all, примерно так:
json_data = json_data[0].contents[0]
json_data = json.loads(json_data)
Поиграться с BeautifulSoup можно в моем другом коде: https://github.com/Alexdemenev/Gapminder/blob/main/parser.ipynb
Здесь ты можешь попробовать извлечь фото и текстовые данные с сайта Gapminder, в котором собраны фотографии людей со всего мира с их доходом.
Также традиционно советую поизучать пару курсов, в которых подробнее объясняется это дело:
https://stepik.org/course/104774/syllabus - полноценный курс по парсингу. Да, платный, но всего около 2-3к. Сам его купил, но еще не проходил, т.к. пока нет нужды(
https://stepik.org/course/512/syllabus - его уже скидывал. Тут есть замечательная тема 3 "Применение Python: анализ текста". Здесь про базовый парсинг и АПИ.
Если знаете еще курсы, велком в комменты👇
❤3
Написал статью на основе своего курсача и переживаешь, что почти не будет рецензий? Ребята из Японии и США придумали лайфхак специально для тебя😉
Просто берешь и прячешь промпты для ИИ в своих трудах, а они найдут правильные слова для твоего шедевра🤌
В общем, пользуйся на здоровье, пока твой научник про это не знает🤭
Тут подробнее про суть проблемы: https://habr.com/ru/news/925408/
Просто берешь и прячешь промпты для ИИ в своих трудах, а они найдут правильные слова для твоего шедевра🤌
В общем, пользуйся на здоровье, пока твой научник про это не знает🤭
Тут подробнее про суть проблемы: https://habr.com/ru/news/925408/
👍1
Очередной оффтоп из айти мира🔥
Но для начала немного предыстории...
В далеком 2024 году, когда я заканчивал магистратуру, тема моей ВКР звучала примерно так "Оценка финансовых данных с помощью методов глубинного обучения". Если проще, то оценка финансового положения компания с помощью обучения нейросетей. Если на примерах, то ожидалось примерно следующее: мы передаем алгоритму документы с финансовыми отчетностями компании, а он нам говорит, что ждет компанию в будущем, и что с ней сейчас.
Основная проблема в ВКР заключала именно в обработке данных, ведь эти отчетности кто-то на коленке написал, кто-то бережно отсканировал, у кого-то все нормально и она текстом) И данные в этих pdf файлах разные: картинки, тексты и таблички. По сути, половину времени я потратил на извлечение данных😞
Но что я вижу сейчас, переходя на главную страницу гитхаба, ЧУДО!!! Microsoft выпустила крутой пакет для питона, способоный переводить любой мусор во внятный текст🥳🥳🥳 Основная цель этого тула именно в подготовке данных для передачи в лингвистические модели или другие нейросети! Кушает это чудо всякие форматы, даже Youtube URLs
В общем, ловите: https://github.com/microsoft/markitdown
Но для начала немного предыстории...
В далеком 2024 году, когда я заканчивал магистратуру, тема моей ВКР звучала примерно так "Оценка финансовых данных с помощью методов глубинного обучения". Если проще, то оценка финансового положения компания с помощью обучения нейросетей. Если на примерах, то ожидалось примерно следующее: мы передаем алгоритму документы с финансовыми отчетностями компании, а он нам говорит, что ждет компанию в будущем, и что с ней сейчас.
Основная проблема в ВКР заключала именно в обработке данных, ведь эти отчетности кто-то на коленке написал, кто-то бережно отсканировал, у кого-то все нормально и она текстом) И данные в этих pdf файлах разные: картинки, тексты и таблички. По сути, половину времени я потратил на извлечение данных😞
Но что я вижу сейчас, переходя на главную страницу гитхаба, ЧУДО!!! Microsoft выпустила крутой пакет для питона, способоный переводить любой мусор во внятный текст🥳🥳🥳 Основная цель этого тула именно в подготовке данных для передачи в лингвистические модели или другие нейросети! Кушает это чудо всякие форматы, даже Youtube URLs
В общем, ловите: https://github.com/microsoft/markitdown
🔥8
Немного оффтопа🔥
Участвовал в конференции IT&Innovations Forum 2025
Это про что? Здесь были представители от IT компаний и CEO различных ритейлеров. Представители бизнеса искали новые идеи для себя, обменивались опытом и изучали айти продукты, которые прямо сейчас могут купить и начать пользоваться.
Айтишники представляли свои стенды или просто бесцельно шатались. Общались, нетворкались и пытались продать свои продукты💵
Мы были со стороны айти и предлагали свой сервис построения рекомендаций. Он уже работает у нас в различных компаниях холдинга, поэтому выходим на рынок📈 Если вам такое надо, пишите, звоните, о цене договоримся😉
Были и различные доклады. Очень уж много про ИИ, нейросети, AI, как удобно. ИИ, ИИ, мы тут ИИ всунули, здесь ИИ применили, сократили издержки, бла-бла-бла... Доклады не о чем. Цифры взятые с потолка + желание всех уволить и использовать ИИ. Хотелось бы больше конкретики и особенностей применения "под капотом", как на некоторых других чисто айтишных конференциях😎 Тот же e-code от озона или доклады на ODS встречах. Но в целом, а чего вы хотели, ведь на доклады давали всего по 15 минут(
Из позитивного: нашим продуктом многие заинтересовались!)
Фото/видео пришлю далее
Участвовал в конференции IT&Innovations Forum 2025
Это про что? Здесь были представители от IT компаний и CEO различных ритейлеров. Представители бизнеса искали новые идеи для себя, обменивались опытом и изучали айти продукты, которые прямо сейчас могут купить и начать пользоваться.
Айтишники представляли свои стенды или просто бесцельно шатались. Общались, нетворкались и пытались продать свои продукты💵
Мы были со стороны айти и предлагали свой сервис построения рекомендаций. Он уже работает у нас в различных компаниях холдинга, поэтому выходим на рынок📈 Если вам такое надо, пишите, звоните, о цене договоримся😉
Были и различные доклады. Очень уж много про ИИ, нейросети, AI, как удобно. ИИ, ИИ, мы тут ИИ всунули, здесь ИИ применили, сократили издержки, бла-бла-бла... Доклады не о чем. Цифры взятые с потолка + желание всех уволить и использовать ИИ. Хотелось бы больше конкретики и особенностей применения "под капотом", как на некоторых других чисто айтишных конференциях😎 Тот же e-code от озона или доклады на ODS встречах. Но в целом, а чего вы хотели, ведь на доклады давали всего по 15 минут(
Из позитивного: нашим продуктом многие заинтересовались!)
Фото/видео пришлю далее
👍1
Что такое подмодули гит, они же git submodules?🤔
Внезапно...
По своей сути, это ссылка на git репозиторий, которая существует внутри другого репозитория, основного.
Например, есть репозиторий какого-то сервиса, в котором куча других микросервисов. Вот эти микросервисов могут существовать как раз в виде под модулей, чтобы разработчики не мешали друг другу и могли спокойно работать в своих "подрепозиториях".
Круто? Конечно, круто😍
Особенно это оценят те, кто работал с Airflow. Ведь обычно его делают для одного репозитория, в котором куча несвязанного друг с другом кода. И тогда вы можете козырнуть знанием ГИТ подмодулей и добавлять их уже таким образом:
git submodule add <ссылка на репу> <название папки, в которую добавляем>
Здесь ты можешь прочитать подробнее из документации гита
Здесь видос про то, как ребята реализуют подмодули для Airflow
Это ссылка на мой репо с примером подмодуля
Внезапно...
По своей сути, это ссылка на git репозиторий, которая существует внутри другого репозитория, основного.
Например, есть репозиторий какого-то сервиса, в котором куча других микросервисов. Вот эти микросервисов могут существовать как раз в виде под модулей, чтобы разработчики не мешали друг другу и могли спокойно работать в своих "подрепозиториях".
Круто? Конечно, круто😍
Особенно это оценят те, кто работал с Airflow. Ведь обычно его делают для одного репозитория, в котором куча несвязанного друг с другом кода. И тогда вы можете козырнуть знанием ГИТ подмодулей и добавлять их уже таким образом:
git submodule add <ссылка на репу> <название папки, в которую добавляем>
Здесь ты можешь прочитать подробнее из документации гита
Здесь видос про то, как ребята реализуют подмодули для Airflow
Это ссылка на мой репо с примером подмодуля
👍4
Ходил я как-то на буткемп Центрального университета, он же ЦУ, он же университет ТБанка...🏫
Так вот, ходил я как-то в ЦУ на небольшой буткемп, посвященный NLP. Честно говоря, потраченного времени жаль( Но, если ты новичок в NLP и в душе не чаешь, что такое эмбеддинги, то сгоняй, будет интересно👍
Пойдем по пунктам, которые я выделил, так сказать, инсайты:
1. Магистратура ЦУ построена по формату индивидуальных учебных планов. Те, кто из Вышки или из зарубежных ВУЗов, такое точно знают. Это когда у тебя есть направление, например, Машинное обучение, а дальше ты сам выбираешь кучу курсов на каждый семестр из числа предложенных/рекомендованных. Это круто, т.к. позволяет сократить кучу бесполезного времени на общие курсы и сосредоточиться на прикладных.
2. Магистратура ЦУ доступна аж с 3 курса бакалавриата!!!
3. Все маги ЦУ - платные. НО! У них в течение года проходит куча халявных грантов и есть обычный отбор по мотивационному письму/резюме😱
4. LLM модель deberta-large крутая, как и LORA. SOTA (state-of-the-art) LLM модели очень хорошо дообучаются, достаточно нескольки тысяч примеров, и они норм научаться классифицировать ваш специфический датасет.
https://huggingface.co/microsoft/deberta-v3-large
5. Вспомнили про PEFT, это такой способ дообучения больших моделей, когда не хватает ресурсов компа/коллаба.
https://huggingface.co/docs/peft/index
6. Большинство программ ЦУ - очные, и они в целом за такой подход. Я бы все таки хотел удаленный формат, хоть и скучаю по лекциям в ВУЗе)
Так вот, ходил я как-то в ЦУ на небольшой буткемп, посвященный NLP. Честно говоря, потраченного времени жаль( Но, если ты новичок в NLP и в душе не чаешь, что такое эмбеддинги, то сгоняй, будет интересно👍
Пойдем по пунктам, которые я выделил, так сказать, инсайты:
1. Магистратура ЦУ построена по формату индивидуальных учебных планов. Те, кто из Вышки или из зарубежных ВУЗов, такое точно знают. Это когда у тебя есть направление, например, Машинное обучение, а дальше ты сам выбираешь кучу курсов на каждый семестр из числа предложенных/рекомендованных. Это круто, т.к. позволяет сократить кучу бесполезного времени на общие курсы и сосредоточиться на прикладных.
2. Магистратура ЦУ доступна аж с 3 курса бакалавриата!!!
3. Все маги ЦУ - платные. НО! У них в течение года проходит куча халявных грантов и есть обычный отбор по мотивационному письму/резюме😱
4. LLM модель deberta-large крутая, как и LORA. SOTA (state-of-the-art) LLM модели очень хорошо дообучаются, достаточно нескольки тысяч примеров, и они норм научаться классифицировать ваш специфический датасет.
https://huggingface.co/microsoft/deberta-v3-large
5. Вспомнили про PEFT, это такой способ дообучения больших моделей, когда не хватает ресурсов компа/коллаба.
https://huggingface.co/docs/peft/index
6. Большинство программ ЦУ - очные, и они в целом за такой подход. Я бы все таки хотел удаленный формат, хоть и скучаю по лекциям в ВУЗе)
❤2
This media is not supported in your browser
VIEW IN TELEGRAM
Небольшой видосик центрального атриума
👍3
Немного вайб-кодинга, математики и маркетинги. И БУМ! Мой первый MVP внешнего веб сервиса с питоном под капотом.
И вам, мои преданные подписчики, я предлагаю потыкаться в этой штуке😍 Совершенно бесплатно, НО за обратную связь: https://forms.gle/saww145HL1F3UrYY6
Вот немного вводных про инструмент...
Есть разные маркетинговые метрики, которые считаются для потока клиентов. Например, если в этом месяце мороженое покупало 5 человек, а в следующем из их осталось только 4, то ушел один человек, это пойдет в метрику оттока. Аналогично считается приток.
Короче говоря, на вход инструменту мы даем таблицу с транзакциями клиентов по датам, а на выходе получаем статистики притока/оттока по месяцам. Удобно? Вот и проверите!)
ВАЖНО! Если эта штука зависла, пишите мне, я перезапущу всю инфраструктуру и у вас все заработает❤️ Или разберусь, почему у вас что-либо не работает.
Дисклеймер! Отзывы на сайте фейковые, но ты не докажешь, и используются для демонстрации. Также ряд ссылок не работает, также используется для демонстрации. Вам нужны по сути только регистрация и вход.
Вот ссыль на инструмент: https://client-calculator.ru/
И вам, мои преданные подписчики, я предлагаю потыкаться в этой штуке😍 Совершенно бесплатно, НО за обратную связь: https://forms.gle/saww145HL1F3UrYY6
Вот немного вводных про инструмент...
Есть разные маркетинговые метрики, которые считаются для потока клиентов. Например, если в этом месяце мороженое покупало 5 человек, а в следующем из их осталось только 4, то ушел один человек, это пойдет в метрику оттока. Аналогично считается приток.
Короче говоря, на вход инструменту мы даем таблицу с транзакциями клиентов по датам, а на выходе получаем статистики притока/оттока по месяцам. Удобно? Вот и проверите!)
ВАЖНО! Если эта штука зависла, пишите мне, я перезапущу всю инфраструктуру и у вас все заработает❤️ Или разберусь, почему у вас что-либо не работает.
Дисклеймер! Отзывы на сайте фейковые
Вот ссыль на инструмент: https://client-calculator.ru/
Google Docs
ОС по client-calculator
Здесь ты можешь написать (гадости) точки роста для проекта в свободной форме. Поля ниже для удобства заполнения
🔥5
Вот и первая статья на Хабр от меня🎉
Там рассказываю про некоторые особенности клиентских метрик и делюсь ссылкой на свой инструмент😉
https://habr.com/ru/articles/986806/
Там рассказываю про некоторые особенности клиентских метрик и делюсь ссылкой на свой инструмент😉
https://habr.com/ru/articles/986806/
Хабр
Клиенты, отток и приток: где бизнес чаще всего ошибается?
Начнём с простого, но обманчивого вопроса: кто такие клиенты и зачем их считать? На практике этот вопрос оказывается куда сложнее, чем кажется. В телеком-компании скажут: « Клиент - это абонент. Мы...
🔥5👍1👾1