Сегодня на truetechday от МТС - много интересных докладов - программа и трансляция - тут https://truetechday.ru/
@geologistprogrammer
@geologistprogrammer
⚡3
Геолог-программист
Сегодня на truetechday от МТС - много интересных докладов - программа и трансляция - тут https://truetechday.ru/ @geologistprogrammer
Кому интересен RAG и использование LLM - рекомендую посмотреть трек AI&ML.
Если коротко - как правило, одна LLM должна погонять другую, при этом чем больше у вас железа, тем лучше, ну и промпт может сильно решать во многих случаях.
Последнее могу подтвердить, поскольку при анализе геологических отчетов, например, с помощью той же локальной YandexGPT - промпт надо было некоторое время настраивать.
@geologistprogrammer
Если коротко - как правило, одна LLM должна погонять другую, при этом чем больше у вас железа, тем лучше, ну и промпт может сильно решать во многих случаях.
Последнее могу подтвердить, поскольку при анализе геологических отчетов, например, с помощью той же локальной YandexGPT - промпт надо было некоторое время настраивать.
@geologistprogrammer
Что привлекло мое внимание на этой неделе?
Видео с демонстрацией работы Аврора Авто с голосовым ассистентом (в рамках программы Аврора+)
https://t.me/alexgladkovblog/5468
Developer kit российской игровой приставки на разных ОС
https://t.me/divannyi_it/2409?single
Новые флагманские телефоны от российского производителя
https://t.me/divannyi_it/2419?single
Сервера с отечественными ИИ ускорителями от НТЦ Модуль + дополнительные кадры и подробности о игровой приставке и телефонах
https://t.me/imaxairu/16531
Неплохие слайды по базовым понятиям в Linux
https://t.me/extremecode/1323?single
Открытие доступа разработчикам к магазину российской IDE от Астры
https://t.me/openide_official/23
@geologistprogrammer
Видео с демонстрацией работы Аврора Авто с голосовым ассистентом (в рамках программы Аврора+)
https://t.me/alexgladkovblog/5468
Developer kit российской игровой приставки на разных ОС
https://t.me/divannyi_it/2409?single
Новые флагманские телефоны от российского производителя
https://t.me/divannyi_it/2419?single
Сервера с отечественными ИИ ускорителями от НТЦ Модуль + дополнительные кадры и подробности о игровой приставке и телефонах
https://t.me/imaxairu/16531
Неплохие слайды по базовым понятиям в Linux
https://t.me/extremecode/1323?single
Открытие доступа разработчикам к магазину российской IDE от Астры
https://t.me/openide_official/23
@geologistprogrammer
Telegram
Алексей Гладков
Аврора Авто на Ципр
Ладно одним эксклюзивом таки поделюсь
👉 Карта интегрирована с 2ГИС
👉 Полный контроль автомобиля
👉 Голосовое управление
👉 А главное зацените интерфейс
Это пушка!
Ещё больше на бусти
https://boosty.to/mobiledev/purchase/2980424
Ладно одним эксклюзивом таки поделюсь
👉 Карта интегрирована с 2ГИС
👉 Полный контроль автомобиля
👉 Голосовое управление
👉 А главное зацените интерфейс
Это пушка!
Ещё больше на бусти
https://boosty.to/mobiledev/purchase/2980424
Поскольку в телеграме пока слабо развиты рекомендации - совместно с коллегами собираем профильные каналы в папки - здесь про рудную геологию (для добавления вашего канала - администратору канала надо писать коллегам @proexpo_pr).
Telegram
MiningRussia
PRO EXPO PR invites you to add the folder “MiningRussia”, which includes 14 chats.
❤4👍3👌1
Пока готовлю видео, ботов и ПО, о которых расскажу позже - вот некоторые интересные новости из мира науки, геологии, железа и IT.
Насколько вы открываетесь миру используя бесплатные "ускорители" интернета
https://habr.com/ru/companies/bastion/articles/917522/
Институт Карпинского провел чемпионат мира по геологии
https://t.me/karpinskyinstitute/4318
Роскосмос провел испытания терминала широкополосного доступа в интернет на поезде (в РФ, кстати, есть ещё одна такая разработка от бюро 1440) https://t.me/roscosmos_gk/17647?single
Геоскан летом запустит первый спутник
https://t.me/elektrichka_rus/4462
Россия строит научные суда
https://t.me/elektrichka_rus/4476
Кстати, не все знают- у нас уже есть действующие суда, например Бонивит - для глубоководного бурения.
Отечественная трансмиссия для вездеходов МТ-ЛБ, который часто используется в геологоразведке.
https://t.me/totsamyigorin_pro/338
в вк видео - https://m.vk.com/video-226869962_456239056
В отечественной системе научного цитирования colab.ws появился просмотр авторов, которые цитировали статью
https://t.me/colaboratory/1752
UP: #старости
@geologistprogrammer
Насколько вы открываетесь миру используя бесплатные "ускорители" интернета
https://habr.com/ru/companies/bastion/articles/917522/
Институт Карпинского провел чемпионат мира по геологии
https://t.me/karpinskyinstitute/4318
Роскосмос провел испытания терминала широкополосного доступа в интернет на поезде (в РФ, кстати, есть ещё одна такая разработка от бюро 1440) https://t.me/roscosmos_gk/17647?single
Геоскан летом запустит первый спутник
https://t.me/elektrichka_rus/4462
Россия строит научные суда
https://t.me/elektrichka_rus/4476
Кстати, не все знают- у нас уже есть действующие суда, например Бонивит - для глубоководного бурения.
Отечественная трансмиссия для вездеходов МТ-ЛБ, который часто используется в геологоразведке.
https://t.me/totsamyigorin_pro/338
в вк видео - https://m.vk.com/video-226869962_456239056
В отечественной системе научного цитирования colab.ws появился просмотр авторов, которые цитировали статью
https://t.me/colaboratory/1752
UP: #старости
@geologistprogrammer
❤9👍2
Для чего можно использовать нейросети?
Сам использую как минимум для нескольких вещей:
• Генерация первичного описания (интерпретация данных) или переописания объекта (керн, например).
• Генерация картинок - в некоторых случаях проще сгенерировать, чем искать в интернете.
• Генерация и редактура текстов для дальнейшей дополнительной обработки (например, нужно сделать рыбу для описания. получившихся результатов),
• Генерация кода - также большая часть препроцессоров (рассказывал на вебинаре) и не только - остается больше времени на подумать и другие задачи.
Пока что прямо совсем ни одна сеть не справилась - глубокое исследование по моей теме, слишком много галлюцинаций.
Например, когда недавно повторно проверял эту способность, получил отчет с несколькими приятными галлюцинациями в виде глобальных международных проектов, посвященных исследованию керна с помощью компьютерного зрения (звучит, правда?): "International Core Imaging Project (ICIP) (2022–2025)", "Global Core Analysis Initiative (GCIA) (2023–2026)" - ни один из них, к сожалению, не существует.
Также есть несколько неочевидных вещей - например, сегодня протестировал генерацию 3d моделей из фотографий палеонтологических образцов - результат считаю достойным, пример в прикрепленном видео.
И самое главное - всё что использую на постоянной основе (ну и разрабатываю, конечно) - отечественное,
@geologistprogrammer
Сам использую как минимум для нескольких вещей:
• Генерация первичного описания (интерпретация данных) или переописания объекта (керн, например).
• Генерация картинок - в некоторых случаях проще сгенерировать, чем искать в интернете.
• Генерация и редактура текстов для дальнейшей дополнительной обработки (например, нужно сделать рыбу для описания. получившихся результатов),
• Генерация кода - также большая часть препроцессоров (рассказывал на вебинаре) и не только - остается больше времени на подумать и другие задачи.
Пока что прямо совсем ни одна сеть не справилась - глубокое исследование по моей теме, слишком много галлюцинаций.
Например, когда недавно повторно проверял эту способность, получил отчет с несколькими приятными галлюцинациями в виде глобальных международных проектов, посвященных исследованию керна с помощью компьютерного зрения (звучит, правда?): "International Core Imaging Project (ICIP) (2022–2025)", "Global Core Analysis Initiative (GCIA) (2023–2026)" - ни один из них, к сожалению, не существует.
Также есть несколько неочевидных вещей - например, сегодня протестировал генерацию 3d моделей из фотографий палеонтологических образцов - результат считаю достойным, пример в прикрепленном видео.
И самое главное - всё что использую на постоянной основе (ну и разрабатываю, конечно) - отечественное,
@geologistprogrammer
This media is not supported in your browser
VIEW IN TELEGRAM
🔥5👍3🤔1
Геолог-программист
Поскольку в телеграме пока слабо развиты рекомендации - совместно с коллегами собираем профильные каналы в папки - здесь про рудную геологию (для добавления вашего канала - администратору канала надо писать коллегам @proexpo_pr).
В продолжение сбора различных каналов - здесь сделал подборку с уклоном в нефтяную геологию (для добавления - пишите под этим сообщением или напрямую мне). + ещё один, который не смог добавить Petrophysics.
Telegram
Geology
Eugene B invites you to add the folder “Geology”, which includes 12 chats.
🔥3
Почему исследование обученного алгоритма важно? 🤔
🧊 Довольно хороший пример (первая картинка) — казалось бы, для человека логично, что если с одной стороны металлическую чашку заварить, а дно отпилить, то она всё ещё будет выполнять свою функцию.
🧠 Однако эта логика сопровождается множеством допущений, которые мы предполагаем неосознанно, почти как в математике или физике — некий идеальный объект.
📈 Алгоритм же (будь то большая языковая модель (БЯМ, LLM) или нечто иное) действует иначе — он обучен на статистической выборке, и если после анализа большого объема информации его веса настроились так, что если дно отпилено или, иными словами, повреждено, то действуют иные предположения — на примере гигачата (вторая картинка) можно заглянуть в его рассуждения по запросу, аналогичному gpt5.
🚫 Видим, что он предполагает, что шов неровный, да и вообще, негигиенично всё это, лучше не использовать по назначению, и вообще, что это за странные манипуляции с чашкой, по статистике в выборке (он её обобщил, а не смотрит прямо в неё) — таких сочетаний не положено.
🌟 Последний этап (третья картинка) — на основе этой информации — правим Промт (запрос в алгоритм) — говорим, что всё сварено отлично и стерилизованно, и, о чудо, ответ становится ожидаемым.
🔄 В процессе таких исправлений Промта может быть довольно много (до нескольких сотен), но в конце можно «заставить» алгоритм так или иначе выдавать ожидаемый результат с первого раза.
@geologistprogrammer
🧊 Довольно хороший пример (первая картинка) — казалось бы, для человека логично, что если с одной стороны металлическую чашку заварить, а дно отпилить, то она всё ещё будет выполнять свою функцию.
🧠 Однако эта логика сопровождается множеством допущений, которые мы предполагаем неосознанно, почти как в математике или физике — некий идеальный объект.
📈 Алгоритм же (будь то большая языковая модель (БЯМ, LLM) или нечто иное) действует иначе — он обучен на статистической выборке, и если после анализа большого объема информации его веса настроились так, что если дно отпилено или, иными словами, повреждено, то действуют иные предположения — на примере гигачата (вторая картинка) можно заглянуть в его рассуждения по запросу, аналогичному gpt5.
🚫 Видим, что он предполагает, что шов неровный, да и вообще, негигиенично всё это, лучше не использовать по назначению, и вообще, что это за странные манипуляции с чашкой, по статистике в выборке (он её обобщил, а не смотрит прямо в неё) — таких сочетаний не положено.
🌟 Последний этап (третья картинка) — на основе этой информации — правим Промт (запрос в алгоритм) — говорим, что всё сварено отлично и стерилизованно, и, о чудо, ответ становится ожидаемым.
🔄 В процессе таких исправлений Промта может быть довольно много (до нескольких сотен), но в конце можно «заставить» алгоритм так или иначе выдавать ожидаемый результат с первого раза.
@geologistprogrammer
❤7🤔4😁3
К чему я говорил об исследовании алгоритмов, в частности — Больших Языковых Моделях?
🖥 Дело в том, что недавно делал инструмент для извлечения различных характеристик из текстовых отчетов — внизу дан один пример для локальной БЯМ, поднятой с помощью ollama на обычном ноутбуке.
🇷🇺 Один из примеров (в картинке) — поиск цветовой характеристики — настройка этого промта заняла некоторое время (порядка 20 различных вариантов (+ время на расчет по нескольким файлам), в общей сложности около 5 часов работы), чтобы в результате она выдавала желаемый результат. И так каждую характеристику.
📈 Итеративно перебирая разные промты, можно прийти к отличному результату и, в итоге, получить таблицу из текста.
В целом, это работает почти для любой задачи, главное чтобы текст был распознан, но и это не проблема.
🤖 Пока что реализовано в виде обычного скрипта, было бы интересно получить такой инструмент в виде телеграм-бота?
Ставьте ⚡️, если да.
💬 Кстати, если есть другие схожие задачки — пишите в сообщения или комментарии.
🦜 P. S. Не пытайтесь читать описание из примера — это сгенерированный текст :)
@geologistprogrammer
🖥 Дело в том, что недавно делал инструмент для извлечения различных характеристик из текстовых отчетов — внизу дан один пример для локальной БЯМ, поднятой с помощью ollama на обычном ноутбуке.
📈 Итеративно перебирая разные промты, можно прийти к отличному результату и, в итоге, получить таблицу из текста.
В целом, это работает почти для любой задачи, главное чтобы текст был распознан, но и это не проблема.
🤖 Пока что реализовано в виде обычного скрипта, было бы интересно получить такой инструмент в виде телеграм-бота?
Ставьте ⚡️, если да.
💬 Кстати, если есть другие схожие задачки — пишите в сообщения или комментарии.
@geologistprogrammer
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡12👍7
В процессе сборки самого отечественного автономного стенда для демонстрации на Майнексе (или использования в поле) системы автоматического описания керна в любых условиях, вне зависимости от наличия источников электроэнергии и интернета :)
В комплекте:
⚡️ Портативная электростанция - рязанская компания (частичная локализация, и делают к ней солнечные панели).
🧄Четыре репки 4 версии в отечественной стойке.
🌐 Отечественное ПО (DeepCore) для описания керна (заявка в процессе, долгая история).
🤩 Отечественный монитор.
🇷🇺 Осталось самое сложное - интегрировать сюда нашу систему, благо на Астре она уже работает локально и опыт имеется.
P.S. С днем Российского флага.
@geologistprogrammer
В комплекте:
🧄Четыре репки 4 версии в отечественной стойке.
P.S. С днем Российского флага.
@geologistprogrammer
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19⚡4
Геолог-программист
Платформа
Rutube
VK Видео
Rutube
VK Видео
Сделал телеграм-бота для суммаризации текста и отправки результатов в референс-менеджер Zotero, про него можно подробнее посмотреть в этом посте.
Вкратце - он автоматически форматирует ссылки на литературу под ваш формат (ГОСТ, определённый журнал).
Ботом можно пользоваться тут @ReasearchHelperRuBot
Пока бета-версия, отправляет информацию только в виде заметок.
Вот пример идеальной суммаризации:
Также иногда может такое присылать на большие тексты, например, 'Войну и мир' лучше не засылать (бета, как никак):
О других ошибках можете писать мне или прямо в бот по команде.
Работает бесплатно на мощностях, предоставленных коллегами из Digital Petroleum ❤️
@geologistprogrammer
Вкратце - он автоматически форматирует ссылки на литературу под ваш формат (ГОСТ, определённый журнал).
Ботом можно пользоваться тут @ReasearchHelperRuBot
Пока бета-версия, отправляет информацию только в виде заметок.
Вот пример идеальной суммаризации:
Вот ваша суммаризация:
Тип текста: статья
Авторы в оригинале: D.V. Egorov, B.V. Belozerov
Авторы на русском: Д.В. Егоров, Б.В. Белозеров
DOI: 10.24887/2587-7399-2018-4-13-16
Название в оригинале: Analysis of machine learning algorithms applicability for tasks of interpolation and geological properties forecasting within interwell space
Название на русском: Анализ применимости алгоритмов машинного обучения для задач интерполяции и прогноза геологических свойств в межскважинном пространстве
Краткое описание: В статье исследуется применение алгоритмов машинного обучения для прогнозирования геологических свойств нефтяных и газовых резервуаров. Авторы анализируют устойчивость и качество прогнозов, а также влияние объёма и пространственного распределения данных на точность прогнозов.
Тезисы:
• Алгоритмы машинного обучения могут быть использованы для прогнозирования геологических свойств в межскважинном пространстве.
• Модель гребневой регрессии показала наиболее высокую точность при прогнозе распределения значений песчанистости в межскважинном пространстве.
• Даже при малом количестве имеющейся информации по площади месторождения получаемый прогноз является устойчивым и реалистичным.
Также иногда может такое присылать на большие тексты, например, 'Войну и мир' лучше не засылать (бета, как никак):
Вот ваша суммаризация:
Ошибка: 'str' object has no attribute 'get'
О других ошибках можете писать мне или прямо в бот по команде.
Работает бесплатно на мощностях, предоставленных коллегами из Digital Petroleum ❤️
@geologistprogrammer
Telegram
Геолог-программист
Наконец-то доделал видео про работу с референс-менеджерами. Надеюсь, поможет вам ускорить работу со списком литературы, ссылки на видео — внизу.
Если коротко — референс-менеджеры позволяют проще организовывать статьи и сохранять большое их количество при…
Если коротко — референс-менеджеры позволяют проще организовывать статьи и сохранять большое их количество при…
👍8🔥2❤1
Геолог-программист
В процессе сборки самого отечественного автономного стенда для демонстрации на Майнексе (или использования в поле) системы автоматического описания керна в любых условиях, вне зависимости от наличия источников электроэнергии и интернета :) В комплекте: ⚡️ Портативная…
This media is not supported in your browser
VIEW IN TELEGRAM
Немного ночного железа, не знаю, как вам, но меня такое умиротворяет, спокойно работает и почти не шумит.
Продолжаются работы по тестированию переносной версии системы для автоматического описания керна на отечественных компонентах.
Пока всё по плану, познакомился с ansible — это специальный язык/приложение, которое позволяет заранее прописать последовательность действий по установке ПО (я такое в bash-скрипты раньше упаковывал), в отличие от обычных скриптов — можно прописывать разную логику чуть проще, чем в bash, и код читабельнее.
С ansible развертку можно поставить на поток, лишь бы был доступ к серверу по ssh, пригодится при массовом тиражировании.
Проблем пока не возникло, несмотря на то, что это иная архитектура процессора (arm64) — python залетел без проблем, Go надо собирать непосредственно на репке (не как под Аврору, например, там возможна кросс-компиляция).
@geologistprogrammer
Продолжаются работы по тестированию переносной версии системы для автоматического описания керна на отечественных компонентах.
Пока всё по плану, познакомился с ansible — это специальный язык/приложение, которое позволяет заранее прописать последовательность действий по установке ПО (я такое в bash-скрипты раньше упаковывал), в отличие от обычных скриптов — можно прописывать разную логику чуть проще, чем в bash, и код читабельнее.
С ansible развертку можно поставить на поток, лишь бы был доступ к серверу по ssh, пригодится при массовом тиражировании.
Проблем пока не возникло, несмотря на то, что это иная архитектура процессора (arm64) — python залетел без проблем, Go надо собирать непосредственно на репке (не как под Аврору, например, там возможна кросс-компиляция).
@geologistprogrammer
👏8👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Обзор интересных новостей и постов:
В ноябре будет бесплатный интенсив от Google и Kaggle по ИИ-агентам - регистрация, а тут текстовое руководство.
Сбер выпустил в opensource генерацию видео и эмбеддингов для RAG (это представление текста для моделей машинного обучения), генератором видео попробовал сгенерировать аммонита 👆 - уже гораздо лучше получается.
В следующем году планируют выпустить отечественную мобильную буровую установку D517 с пневмоударником.
Пост с иллюстрациями про двойное колокновое бурение с точки зрения инженерной геологии.
Пляжный волейбол в кузове самого большого карьерного самосвала БелАЗ-75711.
#обзор #бурение #обучение
@geologistprogrammer
В ноябре будет бесплатный интенсив от Google и Kaggle по ИИ-агентам - регистрация, а тут текстовое руководство.
Сбер выпустил в opensource генерацию видео и эмбеддингов для RAG (это представление текста для моделей машинного обучения), генератором видео попробовал сгенерировать аммонита 👆 - уже гораздо лучше получается.
В следующем году планируют выпустить отечественную мобильную буровую установку D517 с пневмоударником.
Пост с иллюстрациями про двойное колокновое бурение с точки зрения инженерной геологии.
Пляжный волейбол в кузове самого большого карьерного самосвала БелАЗ-75711.
#обзор #бурение #обучение
@geologistprogrammer
❤5
Геолог-программист
Немного ночного железа, не знаю, как вам, но меня такое умиротворяет, спокойно работает и почти не шумит. Продолжаются работы по тестированию переносной версии системы для автоматического описания керна на отечественных компонентах. Пока всё по плану, познакомился…
This media is not supported in your browser
VIEW IN TELEGRAM
Система автоматического описания керна в локальном исполнении успешно прошла тестирование, работала больше суток в разных режимах с разными изображениями, ни разу не упала полностью (в основном, RAM памяти не хватает для изображений размера 6000x7000px, но следующая версия репки это исправит, пользователь падения не заметит).
📝 Система проинтерпретировала около 400 метров, скорость в стандартном исполнении ниже, чем на сервере — около 1.5 минут на метр, в отличие от стандартных ~5 метров за 10 секунд, но знаю, как улучшить этот результат.
Из забавного — забыл пароль, поэтому долго не мог войти. 😅
👀 Приглашаю всех завтра и в четверг на стенд майнекса посмотреть вживую на этот киберогород (сейчас он только из репок состоит).
💬 Вход на стендовую часть свободный, также будет доклад 8 октября в районе 10:45 (возможно, раньше или позже) в зале Пушкин, где я расскажу про кое-что за рамками керна.
P.S. напоминаю, что софт и железо - отечественное, подробности тут и тут.
А в режиме онлайн оно доступно тут.
#керн #автоматическое_описание
@geologistprogrammer
Из забавного — забыл пароль, поэтому долго не мог войти. 😅
👀 Приглашаю всех завтра и в четверг на стенд майнекса посмотреть вживую на этот киберогород (сейчас он только из репок состоит).
P.S. напоминаю, что софт и железо - отечественное, подробности тут и тут.
А в режиме онлайн оно доступно тут.
#керн #автоматическое_описание
@geologistprogrammer
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17👍5
Запустили телеграм-бота @DeepCoreLiteBot на основе нашей системы для автоматического описания керна, пока что доступен модуль для извлечения керна из ящиков.
В скором времени (конец октября - середина ноября), будут доступны:
Обработка нескольких изображений одновременно.
Парсинг глубин из названий и автоматическая увязка.
Определение размера частиц в картинках (шлифы, шлам) и, возможно, работа с аншлифами.
Описание терригенных пород, RQD и состояния керна.
До конца года (а, возможно, и чуть дальше) - будет бесплатным. Воспользоваться текущим функционалом можно тут @DeepCoreLiteBot.
Подписывайтесь, чтобы не пропустить обновления ;)
@geologistprogrammer
В скором времени (конец октября - середина ноября), будут доступны:
Обработка нескольких изображений одновременно.
Парсинг глубин из названий и автоматическая увязка.
Определение размера частиц в картинках (шлифы, шлам) и, возможно, работа с аншлифами.
Описание терригенных пород, RQD и состояния керна.
До конца года (а, возможно, и чуть дальше) - будет бесплатным. Воспользоваться текущим функционалом можно тут @DeepCoreLiteBot.
Подписывайтесь, чтобы не пропустить обновления ;)
@geologistprogrammer
👍7❤3