Forwarded from Spydell_finance (Paul Spydell)
О прикладном использовании больших языковых моделей (часть 2).
Отсутствие встроенного контроля верификации выходных данных не позволяет использовать ГИИ для серьёзных научно-исследовательских работ и в рамках бизнес-операций. По умолчанию, любой сгенерированный контент от ГИИ рассматривается как фейковый, а следовательно, нет доверия к системе.
Время и ресурсы, затраченные на принудительную проверку фактов, превышают потенциальную выгоду от использования ГИИ в серьёзных задачах, которые оказывают влияние на систему принятия решений.
Вторая проблема — необучаемость и ограниченная длина контекстного окна*. Как это проявляется на практике в моих проектах?
*Контекстное окно обозначает максимальное количество токенов, которые модель может учитывать одновременно при обработке текста; грубо говоря, это глубина памяти ГИИ в рамках открытой сессии.
Не слишком сложная база данных с иерархической структурой данных требует примерно 6-7 страниц технического задания с описанием структуры данных, параметров, связей и постановки задач для анализа данных. Написание 6-7 страниц строго формализованного текста — большая работа на три часа.
Изначально ГИИ никогда не генерирует корректного результата, если постановка задачи предполагает глубину аналитики с множеством связанных переменных.
Соответственно, требуется доводка и калибровка способности ГИИ корректно интерпретировать базу данных и понимать поставленную задачу. Это ещё работа на три часа.
В итоге 6-7 часов уходит просто на то, чтобы попытаться обучить ГИИ адекватно интерпретировать структуру данных и понимать цель анализа. К этому моменту ширина контекстного окна заканчивается, но даже если удастся уложиться, происходит баг системы, который я назвал «ментальный сквиз».
В чём проявляется «ментальный сквиз»? Чем сложнее задача и чем больше количество правок вносится в интерпретатор ГИИ, тем быстрее наступает момент «глубоких галлюцинаций», когда модель полностью теряет способность к пониманию и начинает путаться в показаниях.
По мере правок качество выходного контента растёт, а потом наступает «ментальный сквиз», и качество резко обрушается, что означает — модель сломалась, несите новую, т.е. требуется новая открытая сессия и всё начинать сначала.
Я не связывался с OpenAI по данному багу и не могу сказать, связана ли эта проблема с программной составляющей или это внутренние архитектурные недостатки, однако правда в том, что разработка сложных проектов исключена полностью.
Те функции аналитики и анализа данных, которые демонстрируются в рекламных роликах ГИИ, показывают простейшие функции, которые реализуются штатным функционалом Excel за несколько секунд, тогда как написание запросов в ГИИ требует минут. Т.е. даже здесь эффективность под вопросом. Более сложные расчёты крайне неэффективны в рамках реализации через ГИИ — здесь сразу мимо.
Какая комбинация работает? То, что работало раньше: Excel + SQL + Python и теперь ГИИ, но не в рамках аналитики, а с точки зрения справочного бюро по документации/инструкциям + помощь в написании кода и формул. Причём процесс написания кода также не так однозначен.
В практическом применении ГИИ (использовал все, но остановился в итоге на ChatGPT-4 как наиболее сбалансированном) абсолютно не тянет работу с данными. Data Science, data mining, data analytics — это не про ГИИ. Текущая оценка — около 2 из 10, т.е. совсем плохо, по крайней мере, в той публичной версии, как это всё представлено.
Все надстройки в Excel на базе ChatGPT, в том числе официальная от Microsoft — полная туфта. Выглядят многообещающе, но на практике с большим набором данных и многоуровневыми зависимостями не работают так, как должны.
Свободные таблицы и автоматический структурный анализ можно делать и имеющимися ресурсами без использования ГИИ.
ГИИ не только не улучшает работу, а скорее ухудшает с точки зрения качества данных и скорости работы. В рамках анализа данных Excel + SQL + Python решают задачи на порядки быстрее, чем хвалёный ГИИ. На данном этапе ГИИ в контексте научно-исследовательской базы близок к пустому месту.
Отсутствие встроенного контроля верификации выходных данных не позволяет использовать ГИИ для серьёзных научно-исследовательских работ и в рамках бизнес-операций. По умолчанию, любой сгенерированный контент от ГИИ рассматривается как фейковый, а следовательно, нет доверия к системе.
Время и ресурсы, затраченные на принудительную проверку фактов, превышают потенциальную выгоду от использования ГИИ в серьёзных задачах, которые оказывают влияние на систему принятия решений.
Вторая проблема — необучаемость и ограниченная длина контекстного окна*. Как это проявляется на практике в моих проектах?
*Контекстное окно обозначает максимальное количество токенов, которые модель может учитывать одновременно при обработке текста; грубо говоря, это глубина памяти ГИИ в рамках открытой сессии.
Не слишком сложная база данных с иерархической структурой данных требует примерно 6-7 страниц технического задания с описанием структуры данных, параметров, связей и постановки задач для анализа данных. Написание 6-7 страниц строго формализованного текста — большая работа на три часа.
Изначально ГИИ никогда не генерирует корректного результата, если постановка задачи предполагает глубину аналитики с множеством связанных переменных.
Соответственно, требуется доводка и калибровка способности ГИИ корректно интерпретировать базу данных и понимать поставленную задачу. Это ещё работа на три часа.
В итоге 6-7 часов уходит просто на то, чтобы попытаться обучить ГИИ адекватно интерпретировать структуру данных и понимать цель анализа. К этому моменту ширина контекстного окна заканчивается, но даже если удастся уложиться, происходит баг системы, который я назвал «ментальный сквиз».
В чём проявляется «ментальный сквиз»? Чем сложнее задача и чем больше количество правок вносится в интерпретатор ГИИ, тем быстрее наступает момент «глубоких галлюцинаций», когда модель полностью теряет способность к пониманию и начинает путаться в показаниях.
По мере правок качество выходного контента растёт, а потом наступает «ментальный сквиз», и качество резко обрушается, что означает — модель сломалась, несите новую, т.е. требуется новая открытая сессия и всё начинать сначала.
Я не связывался с OpenAI по данному багу и не могу сказать, связана ли эта проблема с программной составляющей или это внутренние архитектурные недостатки, однако правда в том, что разработка сложных проектов исключена полностью.
Те функции аналитики и анализа данных, которые демонстрируются в рекламных роликах ГИИ, показывают простейшие функции, которые реализуются штатным функционалом Excel за несколько секунд, тогда как написание запросов в ГИИ требует минут. Т.е. даже здесь эффективность под вопросом. Более сложные расчёты крайне неэффективны в рамках реализации через ГИИ — здесь сразу мимо.
Какая комбинация работает? То, что работало раньше: Excel + SQL + Python и теперь ГИИ, но не в рамках аналитики, а с точки зрения справочного бюро по документации/инструкциям + помощь в написании кода и формул. Причём процесс написания кода также не так однозначен.
В практическом применении ГИИ (использовал все, но остановился в итоге на ChatGPT-4 как наиболее сбалансированном) абсолютно не тянет работу с данными. Data Science, data mining, data analytics — это не про ГИИ. Текущая оценка — около 2 из 10, т.е. совсем плохо, по крайней мере, в той публичной версии, как это всё представлено.
Все надстройки в Excel на базе ChatGPT, в том числе официальная от Microsoft — полная туфта. Выглядят многообещающе, но на практике с большим набором данных и многоуровневыми зависимостями не работают так, как должны.
Свободные таблицы и автоматический структурный анализ можно делать и имеющимися ресурсами без использования ГИИ.
ГИИ не только не улучшает работу, а скорее ухудшает с точки зрения качества данных и скорости работы. В рамках анализа данных Excel + SQL + Python решают задачи на порядки быстрее, чем хвалёный ГИИ. На данном этапе ГИИ в контексте научно-исследовательской базы близок к пустому месту.
Forwarded from Раньше всех. Ну почти.
Объем экономики Рунета в 2023 году вырос на 40%, составив 17,1 триллиона рублей, сообщили в Российской ассоциации электронных коммуникаций (РАЭК) в кулуарах Российского интернет-форума (РИФ) 2024.
Forwarded from Раньше всех. Ну почти.
❗️Минцифры обсуждает введение сбора с российских компаний, продолжающих использовать зарубежное ПО. Это должно "уравнять" иностранный софт с российским, заявил министр цифрового развития Максут Шадаев, выступая на TAdviser SummIT.
Шадаев признал, что российские компании научились жить в условиях запретов, научились ставить обновления на зарубежный софт и так далее. И министерство будет настаивать на двух механизмах в этой связи. "Первое: мы считаем, что нужно создать дополнительные экономические стимулы для бизнеса переходить на российские решения и это должно быть связано с определенными налоговыми мотивациями. И второе, все-таки, если ты используешь зарубежный софт, мы в любом случае обсуждаем вопрос введения определенной платы, сбора за использование зарубежного софта", - сказал министр.
Шадаев признал, что российские компании научились жить в условиях запретов, научились ставить обновления на зарубежный софт и так далее. И министерство будет настаивать на двух механизмах в этой связи. "Первое: мы считаем, что нужно создать дополнительные экономические стимулы для бизнеса переходить на российские решения и это должно быть связано с определенными налоговыми мотивациями. И второе, все-таки, если ты используешь зарубежный софт, мы в любом случае обсуждаем вопрос введения определенной платы, сбора за использование зарубежного софта", - сказал министр.
Forwarded from Срочно, Сейчас
📦AliExpress перестал доставлять заказы в Россию.
В федеральных СМИ распространяется информация, что Китайская компания Alibaba перестала принимать платежи в рублях и не позволяет доставить посылку в Россию
Эксперты предполагают, что это может быть связано с угрозой вторичных санкций.
В федеральных СМИ распространяется информация, что Китайская компания Alibaba перестала принимать платежи в рублях и не позволяет доставить посылку в Россию
Эксперты предполагают, что это может быть связано с угрозой вторичных санкций.
Forwarded from ЕЖ
Участники российского IT-рынка разошлись во мнении, как повлияет на бизнес введение с 2025 года налога на прибыль в размере 5% вместо текущей нулевой ставки. Часть компаний видит риски роста цен на конечную продукцию, снижения инвестиций в отрасль и роста стоимости разработки. Другая считает ставку компромиссной и по-прежнему комфортной. Налоговые льготы для IT-отрасли ввели еще в 2020 году. Сначала компаниям снизили налог на прибыль с 20 до 3%, а в 2022-м обнулили. В прошлом году выручка российских IT-компаний выросла на 43% и составила 5,5 трлн руб., — РБК.
Forwarded from КСТАТИ
Вопросы без ответов: Мелкая неточность при регистрации аккаунта чуть не стоила $137 млрд.
🔹 Австралийский пенсионный фонд UniSuper, управляющий финансами более чем 600 тысяч людей, в прошлом году отказался от облачных услуг Microsoft Azure, а также двух собственных ЦОДов. Вместо этого компания перенесла свою IT-инфраструктуру (Базы данных, приложения и виртуальные сервера) в Google Cloud. А в начале мая этого года аккаунт, данные и все бэкапы были неожиданно удалены «в связи с истечением срока действия». От полного банкротства пенсионный фонд спасло то, что его инженеры хранили несколько копий бэкапов вне облака.
🔹 Пару дней назад появились результаты расследования инцидента. В итоге к потере данных привёл один параметр, оставшийся пустым при регистрации аккаунта компании. В результате система Google Cloud интерпретировала его как срок действия аккаунта в 1 год и без предупреждения удалила все данные по его прошествии. Инцидент поднимает вопросы не столько о защищённости IT-инфраструктуры от взлома, сколько о степени надёжности внутренней логики софта и методах её проверки.
Кстати, Google Cloud назвали случай изолированным и «единственным в своем роде», но от ПО, приведшего к ошибке отказались и заявили о модернизации логики своей системы.
@kstati_p
🔹 Австралийский пенсионный фонд UniSuper, управляющий финансами более чем 600 тысяч людей, в прошлом году отказался от облачных услуг Microsoft Azure, а также двух собственных ЦОДов. Вместо этого компания перенесла свою IT-инфраструктуру (Базы данных, приложения и виртуальные сервера) в Google Cloud. А в начале мая этого года аккаунт, данные и все бэкапы были неожиданно удалены «в связи с истечением срока действия». От полного банкротства пенсионный фонд спасло то, что его инженеры хранили несколько копий бэкапов вне облака.
🔹 Пару дней назад появились результаты расследования инцидента. В итоге к потере данных привёл один параметр, оставшийся пустым при регистрации аккаунта компании. В результате система Google Cloud интерпретировала его как срок действия аккаунта в 1 год и без предупреждения удалила все данные по его прошествии. Инцидент поднимает вопросы не столько о защищённости IT-инфраструктуры от взлома, сколько о степени надёжности внутренней логики софта и методах её проверки.
Кстати,
@kstati_p
interest.co.nz
Google details disastrous flub that auto-deleted Unisuper's cloud
Single parameter left blank by Google caused Aussie superannuation fund's cloud subscription to expire and be automatically deleted
Forwarded from Минпромторг России
Сроки эксперимента:
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from ЕЖ
Любимый многими импортерами китайский банк Zhejiang Chouzhou уведомил российских контрагентов о том, что полностью прекратил принимать платежи из России в любой валюте, рассказали The Moscow Times (иноагент) несколько банкиров и импортеров, узнавших об этом от своих банкиров. Zhejiang Chouzhou не входит в число самых крупных китайских банков, но в нем раньше было очень просто открыть счет, условия работы там тоже очень лояльные. Поэтому он очень популярен у российского среднего бизнеса, занимающегося внешнеторговой деятельностью, в частности у любителей разных «интересных схем», говорят два крупных российских импортера. По их словам, банк использовали импортеры санкционных товаров и товаров по схеме «карго», под которой обычно скрывается контрабанда.
Банк дважды за год вводил различные ограничения на транзакции в России. Теперь Zhejiang Chouzhou сообщает о намерении полностью отказаться от любой работы с российскими деньгами, уверяют те, кто получат его последние сообщения.
Банк дважды за год вводил различные ограничения на транзакции в России. Теперь Zhejiang Chouzhou сообщает о намерении полностью отказаться от любой работы с российскими деньгами, уверяют те, кто получат его последние сообщения.
Forwarded from E-market China
#новостиEmarket
Представлен игровой монитор AOC AGON 27G2ZN3/BK с частотой обновления 280 Гц
Новинка предлагает матовый дисплей с панелью Fast VA.
Представлен игровой монитор AOC AGON 27G2ZN3/BK с частотой обновления 280 Гц
Новинка предлагает матовый дисплей с панелью Fast VA.
Forwarded from Геоэнергетика ИНФО
В Росатоме разработали технологию повторного использования ценных металлов в производстве литийионных аккумуляторов
Специалисты Гиредмета и ВНИИХТ собрали опытную установку по извлечению карбоната лития, сульфата кобальта и никеля из отработанных литийионных аккумуляторов. На ней удалось получить партию товарной продукции батарейного качества. Полученные технологические решения готовы к внедрению в промышленном масштабе.
«Количество отработанных литийионных аккумуляторов постоянно растет. Ожидается, что к 2030 году ежегодная генерация электроэнергии посредствам таких аккумуляторов в мире достигнет 3,5 тераватт-часа, превысив нынешний уровень более чем в три раза, - говорит заместитель директора Гиредмета по науке и инновациям Константин Ивановских. - С учетом активного развития в России электротранспорта данная проблема вскоре станет весьма острой и для нашей страны.
Помимо экологического аспекта, переработка литийионных аккумуляторов открывает уникальные возможности для бизнеса по выделению ценных металлов. Путем гидрометаллургической переработки можно извлечь коммерчески ценные металлы, запасы которых ограничены в мире, — кобальт, никель, литий».
@geonrgru | YouTube | sponsr.ru
Специалисты Гиредмета и ВНИИХТ собрали опытную установку по извлечению карбоната лития, сульфата кобальта и никеля из отработанных литийионных аккумуляторов. На ней удалось получить партию товарной продукции батарейного качества. Полученные технологические решения готовы к внедрению в промышленном масштабе.
«Количество отработанных литийионных аккумуляторов постоянно растет. Ожидается, что к 2030 году ежегодная генерация электроэнергии посредствам таких аккумуляторов в мире достигнет 3,5 тераватт-часа, превысив нынешний уровень более чем в три раза, - говорит заместитель директора Гиредмета по науке и инновациям Константин Ивановских. - С учетом активного развития в России электротранспорта данная проблема вскоре станет весьма острой и для нашей страны.
Помимо экологического аспекта, переработка литийионных аккумуляторов открывает уникальные возможности для бизнеса по выделению ценных металлов. Путем гидрометаллургической переработки можно извлечь коммерчески ценные металлы, запасы которых ограничены в мире, — кобальт, никель, литий».
@geonrgru | YouTube | sponsr.ru
Forwarded from ЕЖ
Поддержка Минцифры стимулирует IT-компании инвестировать в развитие отрасли.
В частности, предоставляются льготные условия по налогообложению. Ранее, в рамках мер поддержки для отрасли, налог на прибыль для них был обнулен, а с начала 2025 года IT-компании начнут платить налог на прибыль, но сохранят преимущество по сравнению с другими отраслями. По мнению участников рынка, налоговая ставка в 5% позволит сохранить темпы роста отрасли, высокий уровень инвестиций в разработку отечественного ПО и технологий, а также позволит компаниям и далее привлекать высококвалифицированные кадры.
В частности, предоставляются льготные условия по налогообложению. Ранее, в рамках мер поддержки для отрасли, налог на прибыль для них был обнулен, а с начала 2025 года IT-компании начнут платить налог на прибыль, но сохранят преимущество по сравнению с другими отраслями. По мнению участников рынка, налоговая ставка в 5% позволит сохранить темпы роста отрасли, высокий уровень инвестиций в разработку отечественного ПО и технологий, а также позволит компаниям и далее привлекать высококвалифицированные кадры.
Forwarded from Импорт в Россию
Эксперимент по маркировке радиоэлектронной продукции, проводящийся в РФ с 1 декабря 2023 года, будет распространен на ноутбуки, смартфоны, телефоны, платы.
В соответствии с утвержденным правительством РФ постановлением, маркировку телефонов и ноутбуков планируется тестировать с 10 июня 2024 года до 30 апреля 2025 года, печатных плат - с 1 июля 2024 года до 31 августа 2025 года.
В соответствии с утвержденным правительством РФ постановлением, маркировку телефонов и ноутбуков планируется тестировать с 10 июня 2024 года до 30 апреля 2025 года, печатных плат - с 1 июля 2024 года до 31 августа 2025 года.
Forwarded from Пул N3
Российские мощности по производству блоков питания и корпусов для вычислительной техники оказались сильно недозагружены, пишет сегодня Коммерсант. По словам опрошенных экспертов, дело в конкуренции с китайскими аналогами и отсутствием кооперации между производителями.
Существенной проблемой это, конечно, не является, но в общей картине развития высоких технологий в стране подобные штрихи есть. Понимание ограничений и, что важно, возможных вариантов «расшивки узких мест» - ключевое для перезапуска технологической повестки государства (в "майском указе" это задача едва ли не первостепенная, сравнимая с социалкой).
В этом контексте обращает на себя дискуссия, организованная ВЭБом на ПМЭФ. Судя по анонсу, предполагается поиск ответов на главные вопросы инновационного развития страны: зачем крупному бизнесу покупать российское, если можно в Китае? Как малому технологическому бизнесу привлекать государственные инвестиции? Наконец, как власть и частный капитал должны находить совместные решения?
Состав участников предполагает реальный мозговой штурм, поэтому эту сессию стоит отметить в календаре.
Существенной проблемой это, конечно, не является, но в общей картине развития высоких технологий в стране подобные штрихи есть. Понимание ограничений и, что важно, возможных вариантов «расшивки узких мест» - ключевое для перезапуска технологической повестки государства (в "майском указе" это задача едва ли не первостепенная, сравнимая с социалкой).
В этом контексте обращает на себя дискуссия, организованная ВЭБом на ПМЭФ. Судя по анонсу, предполагается поиск ответов на главные вопросы инновационного развития страны: зачем крупному бизнесу покупать российское, если можно в Китае? Как малому технологическому бизнесу привлекать государственные инвестиции? Наконец, как власть и частный капитал должны находить совместные решения?
Состав участников предполагает реальный мозговой штурм, поэтому эту сессию стоит отметить в календаре.
Forwarded from IT Channel News
Россияне доверяют отечественным ноутбукам https://www.novostiitkanala.ru/news/detail.php?ID=177498
IT Channel News
Россияне доверяют отечественным ноутбукам
Согласно исследованию Fplus, большинство потребителей положительно относится к российской технике Россияне готовы пользоваться отечественными ноутбуками, а те, кто уже это делает, оценивает свой опыт в основном позитивно — такие данные были получены в
Forwarded from Экспертосфера
Nielsen_Потребительский_рынок_2024.pdf
9.8 MB
Потребительский рынок: ключевые тренды и вызовы (май 2024) от NielsenIQ
Forwarded from Экспертосфера
McKinsey - State of AI 2024.pdf
1.8 MB
State of AI 2024 by McKinsey & Company
Forwarded from Экспертосфера
SP_Обзор_рынка_инфраструктурного_ПО_и_перспективы_его_развития.pdf
3.6 MB
Обзор российского рынка инфраструктурного ПО и перспективы его развития (май 2024) от Strategy Partners
Forwarded from ЕЖ
Количество продавцов из Китая на одном из крупнейших российских маркетплейсов Ozon выросло в десять раз за год. По итогам 2023-го оно достигло 100 тыс. из порядка 500 тыс. зарегистрированных на площадке продавцов, рассказал «Ведомостям» представитель маркетплейса. По его словам, большая часть продаж китайских селлеров приходится на электронные товары — мобильные телефоны, компьютеры и видеокарты.
Также они предлагают одежду, товары для дома и детскую продукцию.Вместе с ростом числа китайских селлеров вырос и их оборот на Ozon. В 2023 году он был более чем втрое больше, чем годом ранее. Количество заказов при этом выросло в пять раз. На данный момент на китайцев приходится более 90% трансграничной торговли маркетплейса, уточнил представитель Ozon.
В апреле 2024 года представители нескольких российских брендов рассказали Business FM, что китайские продавцы подделывают их товары, а затем продают по более низким ценам. В частности, на такую проблему указывали производитель спецодежды Brodeks и продавец электроники «Перфекто групп».
Также они предлагают одежду, товары для дома и детскую продукцию.Вместе с ростом числа китайских селлеров вырос и их оборот на Ozon. В 2023 году он был более чем втрое больше, чем годом ранее. Количество заказов при этом выросло в пять раз. На данный момент на китайцев приходится более 90% трансграничной торговли маркетплейса, уточнил представитель Ozon.
В апреле 2024 года представители нескольких российских брендов рассказали Business FM, что китайские продавцы подделывают их товары, а затем продают по более низким ценам. В частности, на такую проблему указывали производитель спецодежды Brodeks и продавец электроники «Перфекто групп».
Forwarded from Геоэнергетика ИНФО
Volkswagen планирует построить сеть крупных аккумуляторных систем хранения электроэнергии для энергосистемы Германии.
В следующем году в планируют запустить первый такой «энергоцентр». Управлять новым бизнесом будет VW Elli, подразделения отвечающее за зарядные станции для электромобилей.
Первоначально мощность будет составлять 700 мегаватт-часов. VW предполагает, что из-за развития ВИЭ потребность в таких аккумуляторных системах хранения в Германии в ближайшие годы увеличится в десять раз. Сейчас емкость хранения в ФРГ в общей сложности составляет один гигаватт-час.
Первый "энергоцентр" будет использовать совершенно новые батареи, но в дальнейшем планируют использование старых аккумуляторов для электромобилей, ёмкости которых в автомобиле уже недостаточно, но которые все еще могут эффективно работать. Когда ёмкость накопителей будет снижаться до неприемлемой их будут отправлять на переработку.
@geonrgru | YouTube | @energytodaygroup
В следующем году в планируют запустить первый такой «энергоцентр». Управлять новым бизнесом будет VW Elli, подразделения отвечающее за зарядные станции для электромобилей.
Первоначально мощность будет составлять 700 мегаватт-часов. VW предполагает, что из-за развития ВИЭ потребность в таких аккумуляторных системах хранения в Германии в ближайшие годы увеличится в десять раз. Сейчас емкость хранения в ФРГ в общей сложности составляет один гигаватт-час.
Первый "энергоцентр" будет использовать совершенно новые батареи, но в дальнейшем планируют использование старых аккумуляторов для электромобилей, ёмкости которых в автомобиле уже недостаточно, но которые все еще могут эффективно работать. Когда ёмкость накопителей будет снижаться до неприемлемой их будут отправлять на переработку.
@geonrgru | YouTube | @energytodaygroup