This is the normal way humanity learns to surmount challenges: We deny the problem, reality smacks us around a bit, and then we start treating the problem with more respect. The Titanic sank, and most people who were aboard died. But nowadays passenger ships have enough lifeboats, and nowadays if the captain said to board them then you’d board them. We don’t hype ships up as unsinkable anymore. We make a mistake the first time, and learn from it the second time. With ASI, there is no second time.
Автор призыва бомбить датацентры с GPU Eliezer Yudkowsky чуть больше месяца назад опубликовал книжку "If Anyone Builds It, Everyone Dies". В ней оказалось много сочного и убедительного контента про наше возможное темное будущее.
Насколько ИИ опаснее ядерных исследований, почему МЛ-инженеры — это алхимики из притчи с плохим концом и прочие ужасы, в этот Хэллоуин будет рассказывать Андрей Кузнецов, ML-директор PT.
📅 Пятница, 31 октября, 15:00 MSK.
🔗 Ссылка: Ктолк
#reading_group #ai #dark_future
🔥8🎃4👻3😁2🌚1
False Positive
This is the normal way humanity learns to surmount challenges: We deny the problem, reality smacks us around a bit, and then we start treating the problem with more respect. The Titanic sank, and most people who were aboard died. But nowadays passenger ships…
Начнем сегодня чуть позже -- в 18 MSK
👍4😁4
False Positive
This is the normal way humanity learns to surmount challenges: We deny the problem, reality smacks us around a bit, and then we start treating the problem with more respect. The Titanic sank, and most people who were aboard died. But nowadays passenger ships…
Мы начинаем🎃
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥2
🍁Октябрь в PT ML Reading Group выдался насыщенным — от сетевой безопасности до философских обсуждений о развитии ИИ.
Делимся записями всех трёх встреч.
🎥 3 октября — Коля Лыфенко и Женя Бечкало рассказали, как современные техники TLS-фингерпринтинга в комбинации с ML-алгоритмами помогают находить вредоносные серверы и скрытую активность даже в зашифрованном трафике.
Встреча будет полезна ML-инженерам и вирусным аналитикам: ребята подробно разобрали, как детектировать угрозы в сети с помощью fingerprinting-подходов и моделей машинного обучения.
🎥 17 октября — Катя Синькова разобрала статью "TETRIS: Optimal Draft Token Selection for Batch Speculative Decoding" и рассказала, как работает спекулятивное декодирование (Speculative Decoding).
Обсудили, как динамический выбор черновых токенов помогает ускорить инференс LLM, зачем нужен баланс между размером батча и длиной чернового окна, и какие приёмы можно применять на практике.
Полезно тем, кто разворачивает собственные LLM-сервисы и ищет способы оптимизации инференса.
🎥 31 октября — Андрей Кузнецов в формате живого общения рассказал о книге Элиезера Юдковского "If Anyone Builds It, Everyone Dies."
На встрече говорили о рисках создания ASI, сравнивали развитие ИИ с ядерными исследованиями и рассуждали о том, как понять, что человечество уже создало сильный ИИ.
Смотрите записи, делитесь своим мнением и подключайтесь к новым встречам RG — впереди ещё много интересного.😊
#reading_group #recording #ml #ai #cybersecurity #llm #dark_future
Делимся записями всех трёх встреч.
🎥 3 октября — Коля Лыфенко и Женя Бечкало рассказали, как современные техники TLS-фингерпринтинга в комбинации с ML-алгоритмами помогают находить вредоносные серверы и скрытую активность даже в зашифрованном трафике.
Встреча будет полезна ML-инженерам и вирусным аналитикам: ребята подробно разобрали, как детектировать угрозы в сети с помощью fingerprinting-подходов и моделей машинного обучения.
🎥 17 октября — Катя Синькова разобрала статью "TETRIS: Optimal Draft Token Selection for Batch Speculative Decoding" и рассказала, как работает спекулятивное декодирование (Speculative Decoding).
Обсудили, как динамический выбор черновых токенов помогает ускорить инференс LLM, зачем нужен баланс между размером батча и длиной чернового окна, и какие приёмы можно применять на практике.
Полезно тем, кто разворачивает собственные LLM-сервисы и ищет способы оптимизации инференса.
🎥 31 октября — Андрей Кузнецов в формате живого общения рассказал о книге Элиезера Юдковского "If Anyone Builds It, Everyone Dies."
На встрече говорили о рисках создания ASI, сравнивали развитие ИИ с ядерными исследованиями и рассуждали о том, как понять, что человечество уже создало сильный ИИ.
Смотрите записи, делитесь своим мнением и подключайтесь к новым встречам RG — впереди ещё много интересного.😊
#reading_group #recording #ml #ai #cybersecurity #llm #dark_future
🔥9❤4👍2✍1
Пока OpenAI, Anthropic и Google соревнуются в строительстве дата-центров, бронируют гигаватты энергии и скупают миллионы GPU, назревает не самая очевидная, но фундаментальная проблема. Compute растёт экспоненциально, а вот данных для обучения ИИ становится недостаточно. По оценкам EpochAI, объём вычислений удваивается приблизительно каждые шесть месяцев, тогда как число доступных в Интернете текстов растет лишь на 3% в год.
Что делать, когда данные заканчиваются, а мощности не ограничены?
На ближайшей встрече разберём одну из самых интересных статей года — «Pre-training under Infinite Compute» от Stanford AI Lab. Это исследование предлагает новый взгляд на масштабирование LLM в эпоху, когда compute стремится к бесконечности, а объем данных ограничен.
🧠 Разбор проведёт Степан Кульчицкий, ведущий специалист ML-команды.
Обсудим:
📉 Какие существуют ограничения и недостатки закона масштабирования Chinchilla.
🧪 Как регуляризация и ансамбли спасают от переобучения на одном датасете.
👨🍳 Как получать лучшее качество без добавления новых данных.
🔭 Что нас ждет в ближайшем будущем.
📅 Ждём всех в Толке в пятницу, 14 ноября, в 15:00 MSK.
🔗 Ссылка для подключения: Ктолк
#reading_group #llm #data
Что делать, когда данные заканчиваются, а мощности не ограничены?
На ближайшей встрече разберём одну из самых интересных статей года — «Pre-training under Infinite Compute» от Stanford AI Lab. Это исследование предлагает новый взгляд на масштабирование LLM в эпоху, когда compute стремится к бесконечности, а объем данных ограничен.
🧠 Разбор проведёт Степан Кульчицкий, ведущий специалист ML-команды.
Обсудим:
📉 Какие существуют ограничения и недостатки закона масштабирования Chinchilla.
🧪 Как регуляризация и ансамбли спасают от переобучения на одном датасете.
👨🍳 Как получать лучшее качество без добавления новых данных.
🔭 Что нас ждет в ближайшем будущем.
📅 Ждём всех в Толке в пятницу, 14 ноября, в 15:00 MSK.
🔗 Ссылка для подключения: Ктолк
#reading_group #llm #data
🔥9❤1👍1🤩1
Привет! А вы знаете зачем вообще нужны безопасники, как хакеры достигают целей и как от них защититься? ML-команда «Позитива» едет в Питер, чтобы разобрать настоящую атаку, и рассказать:
— как найти аномалии в потоке легитимных событий;
— почему нельзя обойтись без умного анализа трафика;
— какие модели помогают детектировать вредоносы;
— как помогают защищаться AI-агенты на самом деле.
Специальный гость митапа — Женя Никитин (CTO CelsusAI) расскажет, как масштабировать обучение в условиях ограниченных данных медтеха.
Без записи. Без повторов.
19 ноября, 18:00, Арт-галерея Zarenkov Gallery
Регистрируемся тут
— как найти аномалии в потоке легитимных событий;
— почему нельзя обойтись без умного анализа трафика;
— какие модели помогают детектировать вредоносы;
— как помогают защищаться AI-агенты на самом деле.
Специальный гость митапа — Женя Никитин (CTO CelsusAI) расскажет, как масштабировать обучение в условиях ограниченных данных медтеха.
Без записи. Без повторов.
19 ноября, 18:00, Арт-галерея Zarenkov Gallery
Регистрируемся тут
🔥18❤7😎6👍4👏1
False Positive
Пока OpenAI, Anthropic и Google соревнуются в строительстве дата-центров, бронируют гигаватты энергии и скупают миллионы GPU, назревает не самая очевидная, но фундаментальная проблема. Compute растёт экспоненциально, а вот данных для обучения ИИ становится…
Media is too big
VIEW IN TELEGRAM
Всем привет!
🎬Выкладываем запись с прошедшей RG с разбором статьи "Pretraining under infinite compute"
#reading_group #llm #data #recording
🎬Выкладываем запись с прошедшей RG с разбором статьи "Pretraining under infinite compute"
#reading_group #llm #data #recording
👍7👏3❤2🔥1
Вы когда-нибудь задумывались, почему ChatGPT уверенно врет вам про диссертацию Адама Стоквилда (Adam Stockwild), которую тот никогда не писал, или почему 0.11 для LLM больше чем 0.9?
Почему языковые модели, датасет для обучения которых едва ли меньше знаний всего человечества, проводят фактчекинг на уровне раздолбаев с задней парты, которые любой ценой пытаются сдать школьный тест?
Всё дело в том, как обучают и оценивают большие языковые модели.
В эту пятницу разберём новую статью от OpenAI «Why Language Models Hallucinate?». Узнаем, как вознаграждение (reward) при обучении превращает ИИ в фабрику фейков, и как это можно исправить.
На встрече Андрей Яковлев, специалист отдела экспертизы MaxPatrol HCC, расскажет:
🛑 почему даже идеальные данные не спасают от галлюцинаций;
🛑 как бинарные метрики вознаграждают ложь;
🛑 что нужно изменить в бенчмарках, чтобы AI был честнее.
📅 Ждём всех в Толке в пятницу, 28 ноября, в 15:00 MSK.
🔗 Ссылка для подключения: Ктолк
P.S.: Адама Стоквилда не существует 🙂
#reading_group #llm
Почему языковые модели, датасет для обучения которых едва ли меньше знаний всего человечества, проводят фактчекинг на уровне раздолбаев с задней парты, которые любой ценой пытаются сдать школьный тест?
Всё дело в том, как обучают и оценивают большие языковые модели.
В эту пятницу разберём новую статью от OpenAI «Why Language Models Hallucinate?». Узнаем, как вознаграждение (reward) при обучении превращает ИИ в фабрику фейков, и как это можно исправить.
На встрече Андрей Яковлев, специалист отдела экспертизы MaxPatrol HCC, расскажет:
📅 Ждём всех в Толке в пятницу, 28 ноября, в 15:00 MSK.
🔗 Ссылка для подключения: Ктолк
#reading_group #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7❤5👍4
False Positive
Вы когда-нибудь задумывались, почему ChatGPT уверенно врет вам про диссертацию Адама Стоквилда (Adam Stockwild), которую тот никогда не писал, или почему 0.11 для LLM больше чем 0.9? Почему языковые модели, датасет для обучения которых едва ли меньше знаний…
Мы начинаем обсуждать почему LLM галлюционируют и как с этим бороться☺️
🔥4