𝓓𝓮𝓿𝓲𝓵𝓼 • 𝓜𝓲𝓷𝓭𝓼
1.3K subscribers
3.15K photos
70 videos
5 files
3.23K links
TradingChannel: @DevilsWaves
PrivateClub: @DevilsTones
EliteClub: @DevilsPulse
Download Telegram
Стенфордский курс по внутреннему устройству LLM

CS336, Language Modeling from Scratch, показывает, как сделать полноценную LLM с нуля: от сбора и очистки датасета до тренировки, профайлинга и развёртывания модели. Все конспекты, ноутбуки и код сразу публикуют в открытой репе, так что можно повторять эксперименты дома хоть на одной-двух карточках или в колабе.

Курс сделан с большим упором на практику — в качестве пяти домашних заданий предлагают имплементировать сначала чистый Transformer с нуля, затем кастомный FlashAttention 2 на Triton, распределённую тренировку, разобраться со scaling laws, фильтрацей датасета и применением RL в LLM. Требования — уверенный Python и PyTorch.

Лекции на ютубе
Материалы к лекциям
Сайт курса
😁😁😁😁😁😁😁😁😁😁
Minds 🤔| Waves 🌊 | Insides 🧐
Please open Telegram to view this post
VIEW IN TELEGRAM
😍42👍2🔥1💘1😘1
Сразу после ухода с госслужбы Илон Маск поставил перед собой ещё более амбициозную цель, чем борьба с бюрократией в Вашингтоне.

Он планирует к 2027 году отправить первые корабли с роботами на Марс, а спустя ещё несколько лет уже и пилотируемые миссии на красную планету.

Правда, всего это нельзя достичь без оказания влияния на политику НАСА. Под давлением Маска агентство уже сократило финансирование своих лунных программ и перенаправило средства на освоение Марса. Космическая эпопея Маска будет финансироваться и за счёт военных контрактов.

На том же “Золотом куполе” в небе над США стоимостью в полтриллиона долларов SpaceX заработает очень неплохие деньги. Пентагон ещё могут обязать пользоваться услугами Маска по подписке. Таким образом он будет гарантированно получать финансовую подпитку из военного бюджета. Как минимум пока у власти в Вашингтоне республиканцы.

Поэтому его нынешний “уход” из политики всё же стоит воспринимать как определённую позу. Маск останется в роли неофициального союзника Трампа и наверняка будет помогать республиканцам на выборах в Конгресс в ноябре 2026. От этого теперь зависит будущее его бизнесов.


Ведь демократы уже грозят Маску новыми расследованиями. При Байдене он получал в свой адрес обвинения в дискриминации и домогательствах. Давление со стороны либеральных прокуроров вынудило Маска релоцировать свои компании из Калифорнии в Техас. После 2028 года судебный прессинг будет ещё более жёстким, если демократы вернутся к власти. Уж слишком плотно Маск погрузился в политическую клоаку - спрятаться от неё даже на Марсе не получится.
😁😁😁😁😁😁😁😁😁😁
Minds 🤔| Waves 🌊 | Insides 🧐
Please open Telegram to view this post
VIEW IN TELEGRAM
2🥰1
Как выглядит кризис на рынке жилья США.

На рынке на 34% больше продавцов, чем покупателей.

Никогда ещё за всю историю наблюдений, начиная с 2013 года, продавцы не превосходили покупателей настолько сильно.
😁😁😁😁😁😁😁😁😁😁
Minds 🤔| Waves 🌊 | Insides 🧐
Please open Telegram to view this post
VIEW IN TELEGRAM
3
Учим любые языки бесплатно: появился сайт с десятками курсов по разным языкам, от английского до японского.

Дают всю базовую лексику и примеры разговорных выражений с правильным произношением. Между 125 уроками можно свободно переключаться.

Забираем 😘 здесь
😁😁😁😁😁😁😁😁😁😁
Minds 🤔| Waves 🌊 | Insides 🧐
Please open Telegram to view this post
VIEW IN TELEGRAM
12
𝓓𝓮𝓿𝓲𝓵𝓼 • 𝓜𝓲𝓷𝓭𝓼
​​Госдепартамент закрывает все студенческие программы в США. Сразу после инаугурации Трампа различные грантовые проекты для студентов вроде “Фулбрайта” были лишены финансирования. Теперь же американские посольства полностью останавливают выдачу студенческих…
​​Решение Госдепартамента объявить войну китайским студентам застигло американские университеты врасплох.

Китайцы составляют четверть всех иностранцев, обучающихся в колледжах США. Ежегодно по 250-300 тысяч китайских студентов приезжают в Америку. 83% из них затем остаются в США.

Причём в ряде вузов вроде Колумбийского или Корнеллского доля китайских студентов доходит до половины от общего числа иностранцев. Они привозят с собой миллиарды долларов, инвестируемые в американское образование. Суммарный экономический эффект от учёбы всех иностранных студентов в США достигает 40-50 миллиардов долларов ежегодно.

Это очень важный источник финансирования для университетов. Ведь иностранцы платят больше за образование, чем американцы, и чаще выбирают самые дорогие учебные программы. Тот же Колумбийский в год зарабатывает почти 1 миллиард долларов с иностранных студентов.

Теперь колледжам вроде Гарварда начинают запрещать обучать иностранцев. Команда Трампа уже приостановила выдачу новых студенческих виз. Госдеп намерен аннулировать визы китайских студентов, у которых родственники состоят в КПК. И тех, кто обучается в “критически” важных сферах, имеющих доступ к конфиденциальной научной информации.


В США волна шпиономании в отношении китайцев будет и дальше набирать обороты. На фоне оттока студентов острый дефицит квалифицированных учёных и инженеров в STEM-дисциплинах, который давно проявляется, продолжит усугубляться. Но для республиканцев важнее получить дополнительный рычаг давления на университеты как рассадники воукизма. Их Трампу удаётся вполне успешно добивать. Причём за очень короткий срок.
😁😁😁😁😁😁😁😁😁😁
Minds 🤔| Waves 🌊 | Insides 🧐
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯1
Процентное изменение индекса S&P 500, номинального ВВП и кумулятивной инфляции в США, 1950–2025

S&P 500 — это индекс, который отражает совокупную динамику цен акций 500 крупнейших компаний США

Важно отметить, что на диаграмме указаны относительные показатели, а именно на сколько % они выросли с 3 января 1950 года. Шкала логарифмическая
😁😁😁😁😁😁😁😁😁😁
Minds 🤔| Waves 🌊 | Insides 🧐
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Помните как Claude 4 уведомлял власти если видел серьёзное правонарушение?

После выхода system card многие возмутились — ведь LLM всё ещё часто галлюцинируют и могут что-то не так понять, а потом разбирайся с органами. Но когда такой же промпт попробовали дать другим моделям, они, внезапно, тоже начали стучать регуляторам. Но это не замечали, потому что лишь Anthropic решили протестировать модель на такое.

Из этого всего сделали даже шуточный бенчмарк — Snitch Bench, который проверяет насколько часто модель будет пытаться уведомлять регуляторов, если увидит серьёзное правонарушение. Больше всех закрывает глаза на преступления o4-mini, а вот мимо последних Claude и Gemini 2.0 Flash уже не пройдёшь.

😘 Бенч
😁😁😁😁😁😁😁😁😁😁
Minds 🤔| Waves 🌊 | Insides 🧐
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁61
Грандиозный рывок китайского ИИ

В условиях ограничений на вычислительные мощности, Китаю удается на равных конкурировать с флагманскими LLM в США и Европе.

После громкого релиза ChatGPT 3.5 в ноябре 2022 и значительного апгрейда на ChatGPT 4 в марте 2023, в следующие 1.5 года (!) до релиза o1-preview в сентябре 2024 не было прогресса в индустрии в условиях полного доминирования OpenAI.

Однако, конкуренты стали поджимать с середины 2024 (в особенности Anthropic c моделью Claude 3.5 Sonnet).

Китай начал позже (первая публичная версия появилась в июле 2023 - Qwen Chat 7B, но была чрезвычайно слаба), но темпы развития ошеломляющие.

Уже в декабре 2023 лучшая китайская LLM вышла по производительности на уровень ChatGPT 3.5 с Qwen1.5 Chat 72B, сократив отставание до одного года.

В сентябре 2023 вышла малоизвестная, но мощная модель GLM-4-Plus от Zhipu AI, которая по синтетическим тестам достигла ChatGPT 4 образца начала 2024 (отставание сократилось до 9 месяцев).

В октябре 2023 выходит Qwen2.5 Plus (первая китайская публичная модель, которая имела практическое применение), которой удалось сравняться с обновленным GPT-4o и Claude 3.5 Sonnet, но все еще значительно проигрывая по гибкости и функционалу.

С осени 2024 началась эпическая битва ИИ. Плотность релизов зашкаливающая.
Новым китайским лидером стала LLM - Step 2 от StepFun, а в декабре всем известный DeepSeek V3, который был лучшей нерассуждающей моделью в мире.

В декабре 2023 отставание Китая от американских флагманов был всего год, а в декабре 2024 Китай стал лидером, а спустя месяц появился DeepSeek R1, который и произвел медийный фурор, выводя китайские ИИ из отраслевого андеграунда в мейнстрим.

DeepSeek R1 не стал лидером, но приблизился к топовой на тот момент рассуждающей o1 от OpenAI, вот с февраля началась наиболее безумная ИИ гонка всех времен и народов, когда релизы новых LLM шли с периодичностью в 1-2 недели!

Несколько дней назад (28 мая) было произведено долгожданное обновление DeepSeek R1 без смены названия, но по тестам модель приблизилась к o3 и Gemini 2.5 Pro.


Китай начал позже, но в условиях дефицита ресурсов компенсировал технологический гэп и предлагает конкурентные решения.

Китай располагает целым зоопарком относительно конкурентных LLM (китайские модели подчеркнуты):

Интегральный уровень производительности по оценкам
artificialanalysis.ai

• o4-mini (high) и o3, OpenAI– 70
DeepSeek R1 (May 2025), DeepSeek – 68
• Gemini 2.5 Pro , Google – 68
• Grok 3 Mini Reasoning (high), xAI – 67
• Claude Opus 4 Thinking, Anthropic – 65
Qwen3 235B A22B (Reasoning), Alibaba– 62
SeedThinkingv1.5, ByteDance – 62
ERNIE X1, Baidu – 60
• Hunyuan T1, Tencent – 60

Kimi K1.5 Preview , MoonShot – 58
glm-z1- 32b, Zhipu – 56
step-r1- v-mini, StepFun – 55
MiMo-7B, Xiaomi – 54
Baichuan M1 (Preview), Baichuan - 52
• Llama 4 Maverick, Meta – 51
• Mistral Medium 3 – 49
• Nova Premier, Amazon - 43
MiniMax -Text-01, MiniMax – 40
• Phi 4, Microsoft - 40
YiLightning, 01 AI – 37

Для понимания скорости и масштаба прогресса. Распиаренный ChatGPT 4o, который был индустриальным стандартом в начале 2025 имел производительность около 40. Сейчас даже самая слабая китайская модель имеет производительность, как флагманский ChatGPT 4o в начале 2025 (до мартовского обновления), лучшая LLM от Google до декабря 2024 имела производительность всего 34 балла.

Сейчас в Китае 5 очень мощных игроков на рынке ИИ: Alibaba, ByteDance, Baidu, Huawei и Tencent и 5 передовых стартапов: DeepSeek, Zhipu, Stepfun, MiniMax и MoonShot AI.

В таблице представлена наглядная навигация по типам LLM от китайских разработчиков, в том числе для генерации изображений, видео и аудио.

Невероятный прогресс. Второе полугодие 2025 обещает быть интересным.
😁😁😁😁😁😁😁😁😁😁
Minds 👨‍💻 | Waves 🧐 | Pulse 🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍61
Логика коллективного действия. Почему люди отказываются преследовать интересы группы, даже если это в их интересах, и как это преодолеть

Экономист Мансур Олсон в 1965 году в своем фундаментальном труде Logic of Collective Action изложил ряд фундаментальных принципов, определяющих логику коллективного действия в больших и малых группах.

Основные принципы, выведенные Олсоном, включают:

😊Парадокс размера группы (Парадокс Олсона): чем больше группа, тем сложнее обеспечить участие каждого индивида в производстве коллективного блага, поскольку доля выгоды, приходящаяся на одного участника, уменьшается, что снижает его стимулы к участию.

😊Проблема «безбилетника» (free rider problem): в больших группах рационально для индивида не участвовать в совместных действиях, рассчитывая получить выгоду от общественного блага, созданного другими, без личных затрат

Олсон пришел к выводу, что обеспечить равномерный вклад каждого потребителя общественных благ возможно только через строгую дисциплину или принуждение; например, государство не может существовать на добровольных основах, поэтому оно прибегает к налогообложению.

Дальше я хочу показать, как эти принципы работают на двух примерах и как принуждение и наказание помогают обеспечить координацию усилий:

➡️ Поддержание дисциплины через «альтруистическое наказание» (altrustic punishment)

➡️ Поддержание дисциплины через «сигналы» (costly signalling)

😊Швейцарские ученые Симон Гахтер и Эрнст Фэр провели эксперимент среди 240 человек, которые играли в «игру с общественными благами». Участников раздели на подгруппы по 4 человека и две группы: в одной правила игры подразумевали возможность наказания «рублем», а в другой — нет. Каждому выдали определенную сумму денег, а схему увеличения богатства сделали такой, что выгоднее будет оставаться безбилетником.

Но самое интересное — они предоставили опцию наказания, но применять её можно было только после окончания раунда игры, то есть к тем участникам, с которыми ты уже не пересечешься. С рациональной точки зрения это невыгодно, так как это не поможет преумножить богатство.

Как оказалось, несмотря на иррациональность наказания безбилетников, 84% участников применяли санкции. Более того 94% участников вносили больше денег в общий банк, когда существовала угроза наказания. А Строгость наказания увеличивалась пропорционально снижению объема вклада безбилетника.

Как показал этот эксперимент, люди остро чувствуют несправедливость и готовы наказать безбилетника, даже если это не принесет ощутимой выгоды. Это повышает уровень кооперации участников.

😊Во втором примере антрополог Ричард Сосис показал, опираясь на теорию сигналов, что, чем сильнее в религиозном сообществе необходимость участия в затратных для индивида действиях (ритуалах, нанесении татуировок, увечий и пр.), тем выше устойчивость религиозной группы и меньше безбилетников.

Например, нанося татуировки на тело, верующий несет альтернативные издержки, которые сигнализируют о его преданности группе. Это повышает доверие внутри группы и позитивно воздействует кооперацию. Тем не менее этот механизм хуже действует в группах, основанных на светских убеждениях.


Главная идея Олсона заключается в том, что практически ни одна группа не сможет действовать общих интересах, если не будут применяться специальные механизмы принуждения. Человеку выгоднее преследовать свои интересы за счет остальных. Особенно остро эта проблема стоит в больших сообществах.

1. Olson, M. (2012). The logic of collective action [1965]. Contemporary sociological theory, 124, 62-63.

2. Fehr, E., & Gächter, S. (2002). Altruistic punishment in humans. Nature, 415(6868), 137-140.

3. Sosis, R., & Alcorta, C. (2003). Signaling, solidarity, and the sacred: The evolution of religious behavior. Evolutionary Anthropology: Issues, News, and Reviews; s, 12(6), 264-274.
😁😁😁😁😁😁😁😁😁😁
Minds 👨‍💻 | Waves 🧐 | Pulse 🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍51🤔1🗿1
Доля "защитных" секторов (здравоохранение, коммунальные услуги, товары первой необходимости) в индексе S&P 500 упала до 15% — самого низкого уровня с 2000 года, согласно данным BofA Global Investment Strategy и Bloomberg.

Исторически такой перекос в сторону рискованных активов часто указывал на перегрев рынка.

Если инвесторы начнут перекладываться в стабильные активы на фоне неопределенности, отток капитала из рискованных секторов способен спровоцировать падение индекса
😁😁😁😁😁😁😁😁😁😁
Minds 👨‍💻 | Waves 🧐 | Pulse 🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
321
Нереализованные убытки Банка Японии от государственных облигаций достигли рекордных $198 млрд в финансовом году 2024.

Убытки утроились по сравнению с прошлогодними ~$66 млрд.
Это произошло на фоне удвоения доходности 10-летних облигаций Японии за год до ~1,5% на конец марта.
В то же время доходность 30-летних облигаций выросла примерно на 70 базисных пунктов до ~2,5%.


Рост доходности японских государственных облигаций ускорился за последние 2 месяца, что оказывает дополнительное давление на Банк Японии.
Нереализованные убытки в Японии растут рекордными темпами.

😁😁😁😁😁😁😁😁😁😁
Minds 👨‍💻 | Waves 🧐 | Pulse 🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
Анонимность? Не слышали.

Вышел CyberOSINT — монстр для разведки, который знает о вас больше, чем вы сами.

Это НЕ просто тулза, а целая ОС для кибердетективов:

Мгновенно ищет любые данные — по email, гео, IP, доменам, соцсетям и даже… по радиосигналам.
• Пробивает отчеты компаний, изучает камеры наблюдения, шарит в блокчейн-расследованиях.
• Доступ к базам розыска, госреестрам, парсинг облаков и слияние данных — все это в одном дашборде.
• Есть встроенный Google Dork-конструктор — вскрывает уязвимости гугл-сервисов и ищет инфу, которую никто не должен был видеть.


ИБ-эксперты нервно курят в сторонке — слишком много, слишком быстро.
Пользуйтесь с умом
😎
😁😁😁😁😁😁😁😁😁😁
Minds 👨‍💻 | Waves 🧐 | Pulse 🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3😱1
𝓓𝓮𝓿𝓲𝓵𝓼 • 𝓜𝓲𝓷𝓭𝓼
Логика коллективного действия. Почему люди отказываются преследовать интересы группы, даже если это в их интересах, и как это преодолеть Экономист Мансур Олсон в 1965 году в своем фундаментальном труде Logic of Collective Action изложил ряд фундаментальных…
Умные больше склонны сотрудничать

В посте про логику коллективных действий писал про эксперимент швейцарских психологов. Они установили, что кооперация между участниками в игре в общественные блага возможна на долгосрочном отрезке времени только при применении наказания к безбилетникам.

В статье экономиста Гарета Джонса нашел еще интересные данные про то, что влияет на уровень сотрудничества между участниками в игре с «дилеммой узника».

Он, проанализировав ряд исследований когнитивных способностей студентов на базе американских школ и университетов, установил при помощи регрессии интересную взаимосвязь: чем выше средний бал студентов учебного заведения за SAT (выпускной экзамен), тем выше и кооперация между участниками. Например, увеличение балла за SAT на 100 баллов среди учащихся вело к росту уровня сотрудничества в игре на 4,8% и более процентов. Сравнивая результаты студентов Государственного Университета Сан-Диего и Массачусетского Университета, Джонс установил, что студенты второго вуза сотрудничали на 21% больше в среднем.

Можно осторожно предположить , что людям с высокими когнитивными способностями возможно легче увидеть пользу и выгоду от сотрудничества, чем с более низкими, которые мыслят несколько уже.


Даже лучше: менее одаренные умом напоминают карикатурных рациональных агентов, понимающих свою выгоду в виде победы в игре с нулевой суммой. А те, кто поумнее более дальновидны и способны увидеть преимущества от игры с позитивной суммой, приносящей выгоду всем участникам.

Jones, G. (2008). Are smarter groups more cooperative? Evidence from prisoner's dilemma experiments, 1959–2003. Journal of Economic Behavior & Organization, 68(3-4), 489-497.
😁😁😁😁😁😁😁😁😁😁
Minds 👨‍💻 | Waves 🧐 | Pulse 🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5
Военные расходы стран мира в 2024 году
😁😁😁😁😁😁😁😁😁😁
Minds 👨‍💻 | Waves 🧐 | Pulse 🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
😈4