Forwarded from запуск завтра
Cloudflare готовится перевернуть рынок хостинга веб-приложений. Длинный пост, но технологии на самом деле поразительные.
Исторически, Cloudflare — крупный и агрессивный игрок на рынке CDN, то есть они умеют с минимальной задержкой и максимальной скоростью отдавать статический контент: картинки или страницы, которые одинаковые для всех пользователей. Они забирают их с ваших серверов, копируют (кешируют) на сотни своих серверов и отдают пользователю. Прикол в том, что у Cloudflare есть свои серверы в 200 главных точках обмена трафиком, 99% пользователей интернета живут ближе, чем в сотне километров от сервера Cloudflare. Это называется edge-network, пограничная сеть, в смысле та, которая граничит с пользователями. Небольшое расстояние и оптимизированные серверы означают, что статический контент будет грузиться мгновенно.
Проблема в том, что большинство страниц — динамические. Например, гугл-документ или мою ленту фейсбука кешировать на edge смысла нет — никому кроме меня она не нужна, да и мне интересна только самая последняя версия документа, и я его только что отредактировал. Исторически это означает, что нам нужно вести все эти вычисления новых страниц где-то на центральном сервере. У крупных компаний вроде гугла или фейсбука обычно есть несколько крупных серверных ферм на каждом континенте, поближе к пользователям, так что пользователи из России кучкуются на европейских серверах, а американцы — на штатовских. Это всё требует довольно сложную инфраструктуру, маленьким компаниям недоступную. Облака Амазона и другие конкуренты пытаются решить эту проблему, но без поллитра во всех их рычажках не разберешься.
Кажется, у Cloudflare получилось придумать элегантное, красивое решение для динамических страниц, которое работает прямо на edge-серверах! Встречайте Cloudflare Workers и Durable Objects.
Cloudflare Workers — облачные функции, в Амазоне они называются лямбды (lambda@edge). То есть вы пишете программу, которая обрабатывает запросы пользователей, загружаете её в облако и она запускается по необходимости на серверах облака, прозрачно, незаметно для вас и для пользователя. Придет один пользователь — запустится одна копия, придет тысяча — запустится тысяча копий. Обычно есть время на так называемый cold start, то есть после некоторого ожидания облачная функция тушится и нужно время, чтобы она проснулась и начала отвечать на запросы. Тут этой задержки нет. Обычно вам нужно выбрать регион работы функции (помните про близость к пользователю?), тут выбирать не нужно, код запустится из самого ближнего к пользователю edge (!) сервера. Обычно эта штука стоит недешево, здесь она примерно в 3-10 раз дешевле, чем у конкурентов. Весь этот банкет за счет того, что наш код работает не контейнерах, а v8-изолятах, то есть частично — на движке гугл-хрома! (тут рассказано, как их выбрали). Но это всё закуска, кайф — дальше.
У облачных функций есть слабое место — координация пользователей. Например, мы хотим сделать копию сервиса Гугл-документов или сервис чатов — то есть несколько людей подключаются к одной программе, могут в неё писать и читать общие данные. Решений два — либо запускаем программу по-старинке, один экземпляр на сервере и храним данные в памяти (быстро!), либо запускаем в функциях, но тогда нужна будет очень быстрая общая база данных и то скорость будет ниже, потому что функциям нужно будет ходить в центральную базу данных.
Cloudflare эту проблему решили с помощью Durable Objects — это такие воркеры, которые а) уникальны, то есть гарантированно запускается только один экземпляр б) имеют доступ к надежному и быстрому хранилищу в) запускаются там, где большинство пользователей и могут самостоятельно мигрировать между серверами. Получается, что большинство операций происходят в памяти, но при этом самостоятельная серверная программа не нужна. Красиво! В статье примеры каунтера и чата, простота кода впечатляет.
Отдельно подчеркну достойную документацию и хороший инструментарий разработчика.
Перечисленное выше — базовые технологии, на которых можно строить впечатляющие бизнес-решения.
Исторически, Cloudflare — крупный и агрессивный игрок на рынке CDN, то есть они умеют с минимальной задержкой и максимальной скоростью отдавать статический контент: картинки или страницы, которые одинаковые для всех пользователей. Они забирают их с ваших серверов, копируют (кешируют) на сотни своих серверов и отдают пользователю. Прикол в том, что у Cloudflare есть свои серверы в 200 главных точках обмена трафиком, 99% пользователей интернета живут ближе, чем в сотне километров от сервера Cloudflare. Это называется edge-network, пограничная сеть, в смысле та, которая граничит с пользователями. Небольшое расстояние и оптимизированные серверы означают, что статический контент будет грузиться мгновенно.
Проблема в том, что большинство страниц — динамические. Например, гугл-документ или мою ленту фейсбука кешировать на edge смысла нет — никому кроме меня она не нужна, да и мне интересна только самая последняя версия документа, и я его только что отредактировал. Исторически это означает, что нам нужно вести все эти вычисления новых страниц где-то на центральном сервере. У крупных компаний вроде гугла или фейсбука обычно есть несколько крупных серверных ферм на каждом континенте, поближе к пользователям, так что пользователи из России кучкуются на европейских серверах, а американцы — на штатовских. Это всё требует довольно сложную инфраструктуру, маленьким компаниям недоступную. Облака Амазона и другие конкуренты пытаются решить эту проблему, но без поллитра во всех их рычажках не разберешься.
Кажется, у Cloudflare получилось придумать элегантное, красивое решение для динамических страниц, которое работает прямо на edge-серверах! Встречайте Cloudflare Workers и Durable Objects.
Cloudflare Workers — облачные функции, в Амазоне они называются лямбды (lambda@edge). То есть вы пишете программу, которая обрабатывает запросы пользователей, загружаете её в облако и она запускается по необходимости на серверах облака, прозрачно, незаметно для вас и для пользователя. Придет один пользователь — запустится одна копия, придет тысяча — запустится тысяча копий. Обычно есть время на так называемый cold start, то есть после некоторого ожидания облачная функция тушится и нужно время, чтобы она проснулась и начала отвечать на запросы. Тут этой задержки нет. Обычно вам нужно выбрать регион работы функции (помните про близость к пользователю?), тут выбирать не нужно, код запустится из самого ближнего к пользователю edge (!) сервера. Обычно эта штука стоит недешево, здесь она примерно в 3-10 раз дешевле, чем у конкурентов. Весь этот банкет за счет того, что наш код работает не контейнерах, а v8-изолятах, то есть частично — на движке гугл-хрома! (тут рассказано, как их выбрали). Но это всё закуска, кайф — дальше.
У облачных функций есть слабое место — координация пользователей. Например, мы хотим сделать копию сервиса Гугл-документов или сервис чатов — то есть несколько людей подключаются к одной программе, могут в неё писать и читать общие данные. Решений два — либо запускаем программу по-старинке, один экземпляр на сервере и храним данные в памяти (быстро!), либо запускаем в функциях, но тогда нужна будет очень быстрая общая база данных и то скорость будет ниже, потому что функциям нужно будет ходить в центральную базу данных.
Cloudflare эту проблему решили с помощью Durable Objects — это такие воркеры, которые а) уникальны, то есть гарантированно запускается только один экземпляр б) имеют доступ к надежному и быстрому хранилищу в) запускаются там, где большинство пользователей и могут самостоятельно мигрировать между серверами. Получается, что большинство операций происходят в памяти, но при этом самостоятельная серверная программа не нужна. Красиво! В статье примеры каунтера и чата, простота кода впечатляет.
Отдельно подчеркну достойную документацию и хороший инструментарий разработчика.
Перечисленное выше — базовые технологии, на которых можно строить впечатляющие бизнес-решения.
Очень смешно читать массовые фантазии про P2P соцсеточки как способ ухода от политического преследования.
Вот просто очень.
Вот просто очень.
Фейсбук, официально:
«В настоящее время мы удаляем контент, содержащий фразу "остановите воровство" (“stop the steal”), в соответствии с политикой борьбы с призывами к насилию Facebook и Instagram»
Нет, не цензура.
Борьба с насилием.
* К чему все эти полумеры, скорей бы уже начали удалять посты содержащие слово "цензура", а то ведь рыночная капитализация страдает.
«В настоящее время мы удаляем контент, содержащий фразу "остановите воровство" (“stop the steal”), в соответствии с политикой борьбы с призывами к насилию Facebook и Instagram»
Нет, не цензура.
Борьба с насилием.
* К чему все эти полумеры, скорей бы уже начали удалять посты содержащие слово "цензура", а то ведь рыночная капитализация страдает.
About Facebook
Our Preparations Ahead of Inauguration Day - About Facebook
We’re taking additional steps to stop misinformation and content that could incite further violence during the next few weeks.
Вы таки будете смеяться, но мой пост в фейсбуке со ссылкой на официальное заявление фейсбука о борьбе с hate speech эти упоротые пометили как hate speech.
Всё идёт к тому, что они сами себя забанят даже раньше, чем мы могли бы ожидать.
Всё идёт к тому, что они сами себя забанят даже раньше, чем мы могли бы ожидать.
🤣1
Если вам интересно, куда побежали трамписты после убийства парлера, то это, если я не ошибаюсь, соцсеточка Gab
Вот про неё в педивикии:
Gab — это англоязычная социальная сеть, нацеленная на отказ от модерирования и цензурирования записей, если это не предусмотрено законами США. Gab описывается журналистами The New York Times, как терпимая к разным «экстремистским» группам и безопасная зона для сообществ, которые были бы ограничены или заблокированы в других социальных сетях. Группы, состоящие в Gab, можно охарактеризовать, как неонацистские, патриотические сторонники превосходства белокожих людей и альтернативные правые. Сайт позволяет каждому пользователю пересылать сообщение до 3000 другим пользователям, которые называются «гэбы». Было выявлено журналистами Washington post, что Gab является в целом излюбленной площадкой для людей с консервативными, либертарианскими, националистическими, патриотическими и популистскими взглядами.
Полагаю ей теперь предстоит борьба за выживание.
Вот про неё в педивикии:
Gab — это англоязычная социальная сеть, нацеленная на отказ от модерирования и цензурирования записей, если это не предусмотрено законами США. Gab описывается журналистами The New York Times, как терпимая к разным «экстремистским» группам и безопасная зона для сообществ, которые были бы ограничены или заблокированы в других социальных сетях. Группы, состоящие в Gab, можно охарактеризовать, как неонацистские, патриотические сторонники превосходства белокожих людей и альтернативные правые. Сайт позволяет каждому пользователю пересылать сообщение до 3000 другим пользователям, которые называются «гэбы». Было выявлено журналистами Washington post, что Gab является в целом излюбленной площадкой для людей с консервативными, либертарианскими, националистическими, патриотическими и популистскими взглядами.
Полагаю ей теперь предстоит борьба за выживание.
Forwarded from Фотозаклепки
Капитолий, Вашингтон.
Без комментариев.
https://twitter.com/ReedReports/status/1349326874573463555?s=20
Без комментариев.
https://twitter.com/ReedReports/status/1349326874573463555?s=20
Forwarded from Sina Tech: Китай, бизнес и технологии (Василий Лемутов)
⚙️ RISCованные решения: перейдет ли Китай на процессорную архитектуру с открытым исходным кодом?
Журналисты Wall Street Journal в очередной раз поднимают тему интереса Китая к микропроцессорной архитектуре с открытым исходным кодом RISC-V — альтернативе x86 (Intel) и ARM, ныне господствующих на мировом рынке. Еще два года назад Alibaba создала процессор на этой архитектуре, и уже тогда журналисты обращали внимание на активное участие китайских компаний в консорциуме RISC-V. С тех пор число членов организации почти удвоилось, а сама архитектура стала часто использоваться в устройствах интернета вещей (IoT).
Созданная 10 лет назад американскими учеными RISC-V была задумана как архитектура с гибким набором инструкций: базовая часть является единой для всех процессоров, но каждый производитель может добавить дополнительные инструкции под конкретные применения. Изначально такой подход был необходим для научных исследований, но сейчас растет спрос на использование архитектуры в промышленных и потребительских IoT-устройствах, а также в сфере машинного обучения.
И все же, главное преимущество RISC-V — в ее открытом исходном коде. Производителям не только разрешено кастомизировать набор инструкций, но и не нужно покупать лицензию на его использование — похоже на Linux в мире микропроцессоров. Отсюда же и интерес китайских компаний: раньше — из-за сокращения расходов и удобства для IoT-применений, теперь — еще и из-за возможности обеспечить независимость от ARM и Intel в условиях растущего технологического противостояния с Западом.
Однако сетующие на использование американской технологии враждебным Китаем журналисты WSJ забывают о проблемах. Процессоры на архитектуре RISC-V хороши для маломощных устройств, однако пока не очень приспособлены к работе в смартфонах и, тем более, компьютерах. Чтобы догнать ARM и Intel потребуется не один год.
Кроме того, риск кроется и в самом принципе гибкости набора инструкций: без стандартизации устройства могут быть попросту несовместимы. Эту проблему призван решить консорциум RISC-V, где китайских и западных компаний примерно поровну и может развернуться знакомая по другим технологиям борьба за доминирование чьих-то конкретных стандартов.
Наконец, третьей не менее важной проблемой является ПО: экосистема с большим числом разработчиков различных программ критична для выхода на рынок смартфонов и компьютеров. Кроме того, нужно для начала еще и портировать какую-нибудь из известных ОС на новую архитектуру. В свете перехода компьютеров Apple на процессоры с ARM-архитектурой последнее на первый взгляд не кажется критичным. Например, CTO чешской компании Codasip, делающей процессоры на RISC-V, считает, что через некоторое время мы увидим Android, портированный на эту архитектуру. Вместе с тем, вспоминается и нестабильность порта Android для архитектуры х86, и крайне малое число смартфонов на процессорах Intel. Так ли уж легко будет RISC-V полноценно выйти на рынок смартфонов?
В целом, алармизм WSJ и цитируемых ими американских чиновников пока, наверное, избыточен. Распространение RISC-V в Китае, как и во всем мире, пока идет в сфере IoT, где у архитектуры есть очевидные преимущества как за счет энергоэффективности, так и просто за счет отсутствия платных лицензий. Переход на устройства покрупнее займет немало времени и требует преодоления ряда проблем, хотя Китай и может стать здесь передовиком. Но все же, редакция @SinaTech болеет за опен-сорс и надеется, что в будущем мы все наконец будем пользоваться RISC-V и Linux😎
Журналисты Wall Street Journal в очередной раз поднимают тему интереса Китая к микропроцессорной архитектуре с открытым исходным кодом RISC-V — альтернативе x86 (Intel) и ARM, ныне господствующих на мировом рынке. Еще два года назад Alibaba создала процессор на этой архитектуре, и уже тогда журналисты обращали внимание на активное участие китайских компаний в консорциуме RISC-V. С тех пор число членов организации почти удвоилось, а сама архитектура стала часто использоваться в устройствах интернета вещей (IoT).
Созданная 10 лет назад американскими учеными RISC-V была задумана как архитектура с гибким набором инструкций: базовая часть является единой для всех процессоров, но каждый производитель может добавить дополнительные инструкции под конкретные применения. Изначально такой подход был необходим для научных исследований, но сейчас растет спрос на использование архитектуры в промышленных и потребительских IoT-устройствах, а также в сфере машинного обучения.
И все же, главное преимущество RISC-V — в ее открытом исходном коде. Производителям не только разрешено кастомизировать набор инструкций, но и не нужно покупать лицензию на его использование — похоже на Linux в мире микропроцессоров. Отсюда же и интерес китайских компаний: раньше — из-за сокращения расходов и удобства для IoT-применений, теперь — еще и из-за возможности обеспечить независимость от ARM и Intel в условиях растущего технологического противостояния с Западом.
Однако сетующие на использование американской технологии враждебным Китаем журналисты WSJ забывают о проблемах. Процессоры на архитектуре RISC-V хороши для маломощных устройств, однако пока не очень приспособлены к работе в смартфонах и, тем более, компьютерах. Чтобы догнать ARM и Intel потребуется не один год.
Кроме того, риск кроется и в самом принципе гибкости набора инструкций: без стандартизации устройства могут быть попросту несовместимы. Эту проблему призван решить консорциум RISC-V, где китайских и западных компаний примерно поровну и может развернуться знакомая по другим технологиям борьба за доминирование чьих-то конкретных стандартов.
Наконец, третьей не менее важной проблемой является ПО: экосистема с большим числом разработчиков различных программ критична для выхода на рынок смартфонов и компьютеров. Кроме того, нужно для начала еще и портировать какую-нибудь из известных ОС на новую архитектуру. В свете перехода компьютеров Apple на процессоры с ARM-архитектурой последнее на первый взгляд не кажется критичным. Например, CTO чешской компании Codasip, делающей процессоры на RISC-V, считает, что через некоторое время мы увидим Android, портированный на эту архитектуру. Вместе с тем, вспоминается и нестабильность порта Android для архитектуры х86, и крайне малое число смартфонов на процессорах Intel. Так ли уж легко будет RISC-V полноценно выйти на рынок смартфонов?
В целом, алармизм WSJ и цитируемых ими американских чиновников пока, наверное, избыточен. Распространение RISC-V в Китае, как и во всем мире, пока идет в сфере IoT, где у архитектуры есть очевидные преимущества как за счет энергоэффективности, так и просто за счет отсутствия платных лицензий. Переход на устройства покрупнее займет немало времени и требует преодоления ряда проблем, хотя Китай и может стать здесь передовиком. Но все же, редакция @SinaTech болеет за опен-сорс и надеется, что в будущем мы все наконец будем пользоваться RISC-V и Linux😎
WSJ
China’s Chip-Independence Goals Helped by U.S.-Developed Tech
New approach to semiconductors, developed partly with the Pentagon’s backing, could threaten Intel and Arm’s dominance.