Rancher v2.5 釋出!

這幾天 Rancher 正式釋出 v2.5 版本，這邊就來重點節錄一些改變
1. 強化與雲端環境 EKS 與 輕量級 K3s 環境的整合，此外宣稱所有 Kubernetes 服務上面都可以安裝 Rancher 用其來幫忙管理
2. 針對美國環境要求而開發更具安全性的發行版，符合 FIPS(Federal Information Processing Standars)
3. 整合 GitOps 部署，針對大規模 Edge 叢集的自動部署解決方案 fleet
4. Monitoring 強化，減少與 Rancher 本身的連接性，反而更加使用 Prometheus operator 來提供服務。管理人員可以直接創建相關的 CRD 提供服務，而這些資訊也都會被 Rancher UI 給一併呈現

其中 (4) 裡面還提供的 cluster-level 的客製化設定，就不需要向過往一樣要開很多個 project-level 的 prometheus 來處理，這方面輕鬆不少


資料來源：
- https://rancher.com/blog/2020/rancher-2-5-delivers-computing-everwhere-strategy
- https://github.com/rancher/fleet
- https://fleet.rancher.io/
- https://github.com/rancher/rancher/issues/23239

於 Minecraft 中玩耍 Kubernetes, 大概是繼 Doom 後另一個有趣玩法了

https://medium.com/@eric.jadi/minecraft-as-a-k8s-admin-tool-cf16f890de42

如果你機會跑過 kubernetes 1.18 版本，一定要試試看最基本的 kubectl get pods -o yaml，看看是不是內容裡面多出了非常多 f:{} 系列的檔案，導致整個 Yaml 變得非常冗長，閱讀不易，甚至想要抓取到最原始的內容都非常麻煩。

Kubernetes 官方 Github 上還有相關的 issue 再討論這個欄位，詢問是否有辦法能夠清除。不少人都提出了一些希望的用法來處理
Issue: https://github.com/kubernetes/kubernetes/issues/90066

目前看下來最簡單的做法還是透過 kubectl plugin, kubectl-neat 來幫忙完成，可以透過 krew 這個 kubectl 管理工具來安裝管理
https://github.com/itaysk/kubectl-neat
此工具可以將 Server 上得到 Yaml 的內容給整理最後得到最初的檔案

至於到底什麼是 managedFiles? 這個由欄位的出現是因為 1.18 以後，已經將 Server Side Apply 更新策略預設啟用而導致的，而 Server Side Apply 則是一種用來管理 Declarative 設定檔案的方式，對使用者來說基本上完全無感，因為一切都還是透過 kubectl apply 來使用，只是到底如何判斷 當前檔案內容與系統上內容誰先誰後，誰對誰錯，甚至當有人透過 kubectl edit 去編輯內容的時候，到底該怎麼更新。

之後有時間可以再寫一篇來詳細介紹 Kubernetes 內的 Declarative 更新策略

#小編

本篇對幾款常見的 Service Mesh 產品做了基本介紹，以及延續之前的議題哪些常見的 Proxy 被應用於 Servie Mesh 實作中作為其 Service Proxy ?
https://telegra.ph/Common-Proxies-in-Service-Mesh-Implementations-10-10

本篇針對 k8s 內部多租戶的挑戰進行一篇文章分享
https://telegra.ph/Kubernetes-%E5%A4%9A%E7%A7%9F%E6%88%B6%E5%AF%A6%E6%88%B0%E7%9A%84%E5%95%8F%E9%A1%8C%E8%88%87%E8%A7%A3%E6%B3%95-10-13

這邊跟大家分享關於 CNCF Radar 9月份的報告，這篇報告主要是針對 Observability 來探討 CNCF 會員會使用哪些工具，以及對這些工具的推薦程度
Observability 通常會被分成三大領域，分別是 Monitoring, Logging, Tracing. 常見的代表解決方案就是 Prometheus+Grafana/EFK/Jaeger, OpenTracking
更多報告內容歡迎點擊下列文章觀看更多
https://www.hwchiu.com/cncf-tech-radar-observability.html

HashiCrop 今天釋出的新工具 Waypoint，一款用來讓開發者也能夠輕鬆部屬測試的工具

Waypoint 提供開發者一個友善的方式，能夠順利的完成 build/deploy/release 這一系列的操作，讓開發者可以直接將開發結果部屬上去，並且觀看相關結果

目前部屬的對象支持 Kubernetes, Nomand, EC2, Google Cloud Run ，文件中也有提到這工具可以與 GitHub Action, CircleCI, Jenkins等整合來完成各種自動化部屬
有興趣的人可以趕快來玩看看，嘗鮮一下
https://www.hashicorp.com/blog/announcing-waypoint

GitOps 的概念我認為還是目前還是相當新穎，但是有觀察到愈來愈多的工具在往這一塊發展，包含最近 Rancher 2.5 就推出自己的 GitOps 工具來滿足大規模邊緣環境部署。

這邊跟大家分享我最近看的一本關於 GitOps 的電子書，整本書篇幅不多，主要分成下列章節

What GitOps isWhy it was inventedWhat problems it solvesThe differences between the principal GitOps toolsImplementation challengesAlternatives to GitOpsThe future of the GitOps movement

我閱讀的同時也隨手記錄其重點，全部分成六篇短文並且記錄下來，接下來則會每天分享一篇跟大家一起學習 GitOps 的概念與玩法

https://www.hwchiu.com/gitops-book-ch1.html

今天來跟大家分享 GitOps 書籍閱讀心得的第二篇，本篇探討 GitOpS 的基本概念，不追究實作細節，主要從其核心角度出發，去探討一種 GitOps 的實作方式


https://www.hwchiu.com/gitops-book-ch2.html

今天來介紹 GitOps 書籍閱讀心得第三篇，主要是探討 GitOps的前後今生

軟體開發的概念很多時候並不是創新，而是不同時空背景下是否合適與適用
不同時代隨者架構潮流的演變，服務用法也在改變，維運的思維與用法也會有所改變，但是改變不一定代表合適，一切還是取決於你的應用環境


https://www.hwchiu.com/gitops-book-ch3.html

今天的系列文章主要會介紹幾個可以考慮用來當做 GitOps 流派的工具，這邊有趣的是 GitOps 其實能夠搭配的東西不一定是應用程式，如果跟 Terraform 合併一同使用是不是也可以針對 Infrastructure 來管理更新

就我個人經驗來說，能夠先把所有環境都用程式碼或是文件以版本控制的方式保存，確保有能力針對需求快速複製與修改，接下來再來思考如何強化整個部署流程，讓整體團隊工作起來更有效率，同時針對近版，退版等需求都能夠有系統化的處理
 
https://www.hwchiu.com/gitops-book-ch4.html

今天來介紹自動部署過程中一個很重要的議題，機密資訊管理！

因為 Kubernetes Secret 本身只是編碼，不是加密，因此如何透過 Git 管理並且部署到 Kubernetes 內則是一個挑戰，特別是整個部署過程都是自動化時，要如何避免有任何一個環節可能會導致明碼洩漏導致後續安全性漏洞。

此外，當這個議題與 GitOps 整合時就更加重要，因為 GitOps 希望透過自動且版控的方式來管理部署使用到的所有檔案，這篇文章則會列出一些關於這個議題的可能解決方案





https://www.hwchiu.com/gitops-book-ch5.html

這裡幫大家整理一下關於 GitOps 的相關資源，除了系列文章之外，也有我之前於線上 Meetup 的一些操作 Demo
GitOps 是一種概念，沒有明文規定要怎麼實作
也不是一定要使用 Flux/ArgoCD 等這類型解決方案才可以被稱為 GitOps
GitOps 對我來說，其實跟很多抽象概念一樣，我在意的反而是其到底想要解決什麼問題，而不是要用什麼工具解決
從出發點去思考，將其套用到當前工作團隊之中，然後反問自己一些問題，譬如
1. 這些問題，我目前的團隊與工作流程中存在嘛？
2. 如果不存在，我需要改變嘛？改變帶來的好處是什麼
3. 如果問題存在，要如何改變與修正?
針對問題(3)，這部份又要仔細考慮，如果要改動，要對既有架構整個重構？還是需要時間小幅度實作即可？
部署流程不是一個簡單工作，往往跟許多系統牽扯在一起
任何大幅度的改動都可能會造成其他服務受到影響，沒有詳細的規劃與演練，可能造成的副作用比效益還來得大
此外，團隊的資源有限，包含時間，人力。當前所有事項的優先順序是什麼？ 如何安排人力資源去解決對應問題更為重要
不論採用哪種方式部署，哪些軟體，最重要的是能夠提昇整個團隊的工作效率
https://www.hwchiu.com/tags/GitOps/
https://www.youtube.com/watch?v=1n2JsOIiHP8&t=2223s

今天要來跟大家分享一個單一節點如何提高應用程式吞吐量與服務能力的方式

這個方式主要探討的是應用程式對於網路連線的 I/O 模型，試想一個常見的使用範例。
一個主要的 Process 會去聽取一個固定的 port number (ex port 80)，並且通知後面眾多的 worker 來幫忙處理這些封包連線，而這些 worker 的工作就是處理連線。 
整個架構中是一個 1 v.s N 的狀況， 一個負責 Listen ，N個負責處理連線內容

而今天要分享的則是想要讓架構變成 N v.s N 的狀況， 會有 N 個 Process, 每個 Process 配上一個 Worker。
而這 N個 process 同時共享一樣的 Port (ex, port 80)
這種情況下可以減少多個 worker 共享一個 listen socket 時的各種保護機制，取而代之的則是每個 listen socket 配上一個專屬的 worker 來處理。

要達成這樣的架構非常簡單，只要透過 SO_REUSEPORT 這個 socket option 告
訴 Kernel 當前這個 PORT 可以重複使用。

當封包送到 kernel 後則是由 kernel 幫你分配封包到所有使用相同地址的 Listen Socket (Process)

根據 nginx 官方文章的測試，這種架構下對於 RPS (Request per second) 有顯著的提升，有興趣的可以看看下列兩篇文章

參考文章:
- https://blog.cloudflare.com/the-sad-state-of-linux-socket-balancing/
- https://www.nginx.com/blog/socket-sharding-nginx-release-1-9-1/

Cloud Native 的影響愈來愈大，連 5G End-To-End Network Slicing 都可以看到 Kubernetes 的蹤影

有興趣的可以看看這篇由交通大學於 ONF Spotlight 所分享的影片，介紹交通大學如何開發一套基於 Cloud Native 的系統於 5G 架構之中

https://www.youtube.com/watch?v=6oBPUppikiw&feature=emb_logo

該會議的所有影片都可以於這邊觀看
https://opennetworking.org/5g-transformation-with-open-source/

不知道大家第一次接觸 kubernetes 的時候都是使用哪套解決方案來打造你的 K8s 叢集？ 亦或是作為一個開發者，你平常都怎麼架設 K8s 來本地測試?

這篇文章提到了作為一個 Local Kubernetes Cluster 幾個選擇，並且點出了三個需要解決的問題
1.  Container Registry, 作為一個開發環境，應該不會想要每次測試都要將 Container Image 給推到遠方，譬如 dockerHub, Quay，這樣整體效率低落
2. Builder, 如何有效率的幫忙建置你的應用程式，並且與 Kubernete 整合，讓開發者可以更專心於本地開發，而不要擔心太多 k8s 之間的設定
https://www.dex.dev/dex-videos/development-clusters
3. Runtime, 底層使用哪套 Container Runtime, 譬如 docker/containerd/cri-o

註: 我個人對第三點其實沒太多感覺，不覺得本地測試這個會影響太多

後面列舉了當前知名的相關專案，譬如 KIND, K3D, MicroK8S, Minikube 以及 Docker for desktop. 並且簡單的比較了一下這些本地開發的差異。

不知道大家平常本地開發時，都會用哪一套?
我個人是比較常使用 KIND 來測試，畢竟輕量化且同時支援多節點，環境也乾淨，測試起來也方便。

這邊跟大家分享一篇 EKS 升級的心得文章，該文章記錄了 EKS 從 k8s 1.17 到 1.18 的過程，並且先分享了幾個 1.18 主要新功能，包含了
1. Topology Manager (Beta)
2. Service Side Apply (Beta)
3. Pod Topology Spread (Beta)
... 等
詳細升級過程看起來無痛輕鬆，有興趣的可以參考全文

當然升級 K8S 最重要的還是要注意 Resource 的 API 版本是否有變，譬如 1.16 就讓很多人採到 Deployment 使用 extensions/v1beta1 的錯誤，所以每次升級請先檢查有沒有哪些過舊的 API 版本被丟棄，以免升級後現有的服務部屬不上去

題外話： ingress 如果還是使用 extensions/v1beta1 的話，建議都換成 networking.k8s.io/v1beta1 (k8s 1.14+), 到了 1.22 後本來的 extensions/v1beta1 就不能用囉


https://medium.com/swlh/amazon-eks-upgrade-journey-from-1-17-to-1-18-e35e134ca898

Kubernetes 1.19 帶來的一個重大改變就是 Ingress 正式 GA, 這個從 kubernetes 1.1 版就引入的元件經歷了 18 個版本演進終於要正式從 Beta 進入到 Stable 版本了，對於使用者來說這有什麼影響?

1. Ingress/IngressClass 這兩個資源的 API 版本將正式使用 networking.k8s.io/v1 ，而過往的 extension/v1beta1 將於 kubernetes 1.22 後正式移除，所以如果有要使用的人可以提早轉移，以免 1.22 又不小心中獎導致 yaml 都失敗
2. Ingress 的設計裡面跟架構不會更動，未來的修復都已臭蟲以及不會破壞向下相容的修改為主
3. 要更多更強的網路功能，請使用 CRD 這種方式來擴充 Kubernetes，讓 Kubernetes 專心維護核心功能與介面。譬如 Istio 內滿滿的 CRD


Reference:
1. https://github.com/kubernetes/kubernetes/pull/89778
2. https://www.cncf.io/blog/2020/10/29/kubernetes-1-19-the-future-of-traffic-ingress-and-routing/

這邊來跟大家分享一下 Docker 網路入門系列文第二篇

該篇文章會一步一步的去探討原生 Docker Bridge 模型到底會做什麼事情，每個步驟如何自己透過 Linux 指令來完成。

本篇文章著重於如何打造一個可以讓容器互通的網路模型，本身還沒有涉入過多關於 iptables 等能夠讓容器存取外網能力的介紹，這部份會於第三篇文章再來仔細介紹

有興趣的人歡迎看看這篇文章，不吝指教
https://www.hwchiu.com/docker-network-model-lab.html

這邊跟大家分享一篇 GitOps 實作心路歷程，這篇文章中總共使用下列工具
1. AWS, 所有環境都基於 AWS 此 cloud provider
2. K3S, 一套由 Rancher 開發的輕量級 Kubernetes 發行版本
3. Rancher, 管理 K3S 介面
4. Cert-Manager, 與 Let's Encrypt 連動，管理相關憑證
5. Vault, Secret 管理工具
6. ArgoCD GitOps 使用工具，連動 Git Repo 與 K8s
7. Terraform, IaaC 的一種工具

這篇文章從頭開始介紹如何整合上述工具，並且完成一個簡易的範例，透過這些範例也讓你理解每個元件對應的功能，如何使用，共重要的是從一個大範圍的視角來看，這些元件的地位，更可以幫助你瞭解整體架構

有興趣的可以閱讀全文

https://adam-toy.medium.com/implementing-gitops-on-kubernetes-using-k3s-rancher-vault-and-argocd-f8e770297d3a

這邊跟大家分享一個有趣的專案 kubemq, 這個專案是完全針對 Kubernetes 環境所使用的 Message Queue，其最主要的特點是針對 Hybrid Cloud 這種多雲環境而設計的，當你今天有多套 Kubernetes Cluster 坐落於不同環境，有的是地端自架，有的是特定雲端服務者，但是你又有這個需求的時候，可以來看看這套解決方案


https://kubemq.io/
https://www.cncf.io/blog/2020/11/03/the-need-for-kubernetes-native-messaging-platform-in-hybrid-cloud-environment/