Ray Liu's Blog

前言在現代微服務架構中，「Session 儲存」、「購物車」、「用戶狀態」這類標準的 Key-Value (鍵值) 存取場景無處不在。初階工程師遇到這類需求，通常直接塞進關聯式資料庫（RDBMS）；稍微有經驗的會加上 Redis 當快取；而到了海量規模（Hyperscale）的架構，許多人開始轉向 AWS DynamoDB。 從資深 DBA 與架構師的角度來看，這三者到底差在哪？何時該用誰？這篇文章將帶你剖析鍵值架構演進的底層邏輯，以及實務選型上不可不知的盲點。 一、傳統 RDBMS 處理 KV 的天花板許多專案初期會開一張 user_sessions 的 MySQL/PostgreSQL 資料表，用 id 當 Primary Key 來做查詢。這在 QPS（每秒查詢量）幾百以內時沒有問題，但在高併發下會遇到以下瓶頸： 1. 連線池（Connection Pool）耗盡RDBMS 為了保證事務與一致性，建立連線的成本極高。面對數萬台微服務實例的瞬間突發併發，RDBMS 的 Connection 很容易耗盡，導致整個系統阻塞（Thundering Herd Proble...

前言「我要做全文搜尋，直接用 MongoDB 的 $text 索引夠不夠？還是要上 Elasticsearch？」 這是每個工程師在設計搜尋功能時都會碰到的靈魂拷問。事實上，這不只是功能強弱的問題，更是兩種根本不同的底層索引哲學之間的抉擇。本文將從倒排索引（Inverted Index）、Primary Database 的適用性、資料一致性問題，以及業界主流的「異質資料庫架構」設計模式，帶你做出最正確的決策。 一、核心設計哲學的根本差異1. MongoDB：以 B-Tree 驅動的通用文件資料庫MongoDB 是一個 Primary Database（主資料庫），所有欄位索引底層皆為 B-Tree。對於精確查詢（Exact Match）、範圍查詢（Range Query）、前綴比對（Prefix Match）來說效率極高。但面對「找出所有包含某個詞彙的文件」這類需求時，MongoDB 的 $text 索引本質上是倒排索引的簡化版，缺乏評分機制、多語言分詞支援薄弱，且在多欄位複合搜尋的精確度上遠遠不足。 2. Elasticsearch：為「搜尋」而生的分散式分析引擎Elast...

前言在 Relational Database (RDBMS) 無法支撐海量擴展與非結構化資料的時代，NoSQL 應運而生。然而，許多工程師對 NoSQL 的理解僅停留在「沒有 Schema」與「好擴張」。實際上，NoSQL 並非單一技術，而是為了解決特定場景而生的「特化型工具」。 在眾多 NoSQL 中，**MongoDB（文件型）**與 **Cassandra（寬行型）**是極具代表性的兩座大山。本文將拋開表面的 API 差異，從底層儲存引擎（WiredTiger vs LSM-Tree）、分散式架構（Raft-based Replica Set vs Masterless Ring）以及 CAP 定理的抉擇，為你深度剖析兩者的架構本質與選型策略。 一、核心架構與資料模型1. MongoDB：靈活的文件型資料庫 (Document Store)MongoDB 以 BSON（二進位 JSON）格式儲存資料，最大的優勢在於極致的開發者體驗與彈性的資料結構。 資料模型：文件導向。一筆資料可以包含深層疊套的陣列與物件（Nested Arrays/Objects），非常貼...

前言在關聯式資料庫（RDBMS）的領域中，MySQL 與 PostgreSQL 是兩大最受歡迎的開源解決方案。兩者雖然都支援標準 SQL，但在底層架構、設計理念及擅長的場景卻有著根本性的差異。本文將從核心架構、關鍵功能、效能表現，深入剖析兩者的差異，並提供實務上的選型建議。 一、設計理念與核心架構1. MySQL：以「速度」與「Web 生態」為出發點MySQL 最初的設計目標是為了支撐快速的 Web 應用（如早期 LAMP 網站）。 架構特性：採用「可插拔儲存引擎（Pluggable Storage Engine）」，預設為 InnoDB。這種架構讓 MySQL 在面對簡單的讀取和高併發寫入時，能夠有極高的吞吐量。 執行緒模型：採用 Thread-per-Connection 模型。每個連線建立一個執行緒，在處理大量輕量級短連線時佔用記憶體較少。 2. PostgreSQL：以「正確性」、「標準」為信仰PostgreSQL 標榜自己為「世界上最先進的開源關聯式資料庫」，其前身可追溯至加州大學柏克萊分校的 POSTGRES 計畫。 架構特性：它是一個物件-關聯式資料庫（OR...

前言在現代分散式系統中，當微服務的數量從個位數增長到數十個，服務之間的通訊方式若仍依賴同步 REST API，系統將面臨嚴峻的「耦合性（Coupling）」與「級聯故障（Cascading Failure）」風險：任何一個下游服務的抖動，都可能沿著呼叫鏈蔓延至整個系統。 Apache Kafka 正是為了解決這個核心問題而生。它是一個以「持久化、高吞吐、分割區（Partitioned）、事件日誌（Log）」為核心設計哲學的分散式串流平台（Distributed Streaming Platform），讓生產者（Producer）與消費者（Consumer）能夠完全解耦，各自以最適合的速率運作。 然而，Kafka 強大能力的背後，伴隨著遠比 REST API 複雜的運維複雜度。本文將以架構師 → 後端工程師 → DevOps/SRE 三個視角，深度解析 Kafka 在 AWS 微服務環境中的實戰場景、常見災難與應對策略。 📖 本文架構導覽 層次 主題 Part 1：部署選型 EC2/ECS/EKS 環境的 Kafka 部署模式選擇 P...

前言當系統從單體架構走向微服務（Microservices），並部署在動態的雲端環境（如 AWS EC2、ECS 或 EKS）中時，**「無狀態（Stateless）」與「水平擴展（Scale-out）」**成為了架構設計的顯學。在這樣的環境下，Redis 不僅僅是快取，更是撐起微服務之間狀態共享、限流、併發控制與事件驅動的核心骨幹。 然而，當 Redis 運行在真實的高流量生產環境加上複雜的網路拓樸中時，往往會衍生出許多教科書上沒寫的「痛點」。本文將依循架構師 → 後端工程師 → DevOps/SRE 三個視角，深度解析 Redis 在 AWS 微服務環境下的經典場景、常見災難以及對應的解決方案。 📖 本文架構導覽 層次 主題 Part 1：部署選型 EC2/ECS/EKS 環境的 Redis 部署模式選擇 Part 2：實戰場景 Session、快取、分散式鎖、事件佇列 Part 3：架構師視角 命名規範、選型決策、快取一致性、讀寫分離 Part 4：後端工程師視角 Bloom Filter、Lua Script、Pip...

在生產環境中，日誌管理是系統穩定性與可維護性的關鍵基石。一個配置不當的日誌系統可能導致磁碟空間爆滿、系統崩潰,甚至影響業務運作。本文將深入探討 Docker、PM2 以及 Go、Node.js、Python 等常見運行環境的日誌管理最佳實踐,幫助你避免「日誌爆炸」的災難。 為什麼日誌管理如此重要?在生產環境中,日誌管理不當可能導致以下問題: 磁碟空間耗盡: 未限制的日誌檔案會持續增長,最終佔滿磁碟空間 系統效能下降: 過度的日誌寫入會影響 I/O 效能 除錯困難: 日誌過多或過少都會影響問題排查效率 合規風險: 敏感資訊洩漏或日誌保存期限不符合規範 [!IMPORTANT]生產環境的日誌策略應該在可觀測性與資源消耗之間取得平衡。過多的日誌會浪費資源,過少的日誌則無法有效除錯。 Docker 日誌管理Docker 日誌驅動概述Docker 支援多種日誌驅動 (Logging Driver),每種驅動適用於不同的場景: 驅動名稱 適用場景 優點 缺點 json-file 本地開發、小型部署 預設驅動、簡單易用 需手動管理日誌輪替 syslog 集...

前言經過前五篇的學習，你已經掌握了 Kubernetes 的核心概念。本篇將綜合運用這些知識，完成一個完整微服務應用的部署： 設計應用架構 使用 Helm 簡化部署 多環境配置管理 日誌與監控整合 常見問題排除 讓我們開始真正的實戰！ 應用架構設計範例應用：電商平台我們將部署一個簡化版的電商微服務系統： graph TD USER[使用者] -->|HTTPS| ING[Ingress] ING --> GW[API Gateway] GW --> USVC[User Service] GW --> PSVC[Product Service] GW --> OSVC[Order Service] USVC --> REDIS[(Redis)] PSVC --> PDB[(PostgreSQL<br/>Products)] OSVC --> ODB[(PostgreSQL<br/>Orders)] OSVC --> M...

前言當應用程式部署到 K8s 後，如何確保它穩定運行且高效利用資源？本篇將探討： 資源管理：設定 CPU 和記憶體的請求與限制 自動擴展：根據負載自動調整 Pod 數量 調度策略：控制 Pod 在哪些節點上運行 健康檢查：確保只有健康的 Pod 接收流量 這些是生產環境部署的必備知識。 資源管理：Requests 與 Limits為什麼需要資源管理？沒有資源限制的情況下： 某個 Pod 可能消耗所有 CPU/記憶體 導致其他 Pod 無法正常運行 節點可能因 OOM（Out of Memory）崩潰 graph TD subgraph "沒有限制" A[Pod A] -->|佔用 80% CPU| N1[Node] B[Pod B] -->|飢餓| N1 C[Pod C] -->|飢餓| N1 end subgraph "有限制" D[Pod A: 限制 30%] --> N2[Node] ...

前言應用程式除了程式碼本身，還需要配置資訊（如資料庫連線設定）、敏感資訊（如密碼）以及資料持久化。Kubernetes 提供了完整的解決方案： ConfigMap：管理非敏感配置 Secret：管理敏感資訊 Volume：提供資料儲存 本篇將深入探討這些資源的使用方式和最佳實踐。 ConfigMap：配置管理為什麼需要 ConfigMap？在容器化之前，我們可能這樣管理配置： 配置寫在程式碼裡（❌ 難以修改） 使用環境變數（✅ 但不易管理） 使用配置檔案（✅ 但需要掛載） ConfigMap 統一解決這些問題，將配置與容器映像檔分離。 graph LR CM[ConfigMap] -->|環境變數| POD1[Pod] CM -->|掛載檔案| POD2[Pod] CM -->|命令列參數| POD3[Pod] 創建 ConfigMap方法一：從文字值創建1234kubectl create configmap app-config \ --from-literal=DATABASE_HOST=db.example.co...