Giải mã cuộc cách mạng lưu trữ KV Cache: Khi Seagate và SK hynix dạy AI "nhớ lâu" mà không tốn tiền

Giải mã cuộc cách mạng lưu trữ KV Cache: Khi Seagate và SK hynix dạy AI "nhớ lâu" mà không tốn tiền

0:00

/909.2

1×

1. Bối cảnh: Căn bệnh "hay quên" đang đốt tiền của các Data Center AI

1.1 Chuyện gì đang xảy ra bên trong cái "đầu" của AI?

Chắc hẳn bạn đã từng chat với AI, bạn hỏi một câu dài và nó trả lời. Nhưng bạn có bao giờ thắc mắc: Làm sao nó nhớ được tôi đã nói gì ở 3 câu trước trong khi nó đang sinh ra hàng trăm từ mới?

Bí mật nằm ở cơ chế Self-Attention (Chú ý nội tại). Hãy tưởng tượng AI đang đọc một cuốn tiểu thuyết, để viết ra chương tiếp theo, nó phải liên tục "liếc mắt" nhìn lại tất cả các chương trước để xem ai là nhân vật chính, tình tiết ra sao.

Về mặt toán học, cơ chế này được mô tả bằng công thức:

Đừng hoảng với đống chữ cái này! Thực chất, Q (Query - Câu hỏi), K (Key - Khóa), V (Value - Giá trị) là ba bảng tính toán mà AI tạo ra. Nếu không lưu lại K và V (gọi là KV Cache), thì mỗi lần AI viết ra một từ mới, nó lại phải đọc lại toàn bộ cuốn sách từ đầu. Điều đó đồng nghĩa với việc nó sẽ chậm như rùa bò, mà GPU thì quay như chong chóng tốn điện.

KV Cache ra đời như một cuốn sổ tay ghi chú. Khi AI đọc đến đâu, nó ghi lại các thông tin quan trọng (K và V) vào sổ tay. Ở bước tiếp theo, nó chỉ việc mở sổ tay ra đọc, không cần đọc lại cuốn sách gốc nữa. Thao tác này đưa độ phức tạp tính toán từ bình phương (O(N²)) xuống còn tuyến tính (O(N)), giúp tốc độ tăng vọt.

1.2 Giai đoạn "Đọc" và "Viết" – Hai "tính cách" trái ngược của AI

Quá trình suy luận (Inference) của AI có hai pha rất khác biệt, và hiểu được điều này là chìa khóa để giải thích vì sao lưu trữ lại quan trọng:

Vấn đề nghiêm trọng nằm ở pha Decode. Lúc này, để viết ra một từ mới, AI phải tải toàn bộ cuốn sổ tay KV Cache đã tích lũy từ trước vào GPU. Nó không cần tính toán phức tạp, nhưng nó cần bộ nhớ siêu nhanh để tải dữ liệu. Điều này khiến chiếc xe thể thao GPU (tính toán cực khỏe) phải ngồi chờ... bộ nhớ chạy.

1.3 Nỗi đau mang tên HBM và DRAM: Vừa đắt, vừa chật, vừa tốn điện

Bạn có biết một phiên làm việc với AI Agent có thể kéo dài hàng tuần không? Nếu bạn có 100 nhân viên sử dụng AI phân tích dữ liệu, KV Cache sẽ phình to lên chóng mặt.

Công thức tính dung lượng KV Cache cho một phiên:

Đơn giản hóa con số: Với một mô hình 70B thông thường, context window 1 triệu token, dung lượng KV Cache có thể cán mốc hàng chục Gigabytes (GB) chỉ cho một người dùng.

Thử làm một phép tính kinh tế nhé:

• GPU HBM (High Bandwidth Memory) trên NVIDIA H100 có 80GB, giá khoảng 14 USD/GB.
• CPU DRAM (DDR5) có thể lên tới 1TB, giá khoảng 8.5 USD/GB.

Với mức giá đó, nếu data center của bạn có 1,000 user active cùng lúc, chi phí lưu trữ KV Cache trên HBM hay DRAM sẽ ngốn vài trăm nghìn đô mỗi tháng. Chưa kể, chỉ 1.2 phút cho một HBM hay 16 phút cho một thanh DRAM là đã đầy sạch.

Khi bộ nhớ đầy, hậu quả là gì? Hệ thống phải xóa sạch KV Cache. Vài tiếng sau, khi user quay lại, GPU lại phải chạy pha Prefill từ đầu, tốn gấp đôi thời gian và gấp 3 lần chi phí năng lượng. Đây là một sự lãng phí khủng khiếp mà các kỹ sư hạ tầng đau đầu nhất.

2. Giải pháp: "Thư viện thông minh" và nguyên lý Offloading đa tầng

2.1 Lưu trữ phân tầng (Tiering) – Áp dụng chiến thuật "nhiệt độ" cho dữ liệu

Để thoát khỏi cái bẫy đắt đỏ của DRAM/HBM, các kỹ sư đã nghĩ ra một chiến thuật cực kỳ thông minh: KV Cache Offloading.

Thay vì nhồi nhét tất cả vào ví (HBM), ta xây cả một ngôi nhà kho (Storage) và quản lý theo nguyên tắc "nhiệt" (Heat) của dữ liệu:

Khi một user ngừng tương tác, KV Cache của họ sẽ bị "đuổi" xuống tầng thấp hơn (ví dụ từ HBM xuống DRAM, xuống SSD, xuống HDD). Khi user quay lại, ta chỉ việc bốc dỡ (Onboarding) dữ liệu từ kho lên bàn làm việc. Mượn ý tưởng của các kỹ sư hệ điều hành, cơ chế này giống như Swap Memory (bộ nhớ ảo) nhưng dành riêng cho AI.

2.2 Prefix Caching – Mẹo "ăn gian" để khởi động cực nhanh

Tôi thích gọi kỹ thuật này là "ăn gian có sách vở". Bạn có nhận thấy rằng 80% các ứng dụng AI doanh nghiệp đều có một đoạn mở đầu giống nhau không? Ví dụ: "Bạn là chuyên gia tư vấn tài chính, hãy trả lời dựa trên bộ dữ liệu XYZ".

Đoạn System Prompt này được hàng nghìn user dùng chung. Thay vì để GPU tính toán lại KV Cache cho đoạn văn này cho mỗi user, hệ thống (với sự hỗ trợ của LMCache hay NVIDIA Dynamo) sẽ nhận diện Prefix (Tiền tố) trùng lặp. Nó chỉ việc kéo KV Cache của đoạn tiền tố này từ tầng lưu trữ lên, gắn vào đầu Cache của user mới. Thế là coi như user mới đó được "cấp sẵn" context, khởi động nhanh vùn vụt, GPU đỡ tốn sức.

3. Bước ngoặt: Khi Seagate và SK hynix hợp sức cho "Kho lạnh siêu tốc"

Đến đây, nhiều người sẽ bảo: "Ờ, thế thì cứ dùng toàn SSD NVMe cho nhanh, việc gì phải dùng HDD?". Về lý thuyết thì đúng, nhưng về kinh tế thì sai bét. Bài báo kỹ thuật của Seagate và SK hynix đã khiến giới công nghệ phải ngã ngửa khi chứng minh rằng: HDD, thứ vốn bị coi là "đồ cổ" trong thời đại AI, hóa ra lại là "kho báu" cho KV Cache lạnh.

3.1 Kiến trúc phần cứng – "Vũ khí bí mật" trong phòng thí nghiệm

Họ đã build một hệ thống lai với cấu hình cực kỳ chi tiết. Đây không phải là lý thuyết, mà là thử nghiệm thực tế:

• GPU Node (Xương sống): Intel Xeon 6767P + NVIDIA H100 (80GB HBM2e) + 2TB DDR5. Đây là nơi diễn ra suy luận.
• SSD Node (Lớp đệm cao tốc): 4 chiếc SK hynix PS1010 3.84TB NVMe SSD (Tổng 15.36TB). SSD này cực nhanh, dùng để bắt các request tức thì.
• HDD Node (Kho lạnh): 12 chiếc Seagate Exos 30TB (công nghệ HAMR Mozaic3+), tổng cộng 360TB khổng lồ. Đây là nơi chứa toàn bộ lịch sử.

Điểm nhấn quan trọng nhất: NVMe-oF over RDMA. Tôi xin giải thích nôm na: Bình thường khi đọc dữ liệu từ ổ cứng lên GPU, CPU phải làm trung gian đọc ra rồi mới chuyển sang GPU, vừa chậm vừa tốn CPU. Nhưng với NVMe-oF và RDMA, dữ liệu từ HDD/SSD có thể "bay thẳng" vào HBM của GPU như một đường cao tốc riêng, CPU chỉ việc ngồi chơi. Điều này giải quyết triệt để nỗi lo HDD chậm.

3.2 Cơ chế hoạt động thông minh: "Pass-through" và "Write-back"

Hệ thống sử dụng Open CAS Framework (OCF) để quyết định dữ liệu đi đâu. Nó có hai chế độ rất hay:

• Lần đầu tiên (Lượt 1 - Pass-through/Bypass): Vì bạn chưa có cache, GPU tính toán KV Cache xong và ghi trực tiếp xuống HDD để lưu trữ an toàn. (Tạm thời bỏ qua SSD vì SSD đắt, để dành dung lượng cho những thứ quan trọng hơn).
• Lần thứ hai trở đi (Lượt 2+ - Write-back): Khi bạn quay lại, OCF nhảy vào. Nó đọc KV Cache từ HDD, nhồi vào SSD ngay lập tức. Sau đó, khi GPU tạo ra KV Cache mới, nó ưu tiên ghi vào SSD trước để lần tới gọi ra cực nhanh (gọi là Write-back). Và khi SSD sắp đầy, thuật toán sẽ nhẹ nhàng đẩy những khối cache lâu đời nhất (cũ nhất) từ SSD xuống HDD để giữ chỗ cho cái mới.

3.3 Đặc tính tải I/O đặc biệt: Tại sao HDD không hề "ù lì"?

Có một định kiến rằng HDD đọc dữ liệu tuần tự thì ổn, chứ đọc ngẫu nhiên thì cực chậm. Nhưng thực tế đo đạc cho thấy:

• Pha Offload (Ghi xuống): 72% là ghi ngẫu nhiên và 28% tuần tự, khối lượng mỗi lần ghi là 128KB.
• Pha Onboard (Nạp lên GPU): 83% là đọc ngẫu nhiên và 17% tuần tự, cũng với khối 128KB.

Điều này có nghĩa là Seagate và SK hynix đã phải tối ưu firmware và phần mềm SPDK (Storage Performance Development Kit) để HDD Exos có thể "xoay sở" với tải ngẫu nhiên 128KB một cách xuất sắc. Và họ đã làm được!

3.4 Kết quả thử nghiệm: Không thể tin nổi nhưng là sự thật

Họ chạy benchmark với Input 21K token, Output 100 token, 15 người dùng cùng lúc, qua 50 lượt hội thoại. Kết quả khiến tôi phải trầm trồ.

3.4.1 Độ trễ TTFT: Chậm lần đầu, về đích ngoạn mục sau đó

• Lượt 1 (Lạnh - Cold Start): Giải pháp hỗn hợp chậm hơn All-SSD tới 7.6 giây. (HDD phải đọc lên, trễ tí là đúng rồi).
• Lượt 50 (Nóng - Hot): Thời gian chỉ còn chênh lệch 0.35 giây so với All-SSD.

Tại sao? Vì sau lượt đầu, toàn bộ KV Cache nằm gọn trong SSD (Tier 2) và DRAM (Tier 1), đạt tỷ lệ trúng cache (Hit Rate) 100%. Nghĩa là từ lượt 2 đến lượt 50, bạn hưởng tốc độ SSD, nhưng cái giá bạn trả chỉ bằng 25% chi phí lưu trữ.

3.4.2 Mở rộng HDD: Một bài toán tỉ lệ thuận bất ngờ

Họ thử tăng số lượng HDD lên để tăng băng thông đọc/ghi nhóm (Striping - RAID):

Vậy là dù là HDD, nhưng khi nhóm 24 chiếc lại với nhau, băng thông tổng đạt tới 10-25 GB/s, đủ sức cạnh tranh với nhiều giải pháp lưu trữ đắt tiền.

3.4.3 Khoản tiết kiệm khổng lồ về Tài nguyên và Tiền bạc

Nhìn vào bảng so sánh sau, giám đốc tài chính (CFO) của bất kỳ công ty AI nào cũng sẽ mỉm cười:

4. Phân tích chuyên sâu: Điểm sáng và vết gợn của giải pháp

Không có giải pháp nào là hoàn hảo. Là một dân kỹ thuật, tôi phải chỉ cho bạn cả mặt ưu và mặt tồn tại.

4.1 Điểm sáng đột phá: Phá bỏ định kiến về HDD

• HDD không còn là "đồ cổ": Công nghệ HAMR (Mozaic3+) của Seagate cho phép HDD đạt mật độ 3TB/đĩa, giúp đẩy dung lượng lên 30TB chỉ trong 1 slot 3.5 inch. Nó phù hợp hoàn hảo làm "Tier lạnh" vì AI không cần phản hồi dưới micro giây cho dữ liệu cũ, nó chỉ cần "đủ nhanh" để user không cảm thấy gián đoạn (dưới 1-2 giây) và chi phí cực thấp.
• Tối ưu tận xương tủy: Bằng cách tích hợp SPDK (bỏ qua Kernel Linux để giảm overhead) và NVMe-oF, họ đã biến chuỗi truy xuất dữ liệu truyền thống thành một đường ống áp lực cao. CPU gần như không phải làm gì trong quá trình di chuyển cache, để toàn bộ sức mạnh cho việc tính toán Attention.
• Bài toán nhóm (Scale-out): Không cần mua SSD đắt tiền để mở rộng dung lượng, bạn chỉ cần mua thêm rack HDD. Với 36 HDD trong bài test, dù bão hòa mạng, bạn vẫn có 360TB dung lượng giá rẻ, đủ sức chứa cả một thành phố các cuộc hội thoại AI dài hạn.

4.2 Hạn chế và lưu ý "xương máu" khi triển khai

• Cái giá của lần đầu (Cold Start 7.6s): Đây là rào cản lớn nhất. Nếu bạn làm Chat Realtime cho khách hàng, việc bắt họ đợi 7.6 giây cho tin nhắn đầu tiên là không thể chấp nhận. Giải pháp là bạn phải đánh đổi một chút: dùng Predictive Prefetch (dự đoán trước user nào sẽ quay lại để kéo sẵn cache từ HDD lên SSD) hoặc nén KV Cache lại trước khi ghi xuống HDD để giảm dung lượng đọc.
• Yêu cầu số lượng HDD lớn: Để đạt băng thông 10-25GB/s, bạn cần tới 24 HDD chạy đồng thời. Điều này đòi hỏi không gian rack và chi phí dây cáp, switch quản lý, cũng như độ phức tạp trong việc vận hành RAID.
• Sự lệch pha của phần cứng: Trong thử nghiệm, HDD Node vẫn dùng CPU Xeon E5-2630 v2 (đời 2013) và RAM DDR3. Đây là một điểm nghẽn tiềm tàng vì bus PCIe của nó không thể tận dụng hết tốc độ của HDD HAMR nếu gắn trên PCIe Gen 5. Trong thực tế sản xuất, nếu dùng CPU mới hơn, con số hiệu năng còn có thể đẹp hơn nữa.

5. Tầm nhìn tương lai: Vươn tới "Ký ức vĩnh cửu" cho AI

Thế giới AI đang chuyển mình. Chúng ta không còn nói về những đoạn chat ngắn 2k token nữa, mà là RAG triệu token và Agentic AI tự hành (AI có thể mất vài ngày để lên kế hoạch du lịch hoặc viết mã nguồn dự án).

Trong tương lai, KV Cache sẽ không còn là "bộ nhớ tạm" (Volatile) nữa. Nó sẽ trở thành Tri thức thường trực (Persistent Knowledge Layer).

Hãy tưởng tượng một kiến trúc chuẩn hóa tương lai:

Với mô hình 4 tầng này, chi phí vận hành cho các tác vụ AI quy mô lớn sẽ giảm một cách không tưởng. Bạn không còn phải đốt GPU để tính toán lại thông tin của một cuộc họp diễn ra vào tuần trước nữa.

6. Lời khuyên cuối cùng: Nên dùng Hybrid Storage khi nào?

Qua những phân tích trên, tôi xin đúc kết và đưa ra khuyến nghị "thực chiến" dành cho các doanh nghiệp:

1. Nếu bạn đang vận hành Chatbot tương tác khách hàng (Customer Care):
   • Hãy cân nhắc kỹ. Độ trễ 7.6s ở lần đầu là quá cao.
   • Tuy nhiên, nếu bạn có cơ chế "Hẹn giờ" (ví dụ biết rõ user A sẽ quay lại lúc 9h sáng, bạn prefetch cache từ HDD lên SSD từ sớm), thì đây vẫn là giải pháp tiết kiệm khủng khiếp.
2. Nếu bạn đang xây dựng hệ thống RAG (Retrieval-Augmented Generation) doanh nghiệp:
   • Tôi xin chúc mừng, đây là bài toán "trúng tủ". RAG thường xử lý hàng nghìn trang tài liệu, việc phải chờ vài giây để trả lời câu hỏi phức tạp là điều bình thường. Bạn không cần tốc độ dưới giây, bạn cần lưu trữ được nhiều ngữ cảnh và tiết kiệm GPU cho các tác vụ khác. Hybrid Storage là sự lựa chọn số một.
3. Nếu bạn đang phát triển Agentic AI (AI có khả năng lập kế hoạch dài hạn):
   • Đây là thị trường mục tiêu của giải pháp này. Agent có thể chạy ngầm hàng ngày trời, đọc lại lịch sử làm việc của nó. Việc lưu cache xuống HDD giúp bạn mở rộng quy mô Agent lên gấp 10-20 lần mà chi phí vận hành gần như không tăng thêm.

Tổng kết lại: Nghiên cứu của Seagate và SK hynix không chỉ là một bài báo kỹ thuật khô khan. Nó là một bản tuyên ngôn thay đổi cách chúng ta xây dựng Data Center AI. Họ đã chứng minh bằng số liệu cứng rằng:

• Tiết kiệm 76% tài nguyên GPU.
• Tiết kiệm 52% điện năng.
• Chi phí lưu trữ rẻ hơn 75%.
• Và trên hết, hiệu năng gần như tương đương All-SSD ngay từ lượt thứ hai trở đi.

Đó là một chiến thắng vang dội cho những ai dám phá bỏ lối mòn "tất cả đều phải dùng Flash". Hãy nhớ lấy câu này: "Trong thế giới AI, không phải lúc nào nhanh nhất cũng là tốt nhất, mà là phù hợp và bền vững nhất về chi phí mới là chìa khóa để mở rộng quy mô."

Tài liệu tham khảo: https://www.seagate.com/as/en/resources/enabling-inference-at-massive-scale-with-hybrid-storage-for-kv-cache-offloading/