Hook
Tại vLLM Conference 2025, diễn ra song song với Ray Summit, một loạt kỹ sư từ Intel, AMD, Prime Intellect và Anyscale đã đồng loạt trình bày về một kiến trúc inference mới: disaggregated prefill/decode serving. Họ cho rằng Agentic traffic – lưu lượng từ các tác nhân AI đa phiên, gọi công cụ, duy trì ngữ cảnh – đang phá vỡ mô hình batch inference truyền thống vốn được tối ưu cho throughput liên tục. Dữ liệu từ AMD cho thấy trên 8 node MI300X, kiến trúc này đạt goodput cao hơn 2.5 lần so với cách triển khai collocated hiện tại. Nhưng liệu đây là bước ngoặt thực sự hay chỉ là một câu chuyện hấp dẫn của vLLM ecosystem?
Context
Batch inference đã thống trị ngành AI kể từ kỷ nguyên Transformer. VLLM, framework phổ biến nhất hiện nay, cho phép xử lý hàng loạt request cùng lúc, tối đa hóa throughput GPU. Tuy nhiên, Agentic workloads – với các cuộc hội thoại nhiều lượt, tạm dừng chờ tool call, và yêu cầu giữ nguyên context qua nhiều bước – lại có tính chất rất khác: mỗi session sinh ra một chuỗi request không liên tục, latency-sensitive, và cần duy trì KV cache giữa các lượt. Khi các agent như AutoGPT, LangChain agents, hay các nền tảng AI agent enterprise bắt đầu chiếm tỷ trọng lớn hơn trong tổng inference traffic, các nhà phát triển hạ tầng nhận thấy rằng batch inference không còn phù hợp. Đây không phải là một phát minh lý thuyết mới, mà là sự hội tụ của nhiều nhóm nghiên cứu độc lập nhằm giải quyết một vấn đề chung: làm sao để phục vụ agent traffic hiệu quả?
Core
Cốt lõi của kiến trúc mới là tách rời hai giai đoạn của quá trình sinh token: prefill (tính toán attention cho toàn bộ prompt, compute-bound) và decode (sinh token từng bước, memory-bandwidth-bound). Trong collocated serving, cả hai giai đoạn chạy trên cùng một node GPU, dẫn đến xung đột tài nguyên: khi một request đang ở giai đoạn decode, nó giữ chặt memory bandwidth, làm chậm các request đang prefill. Disaggregated serving giải quyết bằng cách dành riêng các nhóm GPU cho mỗi giai đoạn, liên kết chúng qua RDMA để truyền KV cache giữa các node. VLLM Router sử dụng consistent hashing và sticky routing để đảm bảo mỗi session tiếp tục được decode trên cùng instance.
Theo thông tin từ hội nghị, vLLM hiện hỗ trợ hai KV connector: NixlConnector (mặc định từ v0.8, dựa trên RDMA) và MORI-IO (dành cho AMD, tận dụng Infinity Fabric). Prime Intellect thậm chí còn đưa KV cache xuống CPU memory và SSD, tạo thành hệ thống lưu trữ phân tán. Tuy nhiên, điều quan trọng là: các production user lớn như Meta, LinkedIn, Mistral vẫn đang chạy collocated architecture. Tính năng disaggregated prefill của vLLM hiện chỉ ở mức experimental. Điều này có nghĩa là kiến trúc này vẫn đang trong giai đoạn thử nghiệm, chưa được kiểm chứng ở quy mô thực tế.
Dữ liệu từ AMD cho thấy trên 8x MI300X, MORI-IO đạt 2.5x goodput so với collocated. Nhưng cần hỏi: load model trong thử nghiệm là gì? Tỷ lệ prefill/decode, độ dài context, số lượt conversation? Nếu load model chủ yếu là agent traffic với context dài, thì kết quả không thể suy rộng cho inference thông thường. The truth is always in the middle.
Contrarian
Đây là góc nhìn phản trực giác: Disaggregated serving giải quyết vấn đề latency của agent, nhưng nó tạo ra một hệ thống phức tạp và tập trung hơn, tương tự như nghịch lý trong DeFi: càng phi tập trung hóa, càng phụ thuộc vào các lớp trung gian tập trung. Trong thế giới crypto, chúng ta đã thấy cross-chain bridges làm phân mảnh thanh khoản thay vì kết nối. Ở đây, việc tách prefill và decode đòi hỏi một lớp routing, một lớp KV cache storage, và một lớp orchestration mới – tất cả đều là các điểm tập trung tiềm ẩn. Nếu agent traffic không tăng trưởng như kỳ vọng (ví dụ: chỉ chiếm 10% tổng inference), thì chi phí đầu tư vào hạ tầng RDMA, cluster phân tách, và vLLM Router là không hợp lý. The biggest risk is not taking one? Có thể, nhưng với các nhà đầu tư hạ tầng, rủi ro là bỏ tiền vào một câu chuyện chưa được chứng minh.
Thêm vào đó, cạnh tranh từ SGLang, TensorRT-LLM, hay Dynamo của OpenAI có thể đưa ra giải pháp tương tự nhưng ổn định hơn, làm vô hiệu hóa lợi thế first-mover của vLLM. The paradox of decentralization is centralization – vLLM đang cố gắng trở thành hạ tầng mở, nhưng nếu NVIDIA tích hợp disaggregated serving vào NIM, thì vLLM ecosystem có thể mất đi lợi thế phần cứng.
Takeaway
Hãy theo dõi sự chuyển đổi từ collocated sang disaggregated serving như một tín hiệu cho thấy ngành AI đang bước vào kỷ nguyên 'session-aware' infrastructure. Điều này sẽ mở ra cơ hội cho các dự án AI+Crypto tập trung vào bảo mật và phi tập trung hóa hạ tầng inference – nơi mà KV cache không bị độc quyền bởi một bên trung gian. Nhưng trước mắt, hãy để ý đến ba tín hiệu: (1) khi vLLM gỡ bỏ experimental label, (2) khi Meta hay LinkedIn công bố migration, và (3) khi các benchmark độc lập xuất hiện. The future is already here, it's just not evenly distributed. Và nó đang được phân phối bởi những câu chuyện hội nghị.