Skip to content

Feature/kv cache context

aoqi requested to merge feature/kv-cache-context into course/main
  • 新增 KV Cache、MiniLlamaContext 会话状态，以及 MiniBatch 批处理结构
  • 用 RadixTree 做前缀索引，ChatSession 可复用历史 KV，RequestContext 记录请求级 trace
  • 头文件改为 #pragma once

Merge request reports