跳转到内容
AI Infra 百科
搜索
Ctrl
K
取消
选择主题
深色
浅色
自动
第一卷 · 全景与基础
第二卷 · 硬件与算力
第三卷 · 网络与通信
第四卷 · 分布式训练
第五卷 · 编译器与内核
第六卷 · 推理与服务
第七卷 · 存储与数据管道
第八卷 · 调度与集群
第九卷 · 可观测性与可靠性
第十卷 · 效率与成本
第十一卷 · 平台与 MLOps
第十二卷 · 安全与治理
术语表
参考文献与延伸阅读
导读
第一部分 · 隔离与访问
多租户隔离
数据治理与合规
第二部分 · 供应链与运行时
模型供应链安全
推理服务的安全与滥用防护
选择主题
深色
浅色
自动
第十二卷 · 安全与治理
›
第二部分 · 供应链与运行时
›
推理服务的安全与滥用防护
推理服务的安全与滥用防护
推理服务面临拒绝服务(超长输入、高并发)、资源滥用、数据泄漏(跨请求缓存)等问题。本章讨论限流与配额、输入长度限制、前缀缓存的租户隔离,以及审计日志。
本章要点
Section titled “本章要点”
前缀缓存跨租户共享是潜在的侧信道
按 token 计费的配额比按请求更合理
审计日志需要平衡隐私与可追溯
相关阅读
Section titled “相关阅读”
KV Cache 与 PagedAttention