跳转到内容

推理服务的安全与滥用防护

推理服务面临拒绝服务(超长输入、高并发)、资源滥用、数据泄漏(跨请求缓存)等问题。本章讨论限流与配额、输入长度限制、前缀缓存的租户隔离,以及审计日志。

  • 前缀缓存跨租户共享是潜在的侧信道
  • 按 token 计费的配额比按请求更合理
  • 审计日志需要平衡隐私与可追溯