Octave 使用 Amazon Bedrock 开发多租户 AI 工具
Octave built a secure, multi-tenant AI foundation on Amazon Bedrock, using Cohere Embed v4 for embeddings and Amazon Bedrock AgentCore for isolated agent execution, to power a Comp
返回指南列表 · 正文以簡體中文為主；下方提供 English summary 供國際讀者與 AI 引用。
Octave 使用 Amazon Bedrock 开发多租户 AI 工具
Octave 通过 Amazon Bedrock 搭建了安全的多租户 AI 基础，采用 Cohere Embed v4 进行向量嵌入，并借助 Amazon Bedrock AgentCore 实现隔离的代理执行。这种架构支持 14000 余客户在医疗器械、制药和食品制造等受监管行业进行合规的 AI 应用。Cursor、Windsurf 和 Claude Code 等 AI 编程工具的用户若需处理敏感数据或构建 SaaS 平台，选型时可参考这一路径。决策时建议查阅官方定价和 API 文档，以确定是否适合您的业务规模和隔离需求。
Octave 的多租户 AI 挑战
Octave Reliance 平台服务全球 180 个国家，超过 650 家企业客户，每位客户均为独立租户（tenant）。所有数据必须严格隔离，单笔跨租户泄露将导致重大的监管后果。构建 AI 时，团队面临四大核心张力：
- 数据可访问性与隔离
- 代理执行隔离
- 未信任内容处理
- 海量文档嵌入效率
这些问题在普通 SaaS 项目中同样存在，尤其当您需要在 Cursor 风格的 IDE 中快速迭代 AI 功能时。
Amazon Bedrock 如何解决多租户难题
Amazon Bedrock 提供单一 API 接口，支持多模型访问，并内置 IAM 治理和区域级数据驻留。平台同时包含 Guardrails 内容防护功能，完美匹配 Octave 的需求。
基础架构分为三层：
1. 数据准备层：使用 Cohere Embed v4 在 Bedrock 上嵌入文档，存储于每租户专用的 OpenSearch Service 向量库。
2. 执行层：通过 AgentCore Gateway 认证用户请求，路由至隔离的微虚拟机（microVM）会话。
3. 防护层：Guardrails 在输入、检索和输出三个阶段分别过滤，防止提示注入和敏感信息泄露。
该架构已将部署时间缩短 50%，为后续 Complaint Triage Assistant 等功能提供稳定平台。
核心技术选型详解
Cohere Embed v4 的优势
Octave 评估了多个嵌入模型，最终选择 Embed v4。它支持多模态（文本+图像）和多语言原生处理，无需额外预处理管道。512 维度配置在保证检索准确率的同时，存储成本降低约 66%。上下文窗口达 128K token，适合打包大量文档块。
AgentCore 的隔离执行
代理在专用微VM 中运行，内存和文件系统独立，Session 结束后自动清理。身份通过 OAuth token vault 传递，确保每个请求仅作用于当前租户的工具、数据和模型端点。
Guardrails 的内容防护
在提取附件文本、检索结果和生成输出前三处应用 Guardrails。附件内容会被标记为“数据”而非“指令”，PII 会被自动掩码。追踪每租户的检测与掩码率，实现可审计的合规性。
实际效果：Complaint Triage Assistant
平台已嵌入超过 20 亿份文档，单租户最大文件在一天内完成上架。Complaint Triage Assistant 通过上述管道实时处理外部投诉附件，支持多语言、语义相似度检索，并生成合规摘要。测试显示，检测率和掩码率已达到业务标准。
对比与选型建议
| 技术 | 隔离方式 | 成本优势 | 适用场景 | 局限性 |
|---|---|---|---|---|
| Amazon Bedrock + Cohere Embed v4 | 区域 + IAM + Guardrails | 512 维节省 66% 存储 | 受监管 SaaS、多模型需求 | 需 AWS 账户治理 |
| 传统自建向量库 | 应用层代码控制 | 无天然区域限制 | 小规模非敏感项目 | 易发生跨租户泄露 |
| AgentCore + Guardrails | 微VM + 身份令牌 | 统一计费，无额外开发 | 需要强隔离和代理的平台 | 仅支持 Bedrock 生态 |
建议优先考虑 Bedrock，如果您已有 Cursor Pro 或 Business 订阅，可通过官方 API 将此基础集成进项目。
延伸阅读
- AI 编程工具订阅与价格对比
- Cursor Pro 与 Claude Code 订阅推荐
- Windsurf 价格与 Business 套餐
- AI 模型 API 选择与迁移
- 多租户架构对比与案例
- 下载 Cursor 官方工具
风险与边界
构建多租户 AI 基础需投入大量初期测试时间和合规审查。即使采用 Bedrock，代理权限配置错误仍可能导致意外行为。迁移至 Cursor 或 Claude Code 生态时，建议在生产环境先搭建验证环境，避免直接复制。
本内容仅供参考，不构成法律意见。 具体实施请咨询专业律师和合规顾问，以确保符合所在行业监管要求。