大语言模型与向量嵌入管理

模型管理

AiLlmModelController 的基础路径为 /v1/llm-model，提供模型 CRUD、按供应商或类型筛选、启停、设置默认模型、连接测试和视觉分析。用户自带模型由 AiUserLlmModelController 和 AiUserLlmModelEntity 管理，与平台模型分开授权。

模型配置经 LlmModelFacade 统一读取，再由 LlmChatModelFactory 和 provider 实现创建 LangChain4j ChatModel。Agent 运行时的 LlmModelConfig 只保存本次执行需要的模型引用和参数，不应把供应商密钥写入会话消息。

向量嵌入与向量库

llm/embedding 包含 Elasticsearch 和 Milvus 适配，RAG 的配置、向量化任务和检索阶段位于 rag 领域。Embedding 模型切换时，必须考虑向量维度、索引集合、已有数据重建和检索阈值，不能只修改模型 ID。

配置校验

当前实体已有 maxTokens 和 contextWindow 字段，但后端没有统一验证供应商真实限制的机制。新增模型或修改限制时，应同时核对供应商文档、上下文窗口、输出上限、视觉能力和流式能力，并通过连接测试验证。

失败处理

• 模型连接失败应在 API 层返回可识别错误，同时写入 LLM 调用日志。
• 流式调用中断时由 StreamingContentLoggingListener 记录已输出内容和终止原因。
• 工具或 RAG 节点不得无限重试模型调用，应设置执行轮数和超时。