diff --git a/deploy/chart/euler_copilot/configs/framework/config-authelia.toml b/deploy/chart/euler_copilot/configs/framework/config-authelia.toml index 47bd3040b8cfe05dc325d12c1db2ca3f69b4e42f..9eb75197604ab26747d26576ce1029f09cf00f1d 100644 --- a/deploy/chart/euler_copilot/configs/framework/config-authelia.toml +++ b/deploy/chart/euler_copilot/configs/framework/config-authelia.toml @@ -112,9 +112,9 @@ provider = '{{ default .Values.models.answer.provider .Values.models.functionCal endpoint = '{{ default .Values.models.answer.endpoint .Values.models.functionCall.endpoint }}' model = '{{ default .Values.models.answer.name .Values.models.functionCall.name }}' api_key = '{{ default .Values.models.answer.key .Values.models.functionCall.key }}' -ctx_length = {{ default .Values.models.answer.ctxLength .Values.models.functionCall.ctxLength }} -max_tokens = {{ default .Values.models.answer.maxTokens .Values.models.functionCall.maxTokens }} -temperature = {{ default .Values.models.answer.temperature .Values.models.functionCall.temperature }} +ctx_length = {{ default 8192 (default .Values.models.answer.ctxLength .Values.models.functionCall.ctxLength) }} +max_tokens = {{ default 2048 (default .Values.models.answer.maxTokens .Values.models.functionCall.maxTokens) }} +temperature = {{ default 0.7 (default .Values.models.answer.temperature .Values.models.functionCall.temperature) }} [check] enable = false diff --git a/deploy/chart/euler_copilot/configs/framework/config.toml b/deploy/chart/euler_copilot/configs/framework/config.toml index 98a87638266fbd9bc5ca92d5e0bb3b3ddedfb720..e079db2fec122d22991a81c34818a01fdd966400 100644 --- a/deploy/chart/euler_copilot/configs/framework/config.toml +++ b/deploy/chart/euler_copilot/configs/framework/config.toml @@ -104,9 +104,9 @@ provider = '{{ default .Values.models.answer.provider .Values.models.functionCal endpoint = '{{ default .Values.models.answer.endpoint .Values.models.functionCall.endpoint }}' model = '{{ default .Values.models.answer.name .Values.models.functionCall.name }}' api_key = '{{ default .Values.models.answer.key .Values.models.functionCall.key }}' -ctx_length = {{ default .Values.models.answer.ctxLength .Values.models.functionCall.ctxLength }} -max_tokens = {{ default .Values.models.answer.maxTokens .Values.models.functionCall.maxTokens }} -temperature = {{ default .Values.models.answer.temperature .Values.models.functionCall.temperature }} +ctx_length = {{ default 8192 (default .Values.models.answer.ctxLength .Values.models.functionCall.ctxLength) }} +max_tokens = {{ default 2048 (default .Values.models.answer.maxTokens .Values.models.functionCall.maxTokens) }} +temperature = {{ default 0.7 (default .Values.models.answer.temperature .Values.models.functionCall.temperature) }} [check] enable = false diff --git a/deploy/chart/euler_copilot/values.yaml b/deploy/chart/euler_copilot/values.yaml index b74f7fb5b7136f5b1b5ea6c84ce67e5554d4270e..9b7c7f9c29d0240a0733b766bd08c7ca8480322f 100644 --- a/deploy/chart/euler_copilot/values.yaml +++ b/deploy/chart/euler_copilot/values.yaml @@ -12,7 +12,10 @@ globals: models: # 用于问答的大模型;需要为OpenAI兼容接口 answer: - # 可用的框架类型:["vllm", "sglang", "ollama", "openai"] + # 在线大模型平台支持["bailian", "wenxin", "siliconflow", "spark", "baichuan"]等 + # 离线大模型推理服务支持["mindie", "vllm", "ollama", "modelscope"]等 + # 如需额外配置,可以参考deploy/chart/euler_copilot/configs/framework/provider_config_summary.md修改相关配置新增支持 + # [必填]模型提供方 provider: # [必填] 接口URL(请根据 API 提供商文档确定是否需要带上“v1”后缀) endpoint: @@ -22,10 +25,17 @@ models: name: # [必填] 模型最大上下文数;建议>=8192 ctxLength: 8192 - # 模型最大输出长度,建议>=2048 + # [必填] 模型最大输出长度,建议>=2048 maxTokens: 2048 + # [必填] 模型温度, 控制生成文本随机性与创造性, 建议0.7 + temperature: 0.7 # 用于Function Call的模型;建议使用特定推理框架 functionCall: + # 在线大模型平台支持["bailian", "wenxin", "siliconflow", "spark", "baichuan"]等 + # 离线大模型推理服务支持["mindie", "vllm", "ollama", "modelscope"]等 + # 如需额外配置,可以参考deploy/chart/euler_copilot/configs/framework/provider_config_summary.md修改相关配置新增支持 + # [必填]模型提供方;不填则与问答模型一致 + provider: # [必填] 模型地址;请根据 API 提供商文档确定是否需要带上“v1”后缀 # 选择不填则与问答模型一致 endpoint: @@ -37,10 +47,14 @@ models: ctxLength: # 模型最大输出长度;不填则与问答模型一致 maxTokens: + # 模型温度, 控制生成文本随机性与创造性, 建议0.7;不填则与问答模型一致 + temperature: # 用于数据向量化(Embedding)的模型 embedding: - # 推理框架类型,默认为openai - # [必填] Embedding接口类型:["openai", "mindie"] + # 在线大模型平台支持["bailian", "wenxin", "siliconflow", "spark", "baichuan"]等 + # 离线大模型推理服务支持["mindie", "vllm", "ollama", "modelscope"]等 + # 如需额外配置,可以参考deploy/chart/euler_copilot/configs/framework/provider_config_summary.md修改相关配置新增支持 + # [必填]模型提供方 provider: # [必填] Embedding URL(需要带上“v1”后缀) endpoint: @@ -50,7 +64,10 @@ models: name: # 用于对rag检索结果重排的模型,支持硅基流动 百炼 vllm asscend等模型供应方提供的api reranker: - # [必填] reranker接口类型:["guijiliudong", "bailian", "v1lm", "assecend"] + # 在线大模型平台支持["bailian", "wenxin", "siliconflow", "spark", "baichuan"]等 + # 离线大模型推理服务支持["mindie", "vllm", "ollama", "modelscope"]等 + # 如需额外配置,可以参考deploy/chart/euler_copilot/configs/framework/provider_config_summary.md修改相关配置新增支持 + # [必填]模型提供方 provider: # [必填] reranker URL(需要带上“/v1/rerank”后缀) endpoint: