LLM调用规范

Kinger2026/7/23大约 7 分钟

大模型调用规范是保障调用过程稳定、安全、合规、高效的一套标准化准则，涵盖接口调用、参数配置、安全合规、异常处理、性能优化等核心维度，是企业和开发者落地大模型应用的必备准则。

下面从 核心规范（通用）→ 接口调用规范 → 安全合规规范 → 性能与稳定性规范 → 最佳实践 四个层面，系统讲解大模型调用的核心准则，覆盖 OpenAI、阿里云、Google 等主流平台。

一、核心通用规范（所有平台通用）

1. 接口版本与兼容性

固定模型版本：避免使用 latest/default 等动态版本，指定具体版本（如 gpt-3.5-turbo-0125、qwen-max-202404、gemini-1.5-pro-001），防止模型迭代导致调用结果异常。
兼容新旧版本：若平台接口升级（如 OpenAI v0.x → v1.x、阿里云 DashScope 1.0 → 2.0），需做好版本适配，保留降级方案。

2. 参数标准化配置

参数	规范要求	推荐值（通用）
`model`	明确指定，避免模糊匹配	gpt-3.5-turbo/qwen-max
`temperature`	按场景固定：精准任务（0_{0.3）、创意任务（0.7}1.2）、禁止动态调整	0.3（通用）/0.7（创意）
`max_tokens`	按场景限制（如客服问答≤500，长文本生成≤2000），避免无限制消耗 Token	500~1000
`top_p`	与 `temperature` 二选一，固定值（如 0.9），避免同时调整导致结果不可控	0.9
`stop`	定义终止符（如 `["\n", "###"]`），防止生成无关内容	按需配置

3. 输入输出规范

输入（Prompt）规范

结构化 Prompt：统一使用「系统指令 + 用户输入」格式，避免杂乱的自然语言拼接：

messages = [
    {"role": "system", "content": "你是合规客服，仅回答订单相关问题，拒绝无关请求"},
    {"role": "user", "content": user_input}
]

输入长度限制：严格控制单轮输入 Token 数（如 GPT-3.5 单轮≤4096），超长内容需分段/摘要后传入。
输入清洗：过滤敏感字符（如 \n\n 重复换行、特殊符号）、恶意输入（如 Prompt 注入）。

输出规范

格式约束：要求模型输出结构化内容（JSON/XML/固定模板），便于解析：

系统指令："你的回答必须以 JSON 格式返回，包含 code（状态码）、content（内容）、reason（原因）字段"

输出校验：对模型返回结果做格式校验（如 JSON 解析、字段检查），异常时重试或降级。

二、接口调用规范（技术层面）

1. 调用方式规范

优先使用官方 SDK：如 OpenAI openai、阿里云 dashscope、Google vertexai，避免直接调用 HTTP API（SDK 内置重试、鉴权、格式校验）。
异步 vs 同步：
短文本交互（≤10 秒）：用同步调用；
长任务（如文档生成、数据分析）：用异步调用（如 OpenAI stream=True、阿里云 async_call），避免阻塞。
流式调用规范：流式返回时需处理断流、乱序问题，逐段拼接结果，设置超时时间。

2. 鉴权与密钥管理规范

密钥不硬编码：禁止将 API Key/AccessKey 写死在代码中，通过环境变量/配置中心/密钥管理服务（如阿里云 KMS、AWS KMS）存储：

# 正确方式
from openai import OpenAI
client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))  # 从环境变量读取

密钥权限最小化：创建专用子账号，仅授予「模型调用」权限，禁止管理员权限。
密钥轮换：定期（如 90 天）轮换密钥，泄露后立即禁用。

3. 异常处理规范（核心）

生产环境必须覆盖以下异常类型，并制定重试/降级策略：

import time
from openai import APIError, RateLimitError, APIConnectionError

def call_llm_safely(messages):
    max_retries = 3  # 最大重试次数
    retry_delay = 1  # 重试间隔（秒）
    for attempt in range(max_retries):
        try:
            response = client.chat.completions.create(
                model="gpt-3.5-turbo",
                messages=messages,
                timeout=10  # 超时时间（秒）
            )
            return response.choices[0].message.content
        # 1. 限流异常：等待后重试（遵守平台限流规则）
        except RateLimitError as e:
            print(f"限流：{e}，等待 {retry_delay*(attempt+1)} 秒")
            time.sleep(retry_delay*(attempt+1))  # 指数退避
        # 2. 连接异常：重试
        except APIConnectionError as e:
            print(f"连接失败：{e}，第 {attempt+1} 次重试")
            time.sleep(retry_delay)
        # 3. 其他 API 异常：重试
        except APIError as e:
            print(f"API 错误：{e}，第 {attempt+1} 次重试")
            time.sleep(retry_delay)
        # 4. 最终失败：降级处理
        if attempt == max_retries - 1:
            return "抱歉，服务暂时不可用"  # 降级返回

异常类型与处理策略：

异常类型	处理策略
限流（RateLimit）	指数退避重试（如 1s→2s→4s）、扩容 API Key
连接超时	重试 + 缩短超时时间
模型不可用	降级到备用模型（如 gpt-4o → gpt-3.5）
权限错误	告警 + 人工介入

4. 日志与监控规范

必打日志字段：
调用维度：request_id（请求ID）、model、tokens_used（消耗Token）、cost（成本）、duration（耗时）；
业务维度：user_id（用户ID）、prompt（脱敏后）、response（脱敏后）、error_msg（异常信息）。
监控指标：
核心指标：调用成功率（≥99.9%）、平均耗时（≤5s）、Token 消耗、限流次数；
告警阈值：成功率＜99%、耗时＞10s、异常率＞1% 触发告警。