LLM 应用架构全景：从 API 到产品

# 最简单的 LLM 调用
from openai import OpenAI

client = OpenAI(
    api_key="your-api-key",
    base_url="https://ark.cn-beijing.volces.com/api/v3"  # 豆包/火山方舟
)

response = client.chat.completions.create(
    model="doubao-pro-32k",
    messages=[
        {"role": "system", "content": "你是一个专业的Python编程老师。"},
        {"role": "user", "content": "解释什么是装饰器"}
    ],
    temperature=0.7,
    max_tokens=1000
)

print(response.choices[0].message.content)

# 关键参数详解
response = client.chat.completions.create(
    model="doubao-pro-32k",
    messages=messages,
    temperature=0.3,        # 低温度=稳定可复现
    max_tokens=2000,        # 最大输出Token（控制成本和长度）
    top_p=0.9,             # 核采样，与temperature类似，通常只调一个
    frequency_penalty=0.0,  # 降低重复（-2到2，正值减少重复）
    presence_penalty=0.0,   # 鼓励新话题（-2到2）
    stream=True,            # 流式输出（SSE），用户体验更好
)

# Token 计数（用 tiktoken 或模型自带的计数）
# 成本 = (输入Token数 * 输入单价 + 输出Token数 * 输出单价)
# 优化成本：缩短Prompt、缓存重复请求、用小模型处理简单任务

# 流式输出
stream = client.chat.completions.create(
    model="doubao-pro-32k",
    messages=messages,
    stream=True  # 关键参数
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# FastAPI 中实现 SSE 流式接口
from fastapi.responses import StreamingResponse

@app.post("/api/chat")
async def chat(req: ChatRequest):
    async def generate():
        stream = client.chat.completions.create(
            model="doubao-pro-32k",
            messages=[{"role": "user", "content": req.message}],
            stream=True
        )
        for chunk in stream:
            content = chunk.choices[0].delta.content
            if content:
                yield f"data: {content}\n\n"  # SSE格式
        yield "data: [DONE]\n\n"

    return StreamingResponse(generate(), media_type="text/event-stream")