20 分钟

实战专项

Token 机制与成本优化

理解 Tokenization，掌握降低 AI 应用成本的工程手段

理解 Token 和 BPE 分词
掌握成本优化策略
学会缓存和批处理
了解模型蒸馏和量化

Token 机制与成本优化

Token 成本是 AI 应用规模化后最大的运营开销。理解 Token 机制并持续优化，往往能省下大部分费用。

什么是 Token？

LLM 不直接处理文字，而是处理 Token——文本被切成的小块。一个 Token 大约是 0.75 个英文单词；中文更费 token，一个中文字大约切分成 1-2 个 token（反过来 1 token 约等于 0.5-0.75 个中文字）。

示例代码（可运行）

Python 0%

1# Token 示例

2token_examples = """

3英文: "Hello world" -> ["Hello", " world"] (2 tokens)

4中文: "你好世界" -> ["你", "好", "世", "界"] (4 tokens)

5代码: "def hello():" -> ["def", " hello", "():"] (3 tokens)

71000 Token 约等于 750 英文单词或 500-700 中文字

9GPT-4o 价格（每百万Token）：

10 输入: $2.50 输出: $10.00

11DeepSeek-V3 价格：

12 输入: 约0.5元输出: 约1元（GPT-4o 的 1/50）

13"""

14print(token_examples)

BPE 分词算法

示例代码（可运行）

Python 0%

1# BPE (Byte Pair Encoding) 简化演示

2def simple_bpe(text, merges=10):

3 """BPE: 从字符开始，合并最高频的相邻对"""

4 tokens = list(text)

5 for _ in range(merges):

6 pairs = {}

7 for i in range(len(tokens)-1):

8 pair = (tokens[i], tokens[i+1])

9 pairs[pair] = pairs.get(pair, 0) + 1

10 if not pairs: break

11 best = max(pairs, key=pairs.get)

12 new_tokens = []

13 i = 0

14 while i < len(tokens):

15 if i < len(tokens)-1 and (tokens[i], tokens[i+1]) == best:

16 new_tokens.append(tokens[i] + tokens[i+1])

17 i += 2

18 else:

19 new_tokens.append(tokens[i])

20 i += 1

21 tokens = new_tokens

22 return tokens

24result = simple_bpe("abababab", merges=3)

25print(f"分词结果: {result}")

26print("BPE 让常见词成为单个token，生僻字拆成子词")

成本优化策略

示例代码（可运行）

Python 0%

1# 成本优化手段

2optimizations = """

31. Prompt 精简

4 - 去掉冗余描述和示例

5 - 系统提示词缓存（部分API支持）

72. 模型路由

8 - 80% 简单问题用小模型（GPT-4o-mini/DeepSeek）

9 - 20% 复杂问题升级到大模型

113. 缓存

12 - 相同/相似问题直接返回缓存

13 - Embedding 缓存（相同文本不重复计算）

14 - Redis 缓存 LLM 响应

164. 批处理

17 - 多个请求合并成 batch

18 - 离线任务用批量API（价格便宜50%）

205. 输出控制

21 - 降低 max_tokens（防止模型啰嗦）

22 - 用 stop sequences 提前终止

246. 模型蒸馏/量化

25 - 用 GPT-4 生成数据，微调小模型

26 - INT4/INT8 量化降低部署成本

27"""

28print(optimizations)

🐍资深工程师经验谈

成本优化的 ROI 排序：Prompt 精简（零成本、见效最快）> 缓存（开发量小、收益稳）> 模型路由（需要分类器）> 蒸馏微调（省得最多，但前期投入大）。豆包这类亿级用户产品里，缓存命中率每提高一点，成本都能明显下降。输出 token 比输入贵 3-5 倍，控制输出长度是最直接的省钱方式。

选择题

以下哪种成本优化手段 ROI 最高（最优先做）？

资深工程师加餐

底层原理 · 大厂视角 · 工程经验，点卡片展开

想让模型「调用你的函数」，关键是用 JSON Schema 把工具名、用途、参数描述清楚，模型返回的是「该调哪个工具、参数是什么」的结构化指令，真正执行仍由你的代码完成并把结果回喂。用受约束解码或 JSON Schema 校验保证输出可解析，但永远不要盲信：参数要服务端再校验一次，危险操作要人确认。它是 Agent 从「会说」到「会做」的关键一跳。

挑战任务

成本计算器

简单+50 XP

写一个函数，计算不同模型处理100万token对话的成本。

成本计算器

Python 0%

2 个测试用例

课后作业

缓存装饰器

中等+30 XP

写个带TTL的缓存装饰器，用来存LLM的响应。

缓存装饰器

Python 0%

1 个测试用例