四家顶级大模型量化交易横评：alpha 选股与 beta 敞口，三家主动放弃了最高分参数

一句话总览

这次横评不是"哪个 AI 更聪明"的比较。它是一次工程压力测试：物理隔离的样本外数据、四家模型自己写的策略、2000 轮搜索预算、一份完整的 token 账单。视频给的是一套可以复用的评测方法，加上四份各有短板的答卷。

先把模型名说清楚：四家都是真实在售模型——Claude Opus 5 和 Claude Fable 5 来自 Anthropic，Kimi K3 来自月之暗面，DeepSeek V4 Flash 来自深度求索，名字与归属以 B 站简介和作者公开的评测报告为准。视频全程 dry-run（模拟盘）回测，没有真实资金。本文按视频描述与章节时间点成稿，视频没有讲到的数字，以作者随后公开在 GitHub 的完整评测报告（frank-quant/ai-trading-videos 仓库 EP004 目录）补齐，出处逐节标注。

背景与问题

量化策略写作是检验大模型工程能力的高难场景：写代码、读行情、做统计、控风险，每一段错误都会在 PnL（Profit and Loss，盈亏曲线）上立刻显形。过去两年，把大模型塞进量化研究流程的尝试不少，但大多数评测只做了一件事——“AI 能不能写出一段能跑的代码”，极少同时做到下面三件：

• 用真实行情而非合成数据
• 严格隔离训练数据与测试数据
• 同时记录 alpha（选股能力）与 beta（市场暴露）

frank-quant 这次横评把这三件一次性做了，并且把"模型"和"配套 CLI（命令行工具）“绑定在一起测。理由很直接：真实使用时没人用裸模型，都会用 Claude Code、Codex、Kimi Code 这类脚手架。所以下面所有"模型表现"实际指的都是模型 + CLI 组合。

视频时长 18 分 32 秒（1112 秒），属于 UP 主合集《AI量化》第 4 期。前三期分别测过 Kimi K3 单跑 Freqtrade（一款开源加密货币量化交易框架）、Claude Code 投研、Claude Code + Freqtrade 三套单一栈方案，本期是第一次"同题同台”。这是横评能做到公平的前提——单一栈评测容易把脚手架的功劳算在模型头上。

主线内容：按章节重读

视频共有 8 个章节标记。下面按视频时间点逐段过，关键结论与时间戳标注。

1. 一场考试（0:00–0:29）

不到半分钟的开场把方法论直接摆出来：四个顶级大模型，同一间教室，同一道题。这一段定下两个隐含假设：

• 同题同台才有可比性——四家用同一份数据、同一段时间、同一组评估指标。
• 比拼的是端到端工作流——CLI 怎么调用、代码怎么组织、参数怎么选，都算进分数。

题面按量化研究员每天要处理的事来设计——LLM（大语言模型）评测圈常见的维度（推理、知识、风格）在这里都不优先。评判指向很直接：模型聪明不聪明不重要，模型能不能替研究员把活干完才重要。

2. 考题规则（0:29–3:32）

约三分钟交代规则。按作者公开的评测材料，完整规则比视频里讲的更严：

1. 同题同条件：四家拿同一份题面（逐字相同的英文 GOAL.md）、同一个时间窗口、同样的样本外数据。
2. 数据分三段：TRAIN（2021-01 至 2024-06，大盘年化 +69.8%）供参数搜索拟合；VALID（2024-07 至 2025-06，+28.6%）只评分不拟合，用来选参数；TEST（2025-07 至 2026-07，−45.0%）是样本外（out-of-sample）最终考卷。
3. 物理隔离：TEST 数据放在模型工作目录之外的另一个盘符，整个优化期间四个模型都摸不到。不是靠提示词说"你别看"，是让它扫不到，避免数据穿越（测试段信息泄漏进参数搜索）。
4. 成本真实：20 个 U 本位永续合约，标的池固定在先、不许按表现挑币（防幸存者偏差）；单边手续费 0.06%，资金费率真实计入；杠杆固定 1x，必须能做多也能做空，只做多判负。
5. 搜索预算：每家最多 2000 轮参数搜索，用多少自己判断。这是后文"四家都没跑满"那条结论的来源。
6. 模拟盘 dry-run：不接真实撮合，只跑回测。

测试期大盘跌 45%，这是这次评测的运气成分——一个明显走熊的样本外窗口。如果换成牛市窗口，很多策略看起来都会很聪明。所有后文收益数字都要在"这一年大盘跌了 45%“这条前提下读，否则会被骗。

3. 四家实录（3:32–6:56）

约三分钟视频里 frank-quant 把四家"答卷过程"摆出来。能确认的事实：

• 每家配自己的官方 CLI 跑全流程：K3 走 Kimi Code，Opus 5 / Fable 5 走 Claude Code，DeepSeek V4 Flash 走 Codex。
• CLI 不只是代码生成器，还承担文件读写、终端执行、回测调度这些研究员原本要手动做的事。
• 据评测报告，四家不约而同选了横截面策略家族（在一篮子标的之间比较相对强弱、做多做空的策略类型；题目其实开放到任意家族），周期自选：K3 与 DeepSeek 用 1d，Opus 5 与 Fable 5 用 4h。
• 横向看，四家在"写到能跑"这一步差别不大。真正的分歧从参数选择阶段开始——这也是为什么本章没有"赢家”。

4. 三家拒绝了最优参数（6:56–8:35）

全视频最反直觉的一节。视频原话：“三家模型主动放弃了自己跑出来的最高分参数，只有一家接住了。”

表面看，模型跑出一组高 Sharpe（夏普比率，衡量每单位风险所换得的超额收益）的参数，应该立刻锁定。但实际发生的是：四家中三家认为这组参数"看起来太好"，主动降级到一组更保守、回撤更低、Sharpe 略低但更稳健的参数。只有一家直接把最高分参数当成最终答案交付。

作者公开的报告把四家的选择记得很细：

三个信号值得分开读：

• 模型在"过度拟合"上有自检能力——三家识破了那组最高分参数可能是搜索空间里的孤峰，换一组样本就崩。三家还在自评里主动承认"验证集已经等于训练集的一部分"，并引用 Deflated Sharpe（紧缩夏普，检验"以这个搜索规模，纯靠运气能刷到多高"）这类统计工具论证少搜为妙。
• 代价是放弃了 Sharpe 上限——接住最高分参数的那家最终成绩如何，当时还没跑样本外，谁也不敢说。
• “接住"未必是勇敢，也可能是过度自信——只有样本外回测才能裁决。

视频在这里埋下钩子：第八节揭晓答案。

5. 测试集回测（8:35–12:08）

物理隔离的样本外数据（2025-07 到 2026-07）第一次被打开。四家策略在这段从未见过的熊市里被一次性跑完。

这一节视频重点强调三件事：

1. 大盘这一年跌了 45%（20 币等权、日再平衡口径，最大回撤约 48%），任何净多头策略都被这股力量往下拽。
2. 收益要拆 alpha 和 beta——alpha 是"选股本身赚的钱”，beta 是"跟着市场方向被动赚或亏的钱"。两个数字分开看，否则会被 beta 的方向骗。
3. 视频原话：“Fable 5 的选股这一年其实赚了 7.9%，它最后亏 7.5% 纯粹是因为 34% 的净多头敞口撞上熊市。”

评测报告补充了一个视频没展开的事实：四个策略在样本外全部由正转负，没有一个例外——但全部跑赢大盘。

6. 收益表现（12:08–14:18）

视频只展开讲了 Fable 5 和 Opus 5，四家的完整成绩在作者公开的报告里有全表。先给数据，再给读法（数据来源：frank-quant/ai-trading-videos EP004 评测报告，全部指标为统一费率下的独立复现）：

三条读法：

• Fable 5 是唯一有正 alpha 的。按报告的归因口径，beta 拖累 −14.0%、alpha 贡献 +6.5%，加起来正是 −7.5%——选股赚的钱被敞口亏掉。报告推算：若做成真中性，这一年约 +6.5%。
• Opus 5 做空真的起了作用：beta 0.03、净敞口 8.1%，大盘涨跌对它几乎无影响，是四家里唯一接近真市场中性的。但它的 alpha 是 −20.2%，选股本身失效——仓位对了，选股错了。
• Kimi K3 的问题最深：alpha −29.5% 垫底，做空侧在跌 45% 的熊市里还倒亏 1.3%，而且亏损通过了统计显著性检验（p 值 0.0008）。报告的原话是"该赚钱的一侧没赚到"。

同一组答案换一年行情，排序就会翻转——这正是 alpha 与 beta 拆分的价值：它把"策略好在哪、亏在哪"绑定到具体的市场窗口上，而不是绑定到模型名上。

7. 成本分析（14:18–16:03）

视频原话：“最贵的比最便宜的贵了 350 倍，而花的钱和产出完全没有关系。”

报告给出了具体账单，350 倍有出处：Opus 5 折合 ¥363.3，DeepSeek V4 Flash 折合 ¥1.04，比值约 349。

读这张表先看口径：DeepSeek 和 Kimi 走 API Key，是平台实扣；Opus 5 和 Fable 5 走 Claude Code 会员，平台查不到账单，数字是按本地日志的 token 用量乘公开单价折算的"等效成本"，实际边际支出为 0。报告特意声明了这一点，还提醒各厂商缓存计价规则差异很大——DeepSeek 那 1380 万 token 里 96.7% 是缓存命中，按缓存价计，换个命中率低的任务总价会完全不同，所以不宜精确到个位数解读。

比 350 倍更有信息量的是两条：

• 真正的成本驱动是 token 总量，不是单价。 Fable 5 标价约是 Opus 5 的两倍，总账单却只有 Opus 5 的 26%——它用 109 次调用、736 万 token 交货，Opus 5 用了 330 次、5906 万 token。
• 贵买到了东西，只是不是收益。 报告按"每分成本"（总成本除以五维加权分）算性价比：DeepSeek ¥0.15/分最优，Opus ¥50.39/分垫底。但 Opus 5 的代码质量分（9/10）和方法论自省分（10/10，四家唯一算出 r=0.21 并给出替代选参法的）都是天花板。它买的是工程深度，不是 alpha。

8. 排行与总结（16:03–18:31）

视频给出定性判断，报告给出定量排名：Fable 5（7.6 分）> DeepSeek V4 Flash（7.0 分）≈ Opus 5（7.0 分）> Kimi K3（4.4 分），六维评分里稳健性与表现并列权重最高（各 0.25）。DeepSeek 与 Opus 实质并列第二，先后不具实质意义——两家强项完全不同。

四个"各做对一半"的答卷，此时可以合上看：

• Fable 5：选股对了（alpha +7.9%，四家唯一为正），仓位错了（34% 净多头撞熊市）。
• Opus 5：仓位对了（唯一真中性），选股错了（alpha −20.2%）。
• DeepSeek V4 Flash：alpha ≈ 0 不功不过，但回撤 14.0% 四家最小。第 4 节的钩子在这里收线：接住最高分参数的就是它，样本外 −7.1% 反而是四家最好——这一局"不犹疑"赌赢了。但报告同时给它"解释诚实"打了 6 分：取最高分却没论证为什么可以接受反向落差，方法论上减分。
• Kimi K3：两样都没做对，且亏损统计显著。

视频总结的语气克制：四家都没错，四家也都没全对。评测真正留下的东西是那个题面本身——数据怎么隔离、指标怎么拆、成本怎么记账，这套东西换一批模型还能再考一次。

六条可以带走的工程结论

开头总览说的"六条工程结论"，落到正文是下面六条。它们来自视频本身，不来自排行榜：

1. 公平的横评要同时满足三件事：同题同台、样本外物理隔离、模型 + CLI 绑定。缺任何一件，都容易把脚手架的功劳算到模型头上（§2、§3）。
2. 样本外窗口本身决定结论走向：这一年大盘跌 45%，任何净多头策略都得先被这股力量往下拽，收益要先扣 beta 再谈 alpha（§5）。
3. alpha 与 beta 是两个故事：会选股 ≠ 会赚钱。Fable 5 选股赚 7.9%，最后仍亏 7.5%，就是敞口撞上熊市的例子（§6）。
4. 模型有自检，但自检有代价：三家主动放弃最高分参数，等于放弃 Sharpe 上限。这一局的裁决是接住参数的 DeepSeek 成绩最好，但报告给它记了一笔方法论减分——运气和判断力在单次实验里分不开（§4、§8）。
5. 成本与产出无关：同题下最贵比最便宜贵 350 倍，贵的买到的多是工程深度而非收益（§7）。
6. 结论要绑定在时间窗口上：训练验证全是牛市、样本外跌 45%，四家验证集夏普 1.24–1.93 个个好看，样本外全部转负。真正的杀手不是调参技巧，是市场变天（§5、§8）。

亮点与争议

亮点：alpha / beta 拆分是这次评测的方法论贡献

大多数 AI 量化评测报告一个总收益就完事了。这次横评把 alpha 和 beta 拆开呈现，并且明确说"alpha 第一 ≠ 收益第一"。工程上能直接学到的：以后看任何 AI 量化报告，先去找 alpha 这一列；没有这一列，至少在心里把 beta 减掉再读。

亮点：验证集的信噪比提前预告了成败

报告里另一个值得单独看的发现：四家的训练/验证相关性 r 分别是 +0.54 / +0.21 / −0.06 / −0.28（K3 到 DeepSeek），与样本外排名几乎同序——训练成绩和验证成绩越不相关（越不依赖训练集的过拟合模式），样本外表现越好。样本只有 4 个，算强提示不算定论，但这个量在搜完参数的当场就能算。配套的还有 Deflated Sharpe 的狠刀：Kimi 搜了 400 轮、验证夏普 1.57，而纯靠运气就能刷到 2.55，DSR 只有 0.094，验证成绩在统计上不显著。

亮点：周期选择比参数调优影响大

报告用同一个因子做了对照：30 分钟周期不控换手，一年 12,745 笔交易亏 44.7%；换成 4 小时加最短持仓约束，436 笔反而赚 3.28%。参数还没开始调，周期的选择已经决定了生死。

争议：为什么没有 GPT——以及它的后续

评论区高频两个问题——“为什么没有 GPT"和"是不是给 DeepSeek 量身定做的题”。UP 主 frank-quant 在评论区回应：GPT 的复现结果在 GitHub 已经有人做了，但本次横评没有纳入。模型集有限定（不含 GPT 系、Qwen 系、Gemini 系、Llama 系），结论不能直接外推到"哪个模型最强"。

这个遗憾已经补上：2026-09-14 上线的合集第 7 期把横测扩到 8 家厂商、14 个模型（ChatGPT / Claude / DeepSeek / Grok / Gemini / GLM / Qwen / Kimi），每家仍用官方 harness，考题、数据、手续费与本期同一套，题目原文和全部交付物开源在 GitHub EP007 目录。

补充背景（来自评论区）：DeepSeek 团队前身与量化机构幻方有关，模型对量化任务的"专业对口"是评论区反复提到的一个点。但视频本身没有把这一点当评测依据，仅作为读者解读的背景。

谁该去看原视频

• 在做 AI 量化研究 / 用大模型辅助策略写作：必须看。原视频把数据隔离、alpha/beta 拆分、成本记账三件事一次说清楚，省你走三遍坑。
• 在做 LLM 横评 / 评测方法论：值得看。本期题面设计、样本外隔离、CLI 绑定测试都不是常见模板，可以借结构。
• 只是好奇 AI 写量化策略靠不靠谱：读本文就够。结论是"AI 会写策略 ≠ 策略能赚钱"，四家样本外全负就是答案。
• 想直接复现：所有材料都开源在 frank-quant/ai-trading-videos 的 EP004 目录——题目原文、四家完整交付物、验证脚本、30 页评测报告 PDF（含全部 17 张图表）和复现手册 RUNBOOK.md 都在，按样本外窗口（2025-07 到 2026-07）和 dry-run 流程自己跑。

五个容易被忽略的边界

1. 样本外是熊市。训练验证段全是牛市，这不是中性样本，所有结论平移到别的年份都需要重新做。
2. dry-run 模拟盘，不接真实撮合、滑点和资金费率（资金费率在回测里真实计入了，但真实盘口的滑点没有）。真实摩擦会让所有数字再缩一层。
3. 模型集有限定：本次横评只覆盖视频里点名的四家 + CLI 组合，不含 GPT / Qwen / Gemini / Llama 系。第 7 期的 14 模型横测补了这个缺口，但那是另一张卷子。
4. 幸存者偏差：报告自己承认，这 20 个标的池是 2026 年回头挑的，更早退市的币不在池子里。所有回测都躲不掉这一条。
5. 统计上偏薄：样本外只有 1 年 × 20 个高相关标的，蒙特卡洛和 DSR 只能部分兜底；成本口径四家也不完全一致（两家实扣、两家折算）。

关键时间点速查

视频元数据

• 标题：【横测】谁是做量化交易最好用的大模型（Kimi K3 / Opus 5 / Fable 5 / DeepSeek V4 Flash）
• UP 主：frank-quant（合集《AI量化》第 4 期，共 7 期）
• 时长：18 分 32 秒（1112 秒）
• 发布时间：2026-08-06
• 播放量：172,170（2026-09-22 查询）
• 视频链接：https://www.bilibili.com/video/BV15HMS6DETZ/
• 合集前几期：BV1Np3j6QEQc（Kimi K3 单测）、BV1nwKc6pEmi（Claude Code 投研）、BV1RhNA6jELx（Claude Code + Freqtrade）
• 合集第 7 期（14 模型横测）：BV1ijYB6QE1Y

参考与延伸

• 作者公开的完整评测材料：frank-quant/ai-trading-videos 仓库 EP004 目录，含 results/REPORT.md（视频里所有数字的出处）、30 页评测报告 PDF（17 张图表）、题目原文 prompts/GOAL.md、四家完整交付物与复现手册 RUNBOOK.md
• 第 7 期 14 模型横测材料：同仓库 EP007 目录（EP007_fourteen-llm-quant-benchmark）
• 量化背景：幻方量化与 DeepSeek 的关系可参考公开报道，本文未对评论区讨论作展开
• 免责声明（视频作者原文）：本视频为纯技术演示，全程使用模拟盘（dry-run），未涉及任何真实资金，不构成任何投资、财务或交易建议。历史回测不代表未来收益，加密货币波动剧烈，可能损失全部本金，决策请独立判断。