Alpha-GPT

Alpha-GPT: Human-AI Interactive Alpha Mining for Quantitative

作者：王思卓¹*，袁航¹*，Leon Zhou³，倪明选¹,⁴，沈向洋¹,²，郭健²

¹ 香港科技大学，² IDEA研究院，³ 哥伦比亚大学，⁴ 香港科技大学（广州）

{swangeh, hyuanak}@connect.ust.hk, [email protected], [email protected], {hshum,guojian} @idea.edu.cn

*共同第一作者

摘要

量化投资研究中最重要的任务之一就是挖掘新的Alpha（有效的交易信号或因子）。传统的Alpha挖掘方法，无论是手工合成的因子还是算法化的因子挖掘（例如基于遗传编程的搜索），都存在固有的局限性，尤其是在实现量化研究员的想法方面。在本工作中，我们通过引入人机交互提出了一种新的Alpha挖掘范式，并利用大语言模型的能力，提出了一种新颖的提示工程算法框架来实现这一范式。此外，我们开发了Alpha-GPT，这是一个新的交互式Alpha挖掘系统框架，它提供了一种启发式的方法来“理解”量化研究员的想法，并输出富有创意、洞察力且有效的Alpha。我们通过大量Alpha挖掘实验证明了Alpha-GPT的有效性和优势。特别地，我们在WorldQuant 2024年国际量化锦标赛中评估了Alpha-GPT的表现，其结果显示与表现优异的人类参赛者相当，在全球超过41,000支团队中排名前10。这些发现表明，Alpha-GPT在生成高效Alpha方面具有显著潜力，可能在量化投资策略上超越人类能力。

1 引言

交易Alpha（Tulchinsky, 2019）是一种具有预测超额收益或风险能力的金融信号或函数，通常以符号规则或公式的形式表达（基于机器学习的Alpha近年来也越来越流行，但不在本文讨论范围内）。Alpha在交易经济学中扮演着至关重要的角色，量化投资领域的大部分研究工作都集中在如何找到好的Alpha上。参见Kakushadze（2016）中列举的大量此类公式化Alpha（例如，(-\frac{close-open}{(high-low)+0.001}) 计算的是从开盘价到收盘价的涨幅相对于日内波动率的比值，负号表示潜在的均值回归效应）。

传统上，Alpha挖掘有两种范式。第一种范式依赖于人工建模。量化研究员尝试将其对金融市场的想法或直觉转化为公式化的Alpha，通过回测实验测试其有效性和显著性，并分析成功与失败的原因。通常，这一过程需要重复多轮以提升Alpha的表现。这种范式的成功高度依赖于个人的天赋和专业知识，且存在效率低下和人力成本高昂的问题。另一方面，第二种范式通过搜索算法（如遗传编程）来寻找Alpha。由于搜索空间由数百个操作符和操作数（特征）的所有可能组合构成，规模极其庞大，因此在Alpha搜索过程中找到令人满意的Alpha需要极其庞大的计算资源。

这两种范式都存在共同的缺陷。首先，要将人们对交易信号或观察到的交易机会与模式的思考，提炼为精确而简洁的公式化表达，是一个困难的过程。例如，上升三角形（Lo et al., 2000）和艾略特波浪理论（Elliott and Prechter, 2005）等技术分析模式的公式化表示虽然存在，但很难被发现。其次，理解并解释搜索算法筛选出的大量Alpha尤其耗时费力。最后，指望富有创意且有效的Alpha来自研究人员的灵光一现或算法的暴力搜索是不现实的；相反，它们往往来自于反复的实验-分析过程。然而，设计和修改算法化Alpha挖掘系统的参数及搜索配置，对研究人员来说通常是一件琐碎的工作。

为了解决这些挑战，我们提出了第三种Alpha挖掘范式，该范式通过增强人机交互来提高Alpha研究的效率和效果。基于这一新范式，我们提出了一个交互式Alpha挖掘系统的架构，命名为Alpha-GPT。该系统将大语言模型（LLM）作为量化研究人员与Alpha搜索之间的中介。Alpha-GPT具有三大关键优势。第一，得益于LLM强大的自然语言理解和指令跟随能力，它能够解读用户的交易想法并将其转化为合适的表达式。第二，Alpha-GPT能够借助LLM通过预训练获得的广泛先验知识，快速理解、利用和总结表现优异的Alpha及其元数据，通过自然语言或形式语言表达。最后，用户可以对Alpha搜索提出修改建议，模型将基于LLM的上下文学习和推理能力，自动将这些建议应用于后续轮次的Alpha挖掘。这极大地简化了工作流程，使用户能够从更高层次的抽象视角（以抽象概念的形式）来进行Alpha挖掘。

本文的贡献可从以下几个方面总结：

我们定义了一种利用人机交互来提升Alpha研究效果的Alpha挖掘新范式。
我们提出了AlphaBot算法，通过领域知识编译与反编译方法，将LLM作为人机交互的中介。
我们开发了Alpha-GPT系统，以实现我们提出的范式，并为量化研究人员提供实用的工具。

2 智能体工作流

受人类量化研究人员既有工作流程的启发，Alpha-GPT采用了一种智能体工作流来生成和优化交易Alpha。如图2所示，该工作流被构建为一个迭代过程，包含三个不同的阶段：构思、实现和评审。

构思

工作流从构思阶段开始，量化研究人员在此阶段用自然语言阐述一个交易想法或市场直觉。该阶段的主要智能体是 交易想法润色器，其主要目标是将研究人员初步的想法形式化为适合机器处理的结构化提示词。为此，该智能体会查询一个包含文献语料库和可用数据字段详细规格的数据库。通过利用这一外部知识库，交易想法润色器 对原始查询进行增强，消除金融术语的歧义，并引入上下文示例，以确保精确捕捉用户的意图。

实现

在实现阶段，前一阶段提炼后的想法被操作化为可执行的Alpha表达式。量化开发人员 智能体利用大语言模型处理结构化的提示词，生成一组初始的“种子”Alpha表达式。这些数学公式旨在体现指定的交易概念，并被编入Alpha数据库。随后，Alpha计算框架采用算法化搜索增强方法（尤其是遗传编程）来迭代演化和改进这组初始Alpha。这一过程产生更多样化、更复杂的候选Alpha群体，并针对性能进行优化。

评审

在最后一个评审阶段，候选Alpha接受严格的实证评估。分析师 智能体协调这一过程，利用交易回测引擎作为主要分析工具。该引擎执行历史模拟，根据市场数据评估Alpha的表现，生成包括回测收益、信息系数（IC）和夏普比率在内的量化指标。分析师 智能体随后综合这些输出，向研究人员提供对表现优异的Alpha的自然语言总结和解释。这一交互式反馈循环使研究人员能够为后续轮次的Alpha挖掘提供进一步的方向，从而促进一种协作式的人机发现过程。

3 运行模式

作为量化研究的实用辅助工具，Alpha-GPT被设计为以两种不同的模式运行：交互模式和自主模式。

在交互模式下，系统充当一个协作伙伴，人类研究人员在整个智能体工作流中提供输入和指导。这种方法基于一个认识：人类在交易和投资领域的专业知识和直觉往往超越LLM当前的能力。相比之下，自主模式使系统能够独立生成和迭代交易想法。当面对特别庞大的量化数据库时，这种模式尤其有用，它可以快速可靠地引导出令人满意的Alpha，供人类研究人员后续分析和进一步开发。

交互模式

在交互模式下，Alpha-GPT充当一个智能接口，弥合研究人员的概念性想法与其实证验证之间的鸿沟。人类研究人员在发现过程中仍处于核心地位，通过用自然语言提供交易想法并在每轮迭代的评审阶段提供反馈来启动工作流。在这种协作范式中，Alpha-GPT扮演副驾驶的角色，负责将这些抽象概念转化为精确的公式化Alpha表达式。随后，它管理计算密集型任务，如使用遗传编程等方法进行Alpha增强，并执行严格的后验回测以进行性能评估。最后，系统将复杂的结果综合为易于理解的自然语言摘要，促进人工评审和决策，以指导下一轮循环。人类直觉与系统先进计算能力之间的这种协同作用，有助于加速研究周期。

自主模式

自主模式专为系统性探索大规模量化数据库而设计，这些数据库可能包含数万个数据字段。在这种情况下，将所有可用数据的完整文档提供给LLM会超出其上下文窗口，无论是在令牌限制还是信息密度方面。为了克服这一挑战，Alpha-GPT采用了一种分层检索增强生成（RAG）策略。该策略使LLM智能体能够通过结构化、自上而下的方式导航数据库，自主发现新颖的交易想法。该过程首先由LLM智能体分析现有的Alpha数据库，以了解先前成功Alpha的特征。在这一初步分析的指导下，智能体随后查询整个数据库的高层级类别（如“价量”或“情绪”），以识别有前景的广阔领域用于新Alpha发现，而无需检索过多的细节。之后，智能体对相应的二级类别（如“财报电话会议”）进行更聚焦的查询，以逐步缩小搜索空间。在最后一步，智能体检索所选子类别内具体数据字段的详细描述，并基于这些细粒度信息制定一个新颖、具体的交易想法并生成相关的Alpha表达式。这种分层框架使Alpha-GPT能够有条不紊地探索庞大而复杂的特征空间，在有效管理上下文大小的同时持续生成新颖的想法。

4 系统架构

Alpha-GPT的整体系统架构如图6所示。它是一个多层框架，由面向用户的界面、核心LLM智能体、算法化挖掘引擎和计算加速层组成。

WebUI与LLM智能体

架构的顶层促进人机交互。基于Web的用户界面是量化研究人员的主要入口点。它包括用于自然语言交互的对话框、用于组织不同研究线索的挖掘会话管理器，以及用于实验和性能分析综合可视化的Alpha挖掘仪表板。LLM智能体被称为AlphaBot层，是系统的核心智能。它采用标准的提示工程管道将用户意图转化为结构化任务。该过程利用基于金融文献和历史Alpha向量数据库的检索增强生成来 grounding 模型的输出。随后，智能体的响应通过结构化输出解析和验证模块进行处理，以确保为后端系统生成语法正确且语义有效的Alpha表达式。

后端系统

算法化Alpha挖掘：这一层在Alpha-GPT中承担搜索增强功能。它实现了一个算法化工作流，接收AlphaBot生成的种子Alpha，并根据收到的搜索命令和配置对其进行迭代改进。该层由四个模块组成：

Alpha搜索增强模块使用遗传编程等技术生成多样化的候选Alpha集。
合格的Alpha随后由评估与回测模块筛选，根据历史数据评估其表现。
这些Alpha进一步由Alpha选择模块修剪和评分，以去除冗余并识别最有价值的信号。
最后，Alpha部署模块将完成的Alpha准备就绪以供实盘交易，确保实时计算的平滑性和正确性。

Alpha计算加速：Alpha计算需要处理海量的金融数据，而处理高频数据的计算开销使得加速成为一个关键需求。Alpha计算加速层采用了几项关键技术来满足这些需求，包括用于滚动窗口计算的流式算法、利用硬件并发的向量化计算、用于并行数据处理的SIMD/SIMT指令、预分配等内存优化技术，以及用于数据密集型任务的GPU加速。

5 评估

为了评估Alpha-GPT在提升研究人员识别相关因子效率方面的影响，我们进行了定量和定性相结合的研究。定量实验旨在通过评估Alpha-GPT在给定交易想法或数据库上的表现来验证其有效性，而定性实验则旨在展示其成功应用的实例。以下结果旨在验证以下问题：

Alpha-GPT能否通过人机交互提高量化研究效率？
算法化搜索增强模块能否提升生成Alpha的质量？
Alpha-GPT最终能否带来更好的Alpha？

实验设置

如无特别说明，以下实验均采用以下设置。

数据与操作符：我们使用中国和美国股票的日内量价数据。数据包括基本的K线图数据（OHLCV）、成交量加权平均价格（VWAP）和行业数据。我们使用的操作符包括Guo等人（2023）中实现的19个基本操作符，涵盖时间序列操作、横截面操作、分组操作和基本逐元素操作，如表1所示。此外，我们还整合了来自scipy和torch等现有库的操作符。

知识库：我们基于Kakushadze（2016）中提出的Alpha和一个专有的Alpha库构建了知识库。对于每个Alpha，我们首先将其分解为子表达式并进行解释。然后解释这些子表达式的组合如何形成完整的交易想法。文档嵌入通过Faiss建立索引。需要注意的是，我们仅在生成与Alpha库中内容高度一致的交易想法的Alpha时使用了外部记忆。重要的是，知识库作为辅助资源以增强可解释性和一致性，而非直接复用Alpha的来源。Alpha-GPT仍然能够生成超出知识库范围的新颖Alpha，我们的实验证实，大部分生成的Alpha既不存在于文献中也不存在于专有库中。因此，纳入这些资源并不会损害新颖性，而是为生成过程提供了基础支撑和领域背景。

LLM与适配器：我们使用Llama3 70B（Grattafiori et al., 2024）作为聊天模型，BGE-M3（Chen et al., 2024）作为嵌入模型。

效率提升

我们通过评估Alpha-GPT将交易想法转化为Alpha的有效性，以及通过迭代优化开发更强Alpha的能力，来评估其提升研究效率的能力。

转换一致性：为验证Alpha-GPT通过提供准确高质量因子来提升研究人员效率的能力，我们进行了一项对比研究。我们收集了基于同一交易想法数据集、分别由Alpha-GPT和一组人类量化研究人员生成的Alpha。人类研究团队由五名经验在0.5至2年之间的量化研究员组成。交易想法数据集被随机分为五部分，每位人类研究员负责基于各自的部分编写Alpha。在评估中，我们提示GPT-4对生成的Alpha进行1到10分的评分（10分为最高分）并选出更优者。平均结果如表3所示。结果表明，Alpha-GPT生成的因子始终优于人类研究员生产的因子。这一结果有力地表明，Alpha-GPT通过准确地将交易想法转化为高质量因子，在提升研究效率方面具有有效性。

人机迭代优化：我们还验证了Alpha-GPT通过人机交互帮助改进Alpha研究的有效性。我们首先使用另一个LLM（GPT-4）并配以专门设计的提示词来模拟人类用户。对于数据集中的每个交易想法，这个模拟人类用户将其发送给Alpha-GPT，并基于Alpha-GPT在第一轮生成的解释与之进行另一轮交互。然后，我们评估初始生成的因子、经过搜索增强后的因子以及经过1轮交互与搜索增强后的因子的IC值。结果如表4所示，因子IC的持续提升证明了交互的有效性。

搜索增强

为验证Alpha挖掘层在持续增强因子方面的有效性，我们分析了经过多轮搜索增强的Alpha的信息系数（IC），包括样本内和样本外。图4展示了20次迭代的IC曲线，揭示了几项关键发现。样本内和样本外的IC在初期均呈现急剧上升（第0至5次迭代），表明初始因子的快速改善。样本内IC（蓝线）在整个过程中呈现整体上升趋势，表明训练数据上的因子持续增强。值得注意的是，样本外IC（橙线）在初期上升后趋于稳定，表明改进能够很好地泛化到未见数据，缓解了过拟合的担忧。两条曲线似乎都在第15次迭代左右收敛，表明这是增强过程的最优停止点。

更强的Alpha

为评估Alpha-GPT生成更优Alpha和投资策略的能力，我们设计了一个模拟人类研究员与AI协作的自动化测试场景。我们创建了一个包含操作数（数据字段）和操作符及其详细描述的元数据库。随后使用经过专门提示的LLM系统地探索这些字段并生成具有强劲表现的Alpha，模拟人类研究员与Alpha-GPT交互以搜索高性能Alpha的过程。这一过程融合了与传统方法（如遗传编程）相似的元素，但搜索过程由LLM引导。

高频交易竞赛：我们按照一个已结束的高频交易Alpha竞赛的相同评估协议对Alpha-GPT进行了评估。具体而言，我们引入了自我改进机制（Wang et al., 2024）来生成因子，并将结果与人类排行榜进行对比，如表5所示。可以看出，Alpha-GPT达到了人类参赛者前5%至10%的表现水平。值得注意的是，原始竞赛为期一个月，但Alpha-GPT仅用一天就达到了相当的表现水平。

WorldQuant国际量化竞赛：为进行更实际且更具挑战性的评估，我们将自动化系统部署到了WorldQuant国际量化锦标赛（IQC）2024中。这是公式化Alpha挖掘领域的顶级竞赛，共有来自100多个国家和5,000所大学的超过41,000名参赛者。竞赛提供了广阔的探索空间，包含超过5,000个操作数数据字段，涵盖价量、基本面、衍生品、新闻情绪等，以及超过100种各类操作符。该平台对Alpha的合格性采用严格标准，考虑Alpha收益、换手率和夏普比率等因素。重要的是，我们的评估是在官方竞赛期间实时进行的，确保不会发生未来信息泄露。如表2所示，结果表明我们的自动化Alpha-GPT系统能够生成高性能的Alpha，在全球排名前10，在地区排名前3。特别地，Alpha-GPT产生的合格Alpha数量与顶级人类参赛者相当，并取得了最高的样本内得分。系统的样本外得分也极具竞争力，表明基于LLM先验知识生成的Alpha具有良好的泛化能力和坚实的底层逻辑。这些令人印象深刻的结果凸显了Alpha-GPT在Alpha挖掘领域达到超人类表现的潜力。

定性结果

想法-公式一致性：我们证明Alpha-GPT能够生成与用户给定交易想法一致的公式化Alpha。图7展示了基于给定交易想法生成的Alpha表达式及其与K线图模式的对应关系。K线图根据标普500指数2020年至2023年的周度数据绘制。第一个交易想法旨在捕捉两个不同回顾窗口的移动平均价格之间的背离，生成的因子成功地反映了这一曲线。第二个交易想法描述了布林带的突破信号，相应的Alpha是一个当价格突破上轨时被触发的二元信号。第三个交易想法旨在捕捉K线图上连续三个看涨走势，生成的Alpha成功地识别出了这些模式。这些示例表明，生成的Alpha正确地捕捉了交易想法。

Alpha解释：图8展示了Alpha-GPT基于给定交易想法生成的Alpha表达式示例，以及Alpha-GPT同时生成的这些Alpha对应的自然语言解释。从这些示例中可以看出，Alpha-GPT能够为生成的Alpha提供恰当的解释，减轻了人类研究员自行解读这些表达式的负担。

6 相关工作

已有大量算法被研究用于公式化Alpha挖掘。例如蒙特卡洛随机搜索、马尔可夫链蒙特卡洛（Jin et al., 2020）、遗传编程（Cui et al., 2021）及其变体（Zhang et al., 2020），以及强化学习（Yu et al., 2023）。然而，这些方法都要求用户直接定义算法配置，与Alpha-GPT相比交互性有限。与此同时，GPT（Brown et al., 2020）等大语言模型已展现出涌现能力，并在各种任务上取得了卓越的表现。此外，LLM还展示出了强大的推理能力和规划能力。通过这种方式，LLM可以被视为一个核心思维模块，并与各种外围工具集成，形成智能的LLM驱动型智能体。

7 参考文献

Brown et al. (2020) Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, and 12 others. 2020. Language Models are Few-Shot Learners. arXiv:2005.14165 [cs]. ArXiv: 2005.14165.
Chen et al. (2024) Jianlv Chen, Shitao Xiao, Peitian Zhang, Kun Luo, Defu Lian, and Zheng Liu. 2024. BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation. arXiv preprint. ArXiv:2402.03216 [cs].
Cui et al. (2021) Can Cui, Wei Wang, Meihui Zhang, Gang Chen, Zhao-jing Luo, and Beng Chin Ooi. 2021. AlphaEvolve: A Learning Framework to Discover Novel Alphas in Quantitative Investment. In Proceedings of the 2021 International Conference on Management of Data, pages 2208-2216, Virtual Event China. ACM.
Elliott and Prechter (2005) R.N. Elliott and R.R. Prechter. 2005. R.N. Elliott‘s Masterworks: The Definitive Collection. New Classics Library.
Grattafiori et al. (2024) Aaron Grattafiori, Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey, Abhishek Kadian, Ahmad Al-Dahle, Aiesha Letman, Akhil Mathur, Alan Schelten, Alex Vaughan, Amy Yang, Angela Fan, Anirudh Goyal, Anthony Hartshorn, Aobo Yang, Archi Mitra, et al. 2024. The Llama 3 Herd of Models. arXiv preprint.