华泰证券:从BloombergGPT看金融GPT机遇|天天快播
2023年3月30日,金融信息提供商彭博社发布了专为金融领域打造的大语言模型(Large Language Model,LLM)Bloomberg GPT。该模型依托彭博社的大量金融数据源,构建了一个3630亿个标签的数据集,支持金融行业内的各类任务,在执行金融任务上的表现远超过现有模型,在通用场景上的表现与现有模型也能一较高下。
【资料图】
华泰证券分析师谢春生(执业:S0570519080006)认为,掌握金融数据的国内厂商也有望复制Bloomberg GPT的路径,实现大语言模型在金融场景的有效赋能。
核心突破在于金融语料
尽管Bloomberg GPT的模型参数介于GPT-2与GPT-3之间。但BloombergGPT的金融垂直能力远超GPT系列。
分析师指出:
根据论文《Bloomberg GPT: A Large Language Model for Finance》的模型介绍显示,Bloomberg GPT同样基于典型的Transformer架构,Bloomberg GPT的模型参数介于GPT-2与GPT-3之间,GPT-2模型参数为1.5亿,GPT-3模型参数为1,750亿,Bloomberg GPT的模型参数为500亿。
官方论文《Bloomberg GPT: A Large Language Model for Finance》中的测试结果显示,Bloomberg GPT在执行金融任务上的表现超过现有的通用LLM模型,在通用场景上的表现与现有通用LLM模型能力基本持平。
尽管Bloomberg GPT的模型参数相较于GPT-3较小,但分析师表示,依托彭博社的大量金融数据源,Bloomberg GPT在预训练中获得了大量高质量金融数据,并对预训练数据进行了一系列的清洗、标注,Bloomberg GPT在通用能力与GPT-3基本持平的情况下,实现了金融垂直能力的大幅增强。
开拓开源模型+垂直数据的LLM新思路
Bloomberg GPT在开发方式上有何独特之处?分析师认为,在模型构建上,Bloomberg GPT显示出了卓越的创新,为国内金融数据公司开发大模型提供了有意义的路径参考。
具体而言,主要体现在五个方面:
1)垂直领域语言模型:过去的大语言模型多为基于通用文本训练的通用模型,垂直领域模型多为仅基于垂直领域数据训练垂直模型,Bloomberg GPT开创了通用+垂直的混合训练方法,让模型兼具通用性与专业性;
2)训练数据:过去的大语言模型的预训练数据很大程度上依赖于网页抓取数据,如C4、ThePile、Wikipedia等,Bloomberg自建了高质量的大规模金融数据集;
3)模型评估:Bloomberg在对模型进行了公共、金融NLP基准测试之外,还对模型进行了一系列基于Bloomberg内部任务的性能测试;
4)Token化(Tokenizer):将训练文本Token化是模型训练的关键步骤,Bloomberg使用Unigram模型取代greedymerge-basedsub-word模型,实现更智能的token化转换;
5)模型构建方法:以GPT-3、GPT-4为代表的大语言模型均由大型的专业人工智能团队开发,并且模型训练需要大量算力;受益于开源模型BLOOM的项目实践与Bloomberg在垂直领域高质量数据的深厚积累,Bloomberg GPT成功证明了一个中等规模的团队可以在垂直领域的特定数据上生产同样具有竞争力的大语言模型。
金融GPT未来可期
分析师认为,Bloomberg GPT未来有望应用于以下三大场景:
1)Bloomberg查询语言的生成:Bloomberg GPT可以将用户自然语言查询转换为有效的Bloomberg查询语言,使与金融数据的交互更加自然;
2)新闻标题的建议:Bloomberg GPT可以为Bloomberg的新闻应用程序提供支持,协助新闻工作者完成新闻短标题的撰写;
3)金融问答:得益于金融垂直领域知识的输入,Bloomberg GPT可以更加准确地回答金融相关的问题,例如在识别公司CEO的问答上,Bloomberg GPT的回答相较通用模型更为准确。
分析师指出,作为并非聚焦人工智金融垂直领域厂商,Bloomberg为金融GPT发展提供了具有参考价值的有益示范。
掌握丰富的金融垂直知识与现有AI产品布局,基于高质量的金融数据与开源的大语言模型,同样有机会打造专属金融场景的大语言模型,实现大语言模型在金融场景的有效落地,让大语言模型成为底层的AI操作系统。
关键词:
相关新闻
- 华泰证券:从BloombergGPT看金融GPT机遇|天天快播
- 四月天宇开启浪漫甜蜜之旅:“织女”携流星雨闪亮登场_天天观速讯
- 9.39万元起售 最高9.99万元!长安CS35 PLUS畅享版上市|全球新要闻
- 姬松茸菇有什么功效,松姬茸有何功效什么人不能吃|热头条
- 天天头条:新车报讯:一汽-大众云上参观平台正式上线可随时随地VR参观工厂
- 《猫眼三姐妹》将拍真人电视剧 法国制作年内播出
- 焦点热议:工厂员工工作总结范文简短(14篇)
- 热门:完败!字母33+14替补爆发,哈登11+6很无奈,恩比德该跟MVP说再见
- 近3场场均38.7分11.7板2帽!浓眉:感觉回到受伤前的状态了-当前观点
- 天天新动态:南海海域发生6.1级地震
- 在人际交往中,越炫耀这三件事情越容易闯祸,给自己惹麻烦 全球今热点
- 天天热门:《最后的生还者》垂直同步关不关
- 灵魂互换?罗马诺:切尔西已将纳格尔斯曼视为新帅的最佳人选|每日观察
- 乌江渡发电厂:“双周夜校”为青年成长“充电赋能”
- 读创诵读(清明)|清明的思念(作者:梁卫平)
- 海南儋州下浦港大桥:项目建设有序推进 世界快播报
- 霍莱沃:3月31日融资买入358.97万元,融资融券余额3783.89万元-环球热门
- 佳缘科技(301117):3月31日北向资金增持1.46万股
- 王冠主持人_上海主持人王冠结婚
- 世界讯息:美股小幅高开 美光科技跌逾4%
- 3月31日罗牛山涨7.81%,国泰中证畜牧养殖ETF基金重仓该股 每日速递
- 焦点速读:23粤珠江SCP004今日发布发行公告
- 科大国创(300520.SZ)董事史兴领拟减持不超0.44%股份
- 全球观速讯丨品格高尚的意思_高尚的意思