• 帮助
  • 广告服务

京财时报

滚动新闻:
·大模型重塑金融业态报告④丨金融大模型重塑技术能力 ·预见金龙|华鑫证券总经理陈海东:中国资本市场始终坚持在改革中发展 ·百得胜水漆全屋定制开启品牌高质量发展新征程,持续精进产品服务 ·开学第一课!校门口师生成语接龙 ·“养生酒”不养生?改善硬度不够找爱廷威(他达拉非片) ·年味浓·人气足·消费旺:新春文旅市场一线观察 ·GHIT基金投资数百万美元助中国药企主导抗疟疾新药全球多中心Ⅲ期临床试验 ·湾区科技创新,如何协同?丨十问广东经济 ·开年王炸?OpenAI视频生成模型Sora隆重登场!|思维品书 ·龙年春节 华熙LIVE·五棵松活动丰富多彩 客流销售双增 ·空中云汇联合EDC发布白皮书:全球83%中小企业寻求嵌入式金融服务满足跨 ·节后返岗复工,德邦快递助力行李特产高品质寄送 ·春运返程高峰到来各地各部门切实保障返程出行平安 ·返程客流高峰到来广铁日发送旅客超200万 ·探索电商行业高质量发展路线,梦饷科技蝉联“2023年上海市互联网综合实力 ·德定安航空在上海设立新工厂法国驻沪总领事:相信法国企业能为中国市场提供高 ·空中云汇联合EDC发布白皮书:全球83%中小企业寻求嵌入式金融服务满足跨 ·探索电商行业高质量发展路线,梦饷科技蝉联“2023年上海市互联网综合实力 ·全球首个虚拟人口语私教HiEcho获华为应用市场“匠心奖”160;160 ·万国数据公布2023年第三季度财报:新获两笔大订单、继续推进海内外业务目 

大模型重塑金融业态报告④丨金融大模型重塑技术能力

京财时报   来源:证券之星    发布时间:2024-02-20 22:10:11   阅读量:7647   

摘要:“大模型”无疑是2023年最热的关键词之一,随着大模型概念的崛起和广泛传播,金融行业因被视作最优落地场景也同步掀起了一轮热潮。大模型究竟会给金融行业带来什么?它会在何种程度上重塑技术和业务,会衍生出怎样的商业价值?21世纪资管研究院调研了三十多家金融机构和科技公司相关负责人,形成了这份《大模型重塑金融业态报告》,通过梳理机构布局情况以及这些领军者们的观点,描绘行业发展趋势。

大模型重塑金融业态报告④丨金融大模型重塑技术能力

21世纪资管研究院研究员李览青、杨梦雪

在金融机构基础设施升级后,当金融机构决定尝试大模型的落地应用,摆在其面前的首要问题是,如何部署大模型从而享受其带来的涌现能力与服务能力?

据21世纪资管研究院调研,大模型落地实现AI应用的路径有三个方向,一是基于现有开源大模型、基础大模型进行微调落地,二是与厂商联合创新自研大模型,三是通过API接口接入商用大模型或通过外挂知识库实现部分功能的使用。

但在企业AI应用的架构中,仅有大模型显然是不够的,大模型中间件、向量数据库等基础设施软件迎来新风口,而RPA技术也在与AI Agent融合后实现了新飞跃。

连接器:中间件

一直以来,金融机构不同系统间的互联互通与数据交换,都离不开中间件。如果说大模型是AI决策的“大脑”,那么中间件就是链接大脑与应用场景之间的“四肢”。

作为位于AI应用与大模型之间的中间层基础软件,这些组件在输入输出、数据转换、模型部署时发挥重要作用,解决了大模型落地过程中资源调度、数据集成、模型训练、应用集成、知识库与大模型融合等问题。在解决大模型商用化问题方面,中间件行业再次受到市场关注。

一方面,在计算机“分层”架构的基础上,引入中间层,可以实现不同业务中技术共性与服务共性的凝练,从而简化开发流程。虽然业务应用系统开发的逻辑有差异,但基础功能与系统服务是存在相似性的,基于这些相似性,可以尽可能凝练共性并复用,特别是在工程开发中基础、底层、公用的服务逻辑,通过中间件包装成简单、一致、集成的开发环境,从而实现程序设计、功能与服务编排的简化。大模型中间件的应用,可以帮助企业迅速构建出基于大模型的AI应用。

可以说,大模型中间件解决了大模型落地的“最后一公里”,既为上层应用访问大模型与知识库提供入口,也为大模型的应用部署提供桥梁。

21世纪资管研究院在调研中了解到,目前大模型中间件的生态在底层的动态资源调度之外,还有以AI Ops为代表提供一整套工具,帮助机构解决私有环境中大模型训练的工程问题,通过提供全自动化训练环境配置与构建,以低代码一站式完成数据接入、标注、监督微调、反馈强化学习和模型发布全流程,同时,可以支持数据回流及模型的持续迭代。

记忆体:向量数据库

在大模型“四肢”中间件之外,向量数据库作为大模型的“记忆体”成为大模型时代的必备基础设施工具之一。

向量数据库是专门用于存储和查询向量的数据库。在数学定义中,向量是有大小和方向的量,可以用带箭头的线段表示,箭头指向代表向量的方向,线段的长度代表向量的大小,两个向量之间的距离或相似性可以通过公式求得。到计算机领域,文本、图像、语音、视频等非结构化数据的向量化,可以存储到向量数据库中,从而实现对非结构化数据的相似性检索与搜索。

无论是通用大模型还是金融行业经过微调部署落地的垂直行业模型,都会出现信息时效性受限、大模型输入token受限、算力不足以及胡言乱语的“幻觉”等问题。

在信息时效性方面,由于机器学习训练需要一段时间,在这段时间内实时发生的资讯、新闻、市场行情等等快速变化,这些实时数据难以内置到模型中,需要一个外部的工具来存储这些实时信息,实现及时调用。

大模型的token限制是指,在大模型训练或推理时需要消耗大量计算资源,而这些资源是有限的,因此大模型输入的token是有限的,一旦突破这个设置,模型就会忘记上下文。根据每个大模型算力能力与工程化难度的不同,其token输入上限也有差异,如GPT-3限制2018个token、1024个汉字,GPT-4限制32000个token、16000个汉字。在输入限制下,需要一个外挂工具来存放诸多历史信息,为大模型提供长期记忆,避免上下文信息丢失等问题。

同时,向量数据库对于大模型专用显卡没有强依赖性,通过优化存储与索引方式,就可以在普通的硬件上实现高效向量处理,在金融机构算力有限的情况下,可以有效节约算力成本。

最后是大模型的“幻觉”问题。通用大模型出现“一本正经的胡说八道”的情况,在要求绝对准确的金融领域是不被允许的,在大模型精确度尚未达标的情况下,需要外挂知识库来补充大模型存在的知识缺陷,来使其可以给出准确的答案与更实时化的信息。

此外,对合规要求最严格的金融行业而言,出于对用户隐私数据与个人金融数据保护要求,向量数据库的访问权限设置也可以AI大模型将这些数据作为训练语料。

向量数据库具备低延迟查询、高可用、高性能、高扩展性等特性,成为金融机构部署大模型探索中的主流工具。特别是在图像搜索、问答交互、文本分类、智能推荐、语义分析、模糊数据匹配等场景下,应用前景广泛。

未来人工智能新形态:AI Agent

基于人工智能的RPA解决方案并不新鲜,金融机构通过RPA技术,让软件机器人代替业务人员完成各类软件系统操作与业务处理,实现业务流程链接与自动化处理,从而让人工专注于更有价值的工作任务。RPA的应用提高了员工的工作效率,减少了因人工疏漏导致的流程错误,也满足了跨系统流程连接与数据集成的需求。

但在金融机构的实践过程中,RPA的落地应用也存在挑战,其中最核心的问题是,业务流程并不是按预期一样一成不变的,面对动态业务环境,特别是对于不熟悉的场景,RPA可能出现崩溃,无法实现自适应变化,使得业务流程的稳定性难以保障。

AI Agent为RPA的进一步智能化提供了新的解决方案。AI Agent是一种能够感知环境、进行决策、执行动作的智能实体,相比传统的AI,AI Agent可以通过独立思考、调用工具来逐步完成给定目标。这与原本大语言模型的学习能力一脉相承,基于GPT-4等大语言模型规划与用户设定的目标,AI Agent可以在完成并添加新任务后,根据此前任务的结果为自己的工作流设置优先级,同时调用“记忆”,基于历史记录存储过去结果,在错误中学习更新知识,并自主调整任务。

这切中了传统RPA机器人工作中的业务痛点。当AI Agent+RPA,AI智能体获得了不断适应变化环境的能力,同时可以学习并实时洞察业务流程,根据用户需求自主完成工作流构建,将动态决策自动编排进入工作流程中,并主动执行处理完成相应的复杂决策。

未来,基于大模型驱动的AI Agent,被普遍认为是人工智能应用的新形态,相比于过去人工智能技术的相关应用,AI Agent表现出惊人的自主性与智能性,数据显示过去两年间针对AI Agent的研究投入增幅达到300%。

21世纪资管研究院梳理各大银行科技投入与科技人员数量发现,近两年来银行科技投入已开始出现下滑态势,科技人员新增数量也逐步减少。在云平台等基础设施建设已初步完成后,下一步是释放科技人员生产力。

AI Agent与RPA等传统技术结合,应用于金融服务的各类场景,以自主学习的能力可以及时解决非给定流程中的其他问题,在金融数据合规与隐私安全保护合规的情况下,有望成为金融从业人员与客户未来的AI助手。

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。

热文推荐

首页 | 新闻| 财经| 房产| 娱乐| 旅游| 时尚| 生活| 科技| 健康| 汽车| 教育| 今日北京 | 电子报

Copyright @ 2010- 网站地图
关于同意京财时报设立互联网站并提供新闻信息服务的批复