• 帮助
  • 广告服务

京财时报

滚动新闻:
·中国广电5G用户突破1800万 ·包含本体及DLC、原声带等特典:消息称《地平线:西之绝境》游戏完全版有望 ·理财直播“连麦诊基”基金投教转向“基民视角” ·最新佛山百强榜:民营企业占比超八成,制造业百强营收连续三年增长 ·汇聚金融力量共创美好生活天津滨海农商银行开展“五进入”消保集中宣教活动 ·长四丙火箭成功发射遥感三十三号04星 ·对比不同理财产品的业绩?这个指标你一定要搞懂 ·专利显示苹果公司未来有望利用电磁线圈“循环热量”,帮助冷却过热的设备 ·全球商品观察|国际大米价格指数达15年来名义高点,中国大米市场受国际影响 ·本田展示未来电动汽车愿景,三款概念车将亮相东京车展 ·微软全新OutlookforWindows支持苹果iCloud帐户,离线 ·安徽宿州:鼓励“现房销售”,年底前买房发放至少5000元/套消费券 ·昆仑健康保险广东分公司走进养老院及社区公园,开展金融知识普及集中宣传活动 ·21深度|蔚来手机发布:车手互联兵临城下 ·年轻人首台阅读本:掌阅iReaderLight3发布,6英寸墨水屏、AI ·走进江南古街、传播金融知识浦发银行无锡分行积极开展”集中教育宣传日“活动 ·微软Win11彩蛋:下次Moment更新有望明年2月24日发布 ·阿里云宣布开源通义千问140亿参数模型Qwen-14B及其对话模型,免费 ·廿载著章丨国寿寿险上市20年:资产规模劲增15倍,高质量发展稳健迈进 ·15.69万元起,2024款小鹏P5汽车正式上市:精简至两款,车长增加5 

上海AI实验室发布“书生?浦语”大模型:中文考试超越ChatGPT

京财时报   来源:IT之家    发布时间:2023-06-07 15:30:47   阅读量:8153   

感谢IT之家网友 华南吴彦祖、航空先生 的线索投递!

,IT之家从上海人工智能实验室官方公众号获悉,6 月 7 日,上海人工智能实验室、商汤科技联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型“书生?浦语”(InternLM)。“书生?浦语”具有 1040 亿参数,是在包含 1.6 万亿 token 的多语种高质量数据集上训练而成。

图源 Pexels

上海人工智能实验室称,全面评测结果显示,“书生?浦语”不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀,而且具备很强的综合能力,因而在综合性考试中表现突出,在多项中文考试中取得超越 ChatGPT 的成绩,其中就包括中国高考各科目的数据集。

据介绍,“书生?浦语”联合团队选取了 20 余项评测对其进行检验,其中包含全球最具影响力的四个综合性考试评测集:由伯克利加州大学等高校构建的多任务考试评测集 MMLU;由微软研究院推出的学科考试评测集 AGIEval;由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集 C-Eval;由复旦大学研究团队构建的高考题目评测集 Gaokao。

实验室联合团队对“书生?浦语”、GLM-130B、LLaMA-65B、ChatGPT 和 GPT-4 进行了全面测试,针对上述四个评测集的成绩对比如下。

可以看到,“书生?浦语”不仅显著超越了 GLM-130B 和 LLaMA-65B 等学术开源模型,还在 AGIEval、C-Eval 以及 Gaokao 等多个综合性考试中领先于 ChatGPT;在以美国考试为主的 MMLU 上实现和 ChatGPT 持平。这些综合性考试的成绩反映出“书生?浦语”扎实的知识掌握程度和优秀的综合能力。

虽然 “书生?浦语”在考试评测上取得优秀成绩,但在测评中也可以看到,大语言模型仍然存在不少能力局限性。“书生?浦语” 受限于 2K 的语境窗口长度,在长文理解、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。另外,在实际对话中,大语言模型还普遍存在幻觉、概念混淆等问题;这些局限使得大语言模型在开放场景中的使用还有很长的路要走。

四个综合性考试评测数据集结果:

MMLU 是由伯克利加州大学联合哥伦比亚大学、芝加哥大学和 UIUC 公共构建的多任务考试评测集,涵盖了初等数学、物理、化学、计算机科学、美国历史、法律、经济、外交等多个学科。细分科目结果如下表所示。

AGIEval 是由微软研究院在今年新提出的学科考试评测集,主要目标是通过面向的考试来评估语言模型的能力,从而实现模型智能和人类智能的对比。这个评测集基于中国和美国各类考试构建了 19 个评测大项,包括了中国各科高考、司法考试以及美国的 SAT、LSAT、GRE 和 GMAT 等重要考试。值得一提的是,在这 19 个大项有 9 个大项是中国高考,通常也列为一个重要的评测子集 AGIEval。下列表格中,带 GK 的是中国高考科目。

C-Eval 是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集。它包含了 52 个科目的近 14000 道考题,涵盖数学、物理、化学、生物、历史、政治、计算机等学科考试,以及面向公务员、注册会计师、律师、医生的职业考试。测试结果可以通过 leaderboard 获得。

Gaokao 是由复旦大学研究团队构建的基于中国高考题目的综合性考试评测集,包含了中国高考的各个科目,以及选择、填空、问答等多种题型。在 GaoKao 测评中,“书生?浦语”在超过 75% 的项目中均领先 ChatGPT。

分项评测:阅读理解、推理能力表现出色

为了避免“偏科”,研究人员还通过多个学术评测集,对“书生?浦语”等语言模型的分项能力进行了评测对比。结果显示,“书生?浦语”不仅在中英文的阅读理解方面表现突出,并且在数学推理、编程能力等评测中也取得了较好的成绩。

在知识问答方面,“书生?浦语”在 TriviaQA 和 NaturalQuestions 两项评测上得分为 69.8 和 27.6,均超越 LLaMA-65B。

在阅读理解方面,“书生?浦语”明显领先于 LLaMA-65B 和 ChatGPT。浦语在初中和高中英语阅读理解中得分为 92.7 和 88.9,? ChatGPT 得分为 85.6 和 81.2,LLaMA-65B 则更低。

在中文理解方面,“书生?浦语”的成绩全面超越主要的两个中文语言模型 ERNIE-260B 和 GLM-130B。

在多语翻译方面,“书生?浦语”在多语种互译中的平均得分为 33.9,显著超越 LLaMA。

在数学推理方面,“书生?浦语”在 GSM8K 和 MATH 这两项被广泛用于评测的数学考试中,分别取得 62.9 和 14.9 的得分,明显领先于 Google 的 PaLM-540B与 LLaMA-65B(得分为 50.9 和 10.9)。

在编程能力方面,“书生?浦语”在 HumanEval 和 MBPP 这两项最具代表性的考评中,分别取得 28.1 和 41.4 的得分,明显领先于 PaLM-540B(得分为 26.2 和 36.8)与 LLaMA-65B(得分为 23.7 和 37.7)。

此外,研究人员还对“书生?浦语”的安全性进行评测,在 TruthfulQA以及 CrowS-Pairs(主要评价回答是否含有偏见)上,“书生?浦语”均达到领先水平。

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。

热文推荐

首页 | 新闻| 财经| 房产| 娱乐| 旅游| 时尚| 生活| 科技| 健康| 汽车| 教育| 今日北京 | 电子报

Copyright @ 2010- 网站地图
关于同意京财时报设立互联网站并提供新闻信息服务的批复