近期,中国工业互联网研究院(简称“工联院”)针对人工智能大模型在中文工业领域的知识问答能力进行系统性评测。结果显示,百度文心一言表现超过GPT3.5,综合评价指数在国内排名第一。
工联院本次评测选取了工业领域典型的八大行业。百度文心一言在电子设备、装备、钢铁、采矿、电力、石化、建材等七大行业均获国内第一。
五大院士,八大IEEE Fellow,共十三位顶级专家构成了专家委员会。评测对象涵盖GPT4、GPT3.5、文心一言、ChatGLM等国内外具有代表性的头部大模型。评估结果选取性能前六名的模型进行公布。
(资料图片仅供参考)
百度文心一言在国内“最懂工业”
本次工业知识问答测试主要分为客观题与主观题两大类,总计超过1100个问题。主观题主要考察四大维度:基础能力、语句能力、概括能力和逻辑能力。
评测结果显示,GPT4表现最佳。国内头部大模型表现亮眼,整体与GPT3.5相当。其中百度文心一言表现超过GPT3.5,在国内大模型中排名第一。
在客观题环节,评测结果显示,GPT4与文心一言表现好于其他大模型。但评测结果也同时指出,大模型普遍准确率有较大的提升空间。
主观题方面,国内大模型的基础能力、语句能力与GPT4接近,概括能力、逻辑能力与GPT4有一定差距。
在大模型的自我认知能力和污染问题分析能力上,GPT4相较于其他大模型表现出更好的能力。
大模型发展新热点:丰富特定行业专业知识
虽然国内大模型在本次评测表现较好,甚至在部分行业赶超GPT3.5,但工联院评测报告也指出,国内外通用大模型在工业知识问答领域探索仍处于初级阶段,国内大模型与GPT4有差距,比如行业间的泛化能力有待加强。
实际上,工联院评测报告揭示出通用大模型落地垂直行业的痛点,缺乏特定行业的专业知识。
关于解决难题的方法,工联院评测报告给出的建议是,进一步丰富相关专业领域的数据训练集,进一步进行专业化的微调。
当前,国内科技公司纷纷加强与工业企业合作,期望通过在实际场景中探索应用大模型,弥补差距,赶超GPT4.0。
比如在本次评测中位居国内模型第一的百度文心一言,与南方电网电力调度控制中心在电力调度场景探索使用调度AI大模型。在汽车行业,长安汽车基于百度文心大模型正在开发生成式人工智能产品,赋能一款量产车型,实现提升用户体验的目标。除了能源、汽车制造,百度智能云还在建筑、采矿、物流、纺织等领域,探索使用大模型提升运营效率和用户体验效果。
通过在实际场景的探索应用,科技公司可以积攒更多的行业Know-how,扩展相关领域的数据训练集。这种外部真实反馈有助驱动大模型更加快速的实现迭代升级。
未来,工联院将持续开展通用大模型在工业领域更多维度的性能评测,包括但不限于大模型的鲁棒性、安全性以及人类大价值观等。
关键词:
(责任编辑:黄俊飞)推荐内容
- 工联院大模型测评:文心一言在工业领域表
- 快可电子:融资净偿还167.76万元,融资余
- 今日热讯:亚信安全06月29日获沪股通增持
- 市场集体失误 AI浪潮爆发前夕投资者选择
- 618刷新记录的背后:溪木源的稳与国货美
- 焦点要闻:上市仅一天!谷歌首款折叠屏手
- 天天微资讯!记者Vlog丨中国制造在土耳其
- 今亮点!红虫养殖技术_红虫养殖
- 【Fritillaria】一些前日谈(三)_当前热门
- 中巴经济走廊卡洛特水电站运行一周年-每
- 每日资讯:快问快“达”| 这些外国大咖
- 苏试试验:后期会继续扩充中心实验室产能
- 足球——中甲:广西平果哈嘹胜延边龙鼎|
- 缀的拼音_缀的造句 微动态
- AC米兰敲响马德里竞技队的大门,求购罗马
- 河北集中销毁120余吨假冒伪劣物品 每日观察
- 锐捷史江涛:推进Wi-Fi 7技术在更多行业
- 符文工房5星星马铃薯饼怎么做
- 我国首次进口肯尼亚野生鳀鱼产品 亮相中
- 6月29日皇马科技涨5.32%,睿远成长价值混
- 天天快消息!胡锡进炒股第三天:“小蜜月
- 塑造新引擎,泉城加快打造工业互联网高地
- 每日焦点!椰油烷基伯胺商品报价动态(20
- 装修软装包括哪些东西_软装是什么
- yellow bird(yellow 网站) 全球新视野
- 环球热点评!2021年女排赛事时间表_2019
- 二八分化 房地产投资端“优质杠杆”发力
- 收废品铝多少钱一公斤 铝多少钱一公斤_
- 首创钜大提前终止资产支持证券计划_世界
- 做活做强水经济 文旅产业焕新机 | 启
- 愿闻其声|童声诵读经典——《论语·先进
- 焦点速看:“中国林都”伊春:林区不伐木
- 县域直播、宠物经济……小微经济呈现八大
- 无人问津!昔日NBA巨星面临失业,后悔当
- 戏曲脸谱手绘壁纸_戏曲脸谱
- 球队助理教练塞尔吉奥斯卡里奥洛今日将出
- 甘为苗乡育英才——记城步苗族自治县第一
- 世界快资讯:不用笔迹鉴定就能确认的情形
- 又有两家宣告裁员,海外游戏裁员潮来临?
- 英雄联盟打开没有登录界面_英雄联盟登录
- 热点评!6月28日基金净值:工银稳健瑞盈
- 哈登虽破马龙纪录,但与24年总冠军神人还
- 谷歌正在通过安卓上的Chrome标志测试互联
- 因为你不是电影,而是我的现实 全球独家
- 世界快讯:佛山9岁男孩不幸离世,父亲含泪
- 艾叶放冷冻可以放多久啊 艾叶有哪些功效
- 【全球速看料】上海金山:“校园石榴籽”
- 出海记·走进非洲③丨“云端丝路” 连接
- 高中化学知识点规律考点,高考化学实验的
- 全球热推荐:庄士中国(00298.HK)年度盈转
- 市场风格不稳定,短线情绪脱离趋势情绪走
- 牟平区2023年小学划片招生入学工作指南-
- 世界关注:白夜极光水队转色角色推荐 白
- 成都喜迎大运会惠民消费券怎么实名认证?
- 环球消息!抖音如何取消浏览记录_抖音在
- 天天快报!科技成果评价机构认定_科技成果
- 九项NBA总决赛单场纪录,哪一个最容易被
- 流星雨是怎么形成的?流星雨有什么寓意和
- 暗黑破坏神4荣誉赌局任务怎么做一览
- 广州国企“晒”成绩单啦!
- 天天快消息!胡锡进炒股第三天:“小蜜月
- 塑造新引擎,泉城加快打造工业互联网高地
- 每日焦点!椰油烷基伯胺商品报价动态(20
- 装修软装包括哪些东西_软装是什么
- yellow bird(yellow 网站) 全球新视野
- 环球热点评!2021年女排赛事时间表_2019
- 二八分化 房地产投资端“优质杠杆”发力
- 收废品铝多少钱一公斤 铝多少钱一公斤_
- 首创钜大提前终止资产支持证券计划_世界
- 做活做强水经济 文旅产业焕新机 | 启
- 愿闻其声|童声诵读经典——《论语·先进
- 焦点速看:“中国林都”伊春:林区不伐木
- 县域直播、宠物经济……小微经济呈现八大
- 无人问津!昔日NBA巨星面临失业,后悔当
- 戏曲脸谱手绘壁纸_戏曲脸谱
- 球队助理教练塞尔吉奥斯卡里奥洛今日将出
- 甘为苗乡育英才——记城步苗族自治县第一
- 世界快资讯:不用笔迹鉴定就能确认的情形
- 又有两家宣告裁员,海外游戏裁员潮来临?
- 英雄联盟打开没有登录界面_英雄联盟登录
- 热点评!6月28日基金净值:工银稳健瑞盈
- 哈登虽破马龙纪录,但与24年总冠军神人还
- 谷歌正在通过安卓上的Chrome标志测试互联
- 因为你不是电影,而是我的现实 全球独家
- 世界快讯:佛山9岁男孩不幸离世,父亲含泪
- 艾叶放冷冻可以放多久啊 艾叶有哪些功效
- 【全球速看料】上海金山:“校园石榴籽”
- 出海记·走进非洲③丨“云端丝路” 连接
- 高中化学知识点规律考点,高考化学实验的
- 全球热推荐:庄士中国(00298.HK)年度盈转
- 市场风格不稳定,短线情绪脱离趋势情绪走
- 牟平区2023年小学划片招生入学工作指南-
- 世界关注:白夜极光水队转色角色推荐 白
- 成都喜迎大运会惠民消费券怎么实名认证?
- 环球消息!抖音如何取消浏览记录_抖音在
- 天天快报!科技成果评价机构认定_科技成果
- 九项NBA总决赛单场纪录,哪一个最容易被
- 流星雨是怎么形成的?流星雨有什么寓意和
- 暗黑破坏神4荣誉赌局任务怎么做一览
- 广州国企“晒”成绩单啦!
- 阿莫西林颗粒用量儿童_阿莫西林颗粒用法
- 清朱地剔黑花鸟纹盒 世界观热点
- Agile Space Industries获得1300万美元
- 每日视点!GDR发行终止再添一例!爱旭股
- 侯友宜公布竞办团队 金溥聪出任执行长_
- 天天微头条丨中央纪委国家监委对吉林省政
- 中国近20城放松住房限购,限制性购房政策
- 热推荐:6出5进,皇马克星归来,抗衡曼城
- 6月28日生意社燃料油基准价为4912.00元/吨
- 元力股份:连续4日融资净偿还累计809.41
- 绿叶制药(02186.HK)拟发行1.8亿美元可转换债券
- 环球微速讯:沪深港通数据监测2023年06月
- 速讯:完美圈套
- 今日最新!机构:2023年中国AI服务器市场
- 武汉比亚迪盛世新景汽车销售有限公司成立
- 东风起亚k3首付 起亚kx3首付多少钱)
- 2023年青海省养老金上调方案公布最新消息
- 环球消息!换直瀑中网辣眼睛,全新英仕派
- 环球看热讯:房企哭爹喊娘,李嘉诚卷“土
- 唐山市要求在严格执行现有管控措施的基础