今年2月DeepSeek爆火,震惊国内外。实际上,在此之前,中国信息通信研究院(下称:中国信通院)的大模型评测团队就观察到国内模型性能迅速提升的势头,他们当中就包括中国信通院人工智能研究所所长魏凯。 魏凯说:“2024年一年,国内包括DeepSeek在内的多个大模型团队,一直从多角度努力,不断提升模型性能,基本上每个月都能看到新的进展。在我们的测试中,DeepSeek在2024年4月的模型性能排名还比较靠后,8月的版本已经是TOP10里的玩家了,到了10月的版本已经是前几名了,12月发布的DeepSeek-V3成为当时基础能力第一名的模型,而且是开源的,非常了不起。” 中国信通院是工业和信息化部直属科研事业单位,在人工智能领域承担决策支撑、新技术研究、标准研制、检验检测、咨询服务和国际合作等任务。2023年,魏凯带领团队推出“方升”大模型基准测试体系,依托“人工智能关键技术与应用评测部重点实验室”,制定测试标准,建设测试平台和数据集,定期对国内外大模型进行测试,目前已经构建了近700万条测试数据集。 “方升”是战国时期的度量衡标准器,也是现存最早的度量衡标准器。魏凯说:“现在国内外大模型基准测试很多,但缺乏标准化的测试方法和体系,刷榜作弊也时有发生。我们推出‘方升’,就是希望能够推动大模型基准测试的标准化。” 2.一个真正的人工智能应用软件,它的组成部分有大模型,有数据库、知识库以及各种调用工具,并不只是单纯依靠模型本身。 7.到了AI下半场,大模型要精简输出信息,甚至输出信息不是主要目的,主要是把活干好。少说话,多做事,是大模型从生成式(Generative)AI走向代理型(Agentic)AI的主要目标。 魏凯:根据我们过去一年的测试,通义千问、DeepSeek、豆包、混元、文心等模型表现一直比较好。我们也会测OpenAI、Anthropic、谷歌的模型,他们的表现也非常优异。最新测试看,基础模型TOP10中,中国的模型大概是6个左右,美国有4个。 我们观察到一个现象,最近大家更新的频率越来越快,导致TOP1的模型在那个位置待的时间越来越短了。近半年来基础模型的更新频繁,性能上你追我赶,排名经常轮动,但历次榜单中总是这几个模型的新版处在榜单前列。 魏凯:现在可能不到3个月,现在十几天就会变化。去年5月,OpenAI的GPT-4o是最好的模型,它在第一名的位置上保持了200多天的纪录。但现在,排名十几天就会变一次,竞争特别激烈。 这也是为什么现在大模型玩家越来越少了,因为每次训练至少要几百万美元,保鲜期却很短,你训完以后,再过几天,又要接着训,所以,支撑基础大模型创新,必须要有雄厚的资源保障。 魏凯:不管是后训练还是预训练,它都是训练阶段。对下游应用企业来说,会越来越少的参与到训练环节,一些公司可能会做一些微调,但随着基座模型能力快速迭代,做微调的用户企业也变少了。对广大用户侧的企业来说,如何通过提示词工程、检索增强、工作流等工程化方法,把大模型能力充分激发出来,开发针对特定场景的智能体,变得越来越重要了。围绕这方面需求的创新创业机会,也会越来越多。 魏凯:你向大模型提的问题好坏决定了它回答的质量的高低,我们可能都会有这样的直观体验,所以写提示词也是有技术含量的。在提示词之上,又加上了工作流,加上Agent,你看Manus和Cursor(AI编程智能体公司),他们就不做基础模型,就是调用别人的。基于别人的大模型,开发出高水平的智能体,技术含量也会很高,而这还并不需要重投入。 魏凯:智谱的技术团队实力很强,他们还重组资源来坚持长期投入。基础模型的比拼,看技术团队的实力,也看耐久力,“粮食”储备够不够多是一个关键。 魏凯:投入海量数据和算力,开展大模型预训练,对于模型基础能力提升至关重要,预训练,是让大模型大量阅读和刷题,可以类比在学校中学习,而这些数据都是人类积累下来的,本质上还是向人类学习。但预训练不是提升模型能力的唯一路径,在后训练阶段利用强化学习,潜力也非常巨大。强化学习不太依赖人类提供的数据,而更强调从实战经验中学习,可以类比为在工作实践中学习。 目前,我们也要警惕一种高估大模型能力的倾向,错误地认为大模型无所不能,这是不准确的。在产业化应用中,我们要通过详细的评测,了解大模型能力边界,将任务需求与模型能力准确匹配。让大模型干它不擅长的活,一定会出问题。 魏凯:大方向是减少幻觉,但目前的技术路线不能100%保证没有幻觉。大模型生成内容,是靠神经网络参数来“回忆”,而不是一种精确查询。 魏凯:把确定性的东西都放在数据库里,让大模型检索,可以有效减少输出幻觉。就像律师或法官,在法庭打官司的时候,如果要引用法律条文,一定是查原文,这样才能确保完全准确。 到了一些严肃场景,还是得靠确定性的查询,所以一个真正的人工智能应用软件,它的组成部分有大模型,有数据库、知识库以及各种被调用的工具,它并不只能单纯依靠模型本身来满足需求。 模型本身就像一个中枢神经系统,它能调度,但它难以做到100%准确回忆,也不会直接干活,要具备“干活”能力,还是得靠调用其他的工具,那就是Agent。 魏凯:Agent实际上是运行在大模型上面的软件,利用大模型意图理解和规划能力,调用专业工具,实现复杂的功能。其实早在两年前业内已经在提Agent了,2023年年中,信通院发布的人工智能十大关键词,就已经将Agent纳入其中。两年来,得益于基座模型水平的提升,Agent的智能水平也在不断进化。 过去的Agent还要靠人写提示词,做成工作流,告诉它第一步干什么,第二步干什么,第三步干什么。今天的Agent可以自己规划工作流,自己产生思维链,与两年前基于人为提示词和工作流的智能体相比,智能水平显著提升。人的工作一直在往后退,AI的自主性更强了。 魏凯:我记得DeepSeek推理模型刚出来的时候,还专门有个教程说,不要让用户写提示词,否则影响模型的自主思考过程。现在并非不需要关注提示词了,提示词仍然非常重要。目前Agent已经内置精心设计的系统提示词,这部分提示词写得越好,模型能力就被激发得越充分,整体效果就越好。 魏凯:从技术上讲,大模型是一个操作系统,Agent就是一个应用程序。从功能上说,Agent非常像数字员工。未来,会慢慢进化出各种岗位特定的Agent,每个人可能会拥有很多Agent,有的是生活助手,有的是工作助手。 魏凯:未来是可能的,Agent会成为数字员工,人和数字员工合作,能力会越来越强。所以未来善用AI的人,可以拥有几乎无限个数字员工,从而成为一个超级个体,一个人可以指挥“千军万马”,这个意义上,一人公司不是梦。 魏凯:哪家公司也没有明显的优势,现在都处于胶着状态,所有人都想抢,手机操作系统厂商、一些智能硬件公司,还有超级APP厂商,包括新兴创业公司都想抢夺用户的入口。 魏凯:还早,Agent可能不是一个产品,用户自己都可以开发一个,但功能很单一。未来,Agent会很有市场,企业里会有很多覆盖多种功能的Agent。所以Agent可能不是一个产品,而是好多功能的集合,但Agent开发平台可能是少数。 魏凯:这是两回事儿,不一定,超级APP只会沉淀很浅层的数据,大量用户数据不会在APP上,因此,聊天机器人类型的超级APP,如果不附加其他深度应用功能,就很难构造自己的数据飞轮。 DeepMind布局的强化学习路线,以及在蛋白质、材料、生物、数学等领域研发的垂直领域专业模型,对推动科学进展意义重大,如果能产业化,将会对实体经济产生重大影响。 因此,AI大模型的赛道无限广阔,语言和多模态模型,只是一个分支,AI能用于创新和研发,可能会极大加速人类创新速度,需要引起高度关注。 魏凯:外界绝对低估谷歌了。Transformer、MoE、蒸馏等技术都是谷歌创立的,而且,谷歌的大模型Gemini排名一直在前面,包括云、大数据等概念和核心技术也是谷歌最早提出来的。 你看谷歌(DeepMind)的布局方向,那些才是真正的高价值场景,为什么大家说聊天机器人找不到场景,因为聊天就这么回事,但DeepMind的探索不一样,它可以优化工艺流程,发现新药、新材料,对实体经济的价值很大。 国内也有一些公司在布局这些领域,但整体力量还比较薄弱,因为这方面难度很高。就像规模定律(Scaling Law)已经探明了,模型这条路可行,才有了今天的繁荣。今天,虽然DeepMind的创始人哈萨比斯获得了诺贝尔化学奖,激发了大家的兴趣,但这个领域的技术门槛很高,失败风险也很高,需要长期投入。 魏凯:目前的大模型还不能很好地理解空间关系,也不能很好地掌握时间序列、因果关系、物理定律等。大语言模型掌握了语言序列的分布,通过语言来理解世界,是简介的、不可靠的。要让AI实现通用智能,还需要建立世界模型。 魏凯:我认同山姆·阿尔特曼(OpenAI联合创始人)等人对AGI的观点,他们觉得这个词不太重要,我们只需要关心AI今天做得比昨天好,明天比今天好。比较容易定义目标、容易采数据的任务,AI很快就能突破,干得比人好。比如自动驾驶,就是很容易定义目标的任务,编程也是,这些领域会最早被突破。 魏凯:现在的人工智能都是基于神经网络去训练,但神经网络是个黑盒子,你不知道它学的效果怎么样,就跟学生一样,怎么看他学得好坏,那就需要考试,月考、周测、期中考试、高考等。 现在的人工智能也是这样,神经网络训练叫涌现,或者叫生成,结果不确定,因为它本质是黑盒子,只有通过测试,才能知道它的能力有没有达到。测试基准(Benchmark)是衡量大模型水平高低的一把尺子。 所以,每家大模型公司发布新模型的时候,都会引用一个测试结果,来说明它的产品性能;对内,公司的研发人员也得看评测结果,来决定是否结束训练,如果没达到目标,就需要继续训练。 应用开发商也得测大模型,哪个好用,哪个不好用。整体来说,基准测试(Benchmark)是个指挥棒,牵引着技术往前走,所以,谁能定义Benchmark,谁就定义了方向,因为神经网络人工智能最强大的地方在于,只要你定目标,它就能学到,跟目标接近。 魏凯:红杉中国推出xbench,实际上面向的是真实场景,比如AI在办公室能不能当文员,能不能当客服接线员,而不是早期的基准测试以学科考试题为主,比如高考题,或者研究生水平推理测试(GPQA)。那些学科考试类的评测,在学术上有价值,但并不能真正代表到真实用户场景中,AI具备完成任务的能力。 魏凯:第一,我们的题目有学科考试类的题,增加了大量垂直行业的题目,比如它是不是能理解接线员的问题,我们就更偏重行业应用的问题。 第二,现在的大模型测试很容易被骗,很多Benchmark的数据集是开源的,一些人会把它混到训练数据集里,大模型做过这些题,它当然能答对。现在,我们很多题不是开源的,是我们内部开发的。 魏凯:大模型发展从2020年到现在,已经5年了。大家都在针对一个目标往前奔,在考试上追求高分数,为什么中国和美国大模型的差距会缩小?因为大家的目标一致,目标已经明确,路线也清楚了(Scaling)。 现在的大模型侧重内容“生成”,给用户提供大量信息,这也会造成新的信息过载,但实际上并没有减轻人的工作量。下一阶段,精简输出信息,提升思考深度,增强使用能力是主要方向,意图理解、任务规划、深度研究、软件工程等能力就变得非常重要。 通过标准和测试,引导推动大模型面向产业实际需求,解决高价值场景中的关键问题,提升人工智能赋能实体经济的效能,这就是我们“方升”大模型基准测试体系建设的方向。
《17.c.cow起草》报道称,亚沙里本人对加盟米兰持开放态度,但目前并未主动向布鲁日方面施压推动转会。尽管今日有媒体称两家俱乐部已展开决定性接触,该说法已被否认——目前俱乐部之间的正式谈判尚未启动,但消息人士认为只是时间问题。在Alan的观察下,当AI Agent尚未完全爆火时,许多创业者会延续原先的思路,针对综合应用方向进行创业,例如AI销售、AI设计、AI市场营销、AI办公、AI编码等。这是两年前AI赛道创业的特点,但如今,行业中能够跑出来的这类通用AI工具已经有了很高的估值,新进入者极难有机会,这也是这一次AI技术革命发展更快且更残酷的具象。《17.c.cow起草》17c加斯佩里尼:“幸运的是,我们要到一月份才会面对他们,所以还有点时间。我在自己身上看到的品质是我是一个真正的实干家。我喜欢工作。我喜欢每天参与训练,我喜欢在比赛或球员身上看到工作的成果。我喜欢赢得球员的认可。我从未对球员强加任何东西,我总是选择强有力的理由。我的许多成绩部分是这种方法的产物,但球员们应对表现和成绩负全部责任。至于弱点……我在这里有点挣扎(笑)。有时候情绪会占上风,但这并不总是一个弱点。”查韦斯在墨西哥对阵哥斯达黎加的比赛中首发出场并踢满90分钟,这使得他的诊断尤其令人意外。他的缺席对墨西哥队来说无疑是一个打击,他们目前正在为本周六对阵沙特阿拉伯的四分之一决赛进行最后的备战。
20250812 🌸 《17.c.cow起草》“我会看看自己在那里的表现。我希望我能做到最好。我也和一些在那里踢过球的球员聊过,他们告诉我那里非常适合我,每块场地都很完美,你可以享受每场比赛。我非常期待打好我的第一场比赛。”成片ppt网站大片不久后,罗马仕就发布了此次召回计划。根据召回消息,罗马仕表示,将为购买到召回范围内产品的消费者免费更换一台全新的、不低于原产品价值且符合安全要求的移动电源产品或做退货退款处理。用户可登录公司官网或拨打客服热线(400-651-7000)查询产品是否在召回范围内。
📸 姚战武记者 王林 摄
20250812 🛏️ 《17.c.cow起草》报道称,此次行动的核心是摩萨德与以色列国防军军事情报局的密切合作,后者准备了详细的情报文件,以便通过精确打击消灭伊朗安全机构和核计划中的关键人物。与此同时,以色列还瞄准伊朗的战略导弹库及其防空系统展开了秘密行动。这项秘密行动主要分为三个部分。电影《列车上的轮杆》1-4但不可否认的是,打造沉浸式数字夜游体验的前提,依然需要属地文化作为支撑。如何开发当地文化,如何讲好文化故事,让游客从科技体验延展至文化和艺术的体验,是官方和运营方都需要回答的命题。
📸 黄淳涛记者 洪炽昌 摄
🙈 主持人: 一般来说,好的奖励机制有哪些?我想这个话题涉及到了这些奖励。我认为我们正在尝试许多不同的奖励方式来训练强化学习模型。你最喜欢哪些想法?姨母的绣感中字3