搜索
当前所在位置:首页 >> 料台

月之暗面发布首款数学模型 k0

发布时间:2025-07-12 04:30:25 作者:jzho 点击:6452 【 字体:

今天,暗面在京东科技大厦,发布月之暗面创始人杨植麟宣布 Kimi 数学模型 k0-math 正式发布,首款数学其数学能力对标OpenAI o1系列,模型还公布了截止2024年10月 Kimi  月活超过 3600万。暗面

杨植麟称未来会更关注基于强化学习的发布南京师范大学爆料价格方法去scale,不仅仅是首款数学简单地预测下一个token是什么,因为这是模型基于静态信息集,使得大模型不能完成更难的暗面任务。在这个过程中,发布很关键的首款数学是让AI具备思考的能力。

用Next—Token prediction是模型做不到的,而用强化学习的暗面方法一定程度上可以学习到这种思考的方式。例如解一道数学题,发布想要知道它的首款数学上海中学内幕评价解题思路是怎样的,最后的结果是怎么一步步推导出来的,这就是一个深度思考的过程。

伽利略曾说,数学是宇宙的语言,所以数学场景是一个很广泛的应用场景,是培养 AI 具备思考能力的最佳场景。OpenAI的 o1 模型最初也是从数学场景出发,好处是不用跟外界进行交互,可以自成一体。

k0—math正是从数学场景出发,再推理泛化到更多的任务上。

例如,问它一个很难的竞赛题,k0—math 通过大量的尝试,可能尝试了八九中不同的做法,最后发现还没能得到最终的答案,那么它可以把前面几种不同的解法综合一下,就能得到一个正确的答案。

月之暗面发布首款数学模型 k0-math,对标o1

根据上图,在多项基准能力测试中,k0-math 的数学能力可对标全球领先的 OpenAI o1 系列可公开使用的两个模型:o1-mini和o1-preview。在中考、高考、考研以及包含入门竞赛题的MATH等 4 个数学基准测试中,k0-math 初代模型成绩超过o1-mini和o1-preview模型。在两个难度更大的竞赛级别的数学题库 OMNI-MATH 和 AIME 基准测试中,k0-math 初代模型的表现分别达到了 o1-mini 最高成绩的 90% 和 83%。

未来的一到两周时间内,k0-math 强化模型将会放到 Kimi 探索版中,包含了意图增强、信源分析、链式思考三个特点。

月之暗面发布首款数学模型 k0-math,对标o1

其中,模型在深度思考的过程中,生成的学习信息是否都有用以及是否正确,这是强化学习中的一个核心问题,以前做Next—Token  prediction,处理的是静态信息,可以做静态过滤、打分筛选,而在强化学习中则对奖励模型的效果提出挑战,核心是是怎么更好的训练奖励模型,设置奖励的机制,以此来让模型尽可能地减少学习错误的信息。

k0-math在思考的过程中会出现「过度思考」,例如问它1+1等于多少,正常人是不需要思考的,而k0-math 就会给出一整套它的思考推理过程,最后才得出1+1等于2。

对于这个问题,杨植麟称是因为奖励上没有对它的长度做任何的限制,让它自由地思考,也可以通过改变奖励模型的结构,一定程度能抑制过度思考。

同时,杨植麟称,该包含了k0-math 强化模型的 Kimi 探索版大概率会让客户自己选择使用,早期通过这种方式可以更好地分配、满足客户的预期,这里面包含了一个工艺问题,一是能够动态地分配最优的算力,如果模型足够聪明就应该知道什么样的问题不需要想很久,就跟人一样1+1等于几不用想;第二个点是成本不断下降的过程。

未来,k0-math 还将从数学问题上的推理泛化到更多任务上,例如物理学、化学、生物医学等等。

去年今天,是Kimi Chat 面向全社会开放支持的日子,今年10月推出AI搜索功能,再到今天推出数学模型 k0-math,三个动作月之暗面整整走了一年。

可以看到,在一众大模型公司中,月之暗面的产物策略更克制。

杨植麟称,是他们主动做了业务的减法,聚焦去做离 AGI 上限最高的事情,然后做好;始终保持卡和人的比例最高。去年整个大模型行业经历了大扩张,而到目前为止,月之暗面人数是所有大模型公司中最少的,不超过200人。

「我们不希望把团队扩那么大,扩太大对创新会有致命性的伤害。如果你想把团队保持在一定的规模,那最好的方式是在业务上做一些减法。」杨植麟称,一开始月之暗面也尝试过几个产物一起做,这在一定时期内有可能有效,到后来发现还是要聚焦,把一个产物做到极致是最关键的,如果几个业务一起做,把自己活生生变成大厂,创业公司的优势就丢掉了。

杨植麟认为Kimi目前最核心的任务是提升留存。

对于当下愈演愈烈、有关于Scaling Laws「撞墙」的争辩,杨植麟认为「预训练还有空间」,这个空间会在明年释放出来,明年领先的模型会把预训练做到极致。

他判断,接下来最关键的是强化学习带来的工艺范式上改变,但它依然还是scale。至于Scaling Laws是否到上限,核心在于原来用的是静态信息集,这属于简单粗暴的使用方式,现在用强化学习的方式——很多情况下有人参与标注信息的过程,比如人标注 100条信息,就能产生非常大的作用,剩下的让AI自己思考。AI 加上人的杠杆,上限是很高的。「雷峰网(公众号:雷峰网)」


雷峰网原创文章,未经授权禁止转载。详情见转载须知。

月之暗面发布首款数学模型 k0-math,对标o1

阅读全文
相关推荐

蓝振忠也发「英雄帖」,中国版 ChatGPT 明星公司寻找 CEO

蓝振忠也发「英雄帖」,中国版 ChatGPT 明星公司寻找 CEO
「打造中国OpenAI」,「西湖心辰」这家创立时间不到两年的小公司怎么敢夸下海口?相比于国内的其他创业团队,心辰具有以下几大优势:1.在大模型的研究和商业化落地要早一年。积累了超过百万的用户,并训练出 ...

四个月融两轮,千寻智能获 2 亿元天使轮融资;大模型公司卓世科技获亿元人民币 B+ 轮融资;小鹏机器手首次亮相丨AI情报局

四个月融两轮,千寻智能获 2 亿元天使轮融资;大模型公司卓世科技获亿元人民币 B+ 轮融资;小鹏机器手首次亮相丨AI情报局
今日融资快报四个月融两轮,具身智能机器人公司千寻智能获得2亿人民币天使轮融资千寻智能创始人兼CEO韩峰涛在机器人行业拥有十余年丰富经验,曾任珞石机器人联合创始人&CTO,是国内高性能轻型工业机 ...

视觉 AI 的「Foundation Model」,已经发展到哪一步?丨CVPR 2024 现场直击

视觉 AI 的「Foundation Model」,已经发展到哪一步?丨CVPR 2024 现场直击
2024 年美国时间 6 月 17 日至 21 日,IEEE 国际计算机视觉与模式识别会议CVPR)在美国西雅图召开。如大家预料,视觉 Foundation Model 成为今年 CVPR 除自动驾驶 ...

苹果大模型最新论文:AFM 模型多维度评测「出炉」

苹果大模型最新论文:AFM 模型多维度评测「出炉」
编译 | 朱可轩编辑 | 陈彩娴不久前,苹果在全球开发者大会WWDC)上推出了最新个人智能系统 Apple Intelligence,可以深度集成到 iOS 18、iPadOS 18 和 macOS ...

冯德莱恩对中国提出三项要求,外交部回应

冯德莱恩对中国提出三项要求,外交部回应
【环球时报-环球网报道 记者李萌】在7月9日外交部例行记者会上,有记者提问称,欧盟委员会主席冯德莱恩昨天对中国提出了三项要求,其中包括与俄罗斯的合作。中方对此有何评论?对此,发言人毛宁表示, 中俄之间 ...

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现
天下武功唯快不破,但 OpenAI 不走寻常路,新出的 o1 系列宣告天下:我们更慢,但更强了。o1 要花更多的时间思考问题,再做出反应,但在复杂推理层面直接窜了几个档位。在国际数学奥林匹克 (IMO ...

早鸟倒计时3天丨院士领衔、重磅嘉宾云集!中国大模型大会(CLM2024)诚邀您共同探索中国大模型之路!详细日程公开

早鸟倒计时3天丨院士领衔、重磅嘉宾云集!中国大模型大会(CLM2024)诚邀您共同探索中国大模型之路!详细日程公开
近年来,以GPTs为代表的大语言模型引起了全球各界的广泛关注,与之相关的新研究、新产品竞相绽放,颠覆了人们对于人工智能的理解,大模型技术正在引领科技创新的新潮流!为推动大语言模型以及基于大模型的自然语 ...

豆包视频生成大模型正式发布,首次突破多主体互动难关

豆包视频生成大模型正式发布,首次突破多主体互动难关
字节跳动正式宣告进军AI视频生成。9月24日,字节跳动旗下火山引擎在深圳举办AI创新巡展,一举发布了豆包视频生成-PixelDance、豆包视频生成-Seaweed两款大模型,面向企业市场开启邀测。活 ...

《沙丘:觉醒》揭晓游戏中后期体验内容

《沙丘:觉醒》揭晓游戏中后期体验内容
来源标题:《沙丘:觉醒》揭晓游戏中后期体验内容Funcom最近的直播活动展示了为PvE和PvP玩家提供的丰富机制与体验内容《沙丘:觉醒》6月5日抢先体验即将开启6月10日正式全面上线)。近期,开发商F ...

早鸟倒计时3天丨院士领衔、重磅嘉宾云集!中国大模型大会(CLM2024)诚邀您共同探索中国大模型之路!详细日程公开

早鸟倒计时3天丨院士领衔、重磅嘉宾云集!中国大模型大会(CLM2024)诚邀您共同探索中国大模型之路!详细日程公开
近年来,以GPTs为代表的大语言模型引起了全球各界的广泛关注,与之相关的新研究、新产品竞相绽放,颠覆了人们对于人工智能的理解,大模型技术正在引领科技创新的新潮流!为推动大语言模型以及基于大模型的自然语 ...

破解AI算力瓶颈:高通量以太网ETH+协议解锁智算新动能

破解AI算力瓶颈:高通量以太网ETH+协议解锁智算新动能
AI技术的爆发性增长引发了对计算能力的空前需求。这场由数据驱动的智能革命不仅为高性能计算技术的发展注入了新的活力,同时也带来了前所未有的挑战,要求算法优化、硬件升级、系统架构等多个维度都进行深度创新, ...

智谱获华策 1 亿元战略投资,打造影视 AI 研究平台;杨红霞入职香港理工大学;蔚来发布中国首个智能驾驶世界模型丨AI情报局

智谱获华策 1 亿元战略投资,打造影视 AI 研究平台;杨红霞入职香港理工大学;蔚来发布中国首个智能驾驶世界模型丨AI情报局
今日融资快报智谱华章获得浙江华策投资战略投资智谱华章是一家AI知识智能技术开发商,由清华大学计算机系知识工程实验室的技术成果转化而来。智谱宣布获得浙江华策投资有限公司的战略投资。华策影视全资子公司华策 ...
返回顶部