撸撸网
值得细心的是，这次Qwen不错说是史上最大限制开源，基础模子平直开释了7个参数型号，其中还有六七个数学、代码模子。
像14B、32B以及轻量级Turbo模子胜过GPT-4o-mini。
除3B和72B模子外，这次整个开源模子均接受Apache 2.0许可。
Qwen2.5：0.5B、1.5B、3B、7B、14B、32B和72B
Qwen2.5-Coder：1.5B、7B和32B（on the way）
Qwen2.5-Math：1.5B、7B和72B。
平直一整个这个词头昏脑闷，仍是有网友起始用上了。
Qwen2.5 72B与LIama3.1 405B水平相当
比拟于Qwen2系列，Qwen2.5系列主要有这样几个方面升级。
最初，全面开源。
他们方案标明，用户关于分娩用的10B-30B参数规模以及移动端应用的3B限制的模子有浓厚敬爱。
因此在原有开源同尺寸（0.5/1.5/7/72B）基础上，还新增了14B、32B以及3B的模子。
同期，通义还推出了Qwen-Plus与Qwen-Turbo版块，不错通过阿里云大模子奇迹平台的API奇迹进行体验。
不错看到，超半数模子齐撑握128K高下文，最多可生成8K高下文。
在他们的概述评测中，整个模子跟上一代比拟结束了才略的跃迁，比如Qwen2.5-32B胜过Qwen2-72B，Qwen2.5-14B胜过Qwen2-57B-A14B。
其次，预训练数据集更大更高质料，从底本7万亿个token推广到最多18万亿个token。
然后即是多方面的才略增强，比如取得更多学问、数学编码才略以及更允洽东谈主类偏好。
此外，还有在指示追踪、长文本生成（从1k增多到8K以上token）、结构化数据贯串（如表格）和结构化输降生成（尤其是JSON）方面均有显贵普及。
来望望实质戒指。
表格贯串
生成JSON输出
此外，Qwen2.5模子总体上对系统领导的各类性具有更强的稳妥才略，增强了聊天机器东谈主的变装演出结束和要求设定才略。
那么就来望望具体模子才略若何。
旗舰模子在前文仍是看到，它在各个任务齐有较着的跳动。
而像0.5B、1.5B以及3B这样的小模子，性能粗略是这样的：
值得细心的是，Qwen2.5-0.5B型号在各类数学和编码任务上的阐发优于Gemma2-2.6B。
除此除外，Qwen2.5还展现了指示调优之后的模子性能，72B-Instruct在几项要津任务中特出了更大的Llama-3.1-405B，尤其在数学（MATH：83.1）、编码（LiveCodeBench：55.5）和聊天（Arena-Hard：81.2）方面阐发出色。
还有像32B-Instruct、14B-Instruct以及Qwen2.5-Turbo，展现了与GPT-4o-mini相当的才略。
Qwen史上最大限制开源
除了基础模子，vvvv8这次Qwen还放出了代码和数学专科模子。
Qwen2.5-Coder提供了三种模子大小：1.5B、7B和32B版块（行将推出）。
主要有两点校正：代码训练数据限制的扩大以及编码才略的增强。
Qwen2.5-Coder在更大限制的代码数据上进行训练，包括源代码、文本代码基础数据和合成数据，探讨5.5万亿个token。
它撑握128K高下文，障翳92种编程话语。开源的7B版块致使特出了DeepSeek-Coder-V2-Lite和Codestral等更大型的模子，成为现时最雄壮的基础代码模子之一。
体检偷拍
而数学模子这边，Qwen2.5-Math主要撑握通过CoT和TIR惩办英文和华文数学问题。
现时不提议将此系列模子用于其他任务。
Qwen2.5-Math这一系列开源了包括基础模子Qwen2.5-Math-1.5B/7B/72B、指示调优模子Qwen2.5-Math-1.5B/7B/72B-Instruct，以及数学奖励模子Qwen2.5-Math-RM-72B。
与Qwen2-Math系列仅撑握使用念念维链（CoT）惩办英文数学问题不同，Qwen2.5-Math 系列推广撑握使用念念维链和用具集成推理（TIR）惩办中英文数学问题。
跟上一版块比拟，他们主要干了这三件事来结束基础模子升级。
运用Qwen2-Math-72B-Instruct模子来合成非凡的高质料数学预训练数据。
从汇集资源、竹素和代码中汇集更多高质料的数学数据，尤其是华文数据，跨越多个手艺周期。
运用Qwen2.5系列基础模子进行参数起始化，展现出更雄壮的话语贯串、代码生成和文本推理才略。
最终结束了才略的普及，比如1.5B/7B/72B在高考数学问答平差别普及了 3.4、12.2、19.8 分。
好了，以上是Qwen2.5系列一整套号称“史上最大限制”的开源。
不叫草莓叫猕猴桃
阿里通义开源肃肃东谈主林俊旸也共享了背后的一些细节。
他最初暗示，在开源Qwen2的那一刻就起始了Qwen2.5名目。
在这经过中，他们意志到了许多问题和装假。
比如在预训练方面，他们们仅仅专注于提高预训练数据的质料和数目，使用了许多全国纯属的要领。
比如文天职类器用于调回高质料数据，LLM 评分器用于对数据进行评分，这样就能在质料和数目之间取得均衡。
还有在创建巨匠模子的同期，团队还运用它们生成合成数据。
在后期训练手艺，用户的响应来匡助他们逐个惩办问题，同期他们也在探索RLHF 要领，尤其是在线学习要领。
关于之后的升级和更新，他暗示受o1启发，以为应该深切方案推理才略。
值得一提的是，在Qwen2.5预热之时，他们团队就显现不叫草莓，叫猕猴桃。
好了，当今猕猴桃不错快快用起来了。
参考联络：
[1]https://x.com/JustinLin610/status/1836461575965938104
[2]https://x.com/Alibaba_Qwen/status/1836449414220779584
[3]https://qwenlm.github.io/blog/qwen2.5/
[4]https://qwenlm.github.io/blog/qwen2.5-llm/
[5]https://qwenlm.github.io/blog/qwen2.5-coder/
[6]https://qwenlm.github.io/blog/qwen2.5-math/撸撸网