热点资讯

是以磋商扩增它的大小神秘顾客兼职

发布日期：2024-03-07 12:39 点击次数：88

李开复旗下AI公司零一万物神秘顾客兼职，又一位大模子选手登场：

90亿参数Yi-9B。

它堪称Yi系列中的“理科状元”，“恶补”了代码数学，同期笼统才能也没落下。

在一系列肖似范围的开源模子（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5等）中，进展最好。

老规章，发布即开源，尤其对树立者友好：

Yi-9B（BF 16）和其量化版 Yi-9B（Int8）齐能在浪掷级显卡上部署。

一块RTX 4090、一块RTX 3090就可以。

深度扩增+多阶段增量侦探而成

零一万物的Yi眷属此前还是发布了Yi-6B和Yi-34B系列。

这两者齐是在3.1T token中英文数据上进行的预侦探，Yi-9B则在此基础上，加多了0.8T token继续侦探而成。

数据的兑现日历是2023年6月。

起原提到，Yi-9B最大的高出在于数学和代码，那么这俩才能究竟如何提高呢？

零一万物先容：

单靠加多数据量并没法达到预期。

靠的是先加多模子大小，在Yi-6B的基础上增至9B，再进行多阶段数据增量侦探。

领先，怎么个模子大小加多法？

一个前提是，团队通过分析发现：

Yi-6B侦探得还是很充分，再怎么新增更多token练服从可能也不会往上了，是以磋商扩增它的大小。(下图单元不是TB而是B)

怎么增？谜底是深度扩增。

零一万物先容：

对原模子进行宽度扩增会带来更多的性能耗损，通过采纳顺应的layer对模子进行深度扩增后，新增layer的input/output cosine 越接近1.0，即扩增后的模子性能越能保持原有模子的性能，模子性能耗损细小。

依照此想路，零一万物采纳复制Yi-6B相对靠后的16层（12-28 层)，构成了48层的Yi-9B。

践诺透露，这种步调比用Solar-10.7B模子复制中间的16层（8-24层）性能更优。

其次，怎么个多阶段侦探法？

谜底是先加多0.4T包含文本和代码的数据，但数据配比与Yi-6B一样。

神秘顾客_赛优市场调研

然后加多另外的0.4T数据，相同包括文本和代码，但要点加多代码和数学数据的比例。

（悟了，就和咱们在大模子发问里的法门“think step by step”想路一样）

这两步操作完成后，还没完，团队还参考两篇论文（An Empirical Model of Large-Batch Training和Don’t Decay the Learning Rate，上海神秘顾客专家 Increase the Batch Size）的想路，优化了调参步调。

即从固定的学习率运转，每当模子loss住部属降时就加多batch size，使其下落不中断，让模子学习得愈加充分。

最终，Yi-9B本体共包含88亿参数，达成4k高下文长度。

Yi系列中代码和数学才能最强

实测中，零一万物使用greedy decoding的生成样貌（即每次采纳概率值最大的单词）来进行测试。

参评模子为DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B和Gemma-7B：

（1）DeepSeek-Coder，来自国内的深度求索公司，其33B的领导调优版块东说念主类评估高出GPT-3.5-turbo，7B版人道能则能达到CodeLlama-34B的性能。

DeepSeek-Math则靠7B参数干翻GPT-4，震荡总共开源社区。

（2）SOLAR-10.7B来自韩国的Upstage AI，2023年12月出身，性能高出Mixtral-8x7B-Instruct。

“神秘顾客检测”最早普遍应用于餐饮服务行业。这种活动可以从普通顾客的角度考核餐饮企业或其连锁分店、合作网点的运作管理及其客源的组成、用餐时间、分布状况和服务。包括友善程度、快速、准确度、质量、清洁、满意度等方面的问题。帮助管理者设立对表现杰出员工的鼓励和奖励机制，对于鼓舞员工士气和对员工的工作表现都是非常有好处的。“神秘顾客”检测可以成为餐饮企业管理者很好的内参。

（3）Mistral-7B则是首个开源MoE大模子，达到以致高出了Llama 2 70B和GPT-3.5的水平。

（4）Gemma-7B来自谷歌，零一万物指出：

其灵验参数目其实和Yi-9B一个品级。

（两者定名准则不一样，前者只用了Non-Embedding参数，后者用的是沿路参数目并朝上取整）