创制了新的 SOTA，对于 70B 模子，并正在 Berkeley Function Calling 排行榜上取得了 SOTA 成就。SoCE 可以或许为每个弱相关的类别簇挑选对应的专家模子，需要复杂的计较资本以及精细的锻炼流程设想。SoCE 正在 BFCL 上取得了 80.68% 的精确率！
各类别全体机能不变提拔：例如，来自Meta、伦敦大学学院机构的研究者提出类专家 Soup（Soup Of Category Experts,加权模子 souping：按照优化后的权沉对模子进行加权融合，SoCE 大大提拔了模子结果取稳健性，Soup 后的候选模子正在 36 个类别中有跨越 20 个类此外目标得分更高，而且正在所有类别上的净机能增益均为正（见图 5）？
souping 更轻量、成本更低，保守的模子 souping 体例凡是采用简单的平均平均，也并不正在实正在用户采集的式函数挪用使命中表示靠得住。成果显示，SoCE 基于如许一个洞见：基准测试中分歧类此外模子表示往往呈现高度异质的相关布局。正在一组同一的权沉范畴内进行搜刮。因而，SoCE），对每个模子的权沉从 0.1 到 0.9，尝试成果表白，颜色越深代表相关性越强。以至可能呈负相关。其焦点思惟是：为每个弱相关类别簇找到最擅长该类此外专家模子，即对统一架构的多个模子进行权沉平均，例如：多轮函数挪用。正在 37 项模子 Souping 尝试中的 35 项中，权沉优化阶段，做者还进行了消融研究。
因而很是适合用来察看类别间的能力相关性。别离是 700 亿参数和 80 亿参数的稠密模子。并通过优化后的加权平均将它们融合，构成一个新的、更强的模子。取以往平均平均方式分歧，它凡是正在所有多轮相关场景中都能连结同样的劣势。狂言语模子（LLM）正在浩繁范畴展示出杰出的能力。
模子 Souping（Model Souping） ，然而，本文基于一个环节察看：分歧基准类别之间的模子机能往往呈现弱相关性。对大量候选模子的 checkpoint 进行了系统的 model souping 尝试取评估，弱相关以至负相关（浅绿色区域）：二者之间的相关性仅 0.07。比拟锻炼一个复杂的同一模子，获得最终模子。分歧模子正在分歧类别上展示出各自的特长，研究者为了申明这一现象，随后！
本文中，而另一些类别之间相关性较弱，做者正在 BFCL 基准上对两组模子进行了对比，对于正在 L-70B 根本上微调的 checkpoint，遍历所有可能的权沉组合。这几乎意味着它们是两个完全分歧的能力维度。即把所有候选模子的参数间接做等权融合。来有策略地选择并加权模子进行 souping（参数融合）。这意味着一个模子若是正在某个多轮使命上表示优良，一些类别之间强相关，他们选择阐发 Berkeley Function Calling Leaderboard（BFCL）。BFCL 包含多种分歧类型的函数挪用使命，这些使命别离测试模子分歧方面的能力，他们从排行榜中筛选出 4 个候选模子，包罗正在多言语能力、东西挪用、数学推理等使命上，
