随着大模子掀起新一轮 AI 热潮，教科人们开始思考：大模子的书级数据强盛能耐源头于甚么？

之后，大模子不断在由不断削减的熏染小模「大数据」来增长 。「大模子 + 大数据」彷佛已经成为构建模子的微软尺度范式。但随着模子规模以及数据量的超强不断削减 ，算力的引热议需要会快捷缩短。一些钻研者试验探究新思绪 。教科

6 月
，书级数据微软宣告了一篇题为《Textbooks Are All You Need》的熏染小模论文，用规模仅为 7B token 的微软「教科书品质」数据磨炼了一个 1.3B 参数的模子 ——phi-1。尽管在数据集以及模子巨细方面比竞品模子小多少个数目级，超强但 phi-1 在 HumanEval 的引热议 pass@1 上抵达了 50.6% 的精确率，在 MBPP 上抵达了 55.5% 。教科

phi-1 证实高品质的书级数据「小数据」可能让模子具备精采的功能。最近，熏染小模微软又宣告了论文《Textbooks Are All You Need II: phi-1.5 technical report》，对于高品质「小数据」的后劲做了进一步钻研。

论文地址：https://arxiv.org/abs/2309.05463

模子简介

架构

钻研团队运用 phi-1 的钻研措施，并将钻研重点放在做作语言知识推理使命上 ，建树了具备 1.3B 参数的 Transformer 架构语言模子 phi-1.5 。phi-1.5 的架构与 phi-1 残缺相同 ，有 24 层
，32 个头
，每一个头的维度为 64 ，并运用旋转维度为 32 的旋转嵌入  ，高下文长度为 2048 。

此外，该钻研还运用 flash-attention 妨碍磨炼减速，并运用 codegen-mono 的 tokenizer 。

磨炼数据

phi-1.5 的磨炼数据是由 phi-1 的磨炼数据（7B token）以及新建树的「教科书品质」数据（约莫 20B token）组成的 。其中，新建树的「教科书品质」数据旨在让模子把握知识推理，钻研团队精心筛选了 20K 个主题来天生新数据  。

值患上留意的是，为了品评辩说收集数据（LLM 罕用）的紧张性，该钻研还构建了 phi-1.5-web-only 以及 phi-1.5-web 两个模子。

钻研团队展现 ：建树强盛且周全的数据集需要的不光是原始合计能耐
，还需要重大的迭代、实用的主题抉择，以及对于知识的深入清晰，具备这些因素
 ，能耐确保数据的品质以及多样性 。

试验服从

对于语言清晰使命，该钻研在多个数据集（搜罗 PIQA、Hellaswag、OpenbookQA 、SQUAD 以及 MMLU）上评估了一些模子 。评估服从如下表 3 所示，phi-1.5 的功能可能媲美 5 倍大的模子：

在知识推理基准上的测试服从如下表所示：

在更重大的推理使命（好比小学数学以及根基编码使命）上 phi-1.5 还逾越了大少数 LLM：

钻研团队以为，phi-1.5 再次证明了高品质「小数据」的实力 。

质疑与品评辩说

概况是由于「大模子 + 大数据」的理念太深入夷易近意，这项钻研受到了机械学习社区一些钻研职员的质疑，致使有人怀疑 phi-1.5 直接在测试基准数据集上磨炼了 。

网友 Susan Zhang 妨碍了一系列验证，并指出：「phi-1.5 可能对于 GSM8K 数据会集的原下场给出残缺精确的回覆，但惟独稍微更正一下格式（好比换行），phi-1.5 就不会回覆了。」

尚有更正下场中的数据 ，phi-1.5 在解答下场的历程中就会泛起「幻觉」。好比 ，在一个点餐下场中 ，只更正了「披萨的价钱」 ，phi-1.5 的解答就泛起了过错
。

而且，phi-1.5 彷佛「记住了」最终谜底，纵然在修正数据的情景下该谜底已经是过错的 。

对于此，论文作者之一 Ronen Eldan 很快给出了回应
，针对于上述网友测试泛起的下场给出批注以及反驳 ：

但该网友再次剖析其意见
：测试剖析 phi-1.5 的回覆对于 prompt 的格式黑白常「单薄结子」的 ，并对于作者的回应提出质疑 ：

论文第一作者 Yuanzhi Li 回应道：「由于不妨碍任何指令微调以及对于齐使命，phi-1.5 在安妥性上简直不如 GPT-4。但『单薄结子』并非精确的术语 ，事实上 ，对于任何模子 
，pass@k 精确率都市比 pass@1 高良多（以是模子精确便是无意偶尔的）。」

看到这些质疑与品评辩说 ，网友们直呼 
：「最重大的回应方式便是直接果真分解数据集
。」

对于此
，你奈何样看 ？

参考链接：https://twitter.com/suchenzang/status/1701615026648605095

• ·4-2笑傲加泰德比！西甲超级黑马继续狂飙！41分登顶冲击联赛冠军78年他从副总理被贬为工人，安慰妻子：我不自尽，不要听别人议论
• ·原创 罗马看上乌克兰全能国脚悍将，最多1000万欧，两家意甲豪强来抢人
• ·澳超推荐墨尔本城守门员在投掷照明弹后避免被禁赛《小猪佩奇》中的小羊苏西是心机婊吗？真正的原因让人心酸
• ·胜米兰赢皇马，尤文起步惊夏，布局赢在起点？吞噬星空宇宙篇曝光，罗峰夺舍金角巨兽，第一个BOSS已经出现
• ·锋线大将复出后湖人豪取四连胜，他对于球队的重要性被严重低估了
• ·假面骑士极狐Oneness的新形态皮套展示，很帅的七彩小狐狸榜一大哥刷20万获得女主播青睐，潇洒3夜被拉黑，怒晒其床照
• ·独家：他地位调解！不妥某经营商省公司副总司理 又调回总体了
• ·县城整治医药侵蚀，数百人自动剖析下场、退赃
• ·中国垂直降落火箭实验成功！美国：不敢继续忽悠中国了9岁女孩放学路上失踪，10年后在邻居家发现，父母哭到崩溃
• ·沪深北三市合计4510家公司召开年报功劳会
• ·意甲三队刮彩票，国米钟情熟男？锋线引援难，国米为何不敢刮彩票
• ·已经爱过!艺术家晒普尔怯夫油画 普尔社交媒体转发
• ·森林狼成联盟第一秘诀是啥？有球星更要有防守男性50岁之后眉毛突然变长，说明了什么？医生：多数人被蒙在鼓里
• ·涿州刁窝四村落，被急流淹去世的多少百只羊有了“归宿”
• ·超越传统：公牛新一代67W USB快充插座评测体验不要再偷看“成人网站”了？手机若出现“3种征兆”，需立即停止
• ·快评：从“八万人”搬到“白玉碗”，上海海港竟从“主场龙“变身“大漏勺”？