T先生系 iPhone 15 也可运行，Hugging Face 推出“SmolLM”小言语模子

IT之家 7 月 20 日音讯，如今小言语模子启动升温，好多厂商启动推出适用于手机等轻量级开拓的“小模子”T先生系，本周 Hugging Face 便公布了“SmolLM”小言语模子眷属，其中包含 1.35 亿、3.6 亿及 17 亿参数模子，IT之家附方法如下（点此走访）。

据先容，这些模子堪称所以全心筹办的高质地测验数据集测验而成，堪称在 Python 次序编写性能上终点普遍T先生系，吉吉电影网你懂的团队指出他们重心优化了模子所需的 RAM 用量，“即使是在 6GB RAM 的 iPhone 15 上也能运行”。

在测验方面，Hugging Face 团队率先修复了一款名为 SmolLM-Corpus 的数据集（数据集地址点此走访），该数据集主要包含 Python 造就本色 Python-Edu、Web 教师本色 FineWeb-Edu 以及使用 Mixtral-8x7B-Instruct-v0.1 和 Cosmopedia v2 两款模子生成的知识本色，token 量计划 6000 亿。而后 Hugging Face 团队便使用 SmolLM-Corpus 数据集测验了“SmolLM”小言语模子。

Hugging Face 团队将开发出的 SmolLM 模子与疏导参数目的其他模子进行了基准测试，其中 SmolLM-135M 在多项测试中超过了小于 2 亿参数的其他模子；而 SmolLM-360M 的测试收成优于系数小于 5 亿参数以下的模子，不外某些方法逊于 Meta 刚刚公布的 MobileLLM-350M；SmolLM-1.7B 模子则超过了系数参数目小于 20 亿参数的模子，包括微软 Phi-1.5、MobileLLM-1.5B 及 Qwen2。

T先生系