6月10日，小红书宣布开源其首个自研大模型dots.llm1，这款1420亿参数的模型引发了业界关注
小红书作为一家社交平台，在人工智能领域一直保持着低调的姿态。然而近日，小红书发布了其首个自研大模型dots.llm1，引发广泛关注。该模型拥有1420亿参数，训练使用了11.2万亿高质量token的数据，性能堪比阿里Qwen3-32B模型。dots.llm1采用了Mixture of Experts架构，在推理过程中仅激活140亿参数，大大降低了训练和推理的成本。据小红书技术团队介绍，此模型在中英文通用场景、数学、代码、对齐任务上表现出色，特别是在中文任务中，CLUEWSC评测得分高达92.6分，达到业界领先水平。小红书通过引入Interleaved1F1BwithAlltoAlloverlap和GroupedGEMM优化技术，显著提升了计算效率。随着AI技术的不断进步，小红书正积极布局大模型领域，力求在未来的工作中开发出更加强大的模型。
版权声明：
本站所有文章和图片均来自用户分享和网络收集，文章和图片版权归原作者及原出处所有，仅供学习与参考，请勿用于商业用途，如果损害了您的权利，请联系网站客服处理。
