这项由俄罗斯西伯利亚神经网络有限公司（Siberian Neuronets LLC）团队完成的西伯型研究，以预印本形式于2026年6月29日发布在arXiv平台，利亚论文编号为 arXiv:2606.30062v1。神经读者可通过该编号获取完整论文及实验代码。网络

一、公司 背景：为何关注“小模型”？模型

近年来，人工智能领域被“大模型”（Large Language Models,挑战 LLMs）主导，其参数规模动辄千亿，大模依赖昂贵的西伯型GPU集群和专用服务器。对于普通企业、利亚医疗机构、神经学校及个人开发者而言，网络直接部署大模型成本高昂，公司且存在数据隐私风险——许多敏感数据（如病历、模型法律案卷、挑战内部会议记录）严禁上传至公共云端。

此外，在边缘计算场景（如偏远地区设备、工控机、移动端应用）中，硬件算力与内存受限，无法支撑大模型运行。在此背景下，“小语言模型”（Small Language Models, SLMs，参数量通常在百万至十亿级）因其可在普通CPU上高效运行、无需显卡且速度较快，成为解决上述痛点的关键方案。

西伯利亚神经网络团队的核心研究问题是：将17款主流小模型应用于真实的检索增强生成（RAG）问答系统中，其实际表现能否达到生产环境的使用标准？

二、 技术框架：RAG系统解析

理解本研究需先掌握 检索增强生成（Retrieval-Augmented Generation, RAG）机制。

• 痛点：纯生成式AI依赖训练数据记忆，易产生“幻觉”（胡编乱造），且无法获取最新或私有知识。
• 解决方案：RAG系统分为两部分：
• 检索模块（Retrieval）：类似图书馆管理员，从知识库中快速检索与问题最相关的文档片段。通常使用轻量级嵌入模型，计算开销低。
• 生成模块（Generation）：类似解说员，接收用户问题及检索到的文档，生成准确、流畅的答案。这是算力消耗最大、对模型能力要求最高的环节。

行业主流做法是在生成模块使用大模型，但本研究旨在验证：若生成模块替换为小模型，答案质量是否可接受？

三、 评测体系：构建公平考题

研究团队构建了包含 500道俄语题目的专用数据集，确保评测的客观性与全面性。

1. 数据来源（5大子集）

• DaNetQA：测试常识与世界知识（是/否类问题）。
• SberQuAD：基于俄语维基百科，测试阅读理解能力。
• RuRAG测试集：专为俄语RAG系统设计，贴近实际应用场景。
• Grounded-RAG-QA-RU：由GPT-4生成，包含“无法仅凭文档回答”的题目，测试模型拒绝回答的能力（避免幻觉）。
• 专有数据集：来自团队内部5000份会议/讲座演示文稿（每份约4500词），由人工编写，代表真实工业场景。因版权限制未公开，但结构与公开数据集一致。

2. 题型分布与质量分析

• 分类标准：利用Qwen3-8B将题目分为六类：事实型（278道）、证据型（77道）、经验型（57道）、推理型（45道）、比较型（40道）、指令型（3道）。
• 数据特征：
• 题目平均长度8.72词，答案平均长度41.62词，侧重简洁提问与详细解答。
• 数据集间余弦相似度极低（0.06-0.12），话题覆盖多样，无重复偏差。
• 平均难度评分4.94/10（中等），答案匹配度7.012/10，保证评测信度。

四、 评判机制：LLM-as-a-Judge

传统指标（BLEU/ROUGE）基于词重叠率，无法准确评估语义一致性。本研究采用 LLM-as-a-Judge方法，即使用AI模型作为裁判。

1. 裁判筛选

• 候选模型：GPT-5/5-mini/4o-mini, Qwen3系列, GLM-4.7, Gemma-3系列, DeepSeek-v3.2, GPT-oss-120B等13款模型。
• 评估维度：正确性、答案相关性、上下文相关性、忠实度（无中生有检测）。
• 筛选结果：最终组建由 GPT-5-mini、Qwen3-8B和 GLM-4.7组成的“评审团”。
• 理由：三者F1分数均接近1.0，与群体共识高度相关，且来自不同厂商（OpenAI, Alibaba, Zhipu），有效避免系统性偏差。组内相关系数（ICC）高达0.96，评分高度一致。

五、 模型实测：17款SLM的表现

1. 入选标准

• 参数量：1B - 8B。
• 格式：支持GGUF（CPU推理优化）。
• 硬件：可在16GB内存普通电脑CPU上运行。
• 对照组：加入 GPT-5-mini作为顶级基准。

2. 核心成绩对比

• 关键发现：Qwen3系列表现卓越。Qwen3-8B在各项指标上均最接近GPT-5-mini；Qwen3-4B在答案相关性上甚至超越了GPT-5-mini。
• RAG有效性验证：GPT-5-mini在无背景文档模式下，正确性从0.73骤降至0.47，证明测试题确实依赖外部信息，非死记硬背可解。

3. 语言一致性

绝大多数模型能跟随俄语问题输出西里尔字母答案。少数模型出现“语言漂移”（夹杂英语），需在后处理中纠正，影响用户体验。

六、 性能瓶颈：速度与质量的权衡

在CPU环境下，响应时间是关键指标。研究团队测试了50个样本的平均响应时间。

• 极速组：
• Meno-tiny-1.5B：27.8秒/题（最快，但质量一般）。
• Meno-lite-7B：31.4秒/题（质量优于Tiny，正确性0.56）。
• Qwen2.5-3B：31.8秒/题。
• 缓慢组：
• Qwen3-8B：339.3秒/题（约6分钟，虽质量最高但延迟极高）。
• Qwen3-4B：205.1秒/题。
• DeepSeek-R1-Distill-Qwen-7B：297.4秒/题。

最终选型：团队在生产环境中选择 Qwen3-4B-Instruct-2507-Q5KM。
* 理由：平均响应时间70.9秒，在速度（<2分钟）与质量（正确性0.71，相关性0.89）之间取得最佳平衡。适用于文档处理、批量问答等非实时敏感场景。

七、 研究局限与展望

1. 未涉及检索优化：仅评测生成模块，未测试不同嵌入模型或检索算法对整体效果的影响。
2. 提示词未定制：所有模型使用统一Prompt，未针对各模型特性优化，结果反映的是“同等条件”下的相对表现，非理论极限。
3. 语言局限性：测试基于俄语，结论推广至中文、英文等其他语言需另行验证。

结论

本研究证实，小语言模型（特别是Qwen3系列4B-8B参数版本）在RAG系统中已具备接近顶级大模型（GPT-5-mini）的生成能力，且仅需普通CPU即可运行。这对于数据隐私保护、内网部署及资源受限场景具有极高价值。

尽管CPU推理速度（70秒-6分钟）仍是实时交互的瓶颈，但随着量化技术与推理框架的进步，这一差距正在缩小。对于中小企业、开发者及注重隐私的用户，SLM提供了高性价比的本地化AI解决方案。

Q&A

Q1：小语言模型在RAG系统中的答题准确度和GPT-5-mini差距大吗？
A：差距极小。测试显示，Qwen3-8B的正确性（0.72）与GPT-5-mini（0.73）几乎持平；Qwen3-4B的答案相关性（0.89）甚至与GPT-5-mini（0.88）相当。主要差距体现在“忠实度”上，小模型偶尔会出现轻微的信息遗漏或幻觉，但整体可用性极高。

Q2：在普通电脑CPU上运行小语言模型，大概要等多久才能得到答案？
A：速度取决于参数量。
* 1.5B-3B模型：约28-32秒/题，适合对速度要求较高的场景。
* 4B-7B模型：约70-200秒/题，适合批量处理或非实时问答。
* 8B模型：约340秒/题，适合对质量要求极高且无需即时响应的场景。

Q3：RAG系统里的检索模块和生成模块有什么区别？
A：
* 检索模块（Retrieval）：相当于“图书管理员”，负责从知识库中快速定位相关文档。使用轻量级嵌入模型，计算量小，主要解决“找什么”的问题。
* 生成模块（Generation）：相当于“解说员”，负责阅读文档并生成自然语言答案。使用大/小语言模型，算力需求高，是决定答案质量的核心环节，也是本研究的评测重点。