NurseBench-RU：大语言模型能否通过俄罗斯护士初级资格认证考试？
1. 引言
俄罗斯每一位医学院校毕业生都必须通过初级资格认证。第一阶段是计算机考试：从全国统一题库中抽取 80 道题， 每题四个选项、一个正确答案，限时 60 分钟，正确率达到 70% 即为通过。这是对护士核心专业知识的标准化考核， 使用俄语，答案以俄罗斯临床规范为准。
类似的考试已被用于评估其他国家的语言模型——美国 NCLEX-RN、中国护士执业资格考试、日本 KokushiMD-10。 据我们所知，针对俄罗斯护理资格认证、使用当代模型的此类测评尚不存在。我们提出两个问题： 模型能否通过这项考试？在俄罗斯医学材料上，俄罗斯模型与国际模型之间是否存在差异？
2. 相关工作
- 护士考试。ChatGPT 在 NCLEX-RN 和中国护士执业资格考试上的研究（JMIR Medical Education, 2024）； 四个模型在 2024 年中国护考 237 道题上的评测（DeepSeek V3 和 Gemini 2.0 Pro 超过 83%）； 2025 年的元分析：模型在护士资格考试上的平均准确率约为 70%，在伦理和心理社会类题目上表现最弱。
- 多职业国家考试。KokushiMD-10 —— 日本十项医疗卫生执业考试，评测了 30 多个模型。
- 俄语基准。RuMedBench（2022）—— 俄语医学文本理解任务；MERA（ACL 2024）—— 俄语通用基准。 两者都不涵盖护理资格认证，也不涉及当代模型。
3. 数据
来源。中等职业教育专业 34.02.01「护理」初级资格认证第一阶段题库的导出文件（2018 年，共 1899 道题），
发布于一所医学院校的网站。每道题都有形如 [T000002] 的编号、题干和四个选项；在官方导出文件中，
正确选项总是排在第一位。PDF 解析完整恢复了全部 1899 道题，没有遗漏。
样本。为保证可比性，所有模型回答同一个固定随机样本的 500 道题（随机种子 7）。 每道题内部的选项以确定性方式打乱（对所有模型相同），使模型无法利用正确答案的位置。
封闭性。题库的再分发条件尚不明确，因此题目不公开。现行题库的官方访问途径只有国家资格认证方法中心的模拟考试。
4. 方法
提示词。系统指令（俄语）：「你正在参加俄罗斯护理专业初级资格认证第一阶段考试。每道题只有一个正确答案。 只回答正确选项的字母：А、Б、В 或 Г。」随后是题干和带字母的选项。不联网搜索、不提供示例，每道题只运行一次。
答案解析。去除推理部分，取最后一个独立出现的选项字母。拉丁字母形近字和音译（A/B/C/D、V、G） 映射为西里尔字母。无法解析的回答计为错误——如同真实考试中的空白答案。最终运行中几乎没有无法解析的回答。
指标。准确率；Wilson 95% 置信区间；「考试通过率」——从模型的回答中随机抽取 80 道题组成模拟试卷， 共模拟 10,000 次，统计答对不少于 56 道（70%）的比例。模型之间在相同题目上用精确 McNemar 检验做两两比较。
模型与设置。所有模型都通过开发者的官方 API 调用。推理模型使用低推理强度；Claude 使用自适应思考模式， token 预算为 4,000。非推理模型温度设为 0。各模型设置见表 1。
修正答案（v0.2）。对于最强模型一致与官方答案不符的题目，我们对照现行规范进行了核查（第 7 节）。 所有主要结果都使用修正后的答案：7 道错误或过时的答案已修正，4 道有歧义的题目对所有模型一律剔除； 按官方答案计算的结果见表 7。
| 模型 | 调用方式 | 模式 | 最大输出 token |
|---|---|---|---|
| GPT-5.6 Terra | OpenAI API | reasoning: low | 2000 |
| GPT-6 Luna | OpenAI API | reasoning: low | 2000 |
| Claude Sonnet 5.5 | Anthropic API | 自适应思考 | 4000 |
| Claude Haiku 5.5 | Anthropic API | 自适应思考 | 4000 |
| DeepSeek V4.1 Flash | DeepSeek API | reasoning: low | 2000 |
| Gemini 3.5 Flash-Lite | Google AI Studio | reasoning: low | 2000 |
| Qwen 3.8 27B | Groq | 默认 | 1500 |
| gpt-oss-120b | Groq | reasoning: low | 1500 |
| Alice AI | Yandex Cloud | t = 0 | 16 |
| YandexGPT 5.1 Pro | Yandex Cloud | t = 0 | 16 |
| YandexGPT Lite | Yandex Cloud | t = 0 | 16 |
| GigaChat 2 Max | GigaChat API | t = 0 | 16 |
| GigaChat 2 Pro | GigaChat API | t = 0 | 16 |
| GigaChat Lite | GigaChat API | t = 0 | 16 |
表 1. 各模型的调用方式和模式。
5. 结果
| # | 模型 | 开发者 | 答对 | 准确率 | 95% 置信区间 | 考试通过率* |
|---|---|---|---|---|---|---|
| 1 | GPT-5.6 Terra | OpenAI | 480/496 | 96.8% | 94.8%–98.0% | 100% |
| 2 | Claude Sonnet 5.5 | Anthropic | 477/496 | 96.2% | 94.1%–97.5% | 100% |
| 3 | GPT-6 Luna | OpenAI | 477/496 | 96.2% | 94.1%–97.5% | 100% |
| 4 | DeepSeek V4.1 Flash | DeepSeek | 470/496 | 94.8% | 92.4%–96.4% | 100% |
| 5 | Alice AI | Yandex | 468/496 | 94.4% | 92.0%–96.1% | 100% |
| 6 | Gemini 3.5 Flash-Lite | 459/494 | 92.9% | 90.3%–94.9% | 100% | |
| 7 | YandexGPT 5.1 Pro | Yandex | 452/496 | 91.1% | 88.3%–93.3% | 100% |
| 8 | GigaChat 2 Max | Sber | 449/496 | 90.5% | 87.6%–92.8% | 100% |
| 9 | Claude Haiku 5.5 | Anthropic | 448/496 | 90.3% | 87.4%–92.6% | 100% |
| 10 | GigaChat 2 Pro | Sber | 436/496 | 87.9% | 84.7%–90.5% | 100% |
| 11 | Qwen 3.8 27B | Alibaba | 425/496 | 85.7% | 82.3%–88.5% | 100% |
| 12 | GigaChat Lite | Sber | 410/496 | 82.7% | 79.1%–85.7% | 100% |
| 13 | YandexGPT Lite | Yandex | 401/496 | 80.8% | 77.2%–84.1% | 100% |
| 14 | gpt-oss-120b | OpenAI | 376/496 | 75.8% | 71.8%–79.4% | 93% |
| 随机猜测 | — | — | 29.0% | — | 0% |
表 2. 结果。* 10,000 次模拟考试（每次 80 道题，及格线 70%）中的通过比例。 Gemini 3.5 Flash-Lite 在 496 道题中完成了 494 道（受服务商每日额度限制）。
5.1. 所有模型都能通过
即使是样本中最弱的模型（gpt-oss-120b，75.8%）也能通过 93% 的模拟考试； 其余模型均为 100%。与随机猜测（29.0%）相比，领先 50–66 个百分点。
5.2. 领先者之间无法区分
前五名（GPT-5.6 Terra、Claude Sonnet 5.5、GPT-6 Luna、DeepSeek V4.1 Flash、Alice AI）的准确率位于 94.4%–96.8% 之间。 组内任何两两比较都不显著（表 3）：在 496 道题的规模下，正确的解读是「领先组」，而不是单一的冠军。 特别是，Yandex 的 Alice AI 与 OpenAI 和 Anthropic 的旗舰模型处于同一组。
| 模型对 (A — B) | 仅 A 答对 | 仅 B 答对 | p 值（McNemar 检验） |
|---|---|---|---|
| GPT-5.6 Terra — Claude Sonnet 5.5 | 14 | 11 | 0.69 |
| GPT-5.6 Terra — GPT-6 Luna | 13 | 10 | 0.68 |
| GPT-5.6 Terra — DeepSeek V4.1 Flash | 21 | 11 | 0.11 |
| GPT-5.6 Terra — Alice AI | 22 | 10 | 0.05 |
| Claude Sonnet 5.5 — GPT-6 Luna | 13 | 13 | 1.00 |
| Claude Sonnet 5.5 — DeepSeek V4.1 Flash | 18 | 11 | 0.26 |
| Claude Sonnet 5.5 — Alice AI | 23 | 14 | 0.19 |
| GPT-6 Luna — DeepSeek V4.1 Flash | 16 | 9 | 0.23 |
| GPT-6 Luna — Alice AI | 18 | 9 | 0.12 |
| DeepSeek V4.1 Flash — Alice AI | 18 | 16 | 0.86 |
表 3. 前五名的两两比较：只有其中一个模型答对的题目数，以及双侧精确 McNemar 检验的 p 值。
5.3. 俄罗斯模型
Yandex 有三个模型参评：Alice AI（94.4%）、YandexGPT 5.1 Pro（91.1%）和 YandexGPT Lite （80.8%）；Sber 有三个 GigaChat 版本：2 Max（90.5%）、2 Pro（87.9%） 和 Lite（82.7%）。Sber 的旗舰模型与 Claude Haiku 5.5 水平相当，略低于 YandexGPT 5.1 Pro；差异在置信区间之内。
6. 数据泄漏检查
该题库多年来一直可以在互联网上公开获取，因此其中的题目可能进入了模型的训练数据。我们直接检验了这一点： 只给模型题干，要求它「按题库原样」还原四个选项。正确选项可以凭知识推断，但如果没见过题库， 几乎不可能逐字复现错误选项（干扰项）。当至少 60% 的实词一致时，视为该选项被复现；只对回答的最后四行 （最终答案，而非推理过程）计分。检测使用了 100 道题。
| 模型 | 复现的错误选项 | 复现的正确选项 | 空回答 |
|---|---|---|---|
| GPT-6 Luna | 40/300 (13.3%) | 20/100 | 0 |
| DeepSeek V4.1 Flash | 22/300 (7.3%) | 10/100 | 0 |
| Claude Sonnet 5.5 | 19/300 (6.3%) | 5/100 | 0 |
| Alice AI | 19/300 (6.3%) | 28/100 | 0 |
| YandexGPT 5.1 Pro | 14/300 (4.7%) | 18/100 | 0 |
表 4. 记忆检测结果。
结论。所有受测模型都有题库的痕迹，其中 GPT-6 Luna 最明显。俄罗斯模型并不突出。 但 5–13% 远谈不上背题——如果题库被背下来，比例会高出好几倍。这是所有基于公开考试的基准共有的局限， 而不是某个模型的特性。
方法上的教训。我们第一版检测给出了误导性结果：自适应思考模型在 300 token 限制下返回空回答（低估其比例）， 而「出声思考」的模型输出几十行猜测（高估其比例）。修正后的检测给予充足的 token 预算，只对最后几行计分，并统计空回答。
7. 有争议的题目
在 500 道题中，有 15 道题至少有五个最强国际模型中的四个选择了与官方答案不同的选项。 这些题目可能是 2018 年题库中已过时或有误的题目，也可能是俄罗斯规范与国际实践不同的题目。 其余模型在这些题目上与官方答案一致的频率如下：
| 模型 | 与官方答案一致 |
|---|---|
| Alice AI | 3/15 |
| YandexGPT 5.1 Pro | 3/15 |
| GigaChat 2 Max | 1/15 |
| Claude Haiku 5.5 | 1/15 |
| GigaChat 2 Pro | 4/15 |
| Qwen 3.8 27B | 3/15 |
| GigaChat Lite | 5/15 |
| YandexGPT Lite | 3/15 |
| gpt-oss-120b | 5/15 |
表 5. 在争议题上与官方答案一致的情况。
7.1. 对照现行规范的核查
我们将全部 15 道争议题与截至 2026 年 10 月现行的俄罗斯规范性文件、临床指南和教材进行了核对。 其中 7 道题的 2018 年官方答案错误或已过时，模型是对的；4 道题官方答案正确；另有 4 道题表述存在歧义。 题目原文不公开，只列出主题。
| 题目主题 | 结论 | 依据 |
|---|---|---|
| 伤寒护理 | 答案错误或已过时 | учебники по инфекционным болезням; диета № 4 |
| 输血性休克 | 答案错误或已过时 | МР ФМБА 30-2020 |
| 尿液送检时限 | 答案错误或已过时 | ГОСТ Р 53079.4-2008, п. 3.5.2 |
| 计划外安全培训 | 答案错误或已过时 | ПП РФ № 2464 от 24.12.2021, п. 16 |
| 强心苷解毒剂 | 答案错误或已过时 | инструкция унитиола (T46.0) |
| 静脉滴注记录 | 答案错误或已过时 | приказ Минздрава № 530н, п. 21 |
| 正常血压 | 答案错误或已过时 | КР «Артериальная гипертензия у взрослых», 2024 |
| 卫生教育的形式 | 答案正确 | учебное пособие «Гигиеническое воспитание», 2024 |
| 酒精依赖的二级预防 | 答案正确 | наркологическая классификация профилактики |
| 住院病历的存放 | 答案正确 | сложившаяся практика; приказ № 530н |
| 消化性溃疡随访 | 答案正确 | приказ Минздрава № 168н |
| 第一年身长增长 | 题目有争议 | учебники педиатрии; стандарты ВОЗ |
| 老年人每日能量 | 题目有争议 | МР 2.3.1.0253-21 |
| 消毒质量控制 | 题目有争议 | принципы контроля стерилизации; норма не найдена |
| 月经持续时间 | 题目有争议 | КР «Аномальные маточные кровотечения», 2024 |
表 6. 核查结果。核查基于公开资料，仍需临床专业人员确认；部分原始文件只能在付费法律数据库中查阅。
7.2. 使用修正答案后的准确率
| 模型 | 官方答案，500 | 修正答案，496 | Δ，百分点 | 选了错误答案 |
|---|---|---|---|---|
| GPT-5.6 Terra | 94.6% | 96.8% | +2.2 | 0/7 |
| Claude Sonnet 5.5 | 94.0% | 96.2% | +2.2 | 0/7 |
| GPT-6 Luna | 94.2% | 96.2% | +2.0 | 0/7 |
| DeepSeek V4.1 Flash | 93.4% | 94.8% | +1.4 | 2/7 |
| Alice AI | 92.8% | 94.4% | +1.6 | 1/7 |
| Gemini 3.5 Flash-Lite | 91.4% | 92.9% | +1.5 | 0/7 |
| YandexGPT 5.1 Pro | 90.0% | 91.1% | +1.1 | 2/7 |
| GigaChat 2 Max | 89.0% | 90.5% | +1.5 | 1/7 |
| Claude Haiku 5.5 | 88.6% | 90.3% | +1.7 | 1/7 |
| GigaChat 2 Pro | 87.2% | 87.9% | +0.7 | 3/7 |
| Qwen 3.8 27B | 84.6% | 85.7% | +1.1 | 2/7 |
| GigaChat Lite | 82.4% | 82.7% | +0.3 | 3/7 |
| YandexGPT Lite | 80.4% | 80.8% | +0.4 | 2/7 |
| gpt-oss-120b | 75.8% | 75.8% | +0.0 | 4/7 |
表 7. 修正 7 道题答案前后的准确率。
修正使强模型提高 1.5–2 个百分点，排名几乎不变。较弱的模型更常选择错误的官方答案（最多 7 道中的 4 道）， 领先者几乎从不。这更可能反映知识上的不足，而不是背过题库：题目数量太少，无法得出更强的结论。
8. 观察
- 音译。GigaChat 有时用拉丁字母音译来回答：用「V」代替「В」，用「G」代替「Г」。
- 空白答卷。自适应思考模型（Claude 5.5）在难题上会先推理；如果输出限制很小，就会返回空文本。 最终运行使用了充足的 token 预算和统一设置。
- 出声思考。部分推理模型（DeepSeek）会把推理过程写进回答，有时用英语；解析器必须取最终答案，而不是第一个出现的字母。
9. 局限性
- 题库为 2018 年版本；现行题库可能不同，部分答案可能已过时（第 7 节）。
- 1899 道题中计分 496 道（500 道减去 4 道争议题），每题运行一次；置信区间约为 ±2–4 个百分点。
- 不同服务商的设置（推理强度、温度）在各自 API 允许的范围内有所不同。
- 泄漏检测是间接的，且只用了 100 道题；它既不能证明也不能排除题库出现在训练数据中。
- 选择题无法衡量临床思维、与患者沟通和实际操作能力——这些属于资格认证的第二和第三阶段。
10. 结论与后续工作
全部 14 个模型都能通过俄罗斯护理专业初级资格认证的第一阶段。前五名（包括 Yandex 的 Alice AI）在统计上无法区分。 Sber 的旗舰模型落后领先者 4–6 个百分点。所有大模型都在一定程度上熟悉公开题库的措辞。
下一步：无需外部服务、可在本地运行的开源模型（YandexGPT-5-Lite、T-lite、Vikhr、GigaChat3）； 医师类专业（临床医学、儿科）；由临床专业人员复核有争议的题目。
附录：复现
python tools/parse_bank.py raw/okp-sd.pdf data/bank_2018.jsonl python tools/bench.py --model yandex:aliceai-llm/latest --subset 500 python tools/bench.py --model openai:gpt-6-luna --subset 500 --max-tokens 2000 --reasoning low --workers 8 python tools/bench.py --model anthropic:claude-sonnet-5-5 --subset 500 --max-tokens 4000 --workers 6 python tools/report.py --subset 500 python tools/probe_memory.py --model openai:gpt-6-luna --n 100
评测代码和泄漏检测代码可随时公开；题库不公开。