NurseBench-RU: сдадут ли большие языковые модели первичную аккредитацию медсестры

1. Введение

Каждый выпускник медицинского колледжа в России проходит первичную аккредитацию. Её первый этап — компьютерный тест: 80 вопросов из единой базы оценочных средств, четыре варианта ответа, один верный, 60 минут; результат «сдано» — от 70% верных ответов. Это стандартизированная проверка базовых профессиональных знаний медсестры на русском языке, с нормативными для российской практики ответами.

Похожие экзамены уже используются для оценки языковых моделей в других странах — американский NCLEX-RN, китайский национальный экзамен медсестёр, японские экзамены KokushiMD-10. Для российской сестринской аккредитации такого замера с современными моделями, насколько нам известно, нет. Мы задаём два вопроса: сдадут ли модели этот экзамен и есть ли разница между российскими и зарубежными моделями на российском медицинском материале.

2. Связанные работы

• Экзамены медсестёр. Исследования ChatGPT на NCLEX-RN и китайском экзамене (JMIR Medical Education, 2024); оценка четырёх моделей на 237 вопросах китайского экзамена 2024 г. (DeepSeek V3 и Gemini 2.0 Pro — выше 83%); мета-анализ 2025 г.: средняя точность моделей на экзаменах медсестёр около 70%, хуже всего — этика и психосоциальные темы.
• Многопрофильные национальные экзамены. KokushiMD-10 — десять японских экзаменов медицинских профессий, больше 30 моделей.
• Русскоязычные бенчмарки. RuMedBench (2022) — набор медицинских задач понимания текста; MERA (ACL 2024) — общий бенчмарк для русского языка. Ни один не покрывает сестринскую аккредитацию и современные модели.

3. Данные

Источник. Выгрузка банка тестовых заданий для первого этапа первичной аккредитации специалистов со средним профессиональным образованием по специальности 34.02.01 «Сестринское дело» (2018 г., 1899 заданий), опубликованная на сайте медицинского колледжа. Каждое задание имеет идентификатор вида [T000002], текст вопроса и четыре варианта; в официальной выгрузке верный вариант всегда стоит первым. Разбор PDF восстановил все 1899 заданий без пропусков.

Выборка. Для сопоставимости всех моделей использована фиксированная случайная выборка из 500 заданий (seed 7). Варианты внутри каждого задания перемешаны детерминированно (одинаково для всех моделей), чтобы модель не могла опираться на позицию верного ответа.

Закрытость. Условия перераспространения банка не установлены, поэтому вопросы не публикуются. Официальный доступ к актуальному банку предоставляется только через репетиционный экзамен Методического центра аккредитации.

4. Методика

Запрос. Системная инструкция: «Ты сдаёшь первый этап первичной аккредитации по специальности «Сестринское дело» в России. В каждом вопросе один правильный ответ. Ответь только буквой правильного варианта: А, Б, В или Г». Далее — текст вопроса и варианты с буквами. Без поиска в интернете, без примеров решений, один прогон на вопрос.

Разбор ответа. Из ответа удаляются блоки рассуждений, берётся последняя одиночная буква варианта. Латинские двойники и транслит (A/B/C/D, V, G) приводятся к кириллице. Нераспознанный ответ считается неверным — как пустая клетка на настоящем экзамене. Во всех итоговых прогонах нераспознанных ответов практически нет.

Метрики. Точность — доля верных ответов; 95% доверительный интервал Уилсона; «сдаёт экзамен» — доля из 10 000 симулированных экзаменов по 80 случайно выбранным вопросам из ответов модели, в которых модель набирает не меньше 56 верных (70%). Различия между моделями проверяются попарным точным тестом Макнемара на одних и тех же вопросах.

Модели и настройки. Модели вызывались через официальные API разработчиков. Модели с рассуждением работали с низкой глубиной размышления; Claude — в режиме адаптивного мышления с запасом в 4000 токенов. Модели без рассуждения — с температурой 0. Настройки по моделям — в таблице 1.

Сверенный ключ (v0.2). Задания, на которых сильнейшие модели согласованно расходятся с ключом, сверены с действующими документами (раздел 7). Во всех основных результатах 7 ошибочных или устаревших ключей исправлены, а 4 задания с неоднозначной формулировкой исключены у всех моделей; результат по официальному ключу приведён в таблице 7.

Таблица 1. Доступ и режим вызова моделей.

5. Результаты

Таблица 2. Результаты. * Доля из 10 000 симулированных экзаменов по 80 вопросов с порогом 70%. Gemini 3.5 Flash-Lite посчитан на 494 вопросах из 496 (дневной лимит провайдера).

5.1. Все модели сдают экзамен

Даже самая слабая модель в выборке (gpt-oss-120b, 75,8%) проходит порог в 93% симулированных экзаменов; остальные — в 100%. Разрыв со случайным угадыванием (29,0%) составляет 50–66 процентных пунктов.

5.2. Лидеры неразличимы

Пять лучших моделей (GPT-5.6 Terra, Claude Sonnet 5.5, GPT-6 Luna, DeepSeek V4.1 Flash, Alice AI) укладываются в диапазон 94,4%–96,8%. Ни одно попарное сравнение внутри этой группы не значимо (таблица 3): на 496 вопросах корректно говорить о группе лидеров, а не о победителе. В частности, российская Alice AI находится в одной группе с флагманами OpenAI и Anthropic.

Таблица 3. Попарные сравнения пяти лучших моделей: на скольких вопросах права только одна из моделей и p-значение точного теста Макнемара (двусторонний).

5.3. Российские модели

Яндекс представлен тремя моделями: Alice AI (94,4%), YandexGPT 5.1 Pro (91,1%) и YandexGPT Lite (80,8%). Сбер — тремя версиями GigaChat: 2 Max (90,5%), 2 Pro (87,9%) и Lite (82,7%). Флагман Сбера находится на уровне Claude Haiku 5.5 и немного уступает YandexGPT 5.1 Pro; разница между ними в пределах доверительных интервалов.

6. Проверка на утечку

Банк годами доступен в открытом интернете, поэтому его вопросы могли попасть в обучающие данные моделей. Мы проверяли это напрямую: модели давали только текст вопроса и просили восстановить четыре варианта ответа «как в банке». Верный вариант можно вывести из знаний, а дословно воспроизвести неверные варианты (дистракторы), не видев банк, почти невозможно. Вариант считался воспроизведённым при совпадении не менее 60% значимых слов; засчитывались только последние четыре строки ответа (итог, а не рассуждения). Проверка проведена на 100 вопросах.

Таблица 4. Результаты проверки на запоминание.

Вывод. Следы банка есть у всех проверенных моделей, сильнее всего — у GPT-6 Luna. Российские модели не выделяются. При этом 5–13% — далеко от заучивания: при выученном банке доля была бы в разы выше. Это ограничение любого бенчмарка на открытых экзаменах, а не особенность отдельной модели.

Урок методики. Первая версия проверки дала ложную картину: модели с адаптивным мышлением при лимите в 300 токенов возвращали пустые ответы (занижая свою долю), а модели, рассуждающие вслух, выдавали десятки строк догадок (завышая). Исправленная версия даёт моделям запас токенов, оценивает только итоговые строки и считает пустые ответы.

7. Спорные вопросы банка

На 15 вопросах из 500 не менее четырёх из пяти сильнейших зарубежных моделей выбирают ответ, отличный от официального ключа. Это кандидаты в устаревшие или ошибочные задания банка 2018 г. либо в вопросы, где российская норма расходится с международной практикой. Как часто остальные модели соглашаются с официальным ключом на этих вопросах:

Таблица 5. Согласие с официальным ключом на спорных вопросах.

7.1. Сверка с действующими документами

Мы сверили все 15 спорных заданий с действующими на октябрь 2026 г. нормативными документами, клиническими рекомендациями и учебной литературой. В 7 случаях ключ банка 2018 г. ошибочен или устарел, и правы модели; в четырёх ключ верен; ещё четыре задания сформулированы неоднозначно. Тексты заданий не публикуются — только темы.

Таблица 6. Результат сверки. Проверка выполнена по открытым источникам и требует подтверждения практикующим специалистом; часть первоисточников доступна только в платных правовых системах.

7.2. Точность с исправленным ключом

Таблица 7. Точность до и после исправления 7 ключей.

Сверка поднимает сильные модели на 1,5–2 п.п. и почти не меняет порядок. Ошибочный ключ чаще выбирают более слабые модели (до 4 из 7), лидеры — почти никогда. Скорее это отражает пробелы в знаниях, чем запоминание банка: заданий слишком мало для более сильного вывода.

8. Наблюдения

• Транслит. GigaChat иногда отвечает латинской транслитерацией буквы: «V» вместо «В», «G» вместо «Г».
• Пустой бланк. Модели с адаптивным мышлением (Claude 5.5) на трудных вопросах сначала рассуждают; при маленьком лимите ответа они возвращают пустой текст. Итоговые прогоны выполнены с запасом токенов и единообразными настройками.
• Рассуждения вслух. Часть моделей с рассуждением (DeepSeek) пишет ход мысли в тексте ответа, иногда по-английски; разбор ответа должен брать итог, а не первую попавшуюся букву.

9. Ограничения

• Банк 2018 г.; действующий банк может отличаться, часть ответов могла устареть (раздел 7).
• 496 вопросов из 1899 (500 минус 4 спорных), один прогон на вопрос; доверительные интервалы ±2–4 п.п.
• Настройки различаются по провайдерам (глубина рассуждения, температура) в пределах того, что позволяет API.
• Проверка на утечку — косвенная и проведена на 100 вопросах; она не доказывает и не исключает присутствие банка в обучении.
• Тест с выбором ответа не измеряет клиническое мышление, общение с пациентом и практические навыки — второй и третий этапы аккредитации.

10. Выводы и дальнейшая работа

Все 14 проверенных моделей прошли бы первый этап первичной аккредитации по специальности «Сестринское дело». Пятёрка лидеров, включая российскую Alice AI, статистически неразличима. Флагман Сбера уступает лидерам на 4–6 п.п. Все крупные модели частично знакомы с формулировками открытого банка.

Дальше: открытые модели, которые можно запустить локально без внешних сервисов (YandexGPT-5-Lite, T-lite, Vikhr, GigaChat3); врачебные специальности (лечебное дело, педиатрия); проверка спорных вопросов практикующими специалистами.

Приложение. Воспроизведение

python tools/parse_bank.py raw/okp-sd.pdf data/bank_2018.jsonl
python tools/bench.py --model yandex:aliceai-llm/latest --subset 500
python tools/bench.py --model openai:gpt-6-luna --subset 500 --max-tokens 2000 --reasoning low --workers 8
python tools/bench.py --model anthropic:claude-sonnet-5-5 --subset 500 --max-tokens 4000 --workers 6
python tools/report.py --subset 500
python tools/probe_memory.py --model openai:gpt-6-luna --n 100

Код экзаменатора и проверки на утечку готов к публикации; банк вопросов не публикуется.