Современные языковые модели (LLM) часто ведут себя так, будто они «зазубрили» огромные пласты текста из интернета. Однако вопрос о том, можно ли достоверно определить, входило ли конкретное предложение в обучающую выборку (так называемый Membership Inference), остается дискуссионным. Новое исследование Армана Ник Хаха, опубликованное на arXiv (2609.10830), под названием «Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models», ставит под сомнение эффективность существующих методов детектирования членства данных.

Основной вывод работы: при обычных условиях ИИ-модели (такие как OLMo-2 и Pythia) практически не демонстрируют признаков «памяти» о конкретных предложениях. Сигнал об их присутствии в выборке становится заметным только тогда, когда он смешивается с другими факторами, такими как общеизвестность (слава) фразы или качество текста.

Проблема «угадывания» в исследованиях ИИ

Большинство тестов на принадлежность данных к обучающей выборке ранее основывались на догадках. Исследователи лишь предполагали, что те или иные данные были использованы при обучении. Работа Армана Ник Хаха меняет правила игры, используя модели с открытыми обучающими корпусами:

• OLMo-2: Семейство моделей с полностью прозрачными данными.
• Pythia: Модели от EleutherAI, для которых доступны точные индексы обучающих текстов.

Благодаря публичным индексам автору удалось точно подсчитать количество вхождений любого предложения в обучающие данные, что позволило получить верифицируемые результаты.

Эффект «клещей»: Почему детекторы ошибаются

Исследование показало, что на обычных уровнях дублирования текста (когда фраза встречается несколько раз) модели от 1 до 13 миллиардов параметров почти не выдают своего «знакомства» с текстом. Корреляция между экспозицией (количеством показов в обучении) и тем, насколько «дешевым» (предсказуемым) модель считает предложение, составила всего -0.08 (где 0 — отсутствие связи, а -1 — идеальная зависимость).

Ситуация резко меняется, когда количество копий предложения в обучающем наборе превышает 1000. В этом случае сигнал становится сильным, но возникает проблема «конфаундинга» (смешения факторов):

1. Фактор славы: Предложения, которые встречаются более тысячи раз, — это обычно крылатые выражения, цитаты или технические клише, которые есть во всех крупных корпусах данных.
2. Невозможность разделения: Становится невозможно понять, узнает ли модель предложение потому, что видела его в своей конкретной выборке, или потому, что это предложение является общеизвестным фактом языка.

Качество текста против памяти

Один из распространенных методов проверки «памяти» ИИ — изменение одного слова в оригинальном предложении. Если модель предпочитает оригинал, считается, что она его «помнит». Однако исследование показало:

• Модели предпочитают оригинальный вариант автора даже в том случае, если он встретился в обучении всего один раз.
• Разрыв в предпочтении между оригиналом и измененной версией практически одинаков для предложений с 1 и 100 копиями.

Это доказывает, что модель вознаграждает выбор слов автора и естественную плавность речи (fluency), а не факт нахождения данных в памяти.

Ловушка регистра и стиля

Автор также продемонстрировал, как легко манипулировать показателями точности детекторов (AUC). Если для сравнения использовать предложения, отличающиеся по стилю или регистру (например, смешивать формальный текст и разговорный), точность детектора искусственно возрастает с 0.83 до 0.94.

FAQ: Ответы на главные вопросы

Влияет ли размер модели на её «память»?
Да, в случаях с экстремально высоким дублированием (более 1000 копий) более крупные модели (до 13B параметров) показывают более сильный сигнал узнавания, но этот эффект все равно ограничен очень узким кругом специфических фраз.

Можно ли защитить данные от попадания в ИИ?
Исследование показывает, что если ваше предложение не повторено тысячи раз, современные методы «вычисления» его в модели крайне ненадежны. Однако для полной безопасности необходимо контролировать саму стадию сбора обучающих данных (претрейна).

Что это значит для конфиденциальности?
Тот факт, что «сигнал членства» слаб, является хорошей новостью для приватности. Это означает, что модели не так склонны к прямому запоминанию редких, уникальных предложений, как считалось ранее.

Заключение

Работа Армана Ник Хаха призывает научное сообщество к более строгому подходу при тестировании ИИ-моделей. Вывод очевиден: то, что мы часто принимаем за «память» нейросети, на самом деле является её способностью оценивать качество языка или реакцией на общедоступные, часто повторяющиеся клише. Для будущих исследований это означает необходимость более тщательного контроля за составом обучающих данных и факторами, которые могут искажать результаты тестов на принадлежность.