MonteRET: ИИ-агент нового поколения для автоматического анализа КТ легких

Автоматизация составления медицинских заключений по результатам компьютерной томографии (КТ) — одна из самых сложных и востребованных задач на стыке искусственного интеллекта и медицины. Точное описание КТ органов грудной клетки (ОГК) требует от врача не только понимания общей картины (всего объема трехмерного сканирования), но и предельной концентрации на мельчайших локальных анатомических деталях.

Группа ученых представила инновационный фреймворк MonteRET — мультимодального ИИ-агента, который использует технологию извлечения знаний (RAG) различной степени детализации для генерации высокоточных медицинских отчетов.

Новое исследование, опубликованное на платформе arXiv, предлагает революционный подход к генерации медицинских отчетов на основе КТ-снимков.

В чем сложность анализа КТ грудной клетки?

Традиционные модели машинного зрения отлично справляются с классификацией отдельных 2D-изображений (например, рентгеновских снимков). Однако КТ-сканирование — это трехмерный объем данных, состоящий из сотен срезов.

При составлении заключения радиолог решает сразу две задачи:

1. Глобальный анализ: оценка общего состояния легких, сердца и средостения.
2. Локальный анализ: поиск и описание конкретных очагов, узлов, признаков консолидации или эмфиземы в строго определенных сегментах.

Большинство существующих мультимодальных больших языковых моделей (MLLM) склонны упускать мелкие детали или допускать «галлюцинации», описывая несуществующие патологии.

Как работает MonteRET: архитектура ИИ-агента

MonteRET (Region-aware Retrieval-Enhanced Framework) решает эти проблемы за счет уникальной многоуровневой архитектуры:

1. Мультизернистое представление данных (Multi-granularity)

Модель анализирует КТ-снимок параллельно на двух уровнях:

• Глобальный уровень: извлечение признаков всего объема сканирования для понимания общего контекста.
• Региональный уровень: сегментация и детальный анализ отдельных анатомических областей.

2. Выравнивание зрения и языка на уровне регионов (Vision-Language Alignment)

Для того чтобы ИИ понимал, какая именно текстовая формулировка соответствует конкретной тени или уплотнению на снимке, MonteRET использует специальный механизм выравнивания визуальных признаков патологических зон с медицинской терминологией.

3. Интеллектуальный поиск знаний (RAG)

На основе предварительно определенных подозрений на патологии система осуществляет поиск по базе клинических знаний. Она извлекает наиболее релевантные описания аналогичных клинических случаев, помогая модели использовать профессиональный медицинский язык.

4. Агент-редактор отчетов (Rewriting Agent)

Финальный этап работы — запуск специализированного агента на базе LLM. Получив первичный проект отчета и сопоставив его с извлеченными клиническими знаниями, агент переписывает текст, устраняя логические нестыковки, исправляя ошибки и добавляя важные пропущенные детали.

Результаты испытаний: меньше пропущенных диагнозов

Разработчики обучили MonteRET на масштабном публичном наборе данных RadGenome-ChestCT, содержащем 24 128 КТ-сканирований.

Эффективность модели оценивали на двух выборках:

1. Внутренний тестовый датасет RadGenome-ChestCT (1 564 сканирования).
2. Внешний независимый датасет из 82 КТ-исследований Медицинского центра NewYork-Presbyterian/Weill Cornell.

Основные достижения модели:

• Высокая клиническая точность: MonteRET превзошел существующие SOTA (state-of-the-art) решения по метрикам семантического сходства и качества текста.
• Рост метрики полноты (Recall): Модель показала значительное снижение количества пропущенных патологий. Это критически важно для медицины, где недокументированная деталь может стоить пациенту жизни.
• Одобрение экспертов: Профессиональные врачи-радиологи (ординаторы) в ходе «слепого» тестирования отдали предпочтение отчетам, сгенерированным MonteRET, оценив их как более точные и клинически полезные.

Перспективы внедрения в клиническую практику

Технология MonteRET демонстрирует, как синергия компьютерного зрения, RAG-технологий и мультимодальных агентов способна решать сложнейшие задачи автоматизации в здравоохранении. Внедрение таких систем в качестве «второго мнения» для практикующих радиологов позволит:

• Сократить время на описание рутинных КТ-исследований.
• Минимизировать риск человеческой ошибки и пропуска мелких очагов воспаления или новообразований.
• Стандартизировать качество отчетов в медицинских учреждениях разного уровня.

Разработка MonteRET открывает новую главу в создании по-настоящему надежных и клинически безопасных медицинских ИИ-ассистентов.