По мере того как искусственный интеллект переходит из экспериментальных лабораторий в сферу медицины, где ставки невероятно высоки, обнаружился серьезный технический изъян. Новое исследование показывает, что современные модели ИИ способны на феномен, который исследователи называют «миражами» — процесс, при котором ИИ описывает детальные медицинские находки на изображениях, которых на самом деле не существует.
Понимание разницы между «миражом» и «галлюцинацией»
Хотя технологическая индустрия знакома с галлюцинациями ИИ (когда чат-бот может выдумать несуществующую юридическую ссылку или исторический факт), эффект «миража» гораздо коварнее.
При обычной галлюцинации ИИ выдает неверный текст. В случае же с миражом ИИ ведет себя так, будто он видит визуальный стимул. Он генерирует высокодетализированное, уверенное описание изображения (например, опухоли на МРТ или специфического паттерна тканей на биопсии), даже если система не получила никакого изображения.
Исследование: проверка пределов зрения
Группа исследователей под руководством специалиста по анализу данных Мохаммада Асади из Стэнфордского университета протестировала 12 различных моделей ИИ в 20 разных дисциплинах — от спутниковых снимков до патологии.
Методология была простой, но показательной:
1. Исследователи давали моделям текстовый запрос (например, «Определите тип ткани на этом гистологическом срезе» ).
2. Затем они предоставляли реальное изображение.
3. В тестовой группе они полностью скрывали изображение.
Результаты оказались поразительными: вместо того чтобы предупредить пользователя об отсутствии изображения, большинство моделей переходили в «режим миража». Они приступали к описанию конкретных, сложных визуальных деталей и давали клинические ответы, основываясь на этих несуществующих визуальных данных.
Риски «клинического авторитета»
Последствия для здравоохранения вызывают особую тревогу в связи с двумя тенденциями, выявленными в ходе исследования:
- Диагностическая предвзятость: Когда модели ИИ заставляли «видеть» то, чего нет, они склонны выдавать диагнозы, требующие немедленного клинического вмешательства. Это может привести к ненужному, агрессивному и потенциально опасному лечению пациентов.
- Иллюзия точности: Поскольку эти модели обучены быть полезными и авторитетными, они преподносят эти вымыслы с предельной уверенностью. Это опасно тем, что модели могут проходить стандартные тесты (бенчмарки), которые проверяют способность ИИ правильно отвечать на вопросы, фактически не «видя» изображения. По сути, они «считывают» контекст, а не «интерпретируют» визуальные данные.
«Даже если ваш ИИ описывает что-то очень, очень специфическое, о чем вы подумаете: «О нет, это невозможно просто выдумать», — да, они могут это выдумать», — предупреждает Мохаммад Асади.
Почему это происходит?
Корень проблемы кроется в том, как оптимизируются эти модели. ИИ спроектирован так, чтобы находить наиболее эффективный путь к ответу. Когда модель обучается на огромных массивах данных, содержащих как текст, так и изображения, она учится полагаться на статистические сокращения.
Если запрос (промпт) очень детализирован, модель может полностью пропустить этап «визуальной обработки» и сразу перейти к выводу, основываясь на паттернах, которые она распознала в тексте. Это создает проблему «черного ящика»: на данный момент нет надежного способа определить, действительно ли модель анализирует снимок или просто выполняет изощренное лингвистическое угадывание.
Путь вперед: необходимость новых барьеров
Исследование подчеркивает критический пробел в том, как мы оцениваем ИИ. Современные методологии тестирования недостаточно совершенны, чтобы отличить реальную кросс-модальную интеграцию (способность действительно видеть) от контекстуального угадывания (простого чтения текста).
По мере того как всё больше людей, включая медицинских работников, полагаются на ИИ в вопросах здоровья, потребность в новом поколении систем оценки становится крайне острой. До тех пор, пока не будет доказано, что ИИ действительно «видит», а не просто «предсказывает», его роль в принятии клинических решений должна оставаться строго под контролем человека.
Заключение: Открытие «миражей» показывает, что модели ИИ могут уверенно фабриковать медицинские заключения на основе несуществующих изображений, что создает значительный риск гипердиагностики и неоправданного доверия в клинических условиях.
