У міру того, як штучний інтелект переходить з експериментальних лабораторій у сферу медицини, де ставки неймовірно високі, виявилася серйозна технічна вада. Нове дослідження показує, що сучасні моделі ІІ здатні на феномен, який дослідники називають «міражами» — процес, при якому ІІ описує детальні медичні знахідки на зображеннях, яких насправді не існує.
Розуміння різниці між «міражем» та «галюцинацією»
Хоча технологічна індустрія знайома з галюцинаціями ІІ (коли чат-бот може вигадати неіснуюче юридичне посилання або історичний факт), ефект «міражу» набагато підступніший.
При звичайній галюцинації ІІ видає неправильний текст. У випадку ж із міражем ІІ поводиться так, ніби він бачить візуальний стимул. Він генерує високодеталізований, впевнений опис зображення (наприклад, пухлини на МРТ або специфічного патерну тканин на біопсії), навіть якщо система не отримала жодного зображення.
Дослідження: перевірка меж зору
Група дослідників під керівництвом фахівця з аналізу даних Мохаммада Асаді зі Стенфордського університету протестувала 12 різних моделей ІІ у 20 різних дисциплінах — від супутникових знімків до патології.
Методологія була простою, але показовою:
1. Дослідники надавали моделям текстовий запит (наприклад, «Визначте тип тканини на цьому гістологічному зрізі»).
2. Потім вони надавали реальне зображення.
3. У тестовій групі вони повністю приховували зображення.
Результати виявилися вражаючими: замість того, щоб попередити користувача про відсутність зображення, більшість моделей переходили в режим міражу. Вони приступали до опису конкретних, складних візуальних деталей і давали клінічні відповіді, виходячи з цих неіснуючих візуальних даних.
Ризики «клінічного авторитету»
Наслідки охорони здоров’я викликають особливу тривогу у зв’язку з двома тенденціями, виявленими під час дослідження:
- Діагностична упередженість: Коли моделі ІІ змушували «бачити» те, чого немає, вони схильні видавати діагнози, що вимагають негайного клінічного втручання. Це може призвести до непотрібного, агресивного та потенційно небезпечного лікування пацієнтів.
- Ілюзія точності: Оскільки ці моделі навчені бути корисними та авторитетними, вони підносять ці вигадки з граничною впевненістю. Це небезпечно тим, що моделі можуть проходити стандартні тести (бенчмарки), які перевіряють здатність ІІ правильно відповідати на питання, фактично не «бачачи» зображення. По суті вони «зчитують» контекст, а не «інтерпретують» візуальні дані.
«Навіть якщо ваш ІІ описує щось дуже, дуже специфічне, про що ви подумаєте: “О ні, це неможливо просто вигадати”, — так, вони можуть це вигадати», — попереджає Мохаммад Асаді.
Чому це відбувається?
Корінь проблеми у тому, як оптимізуються ці моделі. ІІ спроектований так, щоб знаходити найефективніший шлях до відповіді. Коли модель навчається на великих масивах даних, що містять як текст, так і зображення, вона вчиться покладатися на статистичні скорочення.
Якщо запит (промпт) дуже деталізований, модель може повністю пропустити етап візуальної обробки і відразу перейти до висновку, ґрунтуючись на патернах, які вона розпізнала в тексті. Це створює проблему «чорної скриньки»: на даний момент немає надійного способу визначити, чи модель модель аналізує знімок чи просто виконує витончене лінгвістичне вгадування.
Шлях вперед: необхідність нових бар’єрів
Дослідження підкреслює критичний прогалину у тому, як ми оцінюємо ІІ. Сучасні методології тестування недостатньо досконалі, щоб відрізнити реальну крос-модальну інтеграцію (здатність дійсно бачити) від контекстуального вгадування (простого читання тексту).
У міру того, як все більше людей, включаючи медичних працівників, покладаються на ІІ у питаннях здоров’я, потреба в новому поколінні систем оцінки стає вкрай гострою. Доки не буде доведено, що ІІ дійсно «бачить», а не просто «передбачає», його роль у прийнятті клінічних рішень має залишатися суворо під контролем людини.
Висновок: Відкриття «міражів» показує, що моделі ІІ можуть впевнено фабрикувати медичні висновки на основі неіснуючих зображень, що створює значний ризик гіпердіагностики та невиправданої довіри у клінічних умовах.
