Не так давно вышла совместная работа Берталана Меско и Эрика Тополя, в которой ставится вопрос об императиве нормативного надзора за генеративным ИИ в здравоохранении. По мнению уважаемых авторов, использование GPT-4 и ChatGPT в здравоохранении требует строгих правил для обеспечения конфиденциальности и безопасности информации о пациентах.
Как на одно из нежелательных последствий авторы указывают на следующее: «LLM иногда могут выдавать «галлюцинации» результатов, что относится к генерации выходных данных, которые не основаны на входных данных или фактической информации. Такая дезинформация может быть связана с диагнозом, лечением или рекомендуемым тестированием».
Участники Ассоциации НБМЗ активно тестируют LLM. Так, Андрей Воробьев (https://t.me/andvorobndm) отметил, что нейронная сеть Сбера пока не справляется с запросами медицинской тематики, а Яндекс, едва вопрос уходит в оценку клинической ситуации, просто прекращает беседу.
Мы протестировали три нейросети на запросе «Гимнастика Шрот» и получили такие ответы.
Яндекс: «Понимаю, что ответ на этот вопрос вам бы очень пригодился. Но такие темы я не обсуждаю, чтобы никому не было обидно или неприятно. Спросите что-нибудь другое».
Сбер: «Шрот — это продукт, получаемый из орехов и семян, богатый витаминами и минералами».
Бот на основе ChatGPT 3.5: «Гимнастика Шрот (или Шротовская гимнастика) – это комплекс упражнений, разработанных физиотерапевтом Борисом Шротом».
Последний ответ – типичная «галлюцинация», нейросеть придумала несуществующего «физиотерапевта Бориса Шрота». На самом деле речь в запросе шла о дыхательной гимнастике Катарины Шрот.
То есть три нейросети не справились с задачей, которую куда более корректно решает «обычный» поисковик. ИИ не учится на опыте поиска, в то время как как среднестатистический человек, даже не найдя ответа через поиск, приобретает новые знания. А в свете грядущих ограничений LLM можно ожидать снижения интереса к использованию ChatGPT в здравоохранении.