Пользователи усомнились в компетенции чат-ботов по медицинской тематике
Британский медицинский научный журнал Nature Medicine опубликовал исследование Оксфордского университета о применении искусственного интеллекта в здравоохранении. В исследовании говорится, что чат-боты, использующие технологии ИИ, часто дают неправильные и опасные советы пользователям в области здравоохранения.
В частности, чат-боты (включая ChatGPT и Llama) выдают результаты не правдивей, чем поисковая система Google, которая считается некорректным источником медицинских данных, особенно в вопросе помощи в постановке правильного диагноза или определения действий при заболевании.
Директор проектов Minerva Result ООО "Пантеон Айти" (Minervasoft) Денис Кучеров считает, что российские чат-боты ("Алиса" и Gigachat) в этом плане не сильно отличаются от большинства зарубежных аналогов: "Если задать прямой и корректный вопрос, то они дадут развернутый и релевантный ответ. При этом, как и должно быть, посоветуют обратиться к врачу. И здесь я не могу выделить кого-то из них отдельно - справляются более-менее одинаково".
"Среди российских решений отдельно стоит отметить специализированные медицинские сервисы - например, встроенные чат-боты на платформах телемедицины, которые работают не как свободные языковые модели, а по жестким алгоритмам сортировки симптомов. Они, как правило, точнее, потому что не пытаются "думать" свободно, а ведут пользователя по структурированному опроснику и в итоге направляют к нужному специалисту", - отметил ИИ-евангелист ООО "Артезио" (Artezio, входит в ГК "Ланит") Александр Николайчук.
В то же время авторы исследования отметили, что некорректные ответы чат-боты выдают в том числе и по вине пользователей, которые не описывают полностью состояние больного. Из-за этого возникают ошибки.
"Ответы чат-ботов аккумулируют множество информации, но она не всегда релевантна конкретному случаю, поскольку человек мог забыть упомянуть что-то важное о проблемах со здоровьем. В результате чат-бот может предложить лечение, которое в конкретной ситуации окажется скорее вредным", - подтвердил руководитель направления по автоматизации инструментальных исследований ООО "ЭлНетМед" (N3.Health) Петр Пузанов.
"Большая языковая модель не понимает контекст так, как человек, и очень чувствительна к формулировкам. Расплывчатый или некорректный вопрос почти всегда приводит к такому же ответу. Поэтому зрелые решения либо помогают пользователю уточнить запрос, либо сразу ограничивают сценарии, в которых бот вообще имеет право отвечать", - рассказал заместитель директора по технологиям "Софтлайн Решения" (входит в ГК Softline) Роман Инюшкин.
"Между врачом и пациентом всегда происходит диалог. Врач задает уточняющие вопросы, направляет разговор, вытягивает детали, которые сам пациент может считать незначительными. Чат-бот этого, как правило, не делает - он отвечает на то, что ему написали. А люди склонны описывать симптомы очень поверхностно", - заключил Александр Николайчук.
