Более того, делают нейросети это настолько уверенно и продуманно, что отличить правду от вымысла порой бывает очень непросто.
У специалистов уже появился отдельный термин – ИИ-галлюцинации – это когда на ваш запрос нейронка выдаёт текст, который выглядит правдоподобно, но содержит фейковые факты.
Феномен «лживого ИИ» по сути своей прост: в нейронке нет встроенного детектора или понимания «правды» – система просто комбинирует вероятные ответы на основе того, чему её научили. И если в данных были ошибки, противоречия или просто пробелы, – начинаются галлюцинации.
По словам специалистов, самая частая причина подобной ситуации – плохо поставленные вопросы. Чем точнее и проще запрос, тем меньше шансов, что модель уйдёт в астрал. Но даже при идеальном промте никто не отменял финальную проверку человеком.
Помимо этого никто не отменял постоянную работу программистов над системам. Например, в России снижением риска галлюцинаций искусственного интеллекта занимаются специалисты ВТБ и Яндекса, и других компаний.
В частности, в практике банка применяются каскадные решения, когда несколько моделей обрабатывают данные и корректируют результаты друг друга – фактически, проверяют друг-друга.
Также для машинного обучения используются очищенные от ошибок тексты, в достоверности которых можно быть уверенным.