Нейросети Chat GPT и Sage провалили университетский экзамен по истории
Нейросети Chat GPT и Sage пока не воспринимают нюансы языков разных эпох, а также заполняют "пробелы в знаниях" несуществующими фактами, поэтому не смогут сдать вузовский экзамен по истории на "отлично". Об этом в четверг сообщили ТАСС в пресс-службе Уральского федерального университета (УрФУ), где историки провели эксперимент.
"На вопросы, связанные с использованием устойчивой общей научной терминологии, давались вполне хорошие ответы. Обе нейросети дали приемлемый ответ на вопрос: "В чем разница между историческими и историографическими источниками?" Однако со сложным гуманитарным материалом нейросеть не справляется. Так, в работе историк имеет дело с языками нескольких эпох: терминология XVI века в нескольких вариантах (церковнославянский язык, язык деловой письменности, разговорный), XIX века, советско-марксистский язык XX века и современный - и все это русский язык, который понимает человек. Нейросеть же владеет только современным русским языком и не воспринимает нюансы языков разных эпох", - расссказали в вузе.
"Экзамен" провел доцент кафедры истории России УрФУ Михаил Киселев. Преподаватель назвал нейросети "студентом-импровизатором" и поставил "тройку" по итогам испытаний.
"Есть тип, когда студент выучил кое-что, но делает вид, что он знает все. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения, и здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов", - рассказывает Киселев.
Так, на вопрос "Какие историки писали о завещании Василия III?" обе нейросети сначала заявили, что об этом "писали многие историки", после чего назвали наиболее известных дореволюционных ученых, которые писали обобщающие работы по истории России, хотя необходимые авторы легко находятся в поисковых системах.
"Примечательно, что нейросети наравне с реальными историками и их работами могут выдумывать как историков, так и книги. Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу "История Российского государства". Если представить, что такая беседа велась на экзамене, то можно сказать, что студент "поплыл" из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное", - говорит Киселев.
