Ученые: нейросеть ChatGPT со временем может тупеть

Исследователи из Стэнфордского университета сравнили мартовскую и июньскую версии нейросети. Несколько месяцев они фиксировали данные о качестве работы GPT по ряду направлений. ИИ генерировал программный код, проходил тесты на визуальное мышление, решал математические задачи и отвечал на неудобные вопросы.

Версия ChatGPT-4 в марте в 98% случаев давала правильный ответ на вопрос «является ли 17077 простым числом». Уже в июне она верно ответила на этот вопрос лишь в 2% случаев.

GPT-3.5, наоборот, стала умнее — процент верных ответов у нее вырос за то же время с 7% до 87%. Однако в целом GPT со временем стала хуже объяснять логику своих выводов и стала хуже отвечать на неудобные вопросы.

Ученые предполагают, что деградация ИИ связана с изменениями, которые разработчики вносят в нее, пытаясь улучшить ее работу. То есть в чем-то нейросеть становится лучше, но вместе с этим в ней что-то ломается.

Вывод ученых заставляет задуматься о правильности методов развития искусственного интеллекта.