Попытки ее улучшить могут приводить к обратному эффекту.
Исследователи из Стэнфордского университета сравнили мартовскую и июньскую версии нейросети. Несколько месяцев они фиксировали данные о качестве работы GPT по ряду направлений. ИИ генерировал программный код, проходил тесты на визуальное мышление, решал математические задачи и отвечал на неудобные вопросы.
Версия ChatGPT-4 в марте в 98% случаев давала правильный ответ на вопрос «является ли 17077 простым числом». Уже в июне она верно ответила на этот вопрос лишь в 2% случаев.
GPT-3.5, наоборот, стала умнее — процент верных ответов у нее вырос за то же время с 7% до 87%. Однако в целом GPT со временем стала хуже объяснять логику своих выводов и стала хуже отвечать на неудобные вопросы.
Ученые предполагают, что деградация ИИ связана с изменениями, которые разработчики вносят в нее, пытаясь улучшить ее работу. То есть в чем-то нейросеть становится лучше, но вместе с этим в ней что-то ломается.
Вывод ученых заставляет задуматься о правильности методов развития искусственного интеллекта.
