ИИ превзошел ум ученых в гуманитарных и точных науках

Быстрое развитие этих систем также означает, что многие общепринятые стандарты и тесты для их оценки быстро устаревают.

Это лишь некоторые ключевые выводы из отчета "Индекс искусственного интеллекта за 2024 год", который был опубликован 15 апреля Институтом человеко-центричного искусственного интеллекта при Стэнфордском университете в Калифорнии. Отчет отслеживает стремительный прогресс в системах машинного обучения за последнее десятилетие, передает Nature.

В отчете говорится, что новые способы оценки ИИ - например, оценка их производительности в сложных задачах, таких как абстрактное мышление и рассуждения - становятся все более необходимыми. "Десять лет назад стандарты служили сообществу 5-10 лет", тогда как теперь они часто становятся неактуальными за считанные годы и месяцы, говорит Нестор Маслей, социолог из Стэнфордского университета.

Ежегодный Индекс ИИ Стэнфорда, впервые опубликованный в 2017 году, составлен группой специалистов для оценки технических возможностей отрасли, ее стоимости, этических и прочих аспектов - с целью информирования исследователей, политиков и общественности. В отчете этого года, который насчитывает более 400 страниц и был отредактирован и сжат с помощью инструментов ИИ, отмечается, что новые технологии стремительно набирают популярность, но отсутствие стандартизированных оценок для ответственного использования ИИ затрудняет сравнение систем с точки зрения рисков, которые они представляют.

Также в текущем издании подчеркивается растущее использование ИИ в науке: впервые он посвящает целую главу приложениям в науке, выделяя проекты, включая сетевые графики для исследования материалов (GNoME), проект от Google DeepMind, который помогает химикам открывать материалы, и GraphCast, другой инструмент DeepMind, который используется для быстрого прогнозирования погоды.

Текущий бум ИИ, основанный на нейронных сетях и алгоритмах машинного обучения, начался в начале 2010-х годов. С тех пор эта область резко расширилась. Например, количество проектов с кодами ИИ на GitHub, распространенной платформе для обмена кодом, увеличилось с около 800 в 2011 году до 1,8 миллиона в прошлом году. И количество журнальных публикаций об ИИ примерно утроилось за этот период, говорится в отчете.

Большая часть передовой работы по ИИ проводится в промышленности: в прошлом году этот сектор произвел 51 заметную систему машинного обучения, тогда как академические исследователи внесли 15. "Академическая работа смещается к анализу моделей, разработанных компаниями – более глубокому изучению их недостатков", говорит Реймонд Муни, директор лаборатории ИИ в Университете Техаса в Остине, который не участвовал в составлении отчета от Стенфорда.

Одним из последних тестов для ИИ является эталон кандидатского уровня Google-Proof Q&A (GPQA), разработанный в прошлом году командой, включая исследователя машинного обучения Дэвида Рейна из Нью-Йоркского университета.

GPQA, состоящий более чем из 400 вопросов с выбором ответов, сложен. Например, кандидаты наук могли правильно ответить на предложенные аналогичные вопросы в 65% случаев. Те же ученые, пытаясь ответить на вопросы за пределами своей области, набирали всего 34%, несмотря на доступ к Интернету во время теста (случайный выбор ответов принес бы результат в 25%). На прошлый год ИИ-системы набирали около 30–40%. В этом году, по словам Рейна, чат-бот Claude 3 — последняя разработка компании Anthropic со штаб-квартирой в Сан-Франциско, штат Калифорния — набрал около 60%. "Темпы прогресса поражают многих людей, включая меня", добавляет Рейн.

Цена прогресса

По мере того, как производительность стремительно растет, растут и затраты. GPT-4 — LLM, который управляет ChatGPT и который был выпущен в марте 2023 года компанией OpenAI со штаб-квартирой в Сан-Франциско, обошелся, как сообщается, в 78 миллионов долларов США. Чат-бот Gemini Ultra от Google, запущенный в декабре, обошелся в 191 миллион долларов. Многих беспокоит энергопотребление этих систем, а также количество воды, необходимое для охлаждения данных центров, которые помогают их запускать. "Эти системы впечатляющие, но они также очень неэффективны", говорит Маслей.

Затраты и энергопотребление моделей ИИ высоки в большой степени потому, что один из основных способов улучшить текущие системы – сделать их больше. Это означает их обучение на все большем количестве текстов и изображений.

Индекс ИИ отмечает, что некоторые исследователи теперь опасаются исчерпания данных для обучения нейросетей. В прошлом году некоммерческий исследовательский институт Epoch предсказал, что запасы высококачественных языковых данных для обучения могут быть исчерпаны уже в 2024 году. (Однако, по последнему анализу института, более верным будет прогноз на 2028 год.)

Этические опасения по поводу того, как ИИ создается и используется, также усиливаются. "Люди намного больше беспокоятся об ИИ, чем когда-либо прежде, как в Соединенных Штатах, так и по всему миру", говорит Маслей. "Теперь есть страны, очень воодушевлены возможностями применения ИИ, а есть и те, где в связи с этим испытывают только пессимизм".