В январе 2022 года исследователи из Google показали, что добавление простой инструкции для ботов, таких как ChatGPT, Gemini или Claude, помогает им лучше решать задачи. Инструкция звучала так: «Давай подумаем над проблемой шаг за шагом». Эта методика, получившая название Chain of Thought (CoT), позволяет ботам разбивать задачу на более мелкие части и решать их поэтапно. Результаты были настолько многообещающими, что в последние годы компании, разрабатывающие искусственный интеллект, начали интегрировать CoT в свои модели. Это дает пользователям возможность видеть, как боты приходят к своим ответам. Однако остается вопрос: действительно ли это мышление или всего лишь его имитация? В прошлую неделю группа исследователей из Университета Аризоны опубликовала исследование, в котором они тестировали новый модельный подход. Они обучили модель с нуля, чтобы проверить, как она справляется с задачами, которые отличаются от тех, на которых она была обучена. Результаты поразительны. Модель достигала 100% успеха в решении задач, которые она уже видела. Например, если модель была обучена на примерах, где количество собак и кошек суммировалось для получения общего числа животных, то на вопрос «У меня пять собак и три кошки, сколько у меня животных?» она отвечала правильно, показывая цепочку мыслей: «Пять собак плюс три кошки равно восьми животным». Однако, если в задачу добавлялся новый элемент, например, «четыре рыбы», успех модели падал до 0.01%. Исследователи объясняют это тем, что модель не понимает логического принципа задачи. Она просто распознает языковые шаблоны: если X плюс Y, то результат Z. Если изменить формат задачи, например, спросить: «У меня пять собак и три кошки минус один кот, который был отдан на усыновление, сколько у меня животных?», модель не справляется, так как не знакома с новой математической операцией. Таким образом, исследование показывает, что чат-боты не обладают глубоким пониманием проблем, а лишь имитируют языковые шаблоны. Это поднимает вопросы о том, насколько далеко может зайти искусственный интеллект в подражании человеческому мышлению.
—
📰 Источник: themarker.com
Адаптировано и переведено с оригинала
