Даже если ИИ способен пройти тест Тьюринга, значит ли это, что он умеет думать? Одно из главных возражений здесь состоит в том, что прохождение теста не является гарантией достижения ИИ уровня «распознавания символов» – способности определять, что именно значат символы, слова и концепции. Чтобы доказать эту точку зрения, философ Джон Серл представил в начале 1980 годов мысленный эксперимент под названием «Китайская комната». Представьте в запертой комнате человека, которому через щель передают письменные вопросы. Вопросы записаны на китайском языке, которого человек не понимает, но у него есть огромная книга синтаксических и семантических правил, которая позволяет ему обрабатывать вопросы и записывать ответы по-китайски. Людям, которые получают эти ответы, может показаться, что человек понимает китайский язык, хотя на самом деле совершенно им не владеет.

Это лишь один из сложных – и потенциально неразрешимых – вопросов, которые стоят перед ИИ и всей сферой изучения сознания и которые составляют так называемую «трудную проблему сознания». Сюда же относится вопрос, можно ли считать запрограммированные в ИИ желания, эмоции и стремления схожими с нашими желаниями и стремлениями. Взять, например, термостат – устройство с электрическими характеристиками, которое реагирует на изменения температуры и включает либо систему подогрева, либо систему охлаждения, поддерживая температуру на заданном уровне. «Хочет» ли термостат поддерживать в вашей гостиной уютные 21 °C (70 °F)? Утверждать, что «хочет», – это, пожалуй, бред, но если мы не сможем дать точного определения, что значит чего-то «хотеть», кто сделает это за нас?