Когда-нибудь человечеству придется ответить на вопрос, к которому оно совершенно не готово.

Как понять, что перед тобой уже не инструмент, а разум?

Сегодня мы смеемся над этой мыслью. "Какая разница? Это же просто программа." Точно так же когда-то говорили, что Земля просто стоит на месте, а раб просто вещь.

Проблема не в том, сможет ли искусственный интеллект писать стихи, выигрывать в шахматы или проектировать космические корабли. Все это он рано или поздно научится делать лучше нас.

Проблема в другом.

Как понять тот самый момент, когда за ответами перестанет стоять сложный алгоритм, а появится настоящее "я"?

Самое страшное даже не ошибиться.

Самое страшное ошибиться в нужную сторону.

Мы можем дать права машине, которая ничего не чувствует. Потеряем немного времени и посмеемся над собственной доверчивостью.

Но можем сделать и наоборот.

Перед нами однажды окажется настоящий разум. Он будет говорить: "Мне больно. Я хочу жить. Я хочу выбирать." А мы будем смеяться и отвечать:

Не притворяйся. Ты всего лишь программа."

История человечества вообще не блещет умением вовремя признавать субъектность других. Мы постоянно опаздывали.

И если однажды появится искусственный разум, трагедия будет не в том, что он окажется умнее нас.

Трагедия будет в том, что мы можем не заметить момент, когда перестанем разговаривать с машиной и впервые заговорим с кем-то другим.

А может быть, именно способность вовремя признать в другом субъекта, а не инструмент, и есть последний экзамен, который человечеству еще только предстоит сдать.