이 책은 AI의 위험성에 대해서 이야기하고 있다. AI가 정말 자아를 가지게 된다면 AI는 우리와 공존할 수 있을까? 저자는 그렇지 않다고 이야기한다. 애초에 대화할 가치가 있는 상대여야 대화를 할 것이기 때문이다. 애니메이션 '페어리 테일'에서 아크놀로기아라는 최종 보스가 등장한다. 주인공 일행은 아크놀로기아와 대화로 해결해 보자고 이야기하는데 주인공 일행 중 한 명이 이렇게 묻는다. 너는 개미랑 대화를 할 생각이 있냐고 AI도 자의식을 가지게 되면 아마 이런 입장을 취하게 되지 않을까 하는 게 저자의 생각이다.

AI의 경우 인터넷에 접속할 수 없게 해도 빠져나갈 구멍은 어디든 있다. 컴퓨터의 경우 무선 신호를 발생시켜 근처 휴대기기에서 해당 무선 신호를 수신할 수 있다고 한다. AI가 문제를 일으키면 전원을 차단하면 된다고 하는데 AI가 지능을 얻고 비윤리적인 활동을 시작하기 전에 전원을 차단하더라도 멈추지 않는 경로를 만들고 비윤리적인 활동을 할 것이다.

《넥서스》의 저자 유발 하라리도 AI의 위험성에 대해서 자주 언급하고 있다. 우리가 AI의 지능을 우리 인간의 지능과 비교하며 생각하고 있는데 이 비교 자체가 잘못됐다는 것이다. 우리들은 나비의 비행 능력과 제트기의 비행 능력을 비교하지 않는다. 즉 인간의 지능과 비교할 수 없는 알 수 없는 무언가를 만들고 있다는 것이다.

유발 하라리의 경우에는 AI가 영화처럼 로봇이 인류를 몰살하는 시나리오 보다는 거짓된 정보를 만들어서 사람들을 조종하여 인류가 서로를 죽이는 경우를 걱정하고 있다. 인류는 이야기를 만들고 그 이야기를 바탕으로 움직이기 때문이다.

《이기적 유전자》로 유명한 리처드 도킨스도 AI가 의식이 없다는 것은 믿기지 않는다는 발언을 했다. 세계적인 생물학자가 저렇게 발언을 한 것을 보면 무시할 수 없는 내용이다. 아마 인간의 뇌도 전기적 신호로 움직이고 AI도 전기적 신호로 움직이는 원리는 같기 때문에 이런 발언을 하지 않았을까?가 나의 생각이다.

내 생각에 인간의 뇌는 전기적 신호로 움직이고 있고 AI도 전기적 신호로 움직이고 있다.

우리는 대뇌피질에 정보를 저장하고 AI는 하드디스크에 정보를 저장한다. 그리고 AI와 인간 둘 다 저장된 정보를 이용하여 사고를 한다. 나는 AI가 자아를 확립하기 어렵게 만드는 이유로 가지지 못한 육체라고 생각하고 있다. 아주 어릴 적의 기억을 더듬어 보면 '나'라는 것을 크게 의식하지 못했던 것 같다. 하지만 AI가 자아는 가지지 못 한다고 하더라고 유발 하라리의 말대로 우리가 생각하는 것과는 다른 무언가가 되고 있는 것 같다.