슈퍼인텔리전스: 경로, 위험, 전략 - 닉 보스트롬

알파고의 등장 이래 '인공지능'이라는 화두는 이미 일상이 되어서 오히려 주목을 덜 받는 상황이 되었다. 그렇다고 하더라도 '인공지능'에 관해서는 생각해야 할 것들이 아직 많다. 그래서 "인공지능이 인간의 지능을 닮은 범용 지능이 될 수 있는 방법은 무엇인가?"라든가 "인공지능과 공존해야 하는 상황은 어떨 것인가?" 등에 대한 논의가 학계를 중심으로 활발하게 논의되고 있다. 그 중에는 인간이 지적 호기심을 가진 존재이기 때문에 불가피하게 가지게 되는 의문인 "인간을 보호하는 인공지능을 어떻게 만들 것인가?"도 포함되어 있다. 이는 예측 불가의 미래학의 영역이다 보니 철학적 논의들이 개입하기 딱 좋다. 인지심리학자인 스티븐 핑거는 '마음은 어떻게 작동하는가'에서 다음과 같이 언급한 바 있다. “미래학에서 확실하게 옳은 예언 중 하나는 미래에도 그 시대의 미래학자들은 어리석게 보일 거라는 것이다.” 이처럼 미래를 유추하여 현재의 진행 상황을 조정하겠다는 철학적 담론은 거의 탁상공론으로 끝나는 경우가 대부분이다. 다음에 인용하는 책도 그런 류의 것이다.

저자는 철학자이면서 인지심리학에 지대한 관심을 가지고 있다. 말하자면 과학적 철학자 그룹에 속한다고 할 수 있겠다. 그래서 서양의 지적 전통에 기대지 않고 과학적 논의로 출발은 한다. 그리고 논의는 시작부터 비관론으로 기울어 있다.
"미래의 어느 날 우리가 인간의 일반 지능을 능가하는 기계 두뇌(machine brain)를 만들게 된다면, 이 새로운 슈퍼인텔리전스(superintelligence, 초지능)는 매우 강력한 존재가 될 것이다. 그리고 마치 지금의 고릴라들의 운명이 그들 스스로가 아니라 우리 인간에게 달린 것처럼, 인류의 운명도 기계 초지능의 행동에 의존하게 될 것이다."
"(고릴라보다) 우리가 유리한 점이 딱 하나 있다. 바로 우리는 우리 손으로 초지능을 만든다는 것이다. 이론상으로, 우리는 인간 가치를 수호하는 초지능을 만들 수도 있다. 우리에게는 그렇게 할 만한 강한 동기가 있다. 그러나 실제로는, 초지능을 통제하는 문제는 상당히 까다로워 보인다. 또한 초지능을 통제하기 위한 기회는 단 한번 뿐일 것이다. 일단 인류에게 비우호적인 초지능이 만들어지면, 그것을 대체하거나 변경하려는 시도는 그 비우호적인 초지능에 의해서 가로막히게 될 것이다. 그렇게 되면 우리의 운명은 돌이킬 수 없게 된다."
인공지능을 연구하는 학자들은 초지능의 탄생에 대부분 동의한다. 그리고 그 초지능이 어떤 형태가 될 지는 아무도 모른다는 데에도 동의한다. 그 점은 저자도 마찬가지다. 그렇다면 '인간에게 비우호적인 초지능'의 존재를 가정한 논의는 부질없는 것이 되어 버리는데 저자는 철학자이기 때문이어서 인지는 몰라도 그렇게 한다.

저자는 철저하게 과학적 접근을 하고 있어서 현재의 인공지능의 범주를 명확하게 구분해 준다.
"현재 설명하고 있는 내용에 맞는, 더 의미있는 구분(이것이 '인공지능’이라는 용어로 불리든 말든)은 제한적인 범위의 인지능력을 가진 시스템과 일반적인 문제 해결능력을 갖춘 시스템을 구분하는 것이다. 현재 사용 중인 거의 모든 시스템들은 사실 매우 제한적인 범위의 인지능력을 가진 시스템에 해당한다고 볼 수 있다."
즉, 알파고를 포함하여 전문가 시스템을 포괄하는, 인간의 사고 능력을 보조하는 용도의 '약한 인공지능(weak AI)과 인간 수준의 범용 기계지능인 '강한 인공지능(strong AI)'으로 나눈다.

저자는 철학자이면서도 과학적 접근을 하는 학자이어서 전통 철학의 문제를 언급한다.
"철학에서의 "영원한 문제들(etenal problems: 철학의 근본 문재들 중의 한 유형, 영구적이며 보편적인 답을 구하는 것이 불가능한 문계들/옮긴이)을 해결하는 데에 시간이 계속 걸리고 해답이 명확하지 않은 이유는 인간의 뇌가 철학적인 사고를 하는 일에는 적당하지 않기 매문이라고 추측해볼 수 있다. 이러한 시각에서 본다면 인류 역사상 가장 찬사를 받는 철학자들이라고 할지라도 마치 일어서서 뒷다리로 걷는 개와 다를 바가 없다고 하겠다. 즉 특정 행위를 하는 데에 필요한 최소한의 능력을 간신히 갖춘 정도라고 볼 수 있다는 것이다."
"윤리학에서 이상적 관찰자 이론(ideal observer theory)은 '선(good)'과 '참(right)' 등의 규범적 개념을 가상의 이상적 관찰자가 내릴 결정에 따라서 분석하는 것이다(여기서 '이상적 관찰자'란 규범적인 사실이 아닌 사안에 대해서 전지적이고, 논리적으로 통찰하며, 공정하고 여러 종류의 편견으로부터 자유로운 존재 등으로 정의된다)."
"MR(Moral Realism, 도덕적 실재론)은 '도덕적으로 옳은'이라는 개념에 의존하는데, 이것은 고대부터 철학자들이 분석해왔음에도 불구하고 아직까지도 합의에 이르지 못한 지독하게 어려운 개념이다."

지능은 생각의 영역이어서 도덕 철학에 관한 논의도 곁들인다. 그런데 도덕 철학의 딜레마였던 '이기적인 인간들의 집합인 인간 사회에서 어떻게 이타주의 또는 협력이 생기는가?'하는 문제는 게임이론에서 '협력이 도덕성의 개입없이도 이루어진다'는 것을 보여줌으로써 해소되었다. 그렇다면 초지능이 존재하는 사회에서의 윤리란 초지능끼리의 경쟁을 통해 그들 나름의 도덕률을 만들어 낼 것이며, 그것이 인간의 것과 크게 다르지 않을 가능성이 크다. 어쨎거나 이건 추론일 뿐이지 실제로 어떻게 될 지는 아무도 모르는 것이므로 그걸 가정한 논의도 무의미하긴 마찬가지다.

그래서 논의의 시작은 과학적 바탕 위에 했지만 결론은 다음과 같이 애매모호한 구절로 맺어 놓았다.
"이 책에서 우리는 이와 같은 시도를 하지 않았다면, 여전히 비교적 정형화되어 있지 않고 부정적으로 정의되어 있었을 수도 있는, 미래에 대한 견해를 조금이라도 더 파악하려고 시도했다. 이것은 (개인적이고 세속적인 것은 배제한 견해에서 보았을 때) 우리의 주된 도덕적 우선 순위로서, 존재적 위험을 줄이려고 하고, 인류가 가진 우주의 무한한 자산을 온정적이고 즐겁게 사용하도록 이끌어서 성숙한 문명을 성취하려고 하는 인류의 미래의 꿈일 것이다."

이 책의 표지에는 마이크로소프트 회장 빌 게이츠가 했다는 말 "인공지능에 관해 반드시 읽어야 할 두 권 중 하나"라는 선전 문구가 붙어 있는데 내 생각에 이는 타당하지 않다. 서두에 스티븐 핑거의 말대로 어떻게 전개될 지 모르는 미래를 가정한 논의는 어차피 무의미하기 때문이다. 그래서 이 책의 독서 추천은 '중립'으로 한다.