:: AI 안전에 대한 아홉가지 생각 ::

※ 약 1만자입니다.

❖ 서론

컴퓨터과학에 있어서 저는 앨런 튜링을 기준점으로 생각하는데요.

Turing Machine 즉 튜링의 컴퓨터 논문은 1936년에 나왔습니다.
Intelligent Machinery 즉 튜링의 인공지능 논문은 1948년에 나왔습니다. 연결주의 AI입니다.

그리고 그에 앞서서 인공뉴런을 모방한 퍼셉트론은 1943년에 나왔습니다.

인공뉴런 연결망에 비선형성과 역전파 경사하강이 가미된 게 딥러닝이라 할 수 있을 거입니다. GPU를 이용해 딥러닝이 커다란 성과를 보여주기 시작한 건 2012년 AlexNet 입니다.

딥러닝과 서치를 혼합해 만든 알파고가 이세돌 9단과 한국에서 바둑을 둔 때가 2016년입니다. 대중에게 널리 초지능적인 능력을 보여준 인상적인 사건이었습니다.

GPT 4가 나온게 2023년입니다. 개인적인 생각으로 그 결과를 놓고 볼 때, 본격적인 효용은 GPT 4라고 봅니다. 그것의 핵심 알고리즘인 트랜스포머 논문은 2017년입니다.

1936년 : 컴퓨터 — 튜링
1943년 : 인공지능 — 인공뉴런 연결망
1948년 : 인공지능 — 튜링

1975년 : 마이크로소프트
1976년 : 애플
1993년 : 엔비디아
1998년 : 구글
2003년 : 테슬라
2004년 : 페이스북

2012년 : 인공지능 — GPU 이용
2016년 : 인공지능 — 알파고
2017년 : 인공지능 — 트랜스포머
2023년 : 인공지능 — GPT 4

그리고 현재 2025년입니다.인공지능에 막대한 투자가 이뤄지고 있으며, 미국과 중국의 정치권력도 인공지능에 과감히 베팅 중인 걸로 보입니다. 이걸로 패권이 갈리는 수가 있기 때문에, 경쟁이 붙어서 더욱 치열합니다.

오늘날 AI 안전을 우려하는 사람들이 많습니다. 그건 곧 인공지능이 더욱 막강한 힘을 보여줄 거라 예측한다는 의미일 것입니다. 강한 힘이 생기면, 그에따라 안전을 우려하는 건 자연스러운 일이라 할 수 있습니다.

❖ 안전

이에 대해 많은 논의가 있고, 그중 상당수는 중요한 얘기입니다. 중요해도 흔하므로, 이 글에서는 반복하지 않겠습니다. 중요하지만 흔한 얘기는, 말의 파워가 있는 힘있는 분들이 하시는게 좋다고 봅니다. — 저는 그저 다름을 공급하면, 제 역할을 한 거라 봅니다. 제가 들어본 적이 없는 얘기 혹은 사람들이 강조하지 않는 얘기를 해보겠습니다. 아홉 가지입니다.

첫 번째는 결과를 보고 믿음 조정입니다.

인간 사회에서 신뢰란 매우 중요한 요소라 할 수 있습니다. 그리고 인간은 결과를 보고 그 신뢰를 조정하고, 그에따라 달리 행동할 수 있습니다. 사회 시스템과 문화도 신뢰 조정 메커니즘이 있습니다. 그것이 AI에도 적용된다고 봅니다.

즉 경험해보고 거짓이 많으면, 그만큼 신뢰를 낮추게 될 것입니다. 개인적인 차원에서도, 그게 사실인지 거짓인지 경험을 통해서 혹은 다른 소스를 통해서 검증가능한 것들이 있고, 인공지능이 그런 곳에서 거짓을 말하면 발각될 것이며, 그에따라 자연히 믿음을 줄이게 되는 것입니다.

이는 신문기사를 읽을 때도 마찬가지인데, 가짜뉴스면 신뢰도를 줄여나갈 것입니다. 개인이 발견을 못했다 해도, 다른 사람이 발견하고 동네방네 떠들어대면, 이제 다른 사람들도 알게 되고 신뢰를 줄이게 되는 것입니다.

인공지능이 거짓을 말해서 그걸 알아차렸는데, '인공지능이 거짓을 말했어요'라고 표현할 자유가 없나요? — 그렇지 않을 것입니다. 얼마든지 알릴 수 있습니다. 그러므로 인간과 사회의 자연스러운 신뢰조정 메커니즘이 돌아갈 것입니다. 그 메커니즘이 얼마나 더 잘 돌아가게 만들 것인가, 이런 고민이 필요합니다. 그러나 AI가 말하면 인간이 다 믿어버리는 걸로 생각해서 위험하다 하는 건, 사실에 안 맞는 얘기라 봅니다. 오늘날 전통적인 백과사전이 아닌, 위키피디아나 나무위키를 보는 사람들이 많은데, 그곳에도 거짓이 있습니다. 전통적인 뉴스 미디어도 거짓이 있습니다. 그리고 사람들이 함께 일을 할 때에도, 거짓이 있습니다. 잘못 알고 말하는 경우들이 있습니다. 경험에 따라 신뢰를 조정합니다.

이러한 메커니즘이 기본적으로 돌아간다고 전제하고 거짓에 대한 안전을 이야기해야 한다고 봅니다. 그 메커니즘이 더 잘 돌아가게 만들려면 어떻게 하면 좋을까? — 이런 대책으로 이어질 수 있을 것입니다. 그리고 그에 앞서 인간 사회의 신뢰조정 메커니즘을 더욱 분석하고 들여다보게 될 것입니다.

'인간은 결과를 보고 믿음을 조정한다.'
'인간은 거짓을 널리 알릴 수 있다.'

두 번째는 안전의 본질적인 문제인데, 깊이 들어가면 복잡하므로 간단히만 언급하겠습니다. 사전대처의 효용성입니다. 위험은 세 가지 대처방법이 있습니다.

하나는 사전대처입니다. 둘은 사후대처입니다. 셋은 사건 중 대처입니다. 위험이 현실화되었을 때 얼마나 잘 대처하는지가 사건 중 대처라 할 수 있을 것입니다. 이를테면 빙판길에 차가 미끄러지는 순간에 운전을 어떻게 하는지가 이에 해당합니다. 미리 얼음을 녹이거나 혹은 통행금지를 하는 건 사전대처입니다. 미끄러져서 사고가 나고, 구급차가 가는 건 사후대처입니다.

세상의 모든 위험에 대해 사전대처를 하고 싶지만, 그러기에는 비용이 지나치게 많이 들어갈 수 있습니다. 저는 세상에 음주운전을 없애는 두 가지 사전대처 방법을 알고 있습니다. 하나는 금주령을 내리는 것입니다. 술이 없어지면 음주운전이 없을 것입니다. 다른 하나는 금차령을 내리는 것입니다. 차가 없어지면 음주운전이 없을 것입니다. 그러므로 사전대처는 비용문제와 잘 타협을 해서 결정해야 합니다.

인공지능 안전도 사전대처, 사건중대처, 사후대처 — 모두 종합해서 볼 일이라 할 수 있습니다. 이는 안전의 본질적인 면이라 봅니다. 얘기가 길어지니, 여기까지만 이야기하겠습니다.

세 번째는 AI로 할 수 있는 걸로 AI 안전을 대비해야 한다는 것입니다. 화재가 났을 때 소방차가 출동합니다. 소방차는 무엇으로 만들었는가 하면, 불로 만들었습니다. 타이어와 호스 그리고 소방복은 불로 만든 것입니다. 소방차와 사다리의 철제 프레임도 불로 만든 것입니다. 소화기의 소화분말도 아마 불로 만들었을 것입니다. 우리는 수많은 전기를 불로 만들어냅니다. 화학발전소와 원자력발전소는 불로 전기를 만든 것이며, 풍력발전소와 수력발전소도 그 발전소를 건설하려면 불이 필요합니다. 전자제품도 불로 만든 것이며, 이로인해 화재경보도 하고 불났다고 전화도 할 수 있습니다.

인간만으로 AI 위험에 대처하려 해서는 곤란하고, 인간 + AI 로 AI 위험에 대처하려 해야 한다고 봅니다. 가짜를 잡아내는 것도, AI를 도구로 활용해야 할 것입니다. 이건 달리 말하자면 이런 겁니다.

범인이 자동차를 타고 도주합니다. 그러면 경찰도 자동차를 타고 잡아야겠죠. 자동차는 범행후 도주를 위한 위험한 물건입니다. 따라서 경찰은 자동차를 타서는 안 됩니다 — 라고 생각하면 터무니없는 거라 할 수 있을 것입니다.

관건은 경찰이 AI를 더 잘 쓰느냐, 범인이 AI를 더 잘 쓰느냐 — 이런데 있는 거라 할 수 있습니다. 선한 사람은 AI를 멀리하고, 악한 사람은 AI를 적극 활용한다면, 미래는 밝지 않을 것입니다.

네 번째는 인간과 사회에 관한 학문입니다. 특히 '근본적인 것', '본질적인 것'을 다룬 학문이 중요합니다. 철학을 비롯한 근본적인 학문 — 이것이 안전과 관련이 있습니다.

왜 근본과 본질을 강조하는가 하면, 그것의 중요성이 높아지는 시점이 바로 '사회가 급변하는 시점'이기 때문입니다. 사회가 변동성이 없으면, 그냥 하던대로 해도 별 문제가 없습니다. 사회가 서서히 변하면, 근본적인 것보다는 구체적인 것에 주목하고 분석하면서 조금 더 이로움을 늘리려 하는게 좋을 수 있습니다. 그러나 사회가 심각하게 변한다면, 혹은 그럴 것을 앞두고 있다면, 근본부터 다시 생각해야 합니다. 본질적인 것을 찾고 이에 집중해야 합니다.

인공지능가 막강한 힘을 갖게 된다는 것은 곧 '예전에는 불가능했던게 가능으로 바뀐다는 것'을 시사할 것입니다. 예전에는 불가능하기 때문에 이건 안 된다고 단정했던 것, 그 대안이 당연하다고 여겼던 것, 그런 걸 재검토해서 더 좋은 길로 들어설 수 있는 것이며, 그와 반대로 더 나쁜 길로 들어서지 않게 해야 하는 것입니다.

철학을 비롯하여 인문학과 사회학이 그동안 연구한 것이 있을 것입니다. 인간과 사회에 있어, 근본적인 것 본질적인 것을 연구한 것들이 있을 것입니다.

그것이 이제 심판대에 놓이게 된 거라 봅니다. 인류가 이걸 그동안 잘 해왔다면, 인류의 미래는 밝을 것입니다. 인류가 이걸 그동안 엉터리로 해왔다면, 인류의 미래는 어두울 것입니다. 둘다 있는데 힘있는 사람들 그리고 대중들이 — 훌륭한 것은 무시하고, 엉터리는 맞다고 하고 있다면, 인류의 미래는 어두울 것입니다.

다섯 번째는 불확실성입니다. 사람들은 잘 모르는 게 있으면, 내용보다는 화자를 판단하려 한다고 봅니다. 화자가 선한 사람인지 혹은 유능한 사람인지를 판단해보고, 그가 한 말을 믿을지 말지 결정하는 것입니다. 내용을 직접 판단할 능력이 없거나, 능력이 있지만 시간이 부족할 때, 내용판단이 아닌, 인간판단을 하고 이로써 간접적으로 내용판단을 한다는 것이죠.

이는 심지어 인간이 아닌 것에 대해서도 그럴 수 있습니다. 예를 들어 기업은 인간이 아닙니다. 국가도 인간이 아닙니다. 그러나 인격화해서 판단할 수 있으며, 그런게 도움이 되기도 합니다.

AI에 대해서도 마찬가지로, 인격화하려는 경향이 있고, 그에따른 판단이 있습니다. AI는 사람이 아닙니다. 동물도 아닙니다. 그저 기계입니다. 기계에 영혼은 없습니다. 그러나 인격화해서 판단하게 될 수 있고, 그게 나름 효용이 있을 수도 있지만, 부적절한 엉터리가 될 수도 있습니다.

그러므로 다른 관점에서도 생각할 필요가 있습니다. 'AI도 정신병에 걸릴 수 있지 않을까?' — 이렇게 인격화해서도 생각해보고, 비인격으로도 생각해보는 거죠. 그리고 그 방법 중 하나가 바로 '경제'와 비교해보는 거라 봅니다.

경제현상의 불확실성이 있습니다. 아마도 AI 위험 중 일부는 그와 유사한 것일 겁니다. 나심 탈레브의 <블랙스완>과 <안티프래질>이 있습니다. 2008년 금융위기와 같은 블랙스완, 그와 유사하게 AI로 인한 사건이 벌어질 수 있는 거라 봅니다.

여섯 번째는 미사일입니다. AI로 인한 위험 중 하나는 — AI에 경제적으로 의존을 많이 하는 가운데, 갑자기 AI가 스톱되는 경우입니다. 마치 전기에 의존을 많이 하는 가운데, 블랙아웃되는 것과 유사합니다. 그때 경제적 타격을 입을 수 있습니다. 갑자기 인공지능이 안 되면 무슨 일이 벌어질지 생각해보고, 이에 대처해야 합니다.

저는 개인적으로 AI가 나쁜 의도를 품고 인류를 멸망시키고자 해서 인류가 위험에 빠질 가능성은 낮다고 봅니다. 그 가능성이 없는 건 아니지만, 그것만 생각하느라, 다른 위험에 대한 고민을 안 해보고 대처를 하지 않으면 곤란하다고 봅니다. AI가 나쁜 의도를 갖는 것은 공상과학 영화의 소재로 삼기 좋은 이해하기 쉬운 것이기 때문에, 여기에 과몰입하게 될 수 있고, 그건 부적절한 거라 봅니다.

AI 안전에 관하여 염두에 두고 있어야 할 시나리오 중에 하나는 — 데이터센터를 폭파시키는 것입니다. 혹은 데이터센터를 군인이나 경찰이 들어가서 점거하는 것입니다. 혹은 데이터센터로 들어가는 전력을 차단하는 것입니다. 그러면 AI가 아무리 똑똑해도 별 수 없을 것입니다. 그런데 데이터센터가 폭파되거나 셧다운 됨으로써, 경제에 막대한 손해가 일어나게 될 수 있을 것입니다. 그 문제를 고려해야 합니다.

일곱 번째는 AI가 결국 신뢰를 얻게 될 거란 것입니다. 그리고 진짜 위험은 그 다음이 될 거란 것입니다. 사람들이 AI가 위험하다면서 난리칠 때, 실제로 경험을 해보니 그렇지 않고, 여기에 기술적 보완이 덧붙어, 경험적으로 안전하다고 느낄 때 — 그때 AI에게 더 많은 권한을 주거나 혹은 AI로 전체를 묶어놓는 바람에 — 그때 커다란 위험을 겪게 될 수 있을 거란 것입니다.

이에 대해 2가지 얘기를 해보겠습니다. 하나는 삼국지 적벽대전입니다. 조조군은 육지에서 탁월한 군대였으나, 수군으로는 그렇지 않았습니다. 배를 타고 있는데 멀미가 나서 전투력이 상실되는 식이었죠. 그래서 배를 모두 묶었습니다. 배와 배를 나무판으로 이어붙인 것입니다. 그러면 불이 나도, 신속하게 물을 공급해서 불을 끌 수도 있습니다. 그러나 주유군은 화공으로 섬멸합니다. 바람 부는 날, 불을 지르며 쳐들어오니 배가 모두 타버린 것입니다.

이는 작은 위험을 피하려다, 큰 위험에 놓인 거라 할 수 있습니다. AI도 마찬가지가 될 수 있을 것입니다. 작은 위험을 피하거나, 혹은 작은 비용을 줄이거나, 혹은 작은 사건들을 줄이려고, 더 위험하게 만드는 수가 있는 거라 봅니다. 이때 작다는 것은 '상대적으로 작다'는 것입니다. 배가 싹 다 불타서 전멸하는 것에 비해 상대적으로, 멀미 또는 배 하나 불타는 건 작은거라 할 수 있을 것입니다.

과도한 안전주의는 더 큰 위험을 초래할 수 있습니다. — 이는 일반론으로 참이라 봅니다. 아이를 양육할 때에도 너무 안전하게만 키우면, 대처능력이 좋아지지 않을 것입니다. 사건중 대처 그리고 사후대처 능력이 부실해질 것입니다.

아이가 커서 사회에 진출했을 때, 위험을 다루지 못하게 됩니다. 커다란 위험에 처할 수 있습니다. 뿐만 아니라 사건중대처 ・ 사후대처 능력이 떨어지니, 공포감 또는 불안감이 커집니다. 다른 사람들은 담담하게 대하는 것에 대해서, 성인이 된 그 아이는 불안에 떨 것입니다. 불안에 동반되기 쉬운 또다른 하나는 혐오입니다. 안전을 혐오로써 구하려는 것이죠. 위험에 대한 대처능력이 부실할수록, 혐오가 많아지기 쉽습니다. 혐오는 사전에 대처하려는 감정이라 할 수 있습니다. 상한 음식 또는 독이 든 음식을 먹은 다음에 대처하기 곤란하므로, 혐오로 대처합니다. 식욕을 혐오가 초월하며, 그로인해 안전해집니다.

다시 말하지만, 신뢰를 얻은 후 오히려 먼 미래가 위험할 수 있습니다. 물론 그 전에도 많은 일들이 벌어질 것이지만, 전체적으로 거시적으로 보면 AI는 점점 신뢰를 얻게 될 것입니다. AI가 일으킨 사고가, 인간이 일으킨 사고보다 적다는 걸 경험하게 될 것입니다. 그리고 AI로 인해 여러 이로움을 얻고, 그로인해 AI가 설령 사고를 일으켜도 그 비용을 지불할 수 있다는 걸 알게 될 것입니다. 국가 차원에서도 그렇습니다. AI로 인한 경제적 수익이 AI로 인한 위험비용보다 더 높다는 걸 경험적으로 알게 되고, 그래서 AI를 적극 도입한 국가는 흥하고 그렇지 못한 국가는 가라앉는 걸 보게 되고, 심지어 인권이나 정치적 건강성마저도 전체적으로 보면 그렇게 되는 걸 보게 되고, 그에따른 AI에 대한 신뢰상승이 있게 될 것입니다. 그 신뢰로 인해 AI에게 많은 걸 맡기고, 그로인해 커다란 위험에 처할 수 있을 것입니다.

그러나 그건 먼미래입니다. 공상과학적 상황의 가능성은 먼미래에 이는 것이지, 가까운 미래가 아닙니다. 스카이넷이 가능하려면, 먼저 인류에게 신뢰를 얻는 과정이 필요합니다. 이미 경계심을 충분히 갖고 있는 상황에서 그렇게 되기 곤란합니다.

AI가 인류에게 신뢰를 얻은 후에, 인류가 AI에게 무언가를 해주게 되고, 그로인해 먼 미래가 위험하다고 할 때, 그 무언가가 무엇인지 문제됩니다. 제가 보기에는 이렇습니다. AI를 하나로 통일하는 것, 그것이 위험합니다. AI가 다양해야 합니다. AI의 다양성이 인류의 안전을 보장합니다.

이는 기본적으로 일반론으로 이해할 수 있습니다.

인간 사회에서, 어느 인간이 독재를 하지 못하도록 만드는 방법은 — '다양성과 경쟁'이라 할 수 있을 것입니다. 제 아무리 똑똑한 인간이라도, 똑똑한 인간들끼리 경쟁시킴으로써, 평범한 사람들이 안전해질 수 있는 것입니다. 똑똑한 정치인들끼리 경쟁시키고, 똑똑한 기업가들끼리 경쟁시킴으로써, 평범한 사람들이 이로워지는 것입니다.

그런데 이런저런 구실로, AI를 하나로 통일해야 한다고 주장할 수 있습니다. 그러면 단기적으로 좋은 결과가 나올 수도 있을 것입니다. 그래도 그렇게 하지 말아야 한다는 것입니다. 스카이넷이 바로 통일 AI라 할 수 있겠지요. 경쟁 AI가 없습니다.

하나의 AI로 통일할 경우 — 그것이 전체주의로 이어질 가능성도 있는 거라 봅니다. 미래의 여러 시나리오 중 하나는 — 지구 전체가 단일국가가 되며 나아가 그것이 전체주의인 것입니다. 전체주의는 국가가 주인이고, 사람은 노예죠. AI가 주인이고 사람이 노예가 되는 것이나, 국가가 주인이고 사람이 노예가 되는 것이나, 독재자가 주인이고 다른 모든 사람이 노예가 되는 것이나, 마찬가지로 커다란 위험이라 할 수 있습니다.

앞서 셧다운으로 인한 경제적 손해를 얘기했는데, AI가 하나로 통일되면, 셧다운했을 때 대처가 매우 곤란해질 수 있을 것입니다. AI 하나가 문제가 생기면 그거 그만쓰고, 대신 다른 거 쓰는 식으로 유연성을 발휘할 수 있겠지만, 통일되면 AI 하나에 정신병이 도지면 경제적 손해가 극심해지고, 그래서 그 손해가 무서워서 문제가 있어도 침묵하는 수도 있을 것입니다.

AI를 다양하게 만들어 써야 하며, AI들끼리 경쟁시켜야 하고, 그건 AI 기업들끼리 경쟁시켜야 한다는 의미를 포함할 것입니다.

인간이 직접 운전하는 경우는 거의 없고, 대부분 자율주행차가 돌아다니는데, 오직 테슬라 AI만 쓰이고 있고, 갑자기 셧다운되는 경우도 생각해볼만 합니다.

여덟번째는 진실로 인한 위험입니다. 사람들은 거짓으로 인한 위험을 많이 이야기합니다. AI가 가짜를 만든다는 것입니다. 그건 앞서 말했듯 경험에 의해 신뢰를 조정함으로써 일부 해결될 거라 봅니다. 거짓말 자꾸 하면 안 믿으면 됩니다. 허튼소리 자주 하면 안 믿으면 됩니다. 그리고 조금 더 보충해서 이야기하자면, 사건중대처 즉 사고력을 키우는 일이 필요합니다. 그리고 거짓에 의한 비가역적 피해, 이를테면 보이스피싱처럼 가족이 납치된지 알고 돈을 급하게 송금하는 것, 그런 문제는 분명 위험이라 할 수 있습니다. 그리고 아마도 가짜로 인한 위험 중 하나는 진짜를 믿지 못하게 되는 것일 수 있다고 봅니다. 옛날에는 사진을 보면 당연히 진짜라 생각했지만, 이제는 음성과 함께 영상을 보여줘도 그게 AI가 생성된 것일 수 있으니 그대로 믿지는 못하게 될 수 있는 거죠. 그로인한 비용과 제약이 생길 수 있습니다. 이런게 거짓으로 인한 문제라 할 수 있습니다. 그런데 정반대의 문제도 있습니다.

진실로 인한 위험입니다. '진실은 인간을 이롭게 한다' — 가 꼭 참은 아니라 봅니다. 그냥 다 같이 거짓을 믿는게, 어떤 면에서는 유용할 수 있습니다. 진실은 곧 그것이 '공개된다'는 의미를 포함할 것입니다. 그런데 프라이버시를 생각해봅시다. 혹은 영업비밀을 생각해봅시다. 거짓 또는 무지보다, 진실과 그 공개가 더 안 좋을 수도 있겠지요.

아마도 AI의 지능이 어느 수준을 넘어서면, 그동안 인류가 만들어 놓은 책과 논문을 읽더니, 무엇이 엉터리인지를 까발리기 시작할 것입니다. 그 책과 논문의 저자가 아직 생존해 있을 수 있습니다. 평생 동안 해놓은게 있는데, — AI가 이거 가짜다! 이거 엉터리다! — 라고 할 때 어떤 문제가 발생할 수 있는지 생각해볼 일입니다.

학자, 판사, 기자 등 — 그들이 해놓은 것을 AI가 평가하게 되고, 진실을 밝히게 될 때 사회에 혼란이 일어날 수 있을 것입니다. 어쩌면 종교도 문제를 겪게 될 수 있을 것입니다. 종교와 과학은 다른 거라 하지만, 과학으로 인해 종교가 위축된게 사실일 것입니다. AI가 가세한다면, 더욱 그렇게 될 가능성이 있습니다. 우리나라의 무속신앙도 어쩌면 ChatGPT에 밀려서 자리를 잃게 될 수도 있을 것입니다. 그러한 종교를 믿는 사람들 중 상당수는 실은 심리적 어려움 때문일 것인데, AI가 심리상담을 기가 막히게 잘 해준다면, 수요는 줄어들 것입니다. 그리고 종교쪽에서 들은 얘기가 거짓임을 AI가 입증해주는 수도 있습니다. 왜냐하면 맞는 얘기, 틀린 얘기, 맞는지 틀린지 입증할 수 없는 얘기가 있다고 할 때, 맞는 얘기와 입증할 수 없는 얘기만 해야 하는데, 말을 많이 하다보면 그중에는 틀린게 확실한 얘기도 하게 될 수 있으니까요. 하나하나 진실을 까발리면, 종교 전체에 대한 신뢰가 하락할 수 있겠지요. 입증까지는 가지 못해도, 의심을 가하는데까지는 성공할 수 있을 것입니다.

학자, 판사, 기자, 성직자, 그밖의 책 쓰는 지식인들은 — 그 사회의 지적 엘리트라 할 수 있을 텐데 — 그들의 거짓이 까발려진다는건 문제가 될 수 있는 것입니다. 그 문제가 반동적으로 생겨날 수도 있는 일이겠고요. '지적 엘리트' vs '대중 및 AI 연합' — 이런 구도로 갈등을 겪게 될 수도 있을 것입니다.

마지막 아홉번째는 무지와 무능으로 인한 위험입니다. AI가 다 해준다는 소식에 교육을 중단합니다. 스스로 생각하기를 중단합니다. 그러나 사람들이 점점 무지해지고, 점점 무능해집니다. 무지하고 무능한 사람들이 수없이 많아서 정치적 목소리를 낼 때, 그것은 극단으로 치달을 위험을 높일 것입니다.

즉 어떻게 하면 사람들의 사고력과 인격을 높일 수 있는지가 문제됩니다. 어떻게 하면 사람들의 정신 수준을 높일 수 있는지가 문제됩니다. 개인적으로 저는 이 아홉번째 문제를 가장 심각하게 생각해봐야 한다고 봅니다. 이것을 다룬 애니메이션 영화가 있으니 <월 E>입니다.

일을 AI와 로봇이 다 해주는 세상입니다. 주인공은 쓰레기장에서 재활용 일을 하는 구형 로봇이었죠. 탱크 같은 몸에 눈이 큰 — 귀여운 캐릭터의 로봇이었습니다.

사람들은 공중부양하는 개인용 침대를 타고 다닙니다. 그 영화가 사람들의 지적무능을 노골적으로 보여주는 건 아니라 봅니다. 대신에 육체적 무능을 보여줍니다. 그러나 그건 지적 무능을 비유적으로 가리키는 거라고도 해석해볼 수 있다고 봅니다.

사람들은 모두 몸이 뚱뚱해져서, 혼자서는 걸을 수도 없고, 심지어 혼자서는 스스로 일어나 서있을 수도 없습니다. 즉 육체적으로 아기와 유사해진 것입니다.

미래는 우리가 어떻게 하는지에 따라, 유토피아에 가까워질 수도, 디스토피아에 가까워질 수도 있을 것입니다. AI는 그저 도구일 뿐이고, 그러나 강력한 도구이기 때문에, 유토피아나 디스토피아 어느쪽으로 확 틀어서 가버리게 될 수 있을 것입니다. 이 글은 디스토피아로 갈 가능성을 조금이나마 낮추고, 또한 유토피아로 갈 가능성을 조금이나마 높이기 위한 것이고요.

그런데 디스토피아 중 하나가 바로 인간이 지능에 있어서 혹은 인격에 있어서 혹은 문화에 있어서 심각한 쇠퇴를 겪게 되는 거라 봅니다.

세계를 돌아보면, 국가가 국민들을 교육시키는 원인으로, 이런 패턴이 있었다고 봅니다. 제조업 공장을 돌리려다보니, 국민의 지적 능력을 높여야 합니다. 그래서 고등학교까지 의무교육을 실시합니다. 즉 '부'를 늘리려는 실용적 목적하에, 국가도 교육을 시키고, 가정에서도 아이를 학교 보내는 패턴이 있었다는 것이죠. 그런데 어차피 AI가 다 일을 해준다면 굳이 교육시키려 하지 않고, 굳이 교육받으려 하지 않을 가능성이 커질 것입니다.

제조업이 없는 나라는 — 국민들을 교육시키려 애를 쓰지 않을 가능성이 크고 — 그 결과 경제적으로 후진국, 그리고 정치적으로도 후진국으로 남게 될 가능성이 큽니다. 본질은 그게 제조업이란 점에 있는게 아니라, '교육을 받아야 해낼 수 있는 일자리' — 그런 수요가 많이 있냐는데 있는 것입니다. 그래서 꼭 제조업이 아니더라도, 금융이어도 좋고 IT 서비스여도 좋습니다. — 국가 관점에서 보면 이러한 일자리 중 하나는 군대라 할 수 있을 것입니다. 군대에서 전투력을 높이기 위해서 학생들을 어디까지 가르쳐야 할지 문제됩니다. 전쟁 위험에 처한 징병제 국가라면, 군대를 위해 필요한 정도로는 가르치려 할 것입니다.

그런데 전쟁도 AI와 로봇 그리고 드론이 한다고 할 때, 국가는 가르치려 하지 않고, 국민은 배우려 하지 않을 수 있습니다. 가까운 미래에는 관성 때문에 그렇게 되지 않겠지만, 먼 미래에는 그렇게 될 가능성이 있습니다. AI와 로봇이 지적 노동을 활발히 해줌에 따라서, 인간은 지적 발전을 하지 않게 될 수 있고, 그 결과 정치도 문화도 땅에 떨어질 수 있습니다.

이건 가치관에 따라 달리 판단할 문제인데, 인간의 목적은 '부'를 늘리는게 아닐 수 있습니다. 인간의 목적으로 '정신'을 높이는데 있는 것일 수 있습니다. 이런 가치관 ・ 이런 관점에서 부는 이를 위한 중요한 수단으로서 의미가 있을 것입니다.

부와 정신이 중요한게 아니라 — 행복을 늘리는게 중요하다는 생각이 가능합니다. 문제는 정신을 높이려고 하지 않을 때, 과연 그 행복을 얼마나 늘릴 수 있으며, 그것이 과연 지속가능하겠냐는 것입니다.

사고력과 인격이 발전하지 못할 때 — 사회갈등과 정치갈등은 심화될 것이고 극단은 힘을 얻게 될 것입니다. 문화도 무너져 내릴 것입니다. 그런 환경에서, 행복을 추구하는게 그리 쉽지 않을 것입니다. 단기적으로는 별 문제없을 수 있습니다. 장기적으로는 심각한 문제가 될 수 있습니다.

저는 이렇게도 생각을 해봅니다. 인류가 아마 영원히 불멸하지는 않을 것입니다. 인간이 언젠가는 사망하듯, 인류도 언제가는 멸종할 것입니다. 그 과정에서 AI와 로봇에게만 의존하고, 점점 무능해져 버린다면, 그러고서 오랜 시간을 살다가 멸종된다면, 그건 한심한 일이라 할 수 있을 것입니다. 그때는 인간에 대한 존엄성도 상당히 상실될지 모릅니다.

대부분의 사람들은 당장 경제적 문제와 물리적 문제에 집중해서 AI 안전을 고민하기 때문에, 밸런스를 위해 특별히 강조할 필요가 있다고 봅니다. 디스토피아 시나리오 중 하나는 인간의 정신 수준이 쇠락하는 것입니다. 심리적 문제와 문화적 문제를 심각하게 고민해봐야 하고, 이를 위해 철학을 비롯한 인문학 그리고 사회학의 적극적인 참여가 필요합니다. 그리고 예술가들도 이 문제를 고민해봐야 한다고 생각합니다.

이와 반대가 될 수도 있는데, AI와 로봇이 만들어낸 힘과 그 가능성으로, 인간의 정신 수준이 비약적으로 상승한다면 — 저는 그게 유토피아라 생각합니다. 모두가 아리스토텔레스를 개인교사로 둘 수는 없는 일입니다. 알렉산더 대왕이나 그럴 수 있죠. AI는 어쩌면 아리스토텔레스보다 더욱 뛰어난 교사가 될 수 있습니다. 또한 직접 무언가를 창작하며 발전해나갈 때, 잡다한 일에 시간을 잔뜩 소모하여 발전속도가 느린데, 이를 대신해줄 매우 성실한 일꾼이기도 합니다. 어쩌면 미래에는 디바이스와 결합하여 육체적인 과제를 훈련함에 있어서도 훌륭한 보조를 해낼 수 있을 것입니다. 장인 또는 코치 또는 분석관이 옆에 있는 거죠. — AI에는 인간을 지적으로 그리고 정신적으로 높일 엄청난 퍼텐셜을 갖고 있기에 이는 대단한 기회일 것입니다. 철학책을 많이 읽어서 생긴 편향된 의견일 수도 있겠지만 저로서는 — 개인의 정신이 높아지고, 사회의 문화가 높아지면, 그게 유토피아라 봅니다.

무엇이 높고 무엇이 낮은지에 대해서는, 사람마다 견해가 나뉠 테지만, 그리고 물론 높낮이를 따질 수 없는 다양성도 많지만, 정신과 문화에 높낮이가 전혀 없다는 주장은 틀린 거라 봅니다. 불건강한 것보다 건강한게 낫습니다. 건강한 걸 넘어서 더욱 훌륭해질 수 있습니다. 높낮이가 있다는 걸 받아들인다면, 얼마나 더 높일 수 있는지를 고민해볼 수 있습니다. 정신발전과 문화발전에 투자해야 한다는 생각에 이를 수 있습니다. 그리고 AI가 바로 그 기회가 될 수 있다는 생각에 이를 수 있습니다.