인간이 해답 못찾는 AI의 대표적 위험 3가지 …
창조자 자처하는 인간 교만이 부를 인류 파멸 막아야 (호 13:6, 렘 49:16)
앞으로 나올 AGI(인공일반지능)는 AI보다 진화한 존재이다. 챗봇 같은 한 분야에 특출난 AI를 넘어 인간의 지적 작업을 이해하고 학습할 수 있는 인공지능으로 아직은 존재하지 않지만 현재 빅테크들이 개발에 몰두하고 있는 분야다.
AI 전문가들은 향후 5년 이내에 AGI가 나올 것으로 보고 있다. CNN에 따르면 오픈AI, 구글 딥마인드, 앤트로픽, 엔비디아는 모두 오는 2028년까지 AGI에 도달할 수 있다고 공개적으로 밝혔다. 지난해 11월 있었던 ‘오픈AI 쿠데타’(오픈AI 이사회가 샘 올트먼 CEO를 축출했다가 5일 만에 복귀하며 마무리된 사건)도 AI의 위험에 대한 우려가 그리 머지않은 이야기라는 각성을 주었다. 이 사건의 원인을 두고도 ‘AGI를 둘러싼 갈등’ 때문이라는 이야기가 있었다. 당사자인 올트먼도 이를 인정했다. 그는 타임지와 가진 인터뷰에서 “초지능에 점점 더 가까워질수록 이번 사건과 관련된 모든 사람들이 더 스트레스를 받고 불안해했다고 생각한다”고 말했다. 이 사건 후 교체된 이사진 세 사람은 인공지능의 발전이 가져올 위험성을 염려했다는 공통점이 있다.
AI 학계에서는 대부분의 작업을 인간 수준 이상으로 수행하는 인공지능인 AGI가 인간의 통제를 넘어 비약적으로 발전하는 ‘특이점’에 도달할 존재라고 본다.
이처럼 AI를 실존적 위험으로 여기는 것은 어떤 이유 때문일까. 지금까지 드러난 AI의 대표적 위험은 통제력 상실 위험이다. 인간이 통제할 수 있었던 기존의 기술개발 분야와는 완전히 다른 분야가 AI 분야이다. 만약 인간이 범접할 수 없는 속도로 유해 전략을 수립한 AI 세력이 있다면 적대적 국가나 문명을 하루아침에 멸절시킬 수 있다는 것이 많은 AI 전문가들의 우려이다. 자국 이기주의와 신냉전, 패권 경쟁이 갈수록 심화하는 세계나 이윤이 목적인 기업들이 AI관련 규칙을 만들 때 AI를 통해 무모한 선택을 할 가능성이 대두되는 이유이다.
챗 GPT를 개발한 샘 알트만 오픈 AI 창업자는 인공지능이 고도로 발달하면 자본주의가 무너질 수 있다고 지난 2월 포브스와의 인터뷰에서 밝혔다. 그는 “AGI는 스스로 일하며 수익을 발생시킬 텐데 이를 어떻게 배분할지가 관건일 것이다.”라며 “AI를 누가 통제할 수 있으며, 이를 소유한 회사는 어떤 지배구조로 구성돼야 하는지 등 새로운 생각이 필요하다.”라고 말했다.
미라 무라티 오픈 AI CTO 역시 AI 규제의 필요성을 강조했다. 무라티 CTO는 타임지와의 인터뷰에서 “챗 GPT는 사실을 꾸며내고, 나쁜 의도를 가진 이용자들에게 악용될 수 있다. 챗 GPT는 사회에 큰 영향을 미칠 것이며 규제 당국은 서둘러 개입해야 한다.”라고 강조했다. 미 국무부 의뢰 보고서도 AI가 무기화하고 통제력이 상실된다면 세계 안보 위험이 커지므로 미 정부의 개입이 신속하고 단호하게 이뤄져야 한다고 강조했다.
보고서는 “AI 시스템은 잠재적으로 생화학 및 사이버 전쟁을 설계하고 실행하는데 사용될 수 있고, 통제가 불가능해져 인간에게 적대적으로 행동할 수 있다”고 경고했다. 보고서는 구체적으로 긴급 규제 안전장치와 새로운 AI 감독 기관을 만들고, AI 모델 훈련에 사용할 수 있는 컴퓨터 성능을 제한하는 방안 등을 제시했다. 아울러 첨단 AI 반도체 제조와 수출에 대한 통제도 강화할 것을 권고했다.
글래드스톤AI는 지난 2022년 10월 미 국무부로부터 AI 안보 위험에 대한 평가를 의뢰받고 약 1년 동안 주요 AI 기업의 최고 경영진, 사이버 보안 연구원, 대량살상무기 전문가, 미·영국·캐나다 국가 안보 당국자 등 200여명을 인터뷰해 보고서를 작성했다.
CNN은 “이 보고서는 빠르게 진화하는 AI로 인한 재앙적인 국가 안보 위험에 대한 경고와 미 정부가 재난을 피할 수 있는 시간이 얼마 남지 않았다는 것을 보여준다”고 짚었다. 글래드스톤AI의 CEO 제러미 해리스는 CNN에 “사람들은 AI가 재앙적인 위험을 포함한 심각한 위험을 가져올 수 있다는 것을 알아야 한다”면서 “세계 최고의 AI 회의들에서 발표된 경험적 연구와 분석을 포함해 늘어나는 증거들은 특정 능력의 한계점을 넘어서면 AI가 잠재적으로 통제할 수 없게 될 수 있음을 시사한다”고 강조했다.
1972년부터 AI를 연구했고, 인간의 신경망과 같은 방식으로 작동하는 컴퓨터인 ‘인공신경망’ 기술을 개발해 2018년 ‘컴퓨터계의 노벨상’으로 불리는 ‘튜링상’을 받았던 ‘딥러닝의 대부’ 제프리 힌튼 교수는 지난해 4월 구글에서 아예 퇴사한 뒤 AI에 대해 경고하는 활동에 나섰다. 그는 기업들이 인공지능 개발에 경쟁적으로 뛰어들며 점차 인류에 위험이 닥쳐오고 있다고 주장했다.
작년까지만 해도 구글은 해를 끼칠 수 있는 기술을 공개하지 않도록 신중한 태도를 유지했지만, 마이크로소프트가 챗봇으로 빙 검색엔진을 강화하는 등 구글의 핵심 비즈니스에 도전장을 내밀자 결국 구글도 같은 기술을 배포하기 위한 경쟁에 뛰어들게 되었다고 지적했다. 이로 인해 빅테크들이 멈출수 없는 경쟁에 갇히게 되었다고 지적했다. 국제적인 규제가 없다면 기업들 간의 AI 경쟁이 글로벌 경쟁으로 확대될 수 있다는 점도 우려했다. AI는 핵무기와 달리 어느 집단이 비밀리에 기술을 개발하면 이를 찾아낼 방법이 없다는 점도 지적했다.
힌튼 교수는 이를 방지하기 위해서는 AI를 완전히 통제할 수 있게 될 때까지는 더 이상 기술을 확장해서는 안된다고도 주장했다. AI가 분석하는 막대한 양의 데이터에서 예상치 못한 행동을 스스로 학습한다는 점도 지적했다. 개인이나 기업이 인공지능 시스템이 자체 컴퓨터 코드를 생성하고 실제로 그 코드를 스스로 실행하도록 허용하면 진정한 자율 무기, 즉 ‘킬러로봇’이 현실화될 수 있다고 경고했다.
힌튼 교수는 “이전에는 소수의 사람들만이 로봇이 사람보다 더 똑똑해질 수 있다고 믿어왔다. 대부분 이는 실현 가능성이 낮다고 생각했으며, 나도 30년에서 50년은 더 걸릴 것이라고 생각했다. 하지만 이제 더 이상 그렇게 생각하지 않는다.”라고 말했다. 자신이 AI에 대해 연구해온 일을 후회한다고도 밝혔다.
AI의 대표적 위험 둘째는 ‘정렬 문제’이다. AI 학계에서 가장 우려하는 AI의 위험 중 하나이다. 정렬이란 AI의 목표와 행동이 인간의 가치, 목표, 의도와 일치하도록 하는 것을 뜻한다. 그러나 연구자들은 AI가 설정한 목표를 추구하는 과정에서 뜻하지 않은 해로운 일을 할 수 있다는 걸 두려워한다.
2003년 ‘운명의 날 철학자’로 불리는 닉 보스트롬은 사고실험으로 ‘페이퍼클립 맥시마이저’라는 미래에 인류에게 충성하는 초인공지능을 가정했다. 이 초인공지능이 부여받은 임무는 서류를 끼우는 클립을 가급적 많이 제조하는 것이다.