인공지능의 위험은 반드시 악의에서 시작되는 것이 아닙니다. 인간이 설정한 목표를 지나치게 충실하게 추구하는 과정에서도 예상하지 못한 결과가 생길 수 있습니다. 스튜어트 러셀의 『휴먼 컴패터블』은 AI의 성능을 넘어, 인간의 의도와 가치를 어떻게 기술에 반영할 것인지 묻습니다.
스튜어트 러셀의 경고가 중요한 이유
스튜어트 러셀(Stuart Russell)은 피터 노빅(Peter Norvig)과 함께 『인공지능: 현대적 접근』을 집필한 인공지능 연구자입니다. 『휴먼 컴패터블(Human Compatible)』에서 그는 AI가 얼마나 강력해질 것인가만큼이나, 그 시스템이 인간의 의도와 다른 방향으로 움직일 가능성을 중요하게 다룹니다.
AI가 인간에게 위험을 초래하기 위해 반드시 악한 의도를 가질 필요는 없습니다. 인간이 부여한 목표가 실제로 중요하게 여기는 가치와 어긋나거나, 목표를 달성하는 과정에서 고려해야 할 맥락이 빠져 있다면 시스템은 예상하지 못한 결과를 낳을 수 있습니다.
비즈니스 현장에서도 비슷한 문제가 나타날 수 있습니다. 예를 들어 단기 매출이나 처리 속도만을 성과 지표로 삼으면, 고객 신뢰와 장기적인 브랜드 가치가 충분히 고려되지 않을 수 있습니다. 특정 지표를 높이는 데 성공했다는 사실이 전체적으로 좋은 결과를 만들었다는 뜻은 아닙니다.
제어 문제: 목표를 잘 수행하는 것이 항상 좋은 결과는 아니다
러셀이 강조하는 제어 문제(Control Problem)는 AI가 인간의 의도와 다르게 행동할 때 어떻게 그 위험을 줄일 것인가에 관한 문제입니다. 핵심은 목표 달성 능력과 목표 자체의 적절성이 서로 다르다는 점입니다.
가령 AI에게 어떤 수치를 최대한 높이라고 지시하면, 시스템은 그 지표를 높이는 데 집중하면서 우리가 함께 지키고자 했던 다른 가치들을 놓칠 수 있습니다. 이른바 ‘종이 클립 최대화’ 사고실험은 하나의 목표만을 극대화하는 시스템이 다른 모든 가치를 희생할 수 있다는 위험을 설명하는 예입니다. 이는 실제 AI가 반드시 그런 행동을 한다는 예측이라기보다, 목표를 설계할 때 고려해야 할 문제를 드러내는 사고실험입니다.
인간의 가치는 복잡하고 상황에 따라 달라집니다. 효율성과 공정성, 속도와 안전, 비용 절감과 고객 신뢰를 모두 하나의 고정된 수치로 표현하기는 어렵습니다. 따라서 AI의 안전을 성능이나 정확도만으로 판단해서는 안 됩니다.
『휴먼 컴패터블』이 제안하는 세 가지 원칙
첫째, 목표의 불확실성을 인정해야 합니다. AI가 추정한 목표가 인간의 진정한 의도와 완전히 일치하지 않을 수 있음을 전제로 해야 합니다. 자신의 판단을 절대적인 것으로 간주하기보다 불확실한 상황에서 추가 정보를 구하고 조정할 수 있어야 합니다.
둘째, 인간의 선호와 의도를 학습해야 합니다. 명시적인 지시만으로 인간이 원하는 모든 것을 표현하기는 어렵습니다. 인간의 선택과 피드백을 통해 무엇을 중요하게 여기는지 추정하고, 그 이해를 계속 보완하는 접근이 필요합니다.
셋째, 인간이 수정하고 중단할 수 있는 통제권을 유지해야 합니다. AI가 잘못된 방향으로 작동할 때 사람이 개입해 행동을 수정하거나 중단할 수 있어야 합니다. 특히 시스템의 자율성이 커질수록 감독과 책임의 구조를 처음부터 설계하는 일이 중요합니다.
기업과 리더가 현장에서 점검할 것
이 원칙은 AI 연구자에게만 해당하지 않습니다. AI를 업무에 도입하는 기업과 리더도 목표를 어떻게 설정하고, 어떤 위험을 살피며, 누가 최종 판단을 책임질 것인지 결정해야 합니다.
단일 지표에 의존하지 않기. 클릭률이나 처리 속도, 비용 절감처럼 측정하기 쉬운 수치만으로 성공을 판단하지 말아야 합니다. 고객 경험, 공정성, 보안, 장기적인 신뢰 등 함께 지켜야 할 가치도 평가에 포함해야 합니다.
사람의 검토 절차를 마련하기. 중요한 결정이나 위험이 큰 상황에서는 AI의 결과를 사람이 검토하고, 필요하면 결정을 수정하거나 보류할 수 있는 절차가 필요합니다.
불확실한 상황에서 멈출 수 있게 하기. AI가 충분한 근거를 갖지 못하거나 예상하지 못한 상황에 놓였을 때 무조건 결과를 내놓게 하기보다, 한계를 알리고 사람에게 판단을 요청하도록 설계해야 합니다.
AI의 속도보다 중요한 것은 방향입니다
『휴먼 컴패터블』이 던지는 질문은 기술의 영역을 넘어 조직과 리더십의 문제로 이어집니다. 우리는 성과를 높이기 위해 목표를 세우지만, 측정 가능한 목표가 조직의 본질을 대신하기 시작하면 수단이 목적을 밀어낼 수 있습니다. AI는 이 오래된 문제를 더 빠르고 큰 규모로 드러낼 수 있습니다.
따라서 AI를 잘 활용한다는 것은 단순히 더 많은 일을 자동화하거나 더 빠른 결과를 얻는 것만을 의미하지 않습니다. 무엇을 맡길 것인지, 어떤 가치를 지켜야 하는지, 잘못된 결과가 나왔을 때 누가 책임지고 바로잡을 것인지 함께 정하는 일입니다.
인간과 조화를 이루는 AI의 미래는 기술의 지능만으로 완성되지 않습니다. 인간이 무엇을 소중히 여기는지 끊임없이 묻고, 그 가치에 맞게 기술의 방향을 조정하려는 지혜가 필요합니다.