AI가 추천한 결과를 사람이 따랐다. 틀렸을 때는 모델의 성능부터 묻게 된다. 성능은 중요하지만 그것만으로 사건 전체가 설명되는 것은 아니다. 어떤 조건에서 추천이 유효한지 사용자가 알았는지, 의심할 신호가 보였는지, 다른 판단을 선택할 수 있었는지도 살펴야 한다.
나는 의사결정지원 시스템을 설계할 때 신뢰를 높이는 일과 신뢰할 만한 조건을 만드는 일을 구분하고 싶다. 믿는 정도를 올리는 것보다 실제 능력과 한계에 맞게 의존할 수 있게 하는 것이 목적이다.
믿는 태도와 실제 능력
[Jacovi 등의 신뢰 연구](https://arxiv.org/abs/2010.07487)는 사람이 AI를 신뢰하는 것과 AI가 특정 기대를 충족할 능력을 구분해 논의한다. 이 글에서는 그 관점을 운영 질문으로 옮겨보겠다. 모든 현장 실패의 원인이 신뢰 문제라는 뜻은 아니다.
사용자는 ‘AI를 믿는다’고 말하지만 실제로는 무엇인가를 기대한다. 이 입력에서는 충분히 맞을 것이라는 기대, 특정 사람에게 일관되게 불리하지 않을 것이라는 기대, 설명과 이의제기가 가능할 것이라는 기대다. 여기서는 이런 기대를 계약이라고 부르겠다. 법률상의 계약서를 뜻하는 말은 아니다.
정확한 결과를 내는 능력과 개인정보를 지키는 능력, 변경된 환경에서 한계를 알아차리는 능력은 따로 확인해야 한다. 하나의 평가 점수가 모두를 대신할 수는 없다.
사용자가 무엇을 감수하는지 적기
의존의 의미를 알려면 틀렸을 때 누구에게 어떤 일이 생기는지 살펴야 한다. 선택을 쉽게 되돌릴 수 있는지, 사람이 확인할 시간이 있는지, 오류의 부담을 누가 지는지 적는다.
대출 심사와 임상 분류처럼 추천의 영향을 받는 사람이 따로 있는 상황을 생각해보자. 결과를 검토하고 책임질 주체가 누구인지가 중요하다. 이를 실제로 적용할 때에는 해당 업무의 기준과 검증이 필요하다.
비교적 낮은 위험의 문서 분류도 같은 질문으로 볼 수 있다. 잘못된 분류를 사용자가 알아차릴 수 있는지, 원문으로 돌아갈 수 있는지, 분류를 바꿀 권한이 있는지가 필요하다.
계약을 확인 가능한 문장으로
‘정확한 AI’라는 표현만으로는 부족하다. 어떤 입력과 상황에서 어떤 작업을 어느 범위까지 맡기는지 적는다. 평가하지 않은 입력, 자료가 부족한 경우, 환경이 달라진 경우에 어떻게 할지도 함께 쓴다.
예를 들어 특정 문서 묶음에서 분류를 돕는 시스템이라면, 검증에 쓴 문서의 범위와 아직 다루지 않은 유형을 구분한다. 낯선 문서가 들어왔을 때 자신 있게 분류할 것인지, 근거 부족을 표시하고 검토로 넘길 것인지 정한다. 기준값은 실제 평가와 업무의 허용 범위를 보고 정해야 한다.
정확성뿐 아니라 필요한 계약별로 능력의 근거와 알려진 한계를 나란히 둔다. 설명이 읽기 쉽다는 것과 모델이 올바른 근거에 따라 판단했다는 것도 따로 확인한다.
설명을 설득보다 판단에 쓰기
화면에서 확신을 강조하면 이용하기 편할 수 있지만, 이용자의 믿음이 실제 능력보다 커질 수도 있다. 반대로 필요한 상황에서도 쓰지 않는 문제가 생길 수 있다. 설명은 무조건 믿게 만드는 장치보다 언제 의존하고 언제 확인할지 돕는 정보가 되어야 한다.
사용자가 알아야 할 것은 결과의 근거, 빠진 입력, 적용되지 않는 조건, 수정과 이의제기의 경로다. 모든 내부 과정을 길게 보여준다고 해결되는 것은 아니다. 그 사람이 맡은 결정에 필요한 정보를 찾아볼 수 있어야 한다.
담당자는 진행, 추가 확인, 보류의 경로를 정한다. 다른 모델을 한 번 더 썼다는 사실만으로 검증이 끝나는 것은 아니며, 무엇을 독립적으로 확인했는지 살펴야 한다.
신뢰와 능력을 따로 시험하기
만족도나 신뢰 설문만으로 적절한 의존인지 알기 어렵다. 사용자가 언제 추천을 따르고, 언제 수정하고, 오류 뒤에 어떻게 회복하는지 관측할 필요가 있다.
능력이 다른 조건에서 이런 행동이 어떻게 달라지는지도 시험할 수 있다. 단, 실제 사람에게 피해를 주는 운영 환경에서 몰래 성능을 낮춰서는 안 된다. 시험은 사전에 정한 안전한 모의 환경과 적절한 절차 안에서 설계해야 한다. 결과가 달라졌다는 사실만으로 원인까지 입증됐다고 단정하지 않는다.
내가 제안하는 운영 순서는 기대하는 계약을 적고, 실패의 영향을 확인하고, 능력과 한계의 자료를 연결한 뒤, 사용자의 의존과 수정 행동을 살피는 것이다. 평가하지 않은 조건이 발견되면 설명과 사용 범위를 함께 고친다.
AI를 믿게 만드는 일보다 중요한 질문이 남는다. 지금 이 결정에서 무엇을 맡길 근거가 있고, 무엇이 달라지면 의존을 멈춰야 하는가. 그 질문에 답할 수 있을 때 신뢰를 실제 작업의 조건으로 다룰 수 있다.