인공지능의 이유 있는 답변: PACE 프레임워크가 제시하는 '실행 가능한' 설명의 미래

인공지능의 '블랙박스' 문제를 해결하다

현대 인공지능(AI)은 놀라운 성능을 보여주지만, 결과가 도출된 과정을 인간이 이해하기 어려운 '블랙박스' 문제를 안고 있습니다. 특히 금융, 법률, 의료와 같이 중요한 결정을 내리는 분야에서 AI의 판단 근거를 모른 채 결과를 수용하는 것은 위험할 수 있습니다.

이러한 문제를 해결하기 위해 등장한 개념이 바로 **설명 가능한 AI(Explainable AI, XAI)**입니다. 그중에서도 최근 주목받는 방식은 **'카운터팩추얼 설명(Counterfactual Explanations)'**입니다.

카운터팩추얼 설명이란?

카운터팩추얼 설명은 "만약 입력값이 조금 달랐다면 결과가 어떻게 바뀌었을까?"라는 질문에 답하는 방식입니다. 예를 들어, 대출이 거절된 고객에게 "당신의 연봉이 500만 원 더 높았다면 대출이 승인되었을 것입니다"라고 알려주는 식입니다.

하지만 기존의 많은 모델은 이론적으로는 가능하지만 현실적으로는 불가능한 대안을 제시하는 한계가 있었습니다. 예를 들어 "당신의 나이가 5살 어렸다면"과 같은 제안은 사용자가 실행할 수 없는 변경 사항입니다.

PACE: 뉴로-심볼릭 AI의 결합

최근 발표된 논문 [2607.01306] PACE: A Neuro-Symbolic Framework for Plausible and Actionable Counterfactual Explanations는 이러한 한계를 극복하기 위해 PACE라는 새로운 프레임워크를 제안합니다.

PACE의 핵심은 뉴로-심볼릭(Neuro-Symbolic) AI 기술을 활용하는 것입니다.

1. 신경망 모델(Neural Model): 복잡한 데이터를 처리하고 정확한 예측을 수행합니다.
2. 심볼릭 추론 계층(Symbolic Reasoning Layer): 도메인 지식과 실행 가능한 제약 조건을 논리적으로 정의합니다.

이 두 가지를 결합함으로써 PACE는 인공지능이 단순히 예측 결과를 바꾸는 최소한의 변경점을 찾는 데 그치지 않고, '현실적으로 실행 가능하고(Actionable)', '타당한(Plausible)' 대안을 제시하도록 만듭니다.

PACE 프레임워크의 구조

• 모듈화된 설계: 예측 엔진과 추론 엔진을 분리하여 어떤 머신러닝 모델에도 적용할 수 있는 모델-애그노스틱(Model-agnostic) 특성을 가집니다.
• 도메인 지식 반영: Answer Set Programming(ASP) 규칙을 사용하여 교육 수준, 직업 변경 가능성, 근무 시간 등 현실적인 제약 조건을 명시적으로 모델링합니다.
• 불변 속성 보호: 인종, 성별, 나이와 같이 수정할 수 없는 속성은 고정된 상태로 유지하면서 대안을 찾습니다.

실제 사례: 소득 예측 데이터셋 적용

연구팀은 성인 소득(Adult Income) 데이터셋을 활용해 PACE의 성능을 테스트했습니다. 다층 퍼셉트론(MLP) 분류기와 ASP 규칙을 결합하여 분석한 결과, PACE는 단순히 수치상의 정답을 찾는 기존 방식보다 훨씬 더 현실적인 제안을 내놓았습니다.

단순한 수학적 최적화는 때로 모순된 상황(예: 학력은 낮추면서 소득은 높이는 제안 등)을 만들 수 있지만, PACE의 심볼릭 제약 조건은 이러한 모순을 차단하고 사용자가 실제로 따를 수 있는 경로를 안내합니다.

결론: 투명하고 신뢰할 수 있는 AI를 향해

AI가 우리 삶의 깊숙한 곳까지 들어오면서 '왜?'라는 질문에 답하는 능력은 기술적 요구를 넘어 윤리적, 사회적 필수 요건이 되고 있습니다. PACE 프레임워크는 데이터 기반의 강력한 예측 성능과 인간의 논리적 추론을 결합하여, AI의 결정을 단순한 통보가 아닌 협력적 조언으로 바꾸어 놓았습니다.

앞으로 뉴로-심볼릭 방식의 XAI 연구가 더욱 발전하여, 우리가 AI의 결정을 온전히 신뢰하고 그 대안을 삶에 적용할 수 있는 시대가 오기를 기대해 봅니다.