SHAP(SHapley Additive exPlanations) 분석은 가장 최근에 개발된 XAI 알고리즘 중 하나로 LIME과 같이 모든 모델에 사용 가능한 기법이다. SHAP 분석은 게임 이론을 기반으로 하며, 다른 입력 변수의 조합을 구성하여 해당 입력 변수의 유무에 따른 모델 출력의 평균 변화를 비교한다. 이를 통하여 목표 입력 변수의 중요성을 수치화하여 표현할 수 있으며 이 값을 새플리 값(shapley value)라고 부른다. SHAP는 이렇게 계산된 새플리 값(shapley value)들을 이용하여 모델의 분석 결과를 해석할 수 있게 하였다.

📝 참고 논문(A Unified Approach to Interpreting Model Predictions**)**

A Unified Approach to Interpreting Model Predictions

Introduction

• 선형 회귀모형의 경우 각 특성의 영향력은 각 특성값과 그에 대한 가중치를 곱하여 얻을 수 있다. 그러나 좀더 복잡한 모델(비선형적인 모델)의 경우 다른 방법이 필요하다. 이때 사용할 수 있는 모델이 지역(local) 모델을 활용한LIME이나 게임 이론의 shapley values를 사용한 SHAP이다.
• Black box 모델의 예측결과를 설명하기 위한 method
• SHAP은 게임이론 중 Shapley Values의 개념에 기초해서 만들어짐
• Shapley values는 협력게임이론(coalitional game theory)으로 도출된 개념으로 각 player 들의 협력과 비협력에 따른 영향을 계산해 payout을 정렬함

게임이론(Game Theory)

여러 주제가 서로 영향을 미치는 상황에서 서로가 어떤 의사 결정이나 행동을 하는지에 대해 이론화한 것

섀플리 값(Shaply value)

게임 이론을 바탕으로 하나의 특성에 대한 중요도를 알기 위해 여러 특성들의 조합을 구성하고 해당 특성의 유무에 따른 평균적인 변화를 통해 얻어낸 값. 어떤 프로젝트에 여려명이 참여했을 때, 참가들의 공헌도를 합리적이고 공정하게 나누는 이론.