XAI

eXplainable Artificial Intelligence (설명 가능한 인공지능)

머신러닝, 딥러닝 모델의 동작 과정과 출력 값을 설명하기 위한 기법

Background

기존의 많은 모델들이 설명이 가능하지 않거나, 매우 복잡한 Black-box 문제를 가지고 있음(예: 딥러닝 모델). 특히, 모델이 만들어지고 현장 배치 이후에는 운영 이슈가 매우 중요한데, 그 과정에서 모델의 취약점을 분석하여 개선하기 위해서는 모델의 설명 가능성(explainability)이 필수적으로 요구됨

The XAI Framework (link)

Concepts

LIME (국소적 대리 모형 기반 설명)

Concepts (to be supplemented)

SHAP

XAI 패키지(Python)

패키지명	딥러닝 모델 지원	링크
interpret	O	github.com/interpretml/interpret
explainx	O	github.com/explainX/explainx
XAI	X	github.com/EthicalML/xai
SHAP	O	github.com/slundberg/shap
LIME	O	github.com/marcotcr/lime
CEML	O	github.com/andreArtelt/ceml
DICE	O	github.com/interpretml/DiCE
eli5	O (only keras)	eli5.readthedocs.io/en/latest/overview.html
mlxtend	X	rasbt.github.io/mlxtend/user_guide/feature_selection/SequentialFeatureSelector/

References

•

Spinner, T., “A Visual Analytics Framework for Interactive and Explainable Machine Learning,” IEEE Transactions on Visualization and Computer Graphics, 2020

◦

XAI 결과의 종합적인 시각화를 제공하는 프레임워크 제안

•

explainer.ai (link)

◦

XAI 개념, 기법, 프레임워크에 대한 매우 질 좋은 설명

•

(Biecek 2020) Explanatory Model Analysis: Explore, Explain, and Examine Predictive Models. With examples in R and Python

◦

XAI 개념 및 주요 기법에 대해 상세하게 기술된 e-book (무료)

•

(Molnar 2022) Interpretable Machine Learning

◦

XAI 개념 및 주요 기법에 대해 상세하게 기술된 e-book (무료)