KAIST XAI Tutorial 2025 | Causal Path Tracing in Transformers | Won Jo (SAIL, KAIST)

In this talk, a method is introduced to examine how a transformer model decision is causally formed through its internal structure. The focus is placed on what constitutes causality in this framework and how all internal paths of the model can be efficiently traced. Finally, various phenomena revealed through the identified internal causal paths are presented. 이 발표에서는 transformer 모델의 의사결정이 내부 구조를 통해 어떻게 인과적으로 형성되는지를 탐색하는 기법을 소개합니다. 이를 위해 무엇이 인과성을 의미하는지, 그리고 모델 내부의 모든 경로를 어떻게 효율적으로 탐색할 수 있는지를 중심적으로 다룹니다. 마지막으로, 이렇게 찾아낸 내부 인과 경로를 기반으로 관찰되는 다양한 현상을 함께 제시합니다.