LLM のアテンションと外挿 – ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

LLM のアテンションと外挿 – ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

LLM の注意機構には色んな機能があることが分かっています。注意機構を分析することで、なぜ LLM は文脈内学習や思考の連鎖に成功し、ひいてはなぜ LLM が外挿に成功することがあるのかについての理解が得られます。本稿ではさまざまな種類の注意機構を観察することでこの問題をひも解きたいと思います。 目次 目次 基本…