0 / 5 節読了

新しい仕組み「WhiteMatter」の登場

AIモデルの性能を高める新しい仕組み「WhiteMatter」が発表されました。これはTransformerというAIの基本構造をより良くする試みです。過去の情報を効率的に使うことで、AIの理解力を深めます。

従来のTransformerの課題

従来のTransformerでは、各層が自分の深さで生成されたKV（KeyとValue。過去の情報を表すデータです）しか参照できませんでした。これにより、より深い層が持つ過去のトークン情報が十分に活用されていませんでした。オートリグレッシブデコーディング（次の単語を予測する処理のことです）の際にも、この情報の使い方が課題でした。

WhiteMatterの革新的な点

WhiteMatterは、この課題を解決します。全ての注意層が、各過去トークンの全層から得られる情報を参照できるようにします。接続の重みは、情報を参照する層ごとに変わります。さらに、参照元のトークンに合わせて柔軟に調整されます。これにより、AIが過去の情報をより賢く利用できます。

情報の保存と活用

この仕組みでは、各トークンに対してルーター（情報の経路を制御する役割のことです）が働きます。モデルのL層の状態をk個のチャネル（情報を運ぶ経路のことです）に混ぜ合わせます。これらのチャネルは、後続のトークンが参照できるように保存されます。各注意層は、これらのチャネルの一つを参照します。チャネルの数「k」は、保存される情報全体の量を調整します。kをLより小さくすると、保存する情報量を圧縮できます。kがLと同じ場合、各層の情報は専用の経路を持つことになります。

性能向上への期待

WhiteMatterは、過去のトークン表現を効率的に使う新しい方法です。これにより、Transformerモデルの性能が大きく向上すると期待されます。より少ない情報量で高い性能を保つ可能性も秘めています。

PR

文賢 →
柴亮太
柴亮太の視点

新しい接続方式は、AIの「記憶力」をどう使うかという設計思想を問います。単に情報を多く持たせるのではなく、どの情報をどう繋ぐか。この仕組みで、私はモデルの賢さが一段上がると見ています。