TEMPO、MoEモデルのGPU負荷分散を革新：メモリと計算の二面性を考慮

MoEモデルのGPU負荷分散は、これまでトークン数やアクティブなエキスパート数に比例すると考えられてきました。しかし、TEMPOの研究は、実際にはメモリと計算の2つの異なるボトルネックが存在し、それぞれで最適な処理方法が異なることを明らかにしました。この新たな知見に基づき開発されたディスパッチャー「TEMPO」は、複雑な混合レジーム下で最大15.5%の性能向上を達成し、MoEモデルの効率的な運用に新たな道を開きます。