従来のAIカラー化が抱える課題
多くの画像カラー化システムは、Lab色空間において輝度（Lチャンネル）を入力画像から固定し、色度（abチャンネル）のみを予測する設計を採用しています。このアプローチは、一般的なパンクロマティック写真のような標準的なグレースケール画像に対しては有効性が確認されています。しかし、この固定輝度設計には根本的な制約があります。それは、明るさの変化を制限してしまう点です。
特に、歴史的なオルソクロマティック写真のように、グレースケール生成の仕組みが自然な画像の輝度と異なる場合、従来のシステムは信頼性を大きく損ないます。オルソクロマティック写真は赤色光に鈍感な特性を持つため、赤色の被写体が実際よりも暗く写り込む傾向があります。このような画像に従来のAIを適用すると、輝度情報が不自然なまま色付けされるため、結果として不自然な色アーティファクトが発生しやすかったのです。
新しいカラー化フレームワークの提案
私たちはこの課題に対し、輝度にとらわれない（luminance-agnostic）新しいカラー化フレームワークを提案します。このフレームワークでは、カラー化を単なる色度予測ではなく、「フルRGB画像編集」として捉え直します。具体的には、基盤となる画像編集モデルを活用することで、輝度を含む画像全体のピクセル値を柔軟に操作し、より自然なカラー画像を生成することを目指します。
このアプローチの核心は、入力されたグレースケール画像からLチャンネルを固定するのではなく、カラー化プロセスの中で輝度情報も動的に調整可能にする点にあります。これにより、従来のシステムでは難しかった、明るさの変化を伴うカラー化や、特殊なグレースケール特性を持つ画像への対応が可能になります。
混合グレースケール目標による汎用性の確保
現代のパンクロマティック写真と、歴史的なオルソクロマティック写真という異なるグレースケール条件を橋渡しするため、私たちは「混合グレースケール目標」という学習戦略を導入しました。これは、モデルを標準的な輝度グレースケール生成条件と、赤色に鈍感なグレースケール生成条件の両方で訓練するというものです。
この混合学習により、モデルは様々なグレースケール特性を持つ画像に対して、より堅牢かつ高精度なカラー化を実現できるようになります。特に、赤色に鈍感なオルソクロマティック写真の特性を学習することで、過去の不自然な色付けの問題を大幅に軽減し、歴史的価値のある写真の鮮やかな復元を可能にします。この汎用性は、AIが現実世界の多様な入力に対応するための重要な一歩だと私は見ています。
歴史写真への応用と堅牢性の向上
本研究では、COCO、ImageNetといった標準的なデータセットに加え、複数のインスタンスを含むベンチマークを用いて実験を行いました。その結果、私たちの提案手法は標準的なグレースケール入力に対しても既存手法と同等以上の競争力を示しました。さらに重要なのは、オルソクロマティック入力に対しては、既存手法と比較して大幅に堅牢性が向上した点です。
定性的な比較評価や人間による評価研究でも、私たちの手法が生成する画像には可視的な色アーティファクトが少なく、より自然なカラー化が実現されていることが示されました。これは、歴史的な写真のデジタルアーカイブ化や、文化財の復元といった分野において、極めて大きな価値を持つと私は考えます。AIが単なる「色付け」を超え、写真の持つ情報や文脈を深く理解し、表現する能力を獲得しつつある証拠です。
固定輝度で色付けするAIは、所詮『お絵描き』の域を出ません。現実世界の複雑な光や歴史的文脈を理解して初めて、AIは真のクリエイティブツールになります。この技術は、その一歩です。私も過去のプロダクトで色付けの限界を感じていました。一次情報として、この進化は大きいと断言します。
