歴史資料活用の課題
歴史的な新聞は、過去の社会や文化を理解するための重要な情報源です。しかし、これらの資料は通常、印刷された紙媒体で存在します。デジタル化されたとしても、その多くは単なる画像データに過ぎません。特に古い新聞は、文字の書体、紙の状態、レイアウトの複雑さなどから、機械で内容を正確に読み取るのが非常に困難でした。このため、研究者が手作業で情報を収集するしかなく、膨大な時間と労力がかかっていました。結果として、多くの貴重な情報が十分に活用されていないのが現状です。
新聞データ抽出システムの詳細
この課題に対し、ボストン公共図書館と共同で開発したのが「Institutional Newspapers Pipeline」というデータ抽出システムです。この仕組みは、モジュール式の設計を採用しています。各処理段階が独立しているため、問題が発生した際に原因を特定しやすく、特定の処理だけを改善することも容易です。また、特定のニーズに合わせてカスタマイズできる柔軟性も持ち合わせています。これにより、多様な種類の歴史新聞に対応できる汎用性の高いシステムとなっています。
効率的な処理の実現
このシステムは、計算資源をあまり使わないように設計されています。一般的な作業用コンピューターでも十分に動作する効率性を実現しました。これは、大規模なデータ処理を行う上で非常に重要な要素です。高価な専用サーバーを必要としないため、より多くの機関がこの技術を利用できるようになります。処理は多段階で行われます。まず、新聞の読み込み画像を細かく切り出し、個別の部分画像にします。次に、それぞれの部分画像に対して、画像から文字を読み取る光学文字認識（OCR）を実行します。その後、読み取った文字情報に対し、その内容が何であるか、どのような種類か、どの順番で読むべきか、固有名詞は何か、主題は何か、何語で書かれているか、といった詳細な分析を自動で行います。さらに、事前計算された特徴量生成により、機械学習モデルが扱いやすい形式に変換されます。
データの活用と意義
私たちは、このシステムを実際にボストン公共図書館の膨大な所蔵資料の一部に適用しました。その結果、1795年から1930年の間に発行された1,473,635枚の著作権切れ新聞から、約8310万の部分画像を生成し、そこから163億もの単語の単位（トークン）を抽出することに成功しました。この大規模なデータ集は、オープンデータとして公開されています。これにより、世界中の研究者や開発者が、この高品質なデータを利用して、新たな研究やアプリケーション開発を進めることが可能になります。歴史的な出来事のトレンド分析、特定の人物やテーマの追跡、言語の変化の研究など、これまで不可能だった分析が現実のものとなります。
今後の展望
この取り組みは、数千万枚に及ぶ未活用の歴史新聞画像から、高品質な情報を引き出すための重要な基盤を築いたと私は考えています。このシステムと公開されたデータ集は、デジタルヒューマニティーズやAI研究の分野に大きな影響を与えるでしょう。今後は、さらに多くの機関がこの仕組みを導入し、それぞれの所蔵資料をデジタルデータとして活用していくことが期待されます。これにより、人類の歴史的記録が、より広範に、より深く研究される時代が到来すると感じます。
PR
文賢 →
歴史新聞のデジタル化は、データの質が全てです。レイアウトが不揃いな資料から、いかに使える情報を引き出すか。その仕組みが公開されたのは大きい。RO合同会社でも、過去の資料をデータ化する際にこの知見を活かします。一次情報へのアクセスを最速で実現します。
