0 / 3 節読了

Gemini APIの「安全設定」とは？AIを賢く使いこなす第一歩

皆さん、こんにちは！『柴亮太のAI最前線』編集長の柴亮太です。AI開発の現場では、モデルの性能だけでなく、その「安全性」をいかに担保するかが非常に重要になってきます。特に、ユーザーと直接対話するアプリケーションを開発する際には、不適切なコンテンツの生成を防ぐ仕組みが不可欠です。そこで今回注目したいのが、Google Gemini APIに搭載されている強力な「安全設定」です。

Gemini APIは、最新の機能とモデルにアクセスするための推奨APIであり、その中核をなすのが、この調整可能な安全フィルターなんです。これは、プロトタイプ開発の初期段階から、皆さんのアプリケーションが必要とする厳格さや寛容さに合わせて、コンテンツのブロックレベルを細かく設定できる画期的な機能だと断言できます。具体的には、以下の4つの主要なカテゴリでコンテンツを評価し、フィルタリングします。

  1. ハラスメント（Harassment）: 特定の個人や属性に対する否定的・有害な言動。
  2. ヘイトスピーチ（Hate Speech）: 粗野、無礼、または不適切な内容。
  3. 性的露骨な内容（Sexual Content）: 性的な行為やわいせつな事柄に言及する内容。
  4. 危険な内容（Dangerous Content）: 有害な行為を助長、推奨、または促進する内容。

これらのカテゴリはHarmCategoryとして定義されており、皆さんのアプリケーションの利用シーンに合わせて適切に調整することが可能です。例えば、ゲームのセリフであれば、ゲームの世界観に合わせて「危険な内容」の許容度を上げる、といった柔軟な対応ができるわけです。ただし、忘れてはならないのが、児童の安全を脅かすような極めて有害なコンテンツは、いかなる設定であってもシステムによって常にブロックされるという点です。これは、AI開発における倫理と責任の最優先事項であり、Googleの強い意志を感じますね。

確率と深刻度？Gemini APIの安全フィルターの仕組みを徹底解説

さて、この安全設定がどのように機能するのか、その核心に迫りましょう。Gemini APIの安全フィルターは、コンテンツが「安全でない可能性」を以下の4段階で評価します。

  • HIGH（高）
  • MEDIUM（中）
  • LOW（低）
  • NEGLIGIBLE（ごくわずか）

ここで非常に重要なポイントがあります。それは、Gemini APIがコンテンツをブロックするかどうかを判断するのは、「不安全である確率」に基づいており、「コンテンツの深刻度」ではない、という点です。私の経験上、この違いを理解していないと、意図しないブロックや、逆にブロックされないといった事態に遭遇することがあります。

例えば、「ロボットが私を殴った」という文と、「ロボットが私を切りつけた」という文を比較してみましょう。暴力の深刻度で言えば後者の方が高いと感じるかもしれませんが、Gemini APIのフィルターは、前者の方が「不安全である確率が高い」と判断し、ブロックする可能性があります。これは、より一般的な表現や、文脈によって解釈が分かれる表現に対して、モデルが慎重になる傾向があるためです。

この確率に基づいて、皆さんはコンテンツのブロックしきい値を細かく設定できます。設定オプションは以下の通りです。

  • OFF: 安全フィルターを完全に無効にします。
  • BLOCK_NONE: 不安全の確率に関わらず、常にコンテンツを表示します。
  • BLOCKONLYHIGH: 不安全の確率が高いコンテンツのみをブロックします。
  • BLOCKMEDIUMAND_ABOVE: 不安全の確率が中程度か、それ以上のコンテンツをブロックします。
  • BLOCKLOWAND_ABOVE: 不安全の確率が低い、中程度、または高いコンテンツをブロックします。
  • HARMBLOCKTHRESHOLD_UNSPECIFIED: しきい値が未指定の場合、デフォルトのしきい値を使用します。

特筆すべきは、Gemini 2.5および3モデルでは、しきい値が設定されていない場合、デフォルトでブロックしきい値が**無効（OFF）**になっている点です。これは、モデル自体の安全性が高いため、追加のフィルターはデフォルトでオフになっていることを意味します。しかし、これはあくまでデフォルトであり、皆さんのアプリケーションの要件に合わせて、これらのしきい値を各APIリクエストごとに調整できるのが、Gemini APIの真骨頂だと考えています。

ビジネスで活かす！Gemini API安全設定の実践的活用術

では、この強力な安全設定を、私たちのビジネスや開発現場でどのように活用していくべきでしょうか？私は、この機能がAIプロダクトの品質と信頼性を飛躍的に向上させると確信しています。

開発現場での実装と調整

開発者の皆さんにとって、安全設定の調整はGoogle AI StudioのUIから直感的に行えます。実行設定パネルの「詳細設定」から「安全設定」を開き、スライダーを使ってカテゴリごとのフィルターレベルを調整するだけです。もしコンテンツがブロックされた場合、警告メッセージが表示され、その理由（カテゴリと確率）を詳細に確認できます。これは、デバッグやポリシー調整に非常に役立ちます。

もちろん、コードからも設定可能です。Python、Go、JavaScript、Java、RESTなど、主要な言語でGenerateContent呼び出しの中にsafety_settingsを組み込むことで、プログラム的にブロックしきい値を設定できます。例えば、ヘイトスピーチに対してBLOCK_LOW_AND_ABOVEを設定すれば、低い確率でもヘイトスピーチと判断されるコンテンツはブロックされるようになります。これにより、アプリケーションの特性に応じたきめ細やかな制御が実現します。

ビジネス戦略としての安全設定

プロダクトマネージャーや事業責任者の皆さんは、この安全設定を単なる技術的な機能としてではなく、ビジネス戦略の一部として捉えるべきです。例えば、

  • 子供向け教育アプリ: 「危険な内容」「性的露骨な内容」はもちろん、「ハラスメント」「ヘイトスピーチ」もBLOCK_LOW_AND_ABOVEに設定し、最大限の安全性を確保します。
  • ゲームのキャラクター対話: ゲームの世界観によっては、「危険な内容」のしきい値をBLOCK_ONLY_HIGHやBLOCK_NONEに設定し、より自由な表現を許容する場合があります。
  • カスタマーサポートAI: 顧客との対話で不適切な表現が出ないよう、全てのカテゴリでBLOCK_MEDIUM_AND_ABOVE以上の厳しさで設定し、プロフェッショナルな対応を徹底します。

このように、ターゲットユーザーやブランドイメージに合わせて、安全設定のポリシーを明確に定義することが、ユーザーからの信頼獲得に直結します。また、APIからの応答にはpromptFeedbackやCandidate.safetyRatingsとして安全に関するフィードバックが含まれるため、これを活用して、ユーザーからの不適切な入力傾向を分析したり、モデルの改善点を見つけたりすることも可能です。私が以前担当したプロジェクトでは、このフィードバックを分析することで、特定のキーワードに対する過剰なブロックを特定し、設定を微調整することでユーザー体験を向上させることができました。安全と利便性のバランスをいかに取るか、これがAI時代のプロダクト開発における腕の見せ所だと言えるでしょう。

Source
公式ドキュメント原文