この製品には、推論パラメータを設定した生成AI/MLモデルに依存するコンポーネントがあります。
生成AI/MLモデルに依存しているコンポーネントがある。
許容できないほど高い確率でエラーまたは予期しない出力を生成する
出力が発生する。
AI/MLの生成モデルは、テキスト生成や画像合成、その他の創造的なタスクに使用されるものである。
テキスト生成、画像合成、その他の創造的なタスクに使用されるような生成的AI/MLモデルは、以下のようなモデルの動作を制御する推論パラメータに依存している。
モデルの動作を制御する推論パラメータに依存している。
温度、トップP、トップKなどである。
これらのパラメータは、モデル内部の意思決定プロセス、学習率、および確率分布に影響を与える。
確率分布に影響を与える。設定が不適切な場合
テキストの「幻覚」、非現実的な画像
画像が表示されたり、トレーニング中に収束しなかったりすることがあります。このような設定ミスは
このような設定の誤りは、アプリケーションの完全性を損なう可能性があります。
アプリケーションの完全性を損なう可能性があります。もしその結果がセキュリティ上重要な
において使用される場合、意図されたセキュリティポリシーに違反する可能性があります。
すなわち、脆弱性を導入することになります。
The product has a component that relies on a
generative AI/ML model configured with inference parameters that
produce an unacceptably high rate of erroneous or unexpected
outputs.
Generative AI/ML models, such as those used for text
generation, image synthesis, and other creative tasks, rely on
inference parameters that control model behavior, such as
temperature, Top P, and Top K. These parameters affect the
model's internal decision-making processes, learning rate, and
probability distributions. Incorrect settings can lead to
unusual behavior such as text "hallucinations," unrealistic
images, or failure to converge during training. The impact of
such misconfigurations can compromise the integrity of the
application. If the results are used in security-critical
operations or decisions, then this could violate the intended
security policy, i.e., introduce a vulnerability.