CWE一覧に戻る
CWE-1426

生成AI出力の不適切な検証

Improper Validation of Generative AI Output
脆弱性 作成中
JA

この製品は、生成的なAI/MLコンポーネントを呼び出す。
コンポーネントを呼び出します。
を呼び出す。
出力が意図したセキュリティやコンテンツ、プライバシーに合致していることを確認するための検証が不十分である。
意図されたセキュリティ、コンテンツ、またはプライバシー・ポリシーに合致していることを保証するために、出力を検証しない、または検証が不十分である。
ポリシーに準拠していない。

EN

The product invokes a generative AI/ML
component whose behaviors and outputs cannot be directly
controlled, but the product does not validate or
insufficiently validates the outputs to ensure that they
align with the intended security, content, or privacy
policy.

Scope: Integrity / Impact: Execute Unauthorized Code or Commands; Varies by Context
Since the output from a generative AI component (such as an LLM) cannot be trusted, ensure that it operates in an untrusted or non-privileged space.
Use "semantic comparators," which are mechanisms that
provide semantic comparison to identify objects that might appear
different but are semantically similar.
Use components that operate
externally to the system to monitor the output and
act as a moderator. These components are called
different terms, such as supervisors or
guardrails.
During model training, use an appropriate variety of good
and bad examples to guide preferred outputs.
MITRE公式ページ — CWE-1426