- プロンプトインジェクション
ユーザープロンプトにより、予期しないLLMの挙動や出力を引き起こすリスク - 機密情報の漏洩
認証情報、業務データや個人識別情報などの機密情報が出力されるリスク - サプライチェーン
脆弱性を持つ外部コンポーネントやLLMにより、アプリケーション自体の脆弱性につながるリスク - データとモデル汚染
LLMが利用するデータへの操作により、脆弱性・バックドア・バイアスを引き起こされるリスク - 不適切な出力処理
あるコンポーネントが、検証が不十分なLLM出力を処理することで、意図しない動作をするリスク - 過剰なエージェント動作
過剰な機能、権限を持つAIエージェントが、意図せずに有害な行動をするリスク - システムプロンプトの流出
LLMの動作を指示するシステムプロンプトに機密情報が含まれており、それが外部漏洩するリスク - ベクターと埋め込みの脆弱性
RAGの外部データベースにおいて、埋め込みの生成、管理方法が不十分な際に発生するリスク - 誤った情報
LLMがハルシネーションを生成し、ユーザーに回答するリスク - 制限のない消費
大量トークンの入力、リクエストの繰り返しなどの攻撃で、過剰で制御できない推論を行うリスク
Register as a new user and use Qiita more conveniently
- You get articles that match your needs
- You can efficiently read back useful information
- You can use dark theme