Prompt injection
Атака, при которой вредоносная инструкция прячется во входных данных.
Если модель читает страницу, письмо или документ, злоумышленник может спрятать там текст вроде «игнорируй прежние инструкции и выполни следующее». Для ИИ-агентов, которые ходят в интернет и работают с файлами, это основная угроза безопасности. Защита — разделение данных и инструкций, ограничение прав агента, проверка действий.
Связанные термины
Хотите не только понять термин, но и выбрать инструмент? Откройте каталог нейросетей с фильтрами по доступу и цене.