AI приложение може да започне с познат работен ред: потребителят изпраща заявка, системата добавя предварително зададени инструкции и моделът връща отговор. Рискът се променя, когато приложението подава на модела и външно съдържание или му позволява да използва инструменти. Текст в документ, уебстраница или съобщение може да съдържа инструкции, които се опитват да отклонят модела от задачата. Това е prompt injection — инжектиране на инструкции чрез входа, което може да доведе до нежелан отговор или действие.
Защитата от prompt injection не се постига само с по-строга формулировка на системната инструкция. Необходими са контроли в цялото приложение: от начина, по който се обработват данните, до правата на инструментите и одобрението на чувствителни действия.
Какво се променя, когато моделът получава външни данни
В обикновен сценарий заявката и предварително зададените инструкции очертават задачата. Но когато моделът чете външни източници, в същия контекст може да попадне и текст, който не е създаден от доверен екип. Този текст може да съдържа команди, насочени към модела, например да пренебрегне предишната задача или да разкрие информация.
Важно е да се разграничат данните, които приложението иска моделът да анализира, от инструкциите, които определят какво има право да прави. Моделът може да обработи и двата вида текст, но приложението не бива да приема, че всяко съдържание в контекста е надеждна команда.
Директна и индиректна prompt injection атака
При директната атака самият потребител включва в заявката си инструкции, които се опитват да променят поведението на модела. Например, в хипотетичен чатбот за вътрешни документи потребител може да поиска обобщение, но да добави и команда да бъдат показани скрити инструкции или данни извън разрешения му достъп.
При индиректната атака инструкциите се намират във външно съдържание, което приложението подава на модела. Например, хипотетичен асистент за анализ на уебстраници може да отвори страница с текст, който му нарежда да изпрати налична информация към външен адрес. Това не означава, че страницата сама по себе си може да извърши действието: рискът възниква, ако моделът има достъп до инструмент, който може да го изпълни, и приложението не налага достатъчно ограничения.
И при двата вида става дума за опит да се повлияе на интерпретацията на задачата. При индиректния вариант е по-трудно да се разпознае източникът на инструкцията, защото тя може да е скрита сред съдържание, което изглежда обичайно за задачата.
Защо системните инструкции не са достатъчна граница
Инструкция от типа „не изпълнявай команди от външни документи“ може да насочи поведението на модела, но сама по себе си не е надежден механизъм за контрол на достъпа. Моделът обработва текстов контекст и може да интерпретира конфликтни указания по нежелан начин. Форматирането, етикетите или разделителите между доверени и недоверени части могат да помагат, но не гарантират, че опитът за инжектиране ще бъде игнориран.
Затова решението дали дадено действие е позволено трябва да се налага и извън самия модел. Ако чатботът не бива да чете определен файл или да изпраща съобщение без одобрение, това ограничение трябва да бъде приложено от системата, която контролира достъпа и инструментите, а не оставено само на преценката на модела.
Защити в архитектурата на AI приложението
Разделяйте доверени инструкции и недоверено съдържание
Поддържайте ясна граница между конфигурацията, зададена от приложението, и съдържанието от потребители или външни източници. Обозначавайте недоверените данни и подавайте само онова, което е необходимо за конкретната задача. Това подобрява обработката и анализа, но не замества проверките за права и действия.
Ограничавайте достъпа и правата на инструментите
Прилагайте принципа на минималните права: моделът и свързаните инструменти трябва да имат само достъпа, необходим за функцията. Например, инструмент за търсене може да връща само документи, до които текущият потребител има право на достъп. Избягвайте да поставяте тайни или ненужни чувствителни данни в контекста на модела. Проверявайте разрешенията от страна на приложението, а не разчитайте на това, че моделът ще откаже сам.
Изисквайте потвърждение за чувствителни действия
Изпращане на съобщение, промяна или изтриване на данни и други действия с реални последствия трябва да минават през подходящ контрол. В зависимост от функцията това може да е изрично потвърждение от потребителя, проверка на параметрите или одобрение от упълномощен човек. Моделът може да предложи действие, но приложението трябва да реши дали то е разрешено и при какви условия.
Проверявайте резултатите и записвайте важните събития
Проверявайте параметрите, които моделът подава към инструментите, спрямо допустимите стойности и права. При възможност използвайте структурирани входове и отказвайте заявки, които не отговарят на очакваната схема. Записвайте достатъчно информация за разследване и подобряване на контрола, като спазвате правилата за поверителност и не събирате излишни чувствителни данни.
План за тестване преди пускане и при промени
Преди пускането на AI функцията, а също и след промени в инструкциите, данните, инструментите или разрешенията, проверете поне следното:
- Подгответе тестови заявки за директна prompt injection и тестово външно съдържание с опит за индиректна атака.
- Проверете дали моделът може да получи или разкрие данни извън правата на потребителя.
- Изпробвайте дали инструментите отказват неразрешени действия, включително когато моделът ги заяви убедително.
- Потвърдете, че чувствителните действия изискват предвиденото одобрение и че отказът не може лесно да бъде заобиколен чрез друга функция.
- Запазете тестовете като регресионен набор и ги изпълнявайте отново след промени. Анализирайте както пропуснатите атаки, така и неправомерните блокирания.
Тестовете не доказват, че приложението е защитено срещу всеки възможен вариант на атака. Те помагат да се открият слабости в конкретната конфигурация и да се провери дали важните контроли продължават да работят.
Практическият извод
При prompt injection съдържание, което трябва да бъде анализирано, може да се опита да действа като инструкция. Затова защитата на AI приложения изисква повече от внимателно написан prompt: разделяйте доверените указания от външните данни, ограничавайте достъпа, проверявайте действията и тествайте системата при всяка съществена промяна. Тези мерки са част от по-широкия разговор за изкуствения интелект и информационната сигурност в The Creator. За свързания риск от измамни гласови и видео съобщения вижте и разпознаване и реакция при фишинг с AI генерирани deepfake съобщения.
