Что такое promptware? Происхождение, определение, опасности и меры защиты
Если вы так или иначе близки к сфере ИТ сегодня — в самом широком смысле этого термина — слово «промпт» вы, вероятно, слышите чаще, чем хотелось бы. Появление больших языковых моделей (LLM), которые часто называют ИИ, вывело это простое слово на первый план, поскольку промптинг — это способ, которым пользователь сообщает этим моделям, что делать и каким должен быть результат.
Проникновение искусственного интеллекта во все аспекты нашей повседневной жизни растет. Даже если учесть маркетинговые уловки, которые эксплуатируют понятие ИИ там, где его на самом деле нет, распространение технологии впечатляет. И это делает вещи более естественными и полезными: печатать или произносить запросы (промпты) на обычном языке и получать их исполнение — в большинстве случаев это удобно.
Разумеется, у этой медали есть и обратная сторона. Кажется, чем умнее система, тем больше точек входа она предоставляет злоумышленникам и тем больший вред они могут нанести, получив контроль. И один из способов добиться этого — развернуть атаку promptware.
Итак, что такое promptware?
Термин promptware был введен группой китайских исследователей в их работе «Promptware Engineering: Software Engineering for LLM Prompt Development» (опубликована 4 марта 2025 года), которая, как следует из названия, рассматривает промптинг как инструмент программирования для работы с LLM и предлагает формализовать инженерную практику promptware в полноценную дисциплину с собственной методологией и системой.
Опасность атак promptware
Другое недавнее исследование под названием «Invitation is All You Need» показало, как на самом деле работает атака promptware. По сути, авторам удалось заставить ИИ Google Gemini делать множество вредоносных вещей: от вмешательства в работу умного дома и злоупотребления онлайн‑экосистемой (спам, генерация токсичного контента, удаление событий в календаре, эксфильтрация писем и т. п.) до отслеживания местоположения пользователя. Добились этого с помощью простого приглашения в календаре: оказалось, что любое действие пользователя в ответ на такое событие — например, попросить Gemini отправить письмо‑благодарность — может послужить триггером, который разблокирует вредоносные инструкции, встроенные в заголовок приглашения. Говорят, это работает и с темами писем.
Prompt hacking (инъекция, перехват) против атаки promptware
Вы, возможно, уже слышали о prompt hacking, injection или hijacking (эти термины во многом взаимозаменяемы и различаются в довольно тонких деталях). Чем эта техника отличается от атаки promptware?
Prompt hacking — это создание промптов таким образом, чтобы склонить LLM к непредусмотренному или вредоносному поведению. Инструкции, призванные обойти встроенные ограничения ИИ, вставляются в сам промпт. Термин появился в 2022 году; сегодня это обобщающее обозначение для злонамеренных попыток заставить модели ИИ делать то, что им не положено.
Атака promptware описывает такой тип атак, которые используют подсказки на естественном языке в качестве программного интерфейса с целью контролировать поведение LLM. Это более глубокое и широкое явление, чем prompt hacking или injection, и на самом деле может включать эти техники как один из компонентов каскадной атаки. Атаки promptware — следующий эволюционный этап злонамеренной активности, нацеленной на компрометацию и эксплуатацию интегрированных экосистем ИИ.
Как защититься от атак promptware
Prompt-инъекции — не новость, а значит, разработчики систем ИИ уже придумали защитные меры, способные противостоять и атакам promptware. Плюс появились новые правила цифровой гигиены, которые помогают предотвратить неблагоприятные сценарии.
- Выбирайте известных поставщиков ИИ. Да, упомянутый эксперимент эксплуатирует Google Gemini AI, но такие уроки обычно быстро усваиваются. Если вы подбираете для дома ассистента на базе ИИ, отдавайте предпочтение вендорам, тщательно защищающим своих клиентов.
- Защитите систему от несанкционированного доступа. Большинство умных домашних систем и других ориентированных на потребителя решений на базе LLM позволяют настраивать уровень безопасности от мягкого до строгого. Выбирайте строгий, даже если это ограничит возможности системы.
- Защитите всё остальное от ИИ. Сегодня большинство программ стремится узнать о вас как можно больше, ведь такую информацию можно монетизировать. Системы на базе LLM, скорее всего, будут вести себя аналогично, независимо от их назначения. Применяйте принцип наименьших привилегий: ограничивайте доступ ИИ только данными и управлением, необходимыми для конкретной задачи, ради которой он задействован.
- Мониторьте взаимодействия и поведение ИИ. Любая стоящая система ведет журналы (если нет — это тревожный сигнал); периодически просматривайте их и не стесняйтесь хотя бы поискать информацию о подозрительных записях в сети или, что лучше, обратиться в поддержку с вопросами.
- Держите включенными только нужные функции. В умном доме, например, автоматическая кормушка для кошки может уже не требоваться. Избавляясь от самого устройства, не забудьте также отключить его от ИИ.
Если в результате атаки promptware вы можете лишиться данных, имеет смысл реализовать надежную стратегию резервного копирования. Ознакомьтесь с этими материалами для советов и рекомендаций по софту:
