В разборе Мэттью Грина, профессора криптографии в Университете Джонса Хопкинса, речь о том, как вредоносные инструкции могут переходить от одного ИИ-агента к другому. ИИ-агенты — программы, которые выполняют задачи с помощью языковых моделей.
Грин объясняет: для полезной работы агенту нужен доступ к данным, поэтому полностью изолировать его нельзя. По его оценке, вредоносные инструкции могут перехватить управление одним агентом и через него попасть к следующему — так мог бы распространяться компьютерный червь, программа, которая распространяет свои копии.
Проверка утверждений:
- Мэттью Грин разобрал риск того, что вредоносные инструкции могут переходить от одного ИИ-агента к другому. (подтверждено самой публикацией: доказательство; «Put these pieces together and you have the two halves of a worm: a payload that hijacks the agent, and an agent that will carry the payload to the next agent.»)
- Мэттью Грин — профессор криптографии в Университете Джонса Хопкинса. (подтверждено самой публикацией: доказательство; «I’m a cryptographer and professor at Johns Hopkins University.»)
- Грин считает, что для полезной работы агентам нужен доступ к данным, поэтому полностью изолировать их нельзя. (подтверждено самой публикацией: доказательство; «Even if the labs eventually repair their security, this does not mean that sandboxing will be sufficient. In fact, the problem with “just sandbox the agents” argument is that you can’t perfectly isolate agents, at least not if you expect them to do useful things. Agents are most useful when they have access to information.»)
- По оценке Грина, вредоносные инструкции могут перехватить управление одним агентом и через него попасть к следующему, образуя механизм распространения компьютерного червя. (подтверждено самой публикацией: доказательство; «Put these pieces together and you have the two halves of a worm: a payload that hijacks the agent, and an agent that will carry the payload to the next agent.»)
Публикации:
Первоисточники:
оценка 66,6 из 100 · тип: разбор