Ръководство на OpenAI за персонализация на контекста

https://cookbook.openai.com/examples/agents_sdk/context_personalization

OpenAI публикува своята схема и алгоритъм за изграждане на персонализация. Основната идея е разделянето на типовете данни + алгоритъм за работа с тях. Описаният метод позволява натрупване на поведенчески данни и осигуряване на съгласуваност на отговорите в рамките на множество сесии. Полезно като пример за това как да се решават проблеми на агентите.

Следва резюме.

Архитектура на паметта

1. Компоненти на състоянието:
   • Профил: структурирани потребителски данни във формат YAML.
   • Глобални бележки: дългосрочни предпочитания във формат Markdown.
   • Сесийни данни: временни бележки и история на текущия диалог.
2. Инжектиране (Injection): релевантни части от профила и бележките се вмъкват динамично в системния промпт преди всяко извикване на модела.
3. Дестилация (Distillation): агентът използва инструмента save_memory_note за автоматично фиксиране на нови факти и предпочитания по време на диалога.
4. Управление на контекста (Trimming): при достигане на лимита от токени се запазва историята на последните съобщения, а важни сесийни бележки се внедряват повторно в промпта за запазване на свързаността.
5. Консолидация: след завършване на сесията се извършва асинхронна обработка на данните: дедупликация, разрешаване на конфликти и премахване на неактуална информация.

Принципи на работа

Йерархия на приоритетите

При възникване на противоречия в данните се използва следният ред на приоритет:

1. Последното съобщение от потребителя.
2. Сесийни уточнения.
3. Глобални настройки на профила.

Техническа реализация

• Форматиране: използването на YAML за профили и маркирани списъци за бележки осигурява висока предвидимост при интерпретацията от модела.
• Инструментариум: явните извиквания на инструменти за запис на паметта позволяват контролиране на процеса на обучение на агента.

Оценка и безопасност

Метрики за ефективност

• Точност на извличане: коректност и пълнота на улавянето на нови факти (Precision/Recall).
• Качество на инжектиране: влияние на паметта върху отговорите без ущърб за изпълнението на текущата задача.
• Консистентност: липса на дубликати и противоречиви данни след консолидация.

Безопасност (Guardrails)

• Филтриране на данни: изключване на лична информация (PII) и пароли от паметта.
• Защита от инжекции: предотвратяване на опити за промяна на системните инструкции чрез потребителски бележки.
• Жизнен цикъл: механизми за автоматично остаряване и изтриване на неактуални данни.