OpenAI оновила кешування промптів у GPT-6 — повторне використання однакового контексту між запитами: система за замовчуванням частіше знаходить контекст для повторного використання, а розробники можуть стежити за роботою кешу та розбирати запити, для яких у кеші немає готової відповіді.

Для спільних префіксів запитів, які повторно використовуються протягом 30 хвилин, компанія тепер надає знижку на кешовані вхідні токени. Явні точки розриву кешу дають змогу вибрати, які префікси промпта використовувати повторно.

У моделях GPT-6 можна змінювати рівень міркування між відповідями, не порушуючи кешування, якщо додати configuration_update і залишити рівень міркування для запиту без змін.

Перевірка тверджень:

  • OpenAI оновила кешування промптів у GPT-6: система за замовчуванням частіше знаходить контекст для повторного використання, а розробники можуть стежити за роботою кешу та розбирати запити, для яких у кеші немає готової відповіді. (підтверджено самою публікацією: доказ; «With the GPT‑6 family, we launched an improved prompt caching system that delivers higher cache hit rates by default. We now give cache discounts for eligible shared prefixes reused within a 30-minute window. We’re also introducing new tools to help developers monitor cache performance, diagnose misses, and choose how much of a prompt to cache.»)
  • Для спільних префіксів запитів, які повторно використовуються протягом 30 хвилин, компанія тепер надає знижку на кешовані вхідні токени. (підтверджено самою публікацією: доказ; «We now give cache discounts for eligible shared prefixes reused within a 30-minute window.»)
  • Явні точки розриву кешу дають змогу вибрати, які префікси промпта використовувати повторно. (підтверджено самою публікацією: доказ; «Explicit cache breakpoints let you choose which prompt prefixes to reuse.»)
  • У моделях GPT-6 можна змінювати рівень міркування між відповідями, не порушуючи кешування, якщо додати configuration_update і залишити рівень міркування для запиту без змін. (підтверджено самою публікацією: доказ; «On GPT‑6 models, you can now change reasoning effort between responses without breaking cache. Raise effort for a harder task or lower it for a routine follow-up by appending a configuration_update while leaving request-level reasoning effort unchanged.»)

Першоджерела:

оцінка 64,6 зі 100 · тип: посібник