LLM Context and Microservices

Цікаво, що обмеження на розмір контексту та уважність LLM-моделей підштовхують до loose coupling та мікросервісів при написанні застосунків за їх допомогою. Причин як мінімум дві:

1. Розмір контексту та увага: Загнати один великий застосунок в LLM-модель не вийде, а окремий модуль або мікросервіс — цілком. І проблеми починаються набагато раніше, ніж закінчується місце в контексті, мабуть, через проблеми з увагою до різних частин. У різних моделей проблеми різні, але в цілому вони всі працюють краще, якщо розмір контексту невеликий.

2. Збереження контролю: При використанні LLM для генерації коду є величезна спокуса в тому, щоб не розбиратися, що воно там написало. І якщо сервіс великий, то ця спокуса тільки збільшується. Тому, щоб не втратити контроль над кодом, набагато простіше тримати кодову базу кожного модуля/сервісу невеликою та контролювати їхню взаємодію через суворо визначені специфікації.

Та й тести на них писати простіше. А ми, схоже, рухаємося до моменту, коли тести стануть важливішими за код. ;)