LLM Context and Microservices

Интересно е, че ограничението в размера на контекста и внимателността на LLM моделите подтикват към loose coupling и микросервизи при писането на приложения с тяхна помощ. Причините са поне две:

1. Размер на контекста и внимание: Не е възможно да вкарате едно голямо приложение в LLM модел, но отделен модул или микросервиз е напълно възможно. Проблемите започват много по-рано, отколкото свършва мястото в контекста, вероятно поради проблеми с вниманието към различните части. Различните модели имат различни проблеми, но като цели те работят по-добре, ако размерът на контекста е малък.

2. Запазване на контрола: При използване на LLM за генериране на код има огромно изкушение да не се вниква в това, което е написано. И ако услугата е голяма, това изкушение само нараства. Ето защо, за да не се загуби контрол над кода, е много по-лесно кодовата база на всеки модул/услуга да се поддържа малка и да се контролира тяхното взаимодействие чрез строго дефинирани спецификации.

Освен това писането на тестове за тях е по-лесно. И изглежда се движим към момент, в който тестовете ще станат по-важни от кода. ;)