Embrace Imperfection: Cerebras

Темата за изграждане на “embrace imperfection” системи, които отчитат недостатъците на компонентите, ми е интересна и като мениджър, и като разработчик на AI агенти (което, ако се замислите, е едно и също :). Ето още едно, изглежда успешно решение. Де да можеше да се прочете някъде и за неуспешните.

https://www.cerebras.ai/whitepapers

TL;DR: Cerebras не се бори с дефектите в кристала, а предварително ги залага в архитектурата, затова може да използва цяла силициева пластина като един огромен чип и да постигне рязък скок в производителността за ИИ и HPC.

• Вместо да се опитва да направи идеален чип без дефекти, Cerebras съзнателно „приема“ дефектите: архитектурата е проектирана така, че част от ядрата/участъците да могат да бъдат неизправни, а системата все пак да работи.

• Този подход дава повече от 100 пъти по-голяма устойчивост на повреди върху цялата 300-мм пластина в сравнение с много по-малкия GPU чип.

• Това решава класическия проблем с добива на годни изделия при големи кристали и за първи път прави вафер-скейл процесора (чип с размер на пластина) практически приложим.

• Резултатът е много по-бързи изчисления за обучение на големи модели, инференс в реално време и напредък в научните изчисления.