Все повече признаци, че твърде рано всички се втурнаха да заливат проблемите на разработчиците на LLM с хардуер. https://techcrunch.com/2025/02/05/researchers-created-an-open-rival-to-openais-o1-reasoning-model-for-under-50/

• Разработка на модела s1: Изследователи от Станфорд и Университета на Вашингтон създадоха модел на изкуствен интелект за задачи, изискващи разсъждение (reasoning model), наречен s1. Обучението на модела е струвало по-малко от $50 под формата на облачни кредити. • Методика на обучение: Моделът s1 е получен чрез дистилация – процес, при който „специализираните“ способности на изходния модел се предават на друг модел. В този случай чрез процеса на супервизирано дообучение (SFT) изследователите са използвали отговори и ход на разсъждение, предоставени от експерименталния модел Google Gemini 2.0 Flash Thinking Experimental. • База и данни: Като базов модел е използван вече съществуващ безплатен модел от китайската лаборатория Qwen (собственост на Alibaba). За обучение е създадена сравнително малка извадка от 1 000 внимателно подбрани въпроса с отговори и обяснения. • Резултати и ефективност: Обучението е отнело по-малко от 30 минути с използване на 16 графични процесора Nvidia H100, а финалният модел е показал резултати, сравними с водещи модели като OpenAI o1 и DeepSeek R1, особено в задачи по математика и програмиране. Използван е и прийом, при който моделът „моли да се изчака“, което му позволява да проверява отговорите си два пъти и да повишава точността. • Значение и последствия: Разработката на такъв модел на скромна цена показва, че конкурентни ИИ-решения могат да се създават без големи финансови инвестиции, което повдига въпроси за стандартите и защитата на интелектуалната собственост в ИИ. В същото време големи лаборатории като OpenAI изразиха недоволство от методите за извличане на данни, използвани за подобни проекти. • Бъдещи перспективи: Въпреки успеха на дистилацията като метод за евтино възпроизвеждане на възможностите на съществуващите модели, за създаването на принципно нови пробивни ИИ-системи все още могат да са нужни значителни инвестиции, както планират Meta, Google и Microsoft.