Все більше дзвіночків, що занадто рано всі кинулися заливати проблеми розробників LLM залізом. https://techcrunch.com/2025/02/05/researchers-created-an-open-rival-to-openais-o1-reasoning-model-for-under-50/

• Розробка моделі s1: Дослідники зі Стенфорда та Університету Вашингтона створили модель штучного інтелекту для задач, що потребують міркувань (reasoning model), яку назвали s1. При цьому на навчання моделі було витрачено менше 50 доларів у вигляді хмарних кредитів. • Методика навчання: Модель s1 була отримана методом дистиляції — процесом, під час якого «спеціалізовані» здібності вихідної моделі передаються іншій моделі. У цьому випадку за допомогою процесу супервізованого донавчання (SFT) дослідники використали відповіді та хід міркувань, надані експериментальною моделлю Google Gemini 2.0 Flash Thinking Experimental. • Базова модель і дані: Як базову модель використали вже існуючу безплатну модель від китайської лабораторії Qwen (що належить Alibaba). Для навчання було створено відносно невелику вибірку з 1 000 ретельно відібраних запитань із відповідями та поясненнями. • Результати й ефективність: Навчання моделі зайняло менше 30 хвилин із використанням 16 графічних процесорів Nvidia H100, а підсумкова модель показала результати, співставні з передовими моделями, такими як OpenAI o1 і DeepSeek R1, особливо в задачах з математики та програмування. Також було використано прийом, за якого модель просила «почекати», що дозволяло їй двічі перевіряти свої відповіді й підвищувати їхню точність. • Значення та наслідки: Розробка такої моделі за скромною ціною демонструє можливість створювати конкурентоспроможні ІІ-рішення без великих фінансових вкладень, що підіймає питання щодо стандартів і захисту інтелектуальної власності в сфері ІІ. Водночас великі лабораторії, такі як OpenAI, висловили невдоволення методами здобуття даних, що використовуються для подібних проєктів. • Майбутні перспективи: Попри успіх дистиляції як методу недорогого відтворення можливостей існуючих моделей, для створення принципово нових проривних ІІ-систем усе одно можуть знадобитися значні інвестиції, як планують зробити компанії Meta, Google і Microsoft.