Все больше звоночков о том, что рано все бросились заливать проблемы разработчиков LLM железом. https://techcrunch.com/2025/02/05/researchers-created-an-open-rival-to-openais-o1-reasoning-model-for-under-50/

• Разработка модели s1: Исследователи из Стэнфорда и Университета Вашингтона создали модель искусственного интеллекта для решения задач, требующих рассуждений (reasoning model), которую назвали s1. При этом на обучение модели было потрачено менее 50 долларов в виде облачных кредитов. • Методика обучения: Модель s1 была получена методом дистилляции – процессом, при котором «специализированные» способности исходной модели передаются другой модели. В данном случае с помощью процесса супервизированного дообучения (SFT) исследователи использовали ответы и ход рассуждений, предоставленных экспериментальной моделью Google Gemini 2.0 Flash Thinking Experimental. • Исходная база и данные: В качестве базовой модели использовалась уже существующая бесплатная модель от китайской лаборатории Qwen (принадлежащей Alibaba). Для обучения была создана относительно небольшая выборка из 1 000 тщательно отобранных вопросов с ответами и пояснениями. • Результаты и эффективность: Обучение модели заняло менее 30 минут с использованием 16 графических процессоров Nvidia H100, а итоговая модель показала результаты, сопоставимые с передовыми моделями, такими как OpenAI o1 и DeepSeek R1, особенно в задачах по математике и программированию. Также был использован прием, при котором модель просила «подождать», что позволяло ей дважды проверять свои ответы и повышать их точность. • Значение и последствия: Разработка такой модели по скромной цене демонстрирует возможность создавать конкурентоспособные ИИ-решения без больших финансовых вложений, что поднимает вопросы о стандартах и защите интеллектуальной собственности в области ИИ. В то же время крупные лаборатории, такие как OpenAI, выразили недовольство по поводу методов добычи данных, используемых для подобных проектов. • Будущие перспективы: Несмотря на успех дистилляции как метода для недорогого воспроизведения возможностей существующих моделей, для создания принципиально новых прорывных ИИ-систем всё равно могут потребоваться значительные инвестиции, как планируют сделать компании Meta, Google и Microsoft.