ReadyArt опубликовала карточку модели Scotoma 2, в которой описала назначение адаптера, метод обучения и результаты сравнительных измерений речевых шаблонов.

Scotoma 2 основана на gemma-4-31B-it и использует метод γ-fold + DPO. Модель обучалась в три раунда на 9,3 тысячи пар, последовательно подавляя рефлексивные отрицания, конструкции «not X, but Y», вставки с тире и нагромождения прилагательных.

В тестах частота нагромождений прилагательных снизилась с 12,1 до 0,6 на 100 предложений по сравнению с базовой моделью. Частота вставок с длинным тире и конструкций «not X, but Y» снизилась примерно в четыре раза.

Автор заявляет, что результат сохраняет интеллектуальные возможности базовой модели, но пишет разнообразнее и с меньшим числом повторов. При этом модель прямо не позиционируется как полностью нецензурированная.

Проверка утверждений:

  • ReadyArt опубликовала карточку модели Scotoma 2: в ней автор описывает назначение адаптера, метод обучения и результаты сравнительных измерений речевых шаблонов. (подтверждено первоисточником: доказательство; «Findings / what it does scotoma-2 is the successor to scotoma . It starts from the same idea, a bounded edit that loosens gemma‑4‑31B‑it’s cautious reflex by projecting an abliteration LoRA through gemma’s J-Space. This iteration uses an updated technique to apply that projection more effectively. Then it goes after something the first release didn’t address: the way the base model writes.»)
  • Scotoma 2 основана на gemma-4-31B-it, использует метод γ-fold + DPO и обучалась в три раунда на 9,3 тыс. пар. (подтверждено первоисточником: доказательство; «Base gemma-4-31B-it Method γ-fold + DPO Rounds 3 · 9.3k pairs»)
  • Три раунда preference training поочерёдно подавляли рефлексивные отрицания и конструкцию «not X, but Y», затем вставки с тире, затем нагромождения и пары прилагательных. (подтверждено первоисточником: доказательство; «Three rounds of preference training each erase one family of tics: reflexive negation and the “not X, but Y” pivot, then em-dash asides, then stacked adjectives and their twins.»)
  • Автор заявляет, что результат сохраняет интеллектуальные возможности базовой модели, но делает её письмо более разнообразным и менее повторяющимся; при этом модель прямо не позиционируется как полностью нецензурированная. (подтверждено первоисточником: доказательство; «The result keeps the intelligence of the base model while reading as more varied and less repetitive. It is not uncensored . Still a blind spot, not blindness.»)
  • Сравнительные показатели рассчитаны на 480 сопоставленных продолжениях ролевых диалогов для каждой модели при одинаковых промптах и сэмплировании с температурой 1,0. (подтверждено первоисточником: доказательство; «Rates per 100 sentences on 480 matched roleplay continuations per model using identical prompts and sampling, temperature 1.0.»)
  • В этих тестах частота нагромождений прилагательных снизилась с 12,1 на 100 предложений у gemma-4-31B-it до 0,6 у scotoma-2, то есть примерно в 21 раз. (подтверждено первоисточником: доказательство; «Stacked adjectives “a smug, knowing smirk” 12.1 10.9 0.6 ↓ 21×»)
  • Частота вставок с длинным тире и конструкций «Not X. But Y.» снизилась примерно в четыре раза: соответственно до 1,0 на 100 предложений с 3,9 и 3,8 у базовой модели. (подтверждено первоисточником: доказательство; «Em-dash asides “a pause — barely a breath — before…” 3.9 4.1 1.0 ↓ 4× “Not X. But Y.” “She doesn’t move away. She stays.” 3.8 3.9 1.0 ↓ 4×»)
  • Рефлексивные отрицания снизились с 10,2 до 5,4 на 100 предложений, а доля ответов с двумя и более отрицаниями — с 61% до 30% по сравнению с базовой моделью. (подтверждено первоисточником: доказательство; «Reflexive negation doesn’t / won’t / can’t, every reply 10.2 10.9 5.4 ↓ 2× Negation pile-ups two or more in a single reply 61% 66% 30% ↓ 2×»)
  • По оценке автора, scotoma-1 писала очень похоже на базовую модель, поскольку спроецированное через J-Space редактирование отказов лишь слабо затронуло стиль текста. (подтверждено первоисточником: доказательство; «scotoma‑1 writes very similarly to the base model. The J-Space projected refusal edit only lightly touched the prose.»)
  • Модель распространяется по лицензии Apache-2.0 и предназначена для работы в формате thinking channel. (подтверждено первоисточником: доказательство; «Format thinking (channel) License Apache-2.0»)

Первоисточники:

оценка 60.5 · тип release · ревизия 1 · истории st-vxkf3z