Laya: ещё одна модель класса System One Models

Буквально через пару дней после релиза Jev выяснилось, что он не единственный в своём классе. Появилась другая System One модель, Laya от ConvAI Innovations, и на этот раз open-source. Эту модель можно бесплатно скачать на Hugging Face и запустить локально, хоть на сервере, хоть на обычном ноутбуке.

Напомню, о каком классе моделей идёт речь. Эти модели не генерируют текст, вместо этого они сразу выдают типизированное решение и процент уверенности в нём. Они помогают там, где нужен один конкретный ответ, а не полотно случайного текста: оценить критичность бага сразу при создании тикета, отфильтровать спам и токсичные комментарии, решить в чат-боте поддержки, может ли он ответить сам по базе знаний или пора звать живого оператора.

Всё, что ниже, это разбор по открытым материалам: документация, статьи, чужие примеры и цифры из сравнительных обзоров.

Что общего

Работают Jev и Laya по одному и тому же принципу: даёшь модели контекст и вопрос, получаешь в ответ одно из трёх:

значение да/нет с процентом уверенности в нём;
выбор одного варианта из списка, с процентом уверенности по каждому;
число по шкале, например критичность бага от 0 до 5.

Никаких объяснений или хода рассуждений, только быстрый и конкретный ответ.

В чём отличие

Jev доступен только через API стороннего провайдера, каждый запрос идёт на его сервер и обратно, это 230-280 мс при нормальной сети, но может быть значитально больше, если сеть плохая. Laya запускается локально, на сервере или на ноутбуке, весит около 1 ГБ и может выдавать ответ за 30-40 мс. Разница в 6-7 раз.

За скорость и приватность придётся заплатить точностью и объёмом контекста. Лимит контекстного окна у Laya всего 512 токенов против примерно 4000 у Jev, длинный тикет или письмо туда целиком не поместится.

Что касается точности, на простых бинарных развилках Laya держится хорошо, но чем больше вариантов на выбор, тем становится хуже: если их 50-100, без дообучения она угадывает правильно примерно в 42% случаев, у Jev на тех же данных около 87%.

И последнее, но одно из главных отличий, конфиденциальность. Каждый запрос к Jev отправляется на сервера сторонней компании. С Laya запрос остаётся внутри твоей же сети, наружу ничего не уходит. Для закрытых корпоративных приложений, где данные вообще нельзя выпускать наружу, выбор между Jev и Laya решается этим одним пунктом, остальное уже не важно.

Про споры вокруг Laya

Откуда Laya взялась так быстро, объясняет спор вокруг авторства. Разработчик Нандакишор М. утверждает, что опубликовал научную работу с математическим подходом RLCD, на котором построены такие модели, ещё в начале 2025 года. Когда TypeSafe AI выпустили закрытый платный Jev без ссылки на этот труд, он за пару дней собрал и выложил Laya как бесплатную альтернативу на Hugging Face. Проект быстро набрал тысячи звёзд на GitHub, а на Reddit, в основном в r/LocalLLaMA, разгорелось обсуждение, кто у кого что позаимствовал.

В том, какую модель выбрать, у сообщества уже наметились две позиции, и обе по-своему логичны. Одни выбирают Laya ради независимости и приватности, типичный аргумент: лучше гонять модель локально, чем отправлять тексты писем клиентов или инвойсы в чужое облако. Другие указывают, что без дообучения Laya заметно уступает в точности и упирается в лимит контекста, поэтому для продакшена здесь и сейчас Jev выглядит надёжнее, если только не встраивать локальную модель как временное решение и не дообучать её под свои данные постепенно.

Так или иначе, у моделей класса System One совсем недавно был только один представитель, закрытый, а теперь есть и открытый. Её можно посмотреть изнутри и переделать под себя, а не просто вызывать через API стороннего провайдера вслепую.

Итог

Между релизами Jev и Laya прошло всего три дня. Не исключено, что в скором времени появятся ещё модели этого класса, возможно и от крупных компаний. Интересно понаблюдать, во что это всё выльется.