Аналитика
Снижение ёмкости Kimi K3 показывает, почему следующим узким местом ИИ является не обучение, а инференс
Сообщения о приостановке оформления подписок на новую ИИ-модель Kimi K3 обнажили неудобную экономическую реальность, скрывающуюся за передовыми моделями с низкой или нулевой ценой: спрос может расти быстрее, чем поставщик способен его удовлетворить.
Элвин С. ·
Сообщаемое решение Moonshot AI приостановить оформление новых подписок на Kimi K3 после резкого роста спроса напоминает: сервис на базе ИИ может быть популярным и при этом оставаться экономически ограниченным. Гонка за обучение продвинутых моделей привлекает внимание прессы, однако главным повседневным коммерческим испытанием остается инференс — дорогостоящая непрерывная обработка запросов, при которой клиентам не приходится ждать, а средства не расходуются слишком быстро.
Модель, которая обрабатывает длинные разговоры, агенты для программирования и многоэтапные задачи, может потреблять значительно больше вычислительных ресурсов, чем простой чат-бот. Поставщикам необходимо обеспечить наличие ускорителей, памяти, сетевой инфраструктуры и электроэнергии до того, как они узнают, сколько клиентов появится. Если они устанавливают слишком агрессивные цены, они могут создать спрос, который выглядит как импульс, но не может быть преобразован в устойчивую валовую прибыль.
Корпоративные покупатели должны задавать практические вопросы, прежде чем внедрять новую модель в критический процесс. Каковы пределы обслуживания? Где находится резервная модель? Как будет сообщаться о сбое? Полезный поставщик ИИ должен ответить на эти вопросы до того, как команда закупок станет зависимой от сервиса.
Количество подписчиков и объем токенов могут описывать внимание, но постоянной метрикой является то, может ли поставщик превратить это внимание в использование, продление и денежный поток, не постоянно увеличивая субсидируемые мощности.
Темы: Moonshot AI, Kimi, вывод