Аналитика
Amazon сокращает Alexa Claude Dependence As AI Assistant Costs Bite
Сообщается, что Amazon переделывает Alexa+, чтобы меньше полагаться на Anthropic's Claude, показывая, как потребительские AI-ассистенты становятся проблемами маршрутизации, кэширования и затрат на инфраструктуру.
Элвин С. ·
Amazon по сообщениям, пытается сделать Alexa+ дешевле эксплуатировать за счет снижения зависимости от Anthropic's Claude models, признак того, что следующая фаза потребительского ИИ будет оцениваться не только по качеству демонстрации, но и по экономике единицы. Business Insider сообщил 23 июля, ссылаясь на внутренние документы, что Amazon перенаправляет больше запросов Alexa+ через собственные модели, используя кэширование, избегая избыточного вывода и применяя детерминированные методы для предсказуемых ответов. Заявленная цель проста: сделать голосового ассистента достаточно способным, чтобы он казался современным, не превращая каждый домашний запрос в дорогой вызов передовой модели.
Цифры объясняют срочность. Бизнес Инсайдер сообщил, что AWS Ожидалось, что затраты на Alexa+ достигнут 1,7 миллиарда долларов к 2026 году, и что текущие изменения могут более чем в четыре раза увеличить пропускную способность транзакций на вычислительную единицу. Amazon не подтверждала публично все внутренние данные из отчёта, поэтому их следует рассматривать как приведённые внутренние оценки. Стратегическая мысль всё ещё актуальна. Голосовой помощник должен отвечать на множество малозначимых вопросов много раз в день на уровне потребителей. Это суровая среда для модели, которая оценивается и функционирует как дефицитный экспертный труд.
Отношения Amazon с Anthropic делают сообщаемый сдвиг более значимым, а не менее. Amazon инвестировала миллиарды долларов в Anthropic и предлагает Claude through Amazon Bedrock. Это партнерство дает Amazon доступ к одной из ведущих семейств моделей, но оно не устраняет расходы на обслуживание массового помощника. Компания может продолжать стратегическое сотрудничество с Claude, но при этом поручить повседневные задачи Alexa менее крупным, дешёвым или узкоспециализированным системам.
Технический шаблон становится знакомым как в корпоративном, так и в потребительском ИИ. Не каждая просьба требует самой мощной модели. Запрос о погоде, команда для умного дома, таймер, музыкальная просьба или простой фактический ответ часто могут быть обработаны узкой системой, кэшированным ответом или меньшей моделью. Более сложные задачи могут быть направлены к пограничная модель только когда дополнительная возможность изменяет результат. Это делает маршрутизацию основной дисциплиной продукта, а не оптимизацией, которая происходит после запуска.
Caching особенно важно для голосовых интерфейсов. Пользователи повторяют одни и те же запросы. Семьи задают одному и тому же ассистенту схожие вопросы. Детерминированный ответ на известную команду дешевле и часто надежнее, чем отправка нового запроса через большую модель. Задача заключается в том, чтобы определить, когда запрос действительно является рутинным, а когда персонализация, контекст или неоднозначность делают необходимым использование большой модели. Плохое решение о маршрутизации может сделать ассистента медленным, ошибочным или странно непоследовательным.
Слой чипов является частью тех же расчетов. Business Insider сообщил, что Amazon рассматривает возможность более частого использования Trainium и другую внутреннюю инфраструктуру, поскольку она пытается повысить эффективность работы GPU и сократить зависимость от NvidiaTrainium дает AWS возможность контролировать больше элементов затрат, но специализированные чипы помогают только в том случае, если программное обеспечение, комбинация моделей и планирование нагрузки соответствуют аппаратному обеспечению. Голосовой помощник — это продукт, но также это проблема балансировки нагрузки.
Для Anthropic отчет не является автоматически плохой новостью. Крупный клиент, перенаправляющий поток обычных запросов с Claude на другие системы, всё равно может использовать Claude для сложных задач, с которыми эта модель справляется лучше всего. Вероятно, премиальные модели будут использовать избирательно, а поставщикам придётся обосновывать их цену результатами на задачах, с которыми не справляются более дешёвые системы. Объем может перемещаться вниз по стэку, в то время как маржа остается на сложном уровне.
Для Amazon вопрос заключается в том, сможет ли Alexa+ стать достаточно полезной, чтобы оправдать возобновленное внимание потребителей. Оригинальная Alexa стала популярной, потому что простые голосовые команды работали. Новая Alexa должна делать больше, не ухудшая при этом экономику. Энди Джасси неоднократно подчеркивал необходимость снижения стоимости ИИ для широкого внедрения, и Alexa+ — это то место, где эта теория встречается с миллионами обычных взаимодействий.
Голосовые помощники создают особую версию проблемы стоимости ИИ, потому что пользователи ожидают, что они будут дешевыми, мгновенными и всегда доступными. Человек может попросить поставить таймер, напоминание, включить песню, изменить список продуктов, проверить погоду, управлять домашним освещением и задать дополнительный вопрос за несколько минут. Если каждое обращение оценивается как задача с высокой ценностью знаний, использование помощника на уровне домашнего хозяйства становится затруднительным. Потребитель этого счета не видит. Платформа видит, каждый раз, когда случайный запрос активирует дорогое выполнение.
Вот почему сообщаемый переход к детерминированным методам имеет значение. Детерминированная система менее гибка, чем большая языковая модель, но она может быть быстрее, дешевле и более предсказуема для хорошо определенных задач. У Alexa уже есть многолетний опыт шаблонов команд и интеграций с устройствами. Вопрос в том, как сочетать старую архитектуру помощника с генеративным рассуждением, не создавая впечатления, что продукт сшит вместе. Лучшие системы маршрутизации остаются незаметными для пользователя. Худшие проявляют себя через странные отказы, непоследовательную память или ответы, качество которых меняется от одного шага к другому.
Amazon также необходимо управлять задержкой. В голосовых системах односекундная задержка может изменить восприятие возможностей системы. Большие модели улучшают способность к рассуждению, но сбор контекста, сетевые запросы, проверки безопасности и вызовы инструментов могут замедлить взаимодействие. Более дешевый путь является дешевым только если он также быстрее. Это дает Amazon как продуктовую, так и инфраструктурную причину, чтобы удерживать больше работы на более узких системах, когда задача очевидна.
Существует также аспект доверия клиентов. Если Alexa+ направляет некоторые запросы к моделям Amazon, а некоторые к моделям Anthropic, пользователям может быть все равно на название поставщика. Им важно, чтобы помощник правильно запоминал информацию, соблюдал настройки конфиденциальности и вел себя последовательно на разных устройствах. Покупатели корпоративных ИИ часто спрашивают, какая модель обработала запрос. Пользователи голосовых сервисов для потребителей редко это делают. Это возлагает на Amazon большую ответственность за поддержание единого стандарта продукта в смешанной модели стека.
Отчет о стоимости также показывает, почему партнерство в области ИИ не является простой сделкой по аутсорсингу. Amazon может инвестировать в Anthropic, продавать Claude through AWS и при этом создавать внутренние модели, которые конкурируют за трафик Alexa. Anthropic может воспользоваться распределением через AWS, сталкиваясь при этом с давлением со стороны клиентов, которые хотят снизить расходы на вывод. Рынок ИИ становится многослойным. Партнер одновременно может быть поставщиком, клиентом, арендатором платформы и конкурентом по эталонным показателям.
Для разработчиков, создающих приложения на основе AI-ассистентов, урок заключается в том, чтобы проектировать с учётом уровней с самого начала. Продукт, который предполагает, что каждая задача требует передовой модели, может работать на пилотном этапе, но потерпит неудачу при масштабировании. Зрелая версия стека, вероятно, будет включать небольшие модели, правила, извлечение информации, кэшированные ответы, обработчики для конкретных инструментов, классификаторы безопасности и передачу более мощным моделям, когда неопределённость или последствия высоки. Это менее впечатляюще, чем одна универсальная модель, но ближе к тому, как производственные системы выдерживают рост объёмов использования.
Аппаратная инфраструктура Amazon дает ей еще одно преимущество. Устройства Echo, Fire TV, Ring, Eero и другие товары для дома создают множество мест, где ассистент может собирать контекст или инициировать действие. Это также создает множество мест, где ошибки имеют значение. Модель, которая неправильно понимает вопрос о покупках, раздражает. Модель, которая неправильно обрабатывает команду для умного дома или делится неправильным домашним контекстом, более серьезна. Поэтому маршрутизация стоимости должна работать вместе с маршрутизацией разрешений и маршрутизацией контекста.
Сроки важны, потому что энтузиазм потребителей к ИИ постепенно переходит от новизны к удержанию. Пользователи видели плавные демонстрации. Теперь они замечают, достаточно ли надежен продукт для ежедневного использования. Alexa+ должна быть одновременно более функциональной, чем старая Alexa, и менее дорогой, чем передовой чат-бот, подключенный к колонке. Это узкая инженерная цель. Она благоприятствует компаниям с облачными ресурсами, доступом к моделям, распределением устройств и многолетними журналами взаимодействий.
Экономика также объясняет, почему Amazon может делать упор на собственные модели, даже поддерживая тесные отношения с Anthropic. Внутренние модели могут настраиваться с учетом повторяющихся паттернов Алексы, языков, домашних условий и действий устройств. Они могут быть оптимизированы для инфраструктуры Amazon, а не для общего рынка. Это не делает их универсально лучше, чем Claude. Это может сделать их более подходящими для работы домашнего ассистента с низкой маржой и высокой частотой использования.
Смешанный стек также даёт Amazon переговорную силу. Если Alexa+ может перенаправлять обычный трафик от одного поставщика, Amazon меньше подвержена изменениям цен, ограничениям по мощностям или решениям о продукте, находящимся вне её контроля. Это важно на рынке, где поставщики моделей всё ещё корректируют цены и где спрос может резко возрасти из-за новых функций. Потребительский помощник не может полагаться на редкий путь модели для каждого обычного запроса.
Риск в пользовательском опыте заключается в фрагментации. Домашний помощник должен ощущаться как один помощник, а не как набор моделей с разными личностями. Если команда таймера ясна, обновление списка покупок непоследовательно, а сложный вопрос планирования выразителен, но медленен, продукт может казаться несбалансированным. Задача Amazon заключается в том, чтобы скрыть механизм маршрутизации, при этом сохранив достаточную прозрачность для чувствительных задач, где пользователям важно знать, как был получен ответ.
Конфиденциальность и память также являются частью контроля затрат. Чем больше контекста получает модель, тем дороже и чувствительнее становится запрос. Хороший помощник не должен отправлять всю историю домохозяйства, чтобы выполнить простую команду. Он должен знать, когда достаточно локального контекста, когда требуется контекст на уровне учетной записи и когда личные данные должны быть исключены. Эффективное выводение и минимизация данных могут взаимно усиливать друг друга, если их проектировать осознанно.
Отчет также указывает на следующий этап конкуренции в области инфраструктуры ИИ. Качество модели по-прежнему важно, но производственные клиенты все больше обращают внимание на стоимость за успешную задачу. Сюда входят повторные попытки, вызовы инструментов, задержки, показатели попадания в кэш, использование оборудования и то, решает ли ответ фактически запрос пользователя. Alexa+ предоставляет Amazon большую внутреннюю лабораторию для этих метрик. Если это работает, те же уроки могут быть использованы обратно в сервисах AWS, продаваемых другим компаниям.
Финансовое давление, вероятно, будет формировать заявления о продуктах по всей отрасли. Компании могут рекламировать мощного помощника, но внутри они будут измерять, как часто помощник выбирает более дешёвый маршрут без снижения удовлетворенности. Это создаёт стимулы строить системы оценки вокруг реальных задач, а не табло лидеров моделей. Для Alexa+ успехом может быть тихое взаимодействие, при котором пользователь никогда не узнает, ответил ли Claude, модель Amazon, кэшированный ответ или детерминированный обработчик. Бизнес-цель заключается не в том, чтобы каждый раз демонстрировать самую сильную модель. Цель — сделать так, чтобы домашний помощник казался надёжным, при этом удерживая кривую затрат достаточно плоской для масштабирования.
Та же логика будет влиять на то, что Amazon предоставляет разработчикам и рекламодателям в отношении Alexa+. Если помощник станет более функциональным, сторонние компании захотят разместить свои продукты, добавить действия и интеграции. Amazon придется решать, какие запросы можно монетизировать, какие должны оставаться нейтральной утилитой, а какие требуют более строгих ограничений, поскольку они влияют на покупки или решения, принимаемые в доме. Контроль затрат, следовательно, является только одной стороной редизайна. Другая сторона — доверие к коммерческим стимулам помощника.
Урок для остальной части рынка ИИ прямой. Побеждающим помощником может оказаться не тот, который отправляет каждый запрос к самой способной модели. Побеждающим может быть тот, кто знает, когда этого не делать. Сообщаемый ребрендинг Alexa+ показывает, что потребительский ИИ превращается в соревнование по эффективности капитала, с таблицами маршрутизации, кэшами, внутренними чипами и портфелями моделей, находящимися за дружелюбным голосом.
Темы: Amazon, Alexa+, Anthropic, затраты на ИИ