Исследования
Безопасность воплощённого ИИ переходит от лабораторных демонстраций к системной инженерии
Роботы, автономные транспортные средства и физические системы ИИ заставляют команды по безопасности думать за пределами поведения модели. Настоящая проблема — это инженерия жизненного цикла: датчики, люди, среды, обновления и восстановление после сбоев.
Майкл Г ·
Воплощённый ИИ делает искусственный интеллект снова физические. Системы, которые теперь переходят от демонстраций к внедрению, не просто генерируют текст или изображения. Они воспринимают окружающую среду, принимают решения, перемещаются в пространстве и иногда работают рядом с людьми, которые не согласились стать испытуемыми.
Это меняет проблему безопасности. Языковую модель можно откатить после плохого ответа. Роботизированная рука, транспортное средство для доставки, складская система или автономная машина могут представлять физическую опасность до того, как панель управления станет красной. Слой безопасности должен быть спроектирован перед развертыванием, а не добавлен после вирусного сбоя.
Тело изменяет модель риска
В программном ИИ многие ошибки связаны с информацией: вымышленный факт, неправильная рекомендация, утечка конфиденциальной информации, неверная классификация. В воплощённом ИИ ошибки могут быть также пространственными и кинетическими. Система должна понимать расстояние, силу, время, постоянство объектов, непредсказуемость человека и неопределённость окружающей среды.
Вот почему исследователи в области безопасности все чаще описывают воплощенный ИИ как проблему системной инженерии. Модель имеет значение, но важны также датчики, исполнительные механизмы, карты, крайние случаи, операторы, журналы обслуживания, задержка в сети и скучные механические детали, которые определяют, что происходит, когда система запуталась.
Демос Скрывает Длинный Хвост
Демонстрацию можно организовать вокруг случаев, с которыми система справляется хорошо. Развертывание выявляет длинный хвост: отражающие поверхности, заблокированные датчики, странное освещение, поврежденное оборудование, нетерпеливые люди, неожиданные объекты и редкие сочетания обычных проблем. Промежуток между демонстрацией и внедрением — это место, где многие компании по робототехнике исторически испытывал трудности.
Новейшие системы воплощённого ИИ наследуют ту историю, но с большей автономностью. Они могут лучше обобщать задачи по сравнению с более старыми роботами, однако такая гибкость также делает поведение сложнее для сертификации. Робота, который повторяет только один путь, можно ограничить ограждением. Робот, который рассуждает о новых задачах, требует более обоснованного случая безопасности.
Вопросы управления жизненным циклом
Важный вопрос не в том, прошла ли воплощённая система ИИ один лабораторный тест. Важно то, как управляется система в целом. lifecycle. Что происходит, когда модель обновляется? Кто проверяет новое поведение? Как сообщается о почти аварийных ситуациях? Могут ли операторы быстро отключить автономность? Являются ли журналы инцидентов рассмотрено людьми с полномочиями изменить систему?
Вот где традиционная инженерия безопасности может чему-то научить ИИ. Авиация, автомобилестроение, медицинские устройства и промышленная автоматизация все развили практики анализа рисков, резервирования, обслуживания и сертификации. Воплощенному ИИ понадобятся версии этих практик, которые смогут работать с адаптивным программным обеспечением.
Коммерческие ставки велики. Полезный физический ИИ может изменить логистику, уход за пожилыми людьми, производство, сельское хозяйство, лаборатории, больницы и дома. Но его внедрение зависит от уверенности в том, что сбои ограничены, их можно наблюдать и исправлять. Зрелищная демонстрация может привлечь внимание. Достоверный кейс по безопасности обеспечивает разрешение.
Роботам нужна доверие перед масштабированием
Следующий этап воплощённого ИИ, вероятно, будет менее гламурным, чем показывают видеоролики. Он будет включать контрольные списки, стандарты, обучение операторов, моделирование крайних случаев, страхование, контракты на обслуживание и местные правила. Это не замедление. Это то, как выглядит технология, когда она становится реальной инфраструктурой.
Темы: воплощённый ИИ, робототехника, инженерия безопасности, автономные системы