Безопасность
Происхождение моделей с открытым весом становится проблемой безопасности для предприятий
Открытые модели ИИ привлекательны по стоимости и контролю, но корпоративным покупателям сейчас нужны более убедительные доказательства происхождения обучения, истории модификаций, лицензирования и рисков в цепочке поставок.
Автор: Лео В ·
Модели открытого веса становятся частью корпоративной инфраструктуры, и это делает происхождение вопросом безопасности, а не академической сноской. Модель, которую можно скачать, изменить и заново развернуть, дает компаниям контроль, но также вызывает вопросы о том, откуда она взялась и что было изменено в процессе.
Привлекательность очевидна. Открытые веса могут уменьшить зависимость от конкретного поставщика, поддерживать частное развертывание, снижать затраты на инференс и позволять командам тонко настраивать модели для локальных рабочих процессов. Вот почему предприятия тестируют их для программирования, поиска, поддержки, соответствия требованиям, управления знаниями и внутренней автоматизации.
Риск менее очевиден, пока что-то не ломается. Компания может знать название модели, но не знать происхождение данных, историю оценки, границы лицензии, изменения для безопасности или кто касался весов после выпуска. В программном обеспечении это было бы неприемлемым разрывом в цепочке поставок. ИИ движется к тому же стандарту.
Происхождение должно одновременно отвечать на несколько вопросов. Была ли модель выпущена надежным источником? Совместима ли лицензия с предполагаемым использованием? Были ли изменены веса? Какие данные для дополнительного обучения были добавлены? Какие оценки были проведены? Были ли проверены известные уязвимости или схемы обхода перед развертыванием?
Реестры моделей станут контрольной точкой. Предприятия уже отслеживают контейнеры, пакеты и облачные ресурсы. Теперь им нужна аналогичная система для моделей: одобренные источники, контрольные суммы, владение, цель развертывания, результаты оценки, правила доступа и планы вывода из эксплуатации.
Сложность в том, что цепочки поставок ИИ более расплывчаты, чем цепочки поставок программного обеспечения. Пакет либо включает зависимость, либо нет. Модель может кодировать поведение на основе данных, которые никто не может полностью перечислить, а дообучение может изменить поведение таким образом, что это трудно увидеть только по метаданным.
Это не делает определение происхождения невозможным. Это означает, что предприятиям нужны многослойные доказательства. Документация, технические хэши, воспроизводимые оценки, результаты работы красной команды, журналы доступа и мониторинг развертывания — всё должно работать вместе.
Рынок, скорее всего, будет вознаграждать поставщиков, которые делают это скучным. Побеждающий рабочий процесс с открытой моделью может быть не тем, у кого самые впечатляющие показатели. Это может быть тот, кто предоставляет CISO, юристам и командам платформ достаточно доказательств, чтобы сказать «да».
Искусственный интеллект с открытым весом по умолчанию не является небезопасным. Небезопасным является неконтролируемый искусственный интеллект с открытым весом. Это различие определит, насколько далеко предприятия будут готовы зайти.
Темы: модели с открытым весом, происхождение, безопасность ИИ, корпоративный сектор