/ComNews/ Одной из тем, которые обсуждались в ходе конференции «Инфофорум-2022», стало безопасное использование технологий искусственного интеллекта (ИИ). Участники обсуждения обозначили целый комплекс проблем, которыми могут воспользоваться злоумышленники, что в итоге может подорвать доверие к технологии в целом.
Полностью секция называлась «Искусственный интеллект: вопросы обеспечения информационной безопасности. Отечественный и мировой опыт. Диалог с ведущими компаниями». Открывая ее работу, заместитель министра цифрового развития, связи и массовых коммуникаций Российской Федерации Александр Шойтов обозначил целый комплекс проблем. Среди них использование для создания платформ ИИ продуктов с открытым исходным кодом, разработанных за рубежом. Также многие аспекты машинного обучения плохо формализованы. Кроме того, участились атаки на разные элементы инфраструктуры ИИ. Серьезным риском является возможность утечки больших массивов персональных данных в ходе их обработки. Много вопросов вызывает передача управления ИИ.
Директор Института системного программирования РАН, академик РАН Арутюн Аветисян назвал главной проблемой развития ИИ вопрос доверия, который не решить никакой нормативной базой. При этом многие модели содержат различные уязвимости, гарантией отсутствия которых не является использование самых совершенных методов контроля. При этом подходы к развитию таких систем меняются буквально каждые два-три года. Но с другой стороны, требования безопасности не должны подрывать конкурентоспособность разработок в области ИИ.
Генеральный директор Positive Technologies Денис Баранов рассказал об опыте использования ИИ в практической работе своей компании. Результаты во многом неожиданные, что приводит к весьма неприятным последствиям. Во многом эти проблемы связаны с неопытностью разработчиков. По оценке Дениса Баранова, очень распространенной ошибкой является рассинхронизация систем контроля, которые, оказывается, очень легко обойти. С таким пришлось сталкиваться, например, в довольно серьезных системах биометрической идентификации. Слабыми звеньями являются также сам конвейер разработки и хранение датасетов, применяемых в ходе машинного обучения. Хорошие результаты по выявлению данных проблем дает использование «песочниц».
Директор по исследованиям и разработке «Лаборатории Касперского» Антон Иванов также заострил внимание на проблеме обеспечения безопасного хранения датасетов. Он привел пример атаки на одну из компаний, где злоумышленники включили в образцы «мусорной» почты образцы легитимных писем. В итоге переписка жертвы атаки была полностью парализована из-за того, что большая часть переписки попадала в спам. Тем более что даже незначительные изменения в датасетах приводят к тому, что ИИ перестает реально работать. Для исключения подобного рода проблем Антон Иванов порекомендовал использовать сочетание систем XDR (см. новость ComNews от 21 января 2022 г.) и SASE (см. новость ComNews от 10 января 2022 г.). Но в целом каждый случай уникален, и предложить готовый универсальный алгоритм, пригодный для всех, пока нереально.
Советник директора ФГБУ «Центральный научно-исследовательский институт организации и информатизации здравоохранения» Минздрава России Александр Дубасов назвал внедрение ИИ одной из приоритетных задач в сфере цифровизации отрасли. При этом вследствие того, что технология находится на начальной стадии развития, очень много специфичных рисков. Неверное обучение и неточные данные могут стать причиной ошибок в постановке диагноза со всеми вытекающими последствиями. При этом на них может повлиять даже изменение положения пациента в ходе исследования или неправильная гипотеза. Не менее серьезной проблемой является «эффект черного ящика». Так что последнее слово пока остается за врачом, а мнение ИИ можно рассматривать как экспертное.
Директор по продуктам и технологиям ПАО «ВымпелКом» Константин Романов посетовал, что до сих пор отсутствует даже устоявшаяся терминология. Но в то же время накоплен большой опыт использования ИИ для борьбы с мошенниками. Так, применение ИИ повысило эффективность работы систем защиты от фрода на 25%. Также ИИ помогает бороться с банковскими мошенниками, выявляя всех участников цепочки, вплоть до конечных бенефициаров. ИИ помогает решать и другие проблемы — от выявления массовых скоплений людей до анализа состояния дорожного полотна.
Источник: ComNews