Нейровизация: ИИ и безопасность бизнеса и пользователей

Модератор: Игорь Ашманов, управляющий партнер, Ашманов и партнеры.

Участники:

• Надежда Сурова, директор, Центр компетенций «Цифровая экономика».

• Наталья Касперская, президент ГК InfoWatch, председатель правления АРПП «Отечественный софт», сооснователь Лаборатории Касперского.

• Андрей Калинин, ex генеральный директор MTS AI, ex вице-президент VK по AI, ex Руководитель Поиска@Mail.ru.

• Тимур Арсланов, руководитель отдела ИИ-трансформации проектирования, ПИК.

• Андрей Цымбалюк, руководитель проекта Экзоинтеллект, ТЕХНОНИКОЛЬ.

• Александр Павлов, главный управляющий партнер по развитию ИИ, ВЭБ.РФ.

Искусственный интеллект — активно растущая ниша, перспективы которой пока можно только прогнозировать. Но его уже применяет реально работающий бизнес, крупные корпорации. Это технология, которая приносит реальную пользу, экономит деньги, влияет на прибыль и так далее. Участники «Нейровизации» обсудили: как воспринимать изнутри ниши, что настоящее, что нет, какого развития ожидать в ближайшей перспективе. Расскажем вкратце, какие мнения прозвучали.

Заменит ли ИИ человека

Когда Chat GPT появился, компания Open AI утверждала, что теперь все, что делает человек, будет автоматизировано. Уже сейчас видно, что это не так. И возможность технологий автоматизировать работу зависит от того, какую профессию мы рассматриваем.

Фактически человека можно заменить только в тех областях, где нужен верифицируемый результат. Например, ИИ выдает текст, где есть список источников, и их можно проверить: перейти по ссылкам и убедиться, что сайт и цитата существует. А там, где результат не верифицируемый, заменить специалиста не получится — будет утерян контроль.

Если говорить про маркетинг, то здесь появляется насмотренность. Аудитория замечает, что результат — текст, презентация — получены генерацией, и воспринимает его негативно.

Роль ИИ в крупных корпорациях

Многих волнует вопрос о развитии искусственного интеллекта в большом, стратегическом, государственном бизнесе, от деятельности которого зависит устойчивость отрасли и всего государства.

Участники отметили, что вокруг ИИ много страхов, много информационного шума. Западные компании пугают «убежавшими из песочницы и взломавшими защиту» агентами, и через это повышают свою капитализацию и готовятся к выходу на триллионный IPO — потому что страх продается лучше, чем все остальное.

Если отсеять весь инфошум, искусственный интеллект — эффективная технология. Это целый технологический стек, сопряженный с робототехникой, вычислительной инфраструктурой, беспилотным транспортом. Поэтому ключевой момент — работа на стыке информационной безопасности и эффективности доверенных и надежных решений, чтобы бизнес мог использовать прикладные продукты безопасно. Нужно создавать среду разработки, безопасную и от утечек, и от бегства агентов, которая будет эффективна для разработчиков, предприятий, которые внедряют их решения. И для этого надо капитализировать наши российские компании, российских разработчиков.

Реальны ли угрозы искусственного интеллекта

Специалисты сейчас не знают, как обеспечить доверенность генеративного, то есть самообучающегося, ИИ. Ведутся дискуссии, есть предложения сильно сужать задачи, на этих узких задачах делать проверки на определённых выборках.

Но, поскольку интеллект генеративный, то, если ограничивать большую модель, он тупеет. А если ее не ограничивать, тогда развитие ИИ не имеет смысла. Поэтому фактически никакой доверенный ИИ невозможен, потому что неизвестно, как эту доверенность обеспечивать.

Что касается рисков, о них всерьез заговорили этим летом. Вот что сюда входит:

• Атаки на искусственный интеллект, промпт-инъекции — когда в запрос вкладывают запрос, например, вытащить конфиденциальную информацию или сделать не то, что в реальности человек хочет.
• Утечка конфиденциальной информации. Если человек, не думая, загружает в ИИ конфиденциальные документы, чтобы их как-то обработать, они уходят безвозвратно.
• Слежение за ЛПР. На той стороне ИИ нетрудно понять, кто обращается с запросами, — и по ним определить, какие решения готовятся в корпорации.

Кстати, это влечёт за собой нарушение законодательства, так как утекает информация NDA или персональные данные. На Западе уже есть случаи, когда компания получает штраф за утечку таких данных, а менеджмент даже не в курсе, что произошло.

Кто несет ответственность за результат, созданный ИИ

Сейчас искусственный интеллект нередко используется для снятия ответственности. Например, если пользователь общается с чат-ботом технической поддержки, чат-бот никакой ответственности не несёт. Более того, специалисты иногда не могут изменить решение в системе, если его принял ИИ. Поэтому возникает вопрос: как правильно строить в корпоративной среде ответственность за исполнение обязанностей с помощью ИИ?

Большинство массовых сервисов клиентской поддержки ставят на первую линию именно чат-ботов, чтобы снизить нагрузку на оператора. Но есть и обратная модель, когда ИИ выступает в роли суфлера для оператора-человека. Например, в строительной компании в ИИ загрузили информацию о компании, по материалам, инструкции. И за счет умножения компетенций оператора и базы данных ИИ качество ответов и скорость улучшились.

Ответственность — очень сложная категория. Разработчик делает генеративную систему, но не может нести ответственность за то, как ее используют. Пользователь не понимает, как устроена эта система, поэтому вроде бы тоже не может нести за нее ответственность. Те, кто делает маленькие прикладные модели на основе больших моделей, могут нести ответственность только за свой интерфейс.

Итоги

Считается, что за человеком должно оставаться последнее слово, тогда именно он, принявший решение, несет за него ответственность. Но проблема в том, что люди через какое-то время склонны доверять искусственному интеллекту больше, чем себе. То есть они перестают его контролировать. И, пока эти вопросы не решены, риски и угрозы очень высоки. Их необходимо осознавать, взвешивать и учитывать при внедрении технологий ИИ.