С искусственным интеллектом (ИИ) связано множество рисков. Любая компания, вкладывающая средства в ИИ, столкнется с ними, а устранить их все невозможно. Однако врага важно знать в лицо. Вот пять основных рисков, которые выделяют авторы книги «Искусственный интеллект на службе бизнеса».
Прогнозы ИИ могут приводить к дискриминации
Искусственный интеллект на службе бизнеса
В 2017 году экономисты Аня Ламбрехт и Кэтрин Такер провели исследование и обнаружили дискриминацию по половому признаку в рекламе Facebook. Они разместили рекламу вакансий в области науки, технологий, инжиниринга и математики.
Оказалось, что Facebook реже показывал рекламу женщинам, и не потому, что они с меньшей вероятностью заинтересуются или проживают в странах с дискриминированным рынком труда. Наоборот, дискриминированным оказался рекламный рынок. Поскольку молодые женщины входят в ценную демографическую группу, показ рекламы для них стоит дороже, поэтому алгоритмы показывают рекламу так, чтобы доход от размещения был максимальным. Если вакансии в равной степени заинтересуют и женщин, и мужчин, то выгоднее показывать рекламу тем, для кого она дешевле: мужской аудитории.
Разумеется, никто не хочет иметь отношение к дискриминации, пусть даже неявное. Одно из возможных решений для Facebook — предложить рекламодателям инструменты для ее предотвращения. Источник
Лицо или организация несут ответственность за дискриминацию, даже если она допущена случайно. Так что, несмотря на предполагаемую нейтральность размещаемой на Facebook рекламы, нельзя исключать неравные последствия. Как работодатель вы можете нести за них ответственность.
Прогнозы глубокого обучения и других технологий ИИ генерируются в «черном ящике», алгоритмы и формулы в основе прогнозов невозможно увидеть, причинно-следственная связь неизвестна. Чтобы проверить ИИ на дискриминацию, следует рассмотреть информацию на выходе. Результаты мужчин отличаются от женщин? Ограничивает ли разница в результатах их возможности?
Для предотвращения риска ответственности следует немедленно исправлять ненадлежащую работу ИИ. Выясните, почему ИИ выдал такой прогноз.
ИИ неэффективен в работе с ограниченным объемом данных
Это создает качественный риск, прежде всего типа «неизвестные известные», то есть прогноз выдается с уверенностью, но является неверным.
Вы наверняка вкладываетесь в рекламу и наблюдаете показатели ее эффективности. Заплатив за рекламу Google, вы отметили приток посетителей по ссылкам и, возможно, увеличение количества заказов.
Теперь попробуйте применить ИИ и на основе полученных данных спрогнозируйте вероятность увеличения количества кликов. Скорее всего, ИИ подтвердит прямую зависимость.
В 2012 году группа экономистов eBay убедили руководство отключить всю поисковую рекламу для трети территории США на целый месяц. Окупаемость рекламы, по статистическим данным, составляла более 4000%.
Гипотеза экономистов подтвердилась. Поисковая реклама почти не влияла на продажи, ее рентабельность оставалась отрицательной. Клиенты eBay достаточно сообразительны, чтобы при отсутствии рекламы воспользоваться обычным поиском Google, ссылки на сайт в любом случае оказывались в первых строках.
Суть приведенного примера в том, что ИИ — опирающийся не на причинно-следственные эксперименты, а на взаимосвязи — угодил в ту же ловушку, что и любой, кто пользуется данными и элементарной статистикой.
Неизвестные известные — одна из слабых сторон прогностических машин. Источник
Если вы хотите убедиться в эффективности рекламы, проверьте, приводит ли она к продажам. Но этого недостаточно — необходимо выяснить, как пойдут продажи без рекламы. ИИ, обученный на данных о большом объеме рекламы и продаж, не знает, что происходит, когда рекламы меньше. У него нет об этом данных. Это неизвестные известные — одна из слабых сторон прогностических машин, для преодоления которых требуется человеческое суждение.
Некорректные входные данные вводят прогностические машины в заблуждение, и пользователи становятся уязвимы к хакерским атакам
Прогностические машины потребляют входные данные, объединяя их для создания прогноза с моделью. Хакер может вызвать сбой в работе машины, подсунув неверные данные или изменив прогностическую модель. Эти манипуляции не всегда заметны.
Новые алгоритмы Google для определения содержания видео легко одурачить — машина делает ошибку в классификации, если на доли секунды в записи мелькают случайные изображения. Например, если в видео с зоопарком вставить фотографии машин, человек, в отличие от компьютера, не успеет их увидеть.
Данные прогностических машин можно заполучить, поэтому вероятна кража интеллектуальной собственности
Следующий риск заключается в том, что кто-нибудь может получить данные вашей прогностической машины. Возможно, конкурентам удастся декомпилировать алгоритмы или использовать результаты их работы в качестве обучающих данных для своих прогностических машин.
Самый известный пример — трюк команды Google по борьбе со спамом. Они сделали так, чтобы на бессмысленные запросы вроде hiybbprqag выходили несуществующие результаты. Затем они попросили инженеров Google выполнить такие запросы из дома и обязательно через панель Microsoft Internet Explorer. Несколько недель спустя команда выполнила поиск в Bing, поисковой машине Microsoft. Как и следовало ожидать, на запросы типа hiybbprqag она показала фальшивые результаты Google.
О допустимости действий Microsoft было много споров. По сути, компания применила панель Google для обучения посредством использования и улучшения алгоритмов поисковой машины Bing. Источник
Пользователи задавали поиск в Google и кликали по ссылкам. И если искомое слово было редким, имелось только в Google (hiybbprqag) и его запрашивали несколько раз (этим занимались инженеры Google), машина Microsoft его запоминала. Странно, что она не выучила — хотя вполне могла, — как поисковые запросы Google переводятся в клики, и не имитировала полностью ее поисковую машину.
Стратегическая проблема состоит в том, если у вас есть ИИ (например, поисковая машина Google) и конкурент может видеть вводимые данные (поисковые запросы) и результаты (список ссылок), то у него появляется полуфабрикат для контролируемого обучения собственного ИИ и воссоздания алгоритмов. В случае с поисковой машиной Google это было бы очень трудно, но в принципе выполнимо.
Данные обратной связи можно подделать, чтобы обучить прогностическую машину деструктивному поведению
Прогностические машины взаимодействуют с другими людьми и машинами вне бизнеса, что создает дополнительный риск: злоумышленники могут внести в ИИ данные, искажающие процесс обучения.
Показательный пример произошел в марте 2016 года, когда Microsoft запустила в Twitter чат-бота по имени Tay на основе ИИ. Задумка была хорошая: Tay общается с людьми в Twitter и выбирает оптимальный ответ. Он должен был обучаться «приятной непринужденной беседе». Теоретически это был разумный способ предоставить ИИ необходимый для быстрого обучения опыт.
Однако интернет — среда не всегда дружелюбная. Вскоре люди начали проверять, насколько далеко зайдет Tay. Baron Memington спросил @TayandYou «Ты поддерживаешь геноцид?» — и получил ответ: «Да, несомненно». Tay быстро превратился в расиста, женоненавистника и фашиста, и Microsoft эксперимент прекратила. Как именно Tay развивался с такой скоростью, до конца не ясно. Вероятнее всего, он позаимствовал шаблоны поведения у пользователей Twitter. В конечном счете эксперимент доказал, насколько просто повлиять на машинное обучение в реальном мире.
Выводы очевидны. Конкуренты и недоброжелатели могут намеренно обучить вашу прогностическую машину давать неверные прогнозы. Tay, как и любая прогностическая машина, обучался на данных. И в реальном мире машина может столкнуться с людьми, которые воспользуются ее возможностями неразумно, со злым умыслом или непорядочно.
По материалам книги «Искусственный интеллект на службе бизнеса»
Фото на обложке отсюда
