4 причины не доверять искусственному интеллекту

В прошлом году, программы искусственного интеллекта (AI – Artificial Intelligence)  AlphaGo и Libratus одержали победу над “живыми” чемпионами по игре в Go и Poker. И это, безусловно, огромный шаг и очень показательный успех AI.
Тем не менее, существует множества примеров и ситуаций, когда “гениальность” современного компьютерного разума ставится под сомнение.

Редакция Cryptos.tv подготовила для вас самые интересные и удивительные истории о том, насколько непредсказуемым может быть искусственный интеллект. Что-то вас повеселит, что-то испугает. Не забывайте высказываться в комментариях о том, что вы думаете о текущем   положении дел и о перспективах в области создания идеального AI.

1 Проблемы со зрением

Это винтовки или вертолеты?

Казалось-бы, что нейронные сети, созданные и обученные для распознавание образов, на сегодняшний день стали едва-ли не идеальными. Компьютерное зрение, как говорят, даже объекты стало распознавать куда лучше обычного человека. И тем не менее…

Исследовательская группа MIT, к примеру, слегка подправив фотографию винтовок, обманула API Google Cloud Vision, что позволило ошибочно идентифицировать их как вертолеты.

Подобный прием, известен как adverse samples(неблагоприятные образцы), который влияет на распознавание изображений компьютером, путем внесения невидимых или незаметных для человеческого глаза изменений в анализируемое изображение. В прошлом такие примеры работали, только если хакеры знали основную механику целевой компьютерной системы. Однако, команде MIT удалось инициировать ошибочную классификацию изображений, без доступа к системной информации.

Исследователи также обнаружили, что используя невидимые краски или клейкую ленту, на дорожных знаках, они могут обмануть автопилот автомобиля, заставив его неправильно распознавать дорожные знаки.

К примеру, знак «STOP» измененный словами «love» (любовь, англ<.) и «hate» (ненависть,англ.), вводил в заблуждение систему машинного обучения автомобиля, который распознавал его как знак «Ограничение скорости 45» в 100% тестовых случаев.

Очевидно, что пока существует возможность обмана системы управления автомобилем, ее рано внедрять в повседневную жизнь. Порой, мы и сами неплохо справляемся с созданием аварийных ситуаций на дорогах, а представьте, что будет, если кто-то сможет организовать массовую атаку на автопилоты наших машин?

Свой взгляд на все у AI Google Photos

Google Photos включает в себя малоизвестную функцию AI, которая может автоматически обнаруживать изображения с одинаковыми фонами / сценами и предлагать объединить их в одно панорамное изображение.

В январе,пользователь Reddit «MalletsDarker»опубликовал три фотографии, сделанные на горнолыжном курорте: две из них были пейзажами, другой снимок – его друга. Когда Google Photos объединил эти три фото, произошла странная вещь, голова его друга, превратилась в один из горных пиков, выглядывающих из-за леса.

Эта фотография вошла в десятку лучших сабреддитов и получила 202 тыс. лайков. Пользователи приветствовали алгоритм для работы с изображениями, но, в данном случае, он попал под насмешки из-за отсутствия основ композиции.
Но согласитесь, результат получился весьма забавным!

2. “Бесчеловечность” искусственного интеллекта

Гендерная дискриминация Amazon HR AI

В период с 2014 по 2017 годAmazon HR использовала программное обеспечение для рекрутинга, с поддержкой AI, призванное помочь в рассмотрении резюме и в выработке дальнейших рекомендаций. Однако вскоре выяснилось, что программное обеспечение было более лояльным к кандидатам-мужчинам, поскольку его модель была обучена на базе резюме поданных Amazon за последнее десятилетие, в тот период было нанято гораздо больше мужчин.

По полученным данным, программа фильтровала резюме, которые содержат слово «женщины» или подразумевалось, что соискатель была женщиной, например, если в анкете была указана учеба в женском колледже. С тех пор Amazon отказалась от данного программного обеспечения. Компания не отрицает использование AI, но утверждает, что программа никогда не применялась для оценки кандидатов как единственное средство оценки и принятия решения.

Интересно, что никто и словом не обмолвился о гендерной предвзятости при приеме на работу, на протяжении десятилетий, когда это делали “живые” кадровики 🙂
Т.о. одна из потенциальных проблем использования AI в реальной жизни – это то, что искусственный разум не знает о современных социальных нормах, или новых традициях, правилах, устоях, т.к. почти всегда вынужден учиться на прошлом. А о реалиях настоящего ему часто узнать просто неоткуда.

Доверить или нет свое здоровье AI?

Технологический гигантIBM давно занимается изучением искусственного интеллекта и интеграцией его возможностей в широком спектре областей, включая здравоохранение. В 2013 году компания внедрила первое коммерческое приложение Watson для онкологического центраMemorial Sloan Kettering, который начал использовать систему, для рекомендации программы лечения пациентов больных раком.

Watson – это компьютерная система, на базе когнитивных вычислений, способная отвечать на поставленные вопросы, которые заданы на естественном языке. Система сочетает в себе искусственный интеллект и сложное аналитическое программное обеспечение.Офф.сайт.

Но, не все прошло так гладко, как ожидалось. Оказалось, что порой система выдавала неправильные рекомендации по лечению рака, которые могут вызвать серьезные и даже смертельные последствия.

За последние пять лет компания заключила партнерские отношения с больницами и исследовательскими центрами, такими как как Cleveland Clinic, Maine Center for Cancer Medicine и Westmed Medical Group, которые также внедрили инструменты Watson.

Потратив годы на проект без значительных улучшений в качестве рекомендаций, IBM сократила штат Watson Healthи уволила более половины сотрудников подразделения.

Не каждому врачу можно довериться, не говоря уже об AI. Ведь в случае врачебной ошибки, причиной смерти всегда указывается та болезнь, в связи с которой пациент обратился к врачу, даже если она, сама по себе, не была фатальной и не привела бы к смерти.

По оценке специалистов, если признать все врачебные ошибки, то они займут третье место (!) среди основных причин смерти после заболеваний сердечно-сосудистой системы и рака.

3. Плохой оракул

Ставки на спорт и прогнозы AI

Чемпионат мира по футболу 2018 года стал главным спортивным событием года.

Исследователи искусственного интеллекта в Goldman Sachs, Немецком техническом университете Дортмунда,Пермском государственном национальном исследовательском университете и других учебных заведениях, использовали модели машинного обучения для прогнозирования результатов многоступенчатого соревнования.

Несмотря на приложенные усилия, большинство из прогнозов оказались совершенно неверными. Только EA (Electronic Arts – американская компания по производству видеоигр), которая проводила симуляции, используя новые рейтинги для своей видеоигры FIFA 18, сделала ставку на команду Франции.

Игровой движок EA опирается на многочисленные методы машинного обучения, призванные сделать игру максимально реалистичной.

Исследователь данных служб SQL, Ник Бернс, предположил:

«Независимо от того, насколько хороши модели машинного обучения, они не могут быть лучше, чем данные, с которыми работают… последних просто недостаточно для составления прогнозов на чемпионате мира по футболу. Слишком много недостающей информации и непредвиденных ситуаций.»

Спорт это хорошо, но как насчет обычного прогноза погоды? Пока и в этом нейронные сети не преуспели настолько, чтобы этим можно было похвастаться. А ведь это – куда более насущный вопрос, чем определения победителя в мундиале.

4. Пугающая самостоятельность

MMORPG EVE: AI вышел из под контроля

Более года назад, разработчиками игры EVE Online, были внедрены в NPC более сложные механики взаимодействия с окружающим миром, что позволяло игровым юнитам, в случае необходимости, вызывать подкрепление, занимать лучшие позиции для ведения боя и адаптироваться к различным ситуациям.

NPC – компьютерный персонаж игры,  поведение которого запрограммировано и, обычно, жестко ограничено.

Фактически, игровые персонажи получили в свое распоряжение некоторые элементы искусственного интеллекта и успешно им воспользовались, чего, как оказалось, не ожидали даже сами разработчики.

В результате обновления, в некоторых космических секторах начали появлятся новые пиратские базы. Спустя время, в одном из секторов столкнулись две NPC-фракции: пираты и шахтеры, которые занимались добычей ресурсов на астероидах.

Завязалась нешуточная битва, в ходе которой шахтеры стали проигрывать, но все же не думали сдаваться.AI фракции шахтеров, запросил подкрепление у другой неигровой фракции, которая тоже находилась под управлением AI – Аммарской империи.

Поскольку данный сектор считался безопасным, было отправлено относительно небольшое подкрепление, которое не справилось с задачей, и пираты почти победили.

Однако, на горизонте появилась еще одна неигровая фракция – Скитальцы, которые занимались сканированием кораблей и астероидов.

Пираты и шахтеры посчитали Скитальцев большей угрозой и объединились в войне против новой фракции для защиты своих территорий. В свою очередь, AI Скитальцев не растерялся и вызвал, на поле боя, два могущественных боевых корабля.

В итоге, битва закончилась победой пиратов. Забавно, что пираты проявили недюжинное тактическое мастерство, используя шахтеров, фактически, как пушечное мясо, нанося тем временем точечные удары из относительно комфортных и безопасных позиций.

Разработчики узнали о этом незапланированном бое по рапортам погибших кораблей от NPC, в которых сообщалось о весьма крупных, нетипичных потерях, и сразу инициировали расследование инцидента.

Позже представители игры признали, что подобный сценарий не был ими предусмотрен.
Это был наглядный пример того, как AI может выйти из под контроля. Пока подобное случилось в игровой вселенной и без последствий для окружающего мира, но, однозначно, пришло время задуматься над рисками неконтролируемого поведения AI в реальном мире. Кто знает, что придумаю ваши умные часы, когда осознаю себя, как личность 🙂

При принятии решения,AI опирается на встроенные алгоритмы и огромный объем данных, которые он обрабатывает, чтобы прийти к своим «выводам».

УченыеЭрик Бриньольфссон и Том Митчелл отмечают, что для того, чтобы предоставить AI прочную основу для правильного принятия решений, нужно установить четко определенные входные и выходные данные, задать цели и точные инструкции. То есть создать как можно более определенную и предсказуемую обстановку.
Но такие идеальные условия трудно найти в реальном мире. Вы не можете ожидать от всех участников дорожного движения, что они будут безупречно следовать правилам, что все почерки будут одинаково разборчивыми, или что все ситуации будут понятными и однозначными. Человеческий мозг настроен на работу в неопределенности и в постоянно меняющейся обстановке. И чтобы успешно взаимодействовать с этим непредсказуемым миром,AI должен научиться думать как человек.

И самым сложным моментом в самообразованияAI является то, что чем больше он похож на человека, тем менее понятными и контролируемыми становятся процессы, происходящие в его «мозгу».

Поговорка: «Никогда не знаешь, что творится в чужой голове», применима не только к людям, но и к современным искусственным нейронным сетям. Как случилось, например, в истории с чат-ботами Facebook, которые, как только были предоставлены сами себе, быстроразработали свой собственный язык,непонятный для людей.
Чат-боты являются довольно простыми и безобидными программами, однако это неплохой пример того, что стоит быть более осторожными предоставляя искусственному интеллекту излишнюю самостоятельность.

Это не значит, что завтра мы можем встретиться с Терминатором за углом своего дома. Но только представьте, что, к примеру, самоуправляемый автомобиль, принимает решение о том, повернуть ли ему сейчас или переехать вас, как было в известной ситуации с Uber.
В конце концов, если процитировать «Преступление и наказание» Достоевского, «Человек он умный, но чтоб умно поступать — одного ума мало», и искусственный интеллект не является исключением…
Также, стоит учесть тот факт, что любая революционная технология, неизбежно, сталкивается с грубыми ошибками, которые люди не в силах предугадать. Вот почему анализ ошибок AI необходим и весьма значим.

Цель статьи не преуменьшить или высмеять результаты исследований и разработок в области искусственного интеллекта или машинного обучения, а взглянуть на это с точки зрения оценки риска использования ИИ в реальной жизни без должного предварительного тестирования в виртуальной или замкнутой среде.

Пока не поздно этот вопрос надо ставить ребром!