Рядом с нами появились электронные личности
Искусственный разум может убивать. Именно так он поступил с новейшим Boeing-737 MAX авиакомпании Lion Air. Фото: Gettyimages Долги «выбивал робот»
Недавно в Екатеринбурге долги из клиента «выбивал» робот-коллектор (об этом «РГ» писала на прошлой неделе). Причем, мужчина и не догадывался, что больше месяца разговаривал с искусственной интеллектуальной системой, настолько изобретательно были выстроены диалоги. Робот представился руководителем коллекторского агентства, назвав женское имя, фамилию и отчество, и приятным голосом отвечал на все вопросы, задавал уточняющие, и «настоятельно рекомендовал клиенту погасить долги».
При этом общеизвестно, что роботы сегодня могут разговаривать голосом любого из нас.
Почти по Оруэллу
В Китае между тем уже вовсю внедряется система социальных баллов, а проще говоря тотальной слежки за гражданами с помощью искусственного интеллекта. Все, что делает китаец, фиксируется камерами с распознаванием лиц и десятками баз данных. За хорошее поведение начисляют баллы, за плохое — снимают. Принцип системы: люди с высокими результатами будут жить хорошо, а тем, кто уйдет в минус, не поздоровится. Могут запретить занимать определенные должности, не продать билеты на поезд или на самолет. Некоторые эксперты приходят в ужас, когда начинают анализировать, к каким результатам приведет эта умная «оруэлловская» система в будущем.
Искусственный разум направил в пике
При этом известно, что даже малейшие просчеты в проектировании интеллектуальных систем могут приводить к катастрофическим последствиям уже сегодня.
Забудь мой номер: В ФАС рассказали, как бороться с рекламой по телефону
Так, выяснилось, что из-за ошибочных показаний датчика и системы контроля полета самолеты Boeing-737 MAX могут сами неожиданно уходить в пике. Получив неверные вводные об обтекании крыла потоком воздуха, самолеты автоматически опускают нос вниз. Этот факт честно признали в компании после того, как Boeing-737 MAX-8 индонезийской авиакомпании Lion Air потерпел крушение в октябре 2018 года над морем у западного побережья острова Ява. На борту находились 189 человек, все погибли.
В Аризоне беспилотное авто от Uber сбило женщину, переходившую улицу в неположенном месте. В кресле водителя находился пилот-человек, но он не успел остановить машину. Эта авария стала первым смертельным ДТП с участием автомобиля, имеющего третий уровень автономности. Оказалось, лазерные радары машины распознали пешехода за целых 5,6 секунды до аварии. Но алгоритм решил не снижать скорость и начал экстренное торможение только за 0,2 секунды до столкновения.
Как переиграть роботов?
Все эти факты, впрочем, повод не для развития массовой паранойи, а как раз для того, чтобы человечество, насколько это возможно, действовало на опережение, предугадывало возможные опасности, которые могут возникнуть при внедрении технологий с использованием искусственного интеллекта. Об этом сегодня в голос говорят эксперты. Ведь прогресс останавливать глупо. Причем риски не только и даже не столько технологические, сколько юридические, правовые и этические. Последний аспект особенно важен при разработке систем управления беспилотными автомобилями. Какой алгоритм, скажите, нужно заложить разработчикам в гипотетической ситуации, когда на дороге перед машиной неожиданно появляется старушка, а с другой стороны — маленький мальчик? То есть проблема выбора состоит в том, что кто-то неизбежно должен пострадать.
Новые технологии порождают и технические, и этические проблемы
В реальной жизни исход этой конфигурации на дороге зависит от индивидуальных физиологических особенностей водителя, его реакции, — словом, того, как сработает человеческий мозг в этой экстремальной ситуации. И при любом ужасе, она разрешается «естественным» путем, но вот простят ли искусственному интеллекту смерть кого-то из участников движения? И как вообще интеллектуальной системе решить эту заведомо неразрешимую задачу? Заложить в алгоритм действия частотность поведения водителей в таких ситуациях? Пожертвовать старушкой? И кому на откуп дать решение этой задачи, при которой по сути будут вершиться судьбы людей. Отдельно взятому коллективу разработчиков? И как потом быть с юридическими последствиями этой дорожной дилеммы? Вопросов масса.
Опрос: 12% россиян не доверяют искусственному интеллекту
Несколько дней назад в рамках Гайдаровского форума состоялась очень злободневная и интересная дискуссия «Этические проблемы применения цифровых технологий: как искать решение?». Ее модератор — академический директор Центра подготовки руководителей цифровой трансформации ВШГУ РАНХиГС Мария Шклярук — представила аналитический доклад, подготовленный на основе работ десятков отечественных экспертов в области новых интеллектуальных систем. В нем как раз содержится вдумчивый подход к осмыслению отношения людей и роботов.
Показательно, что эксперты высказывают различные подходы к принципам установления ответственности за действия ИИ. От полного освобождения кого-либо от ответственности, по аналогии с обстоятельствами непреодолимой силы. Ответственности конкретного субъекта — производителя, разработчика, владельца, пользователя и т.д. И вплоть до личной ответственности роботов при условии наделения их правами и обязанностями, статусом электронной личности.
Впрочем, эта тема остается сегодня остро дискуссионной: и ученые, и разработчики, вероятно, не скоро придут к единому решению. Вот лишь несколько показательных мнений.
Экспертные мнения
Валерий Карпов, вице-президент Российской ассоциации искусственного интеллекта, начальник лаборатории робототехники НИЦ «Курчатовский институт»:
General Motors представил робота-такси
— Чаще всего эту ответственность возлагают на «программиста», но он лишь оператор, который закладывает правила поведения, определяемые экспертом, специалистом в некоторой предметной области. В случае этики — неким моральным философом, например. Именно эксперт — моральный философ и несет ответственность за суть поведения системы и то, на чем должна основываться логика принятия решений. Какой «моральный кодекс» будет предоставлен, такой и будет реализован «программистом».
Олег Кузнецов, председатель научного совета Российской ассоциации искусственного интеллекта, профессор ИПУ РАН:
— Третьей стороной, выступающей между философом и разработчиком, является законодатель. Проблема ответственности решается в правовом режиме. Кто-то должен подать иск об ущербе, и иск подается не разработчику. Ведь пользователь не знает, кто разработчик, и не обязан это знать, а предъявляет претензии тому, кто его обслуживает. При этом интеллектуальная система никогда не будет сама ответственна, в случае ошибки всегда будет виноват тот или иной конкретный человек.
Павел Готовцев, координатор российской Рабочей группы по этике искусственного интеллекта, заместитель начальника отдела биотехнологий и биоэнергетики НИЦ «Курчатовский институт»:
— Как и в любой ситуации, нельзя четко провести границу и сказать: «Всегда виноват пользователь или всегда виноват разработчик». Здесь этого не получится по многим причинам, как в любой другой технической системе. Например, при аварии самолета происходит разбирательство, кто виноват ― производитель, авиакомпания, пилот. И здесь нужна такая же граница. В принципе, когда возникает какая-то сложная, технически обусловленная ситуация, естественно, собирают технических специалистов, анализируют, проводят в сертифицированных центрах исследования, анализ. Аналогично должно быть и с системами искусственного интеллекта.
Эксперты: Необходимо создать кодекс "поведения" искусственного интеллекта
Роман Душкин, директор по науке и технологиям Агентства искусственного интеллекта:
— Есть несколько вариантов, кому нести ответственность: разработчику, владельцу, пользователям и самому искусственному интеллекту. Четвертый вариант — радикальный, его я и проповедую. В большинстве стран законодательство устроено так, что, если что-то случилось, человек, который виноват, возмещает ущерб деньгами или попадает в тюрьму. Соответственно, интеллектуальная система тоже может отвечать за свои ошибки деньгами. Возьмем автономный беспилотный автомобиль, у него есть определенные потребности: топливо, электричество, техническое обслуживание, запчасти и потребность в деньгах для всего этого. Он их зарабатывает своей функциональностью, непрерывным передвижением по городу, перевозкой пассажиров из точки А в точку Б, за что пассажиры платят ему, как сейчас платят Яндексу или Uber. Машина тратит меньше, чем зарабатывает, и копит деньги, которыми она будет отвечать, если что-то случится, и с нее будет взыскано возмещение ущерба.
Андрей Незнамов, исполнительный директор ПАО «Сбербанк»; основатель проекта «Робоправо», старший научный сотрудник Института государства и права РАН:
— У термина «искусственный интеллект» нет единого определения; поэтому достаточно сложно говорить о единых правилах применения искусственного интеллекта во всех сферах. Соответственно, вопрос ответственности также нельзя решить однозначно. На сегодняшний день универсальным можно назвать только одно правило: ответственность несет человек.
От первого лица
На прошедшей в ноябре 2019 года в Москве конференции по искусственному интеллекту AI Journey президент РФ Владимир Путин предложил разработать этические нормы взаимодействия человека с искусственным интеллектом:
— Сейчас во всем мире разворачивается дискуссия о социальных аспектах и последствиях использования искусственного интеллекта, это очень важная тема. Предлагаю профессиональному сообществу, компаниям подумать над формированием свода этических правил взаимодействия человека с искусственным интеллектом.
Тем временемИскусственный разум убивает
Даже малейшие просчеты в проектировании интеллектуальных систем могут приводить к катастрофическим последствиям уже сегодня. Так, выяснилось, что из-за ошибочных показаний датчика и системы контроля полета самолеты Boeing 737 MAX могут сами неожиданно уходить в пике. Получив неверные вводные об обтекании крыла потоком воздуха, самолеты автоматически опускают нос вниз. Этот факт честно признали в компании после того, как Boeing 737 MAX 8 индонезийской авиакомпании Lion Air потерпел крушение в октябре 2018 года над морем у западного побережья острова Ява. На борту находились 189 человек, все погибли.
Это расширенная версия текста, опубликованного в номере «РГ»