Роман Трунов
Люди сами строят идеальную тюрьму, из которой будет невозможно выйти, поскольку непонятно, где заканчиваются ее стены. Изображение создано с помощью нейросети «Шедеврум»
Казенный дом как символ неволи ассоциируется с высокими стенами, колючей проволокой и суровыми надзирателями. Однако в XXI веке появилась новая форма лишения свободы, которую и можно, и нужно назвать цифровой тюрьмой. Ее ограда невидима, решетки заменены алгоритмами, а в качестве надсмотрщиков выступают бездушные компьютерные программы.
Архитектура несвободы: от каменных стен к программному коду
Традиционная тюрьма построена на принципе изоляции. Ее пространство делится на камеры, карцеры и т.п. Цифровое узилище тоже создает четкие границы между людьми, но у них иная природа, так как они невидимы глазу. Смартфоны, банковские приложения, системы распознавания лиц, социальные сети – все они денно и нощно следят за запутавшимися во Всемирной паутине интернет-пользователями, оставляющими за собой свой уникальный цифровой след. В том же Китае низкий социальный рейтинг, который присваивают тем, чье поведение не соответствует общепринятым нормам, служит препятствием для получения некоторых государственных услуг и продвижения по карьерной лестнице.
От государств не отстают и корпорации. Голосовые помощники Alexa от Amazon и Siri от Apple фиксируют каждое действие пользователя – от повседневных привычек до неосторожных высказываний. Эксперты международного Проекта GNU, развивающего свободное программное обеспечение, не раз обвиняли Google в шпионаже за юзерами, и, более того, они прямо называют гугловские программы вредоносными. Так, благодаря анализу поисковых запросов в Google и данных мобильных операторов было раскрыто резонансное преступление – поджог дома в Колорадо в 2020 году, в результате которого погибли пять человек, за что были осуждены трое подростков.
В США эта трагедия стала правовым прецедентом, обострив дискуссии о балансе между цифровой слежкой для раскрытия преступлений и угрозой приватности граждан, особенно в контексте конституционных прав и злоупотребления технологиями.
Персональные данные людей всего мира становятся «кирпичами» в стенах цифровой тюрьмы, как когда-то камни, из которых была построена Бастилия. Концепция паноптикума Мишеля Фуко предполагает, что заключенный, не зная, наблюдают за ним или нет, начинает контролировать себя сам. Сейчас эта теория воплотилась в повседневной практике глобальных соцсетей. Китайский TikTok и запрещенные в России американские социальные медиа используют искусственный интеллект, чтобы анализировать посты, комментарии, лайки, просмотры, а пользователи уже сами корректируют свое поведение, опасаясь экзекуции в виде бана за «нарушение правил сообщества». Это напоминает тюремное заключение, но с той разницей, что алгоритмы «судят» всех, а не только преступников.
Многие заядлые пользователи соцсетей попадают в «эхо-камеры». Этот эффект обусловлен тем, что алгоритмы социальных медиа и человеческая предвзятость создают информационный пузырь, находясь в котором люди видят и слышат только то, что подтверждает их собственные убеждения. Альтернативные точки зрения, сложность окружающего мира и все прочие нюансы не проходят через алгоритмические и ментальные фильтры. Словно в заточении, возникает изолированная среда, искажающая реальность и укрепляющая групповую идентичность в ущерб критичности мышления. Индивид оказывается как бы в «когнитивной тюрьме».
Вынужденное пребывание в тюрьме порой вызывает желание сопротивляться – взбунтоваться или даже сбежать. В цифровую темницу люди заточают сами себя, от лени, гонясь за мнимым комфортом. Соцсети, умные устройства создают иллюзию выбора, но на деле ограничивают свободу и права человека. Рекомендательные алгоритмы глобальных соцмедиа навязывают пользователям «правильные» взгляды, а функция геолокации, по сути, превращает смартфон в электронный браслет. При этом индивид редко осознает, что стал узником, в чем, собственно, и состоит главное отличие виртуального заключения от нахождения в кутузке.
Тюрьма как институт государства всегда отражала ценности общества. В Средние века на первом месте стояло покарание злодеев, в Новое и Новейшее время начали исправлять преступников. Сейчас цифровая кутузка воплощает идею тотального контроля над людьми в эпоху Big Data (больших данных). Государства и корпорации, как и тюремные администрации, навязывают индивидам определенные нормы и правила, все больше напоминающие произведения Джорджа Оруэлла. Но если раньше бунт против системы был коллективным (петиции, демонстрации, восстания, революции), то теперь общественное сопротивление затруднено, поскольку неясно, как бороться с невидимым алгоритмом.
Обычная тюрьма лишает свободы тело и душу человека, цифровое узилище отнимает у него свободу воли. Главная опасность состоит в том, что виртуальные решетки становятся частью повседневности. Впрочем, возможно, из сложившейся ситуации есть выход. Ведь в свое время прогрессивные реформы изменили пенитенциарные системы многих государств, поэтому и сегодня нужны действенные законы о защите личных данных, всеобщая цифровая грамотность, этические стандарты, регулирующие разработки в области искусственного интеллекта. В противном случае человечество рискует построить идеальную тюрьму, из которой будет невозможно сбежать или выйти, ибо непонятно, где заканчиваются ее стены и когда истекает срок наказания.
Обыденная жизнь превращается в цифровой кошмар
Не далее как в мае Дональд Трамп решил вновь открыть знаменитую тюрьму Алькатрас, закрытую еще в 1963 году. Эта новость могла бы затеряться в череде странных инициатив экстравагантного президента США. А между тем она имеет скрытый подтекст, потому что здесь речь идет об участии американских технологических корпораций в создании и развитии систем цифрового контроля, в том числе и в пенитенциарных учреждениях. Едва ли не главным полигоном для испытания новых полицейских методик стал Сальвадор, что неудивительно, если помнить историческое прошлое этой центральноамериканской страны и безграничную любовь американских властей к подбрюшью США. Достаточно еще вспомнить тюрьму Гуантанамо.
Необходимо также назвать тех некоторых, кто получает основную выгоду от установления цифрового полицейского режима. Среди них члены так называемой мафии PayPal, неформального объединения бывших учредителей и сотрудников этой финтех-компании. Они близки к Трампу и его сторонникам в Республиканской партии. Правда, Илон Маск больше не руководит Департаментом эффективности правительства (DOGE), ранее называвшимся Службой цифровых технологий, но остается соучредителем OpenAI и Neuralink. А вот неофициальный лидер этого, так сказать, союза правых сил Питер Тиль, основатель компании Palantir, создающей технологии Big Data для американских военных и спецслужб, по-прежнему получает выгодные заказы от американского государства.
В феврале президент Сальвадора Найиб Букеле предложил властям США за небольшие деньги принимать опасных американских преступников и содержать их в гигантской тюрьме CECOT (Центр заключения террористов), рассчитанной на 40 тыс. заключенных. Представитель Госдепартамента Тэмми Брюс назвала это «исключительным жестом, который ранее не делала ни одна страна», и добавила, что соглашение об этом было подписано во время февральского визита госсекретаря Марко Рубио в Сан-Сальвадор. А уже в марте по приказу Трампа 250 членов венесуэльской банды Tren de Aragua были депортированы прямо из американских тюрем в сальвадорскую мегатюрьму. Международная общественность резко осудила такие действия, но многое указывает, что подобная практика будет только расширяться. Ведь в апреле Трамп принял Букеле в Белом доме, после чего заявил СМИ, что Америка намерена и дальше сотрудничать с иностранными тюрьмами, отправляя в них не только нелегальных мигрантов, но и обвиняемых в насильственных преступлениях американских граждан.
И вот уже в мае 52% граждан Франции, опрошенных социологами, согласились с тем, что для разгрузки французской пенитенциарной системы нужно арендовать места в зарубежных тюрьмах. Что, впрочем, неудивительно, поскольку по состоянию на 1 апреля текущего года переполненность казенных домов в этой стране составляла от 133 до 200%. Причем ранее власти Пятой республики планировали построить к 2027 году около 15 тыс. новых тюремных мест, но эти планы пришлось отложить до лучших времен.
В отличие от Франции США и КНР имеют практически неограниченные возможности в любой сфере человеческой деятельности. В качестве иллюстрации можно привести слова Трампа, заявившего в январе, что американские корпорации инвестируют по меньшей мере 500 млрд долл. в развитие искусственного интеллекта. Пекин может себе позволить несколько меньше, но все равно больше, чем любое другое государство.
Однако у американо-китайского соперничества в области ИИ есть и обратная сторона. Уже во многих странах растут справедливые опасения по поводу неприкосновенности частной жизни и личной безопасности людей, потому что цифровые технологии все чаще используются для анализа конфиденциальных материалов и распространения ложных нарративов в ходе кампаний по дезинформации.
Известно, что власти КНР установили, можно сказать, тотальную цифровую слежку за своими гражданами. Однако, по мнению старшего научного сотрудника по вопросам управления американского Центра технологических инноваций (CTI) Даррелла Уэста, нечто подобное все чаще встречается и в Америке. Правоохранительные и разведывательные службы сейчас подчинены сторонникам Трампа, что позволяет нынешней администрации США преследовать своих критиков.
Позже Министерство внутренней безопасности США (DHS) подтвердило, что использует цифровые инструменты для анализа поведения в соцсетях тех людей, которые подают заявления на получение визы или грин-карты. Специальные программы ищут любые признаки «экстремистской риторики» или «антисемитской деятельности». Сразу же возникло множество вопросов о том, как будут трактоваться эти термины. Кроме того, непонятно, можно ли будет публично критиковать Соединенные Штаты или же на заявителей навесят ярлык сторонников терроризма, замечает Уэст.
Но не только правительство США установило цифровую слежку за гражданами Америки. Некоторые американские компании тоже пристально наблюдают за своими сотрудниками. Работодатели регулярно отслеживают, что сотрудники делают на своих компьютерах. Специальные программы фиксируют нажатие клавиш и выражение лица, чтобы понять, чем именно заняты наемные работники, справляются ли они с работой, соблюдают ли корпоративные правила. Причем во многих штатах такой контроль вполне законен, поэтому, полагает Уэст, крайне необходим национальный закон о неприкосновенности частной жизни, ограничивающий цифровую слежку.
Между тем, когда последствия проблемы начинают ощущаться в каждом уголке планеты, независимо от уровня развития или культурных особенностей местного населения, она перестает быть локальной и становится подлинно общечеловеческой. А то, что именно так и происходит, сомневаться уже не приходится. Вот еще ряд примеров из американской повседневности, позволяющих судить об опасности неконтролируемого развития и распространения цифровых технологий двойного назначения, которые в перспективе несут угрозу всему остальному миру.
Служба таможенного и пограничного контроля США (CBP) опубликовала в мае служебные документы, в которых объясняется, как ИИ мониторит соцсети и анализирует другие открытые источники. Внимание экспертов и правозащитников привлекли две программы – Fivecast ONYX и Dataminr. Обе они изучают общедоступные сетевые данные, чтобы обнаружить возможные угрозы и смоделировать поведение людей.
Иммиграционная и таможенная полиция США (ICE) заплатила компании Palantir без малого 30 млн долл. за модернизацию платформы Investigative Case Management (ICM), которая теперь сможет анализировать все известные категории мигрантов, что позволит усовершенствовать соответствующие алгоритмы и упростить задержание и депортацию «непрошеных гостей».
Американские спецслужбы тратят деньги налогоплательщиков на сомнительную технологию – ИИ-боты Overwatch – цифровых провокаторов и доносчиков, чтобы те в приграничных с Мексикой районах «общались» в соцсетях и мессенджерах с теми, кого заокеанские держиморды считают потенциальными преступниками, в частности со студенческими активистами, а не только с торговцами людьми и наркотиками.
Создатель интернет-сервиса YouTube-Tools утверждает, что с помощью ИИ может проанализировать комментарии и лайки любого пользователя этого видеохостинга и собрать на него досье, определив его место жительства, политические предпочтения, а также языки, которые тот знает.
Впервые в судебной практике США созданный нейросетью цифровой двойник армейского ветерана Криса Пелки, застреленного во время дорожной ссоры, «выступил» в суде Аризоны на процессе по делу о собственной гибели, в результате чего убийца получил максимальный срок – 10,5 года.
ИИ подрывает доверие к новостям и СМИ
В апреле вашингтонский информационно-аналитический центр Pew Research опубликовал результаты соцопроса об отношении американской общественности и экспертов к искусственному интеллекту. Социум и специалисты по-разному оценивают это явление и делают неодинаковые прогнозы о его развитии. Но они сходятся в том, что хотят усилить личный контроль за ИИ, поскольку опасаются, что госрегулирование окажется недостаточным. Публика опасается, что машинный разум ухудшит ее жизнь в ближайшие 20 лет, тогда как профессионалы считают, что нейросети решат сложные медицинские и климатические проблемы. Лишь 30% обычных людей верят в позитивное влияние Artificial Intelligence на общество, большинство же опрошенных ученых предполагают, что цифровой ум достигнет уровня человеческого интеллекта к 2040–2050 годам.
В еще одном исследовании эксперты Pew Research выяснили, что американцы считают, будто искусственный интеллект окажет негативное влияние на новости. 72% считают, что ИИ увеличит количество fake news, а 64% ожидают, что автоматизация сделает последние известия «более поверхностными». Причем 58% опрошенных уверены, что AI сократит число рабочих мест для журналистов, и только 15% респондентов допускают, что машинный разум поможет создавать «более точные» новостные материалы. При этом 81% опасается, что ИИ-генерация информационных сообщений «подорвет доверие к медиа», особенно если нейросети станут имитировать стиль известных СМИ.
Исследователи из Pew Research также выяснили, что значат для американцев новости и как они «вписываются в их жизнь в цифровую эпоху», отметив, что произошел исторический сдвиг. Раньше что такое информация, основываясь на профессиональных стандартах, определяли журналисты. В эру интернета фокус сместился на аудиторию, которая теперь сама решает, что для нее является событием. Впрочем, последние известия остаются важной частью жизни большинства американцев (за ними следят 77% респондентов), но границы между информационным сообщением, экспертным мнением и развлекательным контентом стерлись.
Сегодня новость – это то, что человек сам считает таковой, поскольку живет в перегруженной информационной среде. Американцы получают последние известия из разнообразных источников, но больше доверяют традиционным СМИ и контенту с доказательствами – фото, видео. Однако соцсети стали основным местом встречи с новой информацией, даже если она исходит от старых медиа, доминировавших до начала информационной эры.
Вот в этом и заключается нешуточная опасность, поскольку глобальные соцсети по своей природе не способны заменить традиционные СМИ, ведь у соцмедиа совершенно иные задачи. В первую очередь это «максимизация вовлеченности», то есть потакание всему бессмысленному, и «персонализация контента», которая приводит к возникновению вышеупомянутого эффекта «эхо-камеры». Конечно, в цифровую эпоху даже серьезные печатные газеты и журналы вынуждены иметь дело с социальными платформами, но этот факт, откровенно говоря, приводит к оглуплению людей, ведь как ни крути, а информация и контент отнюдь не синонимичные категории.
Инновации не способствуют демократизации
В мае в Трудах Национальной академии наук США (NAS) было опубликовано крайне любопытное исследование под названием «Почему ИИ препятствует демократизации?» (Why does AI hinder democratization?). Его авторы – Сайрус Чу, Цзюнь-Джен Чанг, Чанг-Чинг Лин, ученые из академических институтов Тайваня, задались целью объяснить существование взаимосвязи между демократизацией и развитием искусственного интеллекта и информационно-коммуникационных технологий (ИКТ). Эмпирические данные основаны на изучении положения дел в 164 странах. Исследователи констатируют, что за последние 10 лет развитие ИИ и ИКТ препятствовало продвижению демократии во многих из них.
Искусственный интеллект и информационно-коммуникационные технологи могут использовать как государственные правители, так и группы гражданского общества. Поэтому ключевым фактором, определяющим, какая из двух сторон больше выгадает от развития этих инноваций, является взаимодополняемость этих двух технологий. В целом такие разработки будут полезнее для автократов, потому что они благодаря своей административной власти имеют преимущественный доступ к большим данным. Таким образом, достижения в области ИИ и ИКТ позволят властителям авторитарных стран и склонным к авторитаризму руководителям дефективных демократий получить контроль над гражданским обществом, что вызовет дальнейшую эрозию демократических институтов.
Традиционная теория демократизации предполагает, что развитие ИИ и ИКТ способствует развитию демократии, поскольку расширяет возможности народного представительства посредством информационных систем и коммуникационных платформ. Считается, что эти технологии повышают информационную автономию граждан, упрощают проведение избирательных кампаний, помогают организовать протестные акции. То есть предполагается, что у автократов будет меньше шансов сохранить такую неограниченную власть, какая была у них в прошлом.
Действительно, информационно-коммуникационные технологии поспособствовали демократизации во время арабской весны 2010–2012 годов. Но последние данные противоречат этому общепринятому мнению. Несмотря на то что количество патентов на ИИ и ИКТ в мире неуклонно растет, индекс демократии, определяемый Economist Intelligence Unit (EIU), движется в противоположном направлении. Использовав тест на структурный разрыв, тайваньские ученые обнаружили, что великий перелом для патентов на ИКТ и индекса демократии наступил в 2012 году. В то время как точкой преломления для патентов на искусственный интеллект и индекса демократии стал 2017 год, когда начался стремительный прогресс в области нейросетей.
Существуют две основные причины, почему информационно-коммуникационные технологии больше не содействуют демократии, а, наоборот, стабилизируют автократии. Во-первых, авторитарные режимы научились использовать ИКТ в своих целях, чего не было раньше. А во-вторых, искусственный интеллект поменял правила политической игры, научившись следить в интернете за инакомыслящими и навязывать правительственный дискурс оппозиционным группам.
В 1989 году, когда пала Берлинская стена, в «Штази» было около 100 тыс. штатных сотрудников, кроме того, восточногерманской спецслужбе помогали, по разным оценкам, от 500 тыс. до 2 млн информаторов. В ГДР тогда жило 16,6 млн человек. Таким образом, один соглядатай должен был шпионить как минимум за семью гражданами. Подобное соотношение сил было явно не в пользу правящего режима, поэтому слежка была недостаточно эффективной. Теперь же значительную часть шпионской работы выполняет искусственный интеллект, а это значит, что эффективность слежки значительно повысилась.
Человечество уже создало мощную инфраструктуру тотальной компьютерной слежки, где каждое социальное действие и взаимодействие скрупулезно отслеживаются, а приватность почти исчезла. Общество, соблазненное удобствами технологий, часто добровольно отдает свои персональные данные и свободу выбора. И тем самым легитимизирует систему, имя которой цифровой тоталитаризм.
