Что потребуется для глобального тоталитарного правительства, чтобы прийти к власти на неопределенный срок? Этот кошмарный сценарий может быть ближе, чем кажется на первый взгляд.
Как бы выглядели тоталитарные правительства прошлого, если бы они никогда не потерпели поражение? Нацисты использовали технологии 20-го века, и чтобы их остановить, потребовалась мировая война. Насколько могущественнее – и долговечнее – могли бы быть нацисты, если бы они разбили США до атомной бомбы? Контроль над самыми передовыми технологиями того времени мог укрепить нацистскую власть и изменить ход истории.
Когда мы думаем о рисках для существования, часто приходят на ум такие события, как ядерная война или столкновения с астероидами. Тем не менее, есть одна угроза в будущем, которая менее известна – и хотя она не связана с исчезновением нашего вида, она может быть столь же серьезной.
Он называется сценарием «мира в цепях», где, как и в предыдущем мысленном эксперименте, глобальное тоталитарное правительство использует новую технологию, чтобы запереть большую часть мира в бесконечных страданиях. Если это звучит мрачно, вы правы. Но возможно ли это? Исследователи и философы начинают размышлять, как это могло произойти – и, что более важно, что мы можем сделать, чтобы этого избежать.
Экзистенциальные риски (x-риски) катастрофичны, потому что они связывают человечество с единственной судьбой, такой как постоянный крах цивилизации или исчезновение нашего вида. Эти катастрофы могут иметь естественные причины, такие как столкновение с астероидом или супервулкан, или быть вызваны деятельностью человека из источников, таких как ядерная война или изменение климата. Позволить одному случиться было бы «жалким концом человеческой истории» и подведет сотни поколений, которые были до нас, – говорит Гайдн Белфилд, руководитель академического проекта Центра изучения экзистенциального риска при Кембриджском университете.
Тоби Орд, старший научный сотрудник Института будущего человечества (FHI) при Оксфордском университете, считает, что вероятность экзистенциальной катастрофы, произошедшей в этом столетии по естественным причинам, составляет менее 1 к 2000 , потому что люди 2000 веков выживали без нее . Однако, когда он добавляет вероятность антропогенных катастроф, Орд полагает, что вероятность увеличивается до поразительной – один из шести. Он называет это столетие «пропастью», потому что риск потерять наше будущее никогда не был таким высоким.
Исследователи из Центра долгосрочных рисков, некоммерческого исследовательского института в Лондоне, подробно остановились на x-рисках, добавив еще более пугающую перспективу страданий от рисков. Эти «s-риски» определяются как «страдания в астрономическом масштабе, значительно превосходящие все страдания, существовавшие на Земле до сих пор». В этих сценариях жизнь миллиардов людей продолжается, но качество настолько низкое, а перспективы настолько мрачны, что предпочтительнее было бы умереть. Короче говоря: будущее с отрицательной ценностью хуже, чем будущее без стоимости.
Вот тут-то и появляется сценарий «мир в цепях». Если злонамеренная группа или правительство внезапно обретет господствующую в мире власть с помощью технологий и ничто не может встать на ее пути, это может привести к продолжительному периоду ужасных страданий и подчинения. . В отчете о рисках для существования от 2017 года, подготовленном проектом Global Priorities Project, совместно с FHI и Министерством иностранных дел Финляндии, содержится предупреждение о том, что «долгое будущее в условиях особенно жестокого глобального тоталитарного государства может быть хуже полного исчезновения».
Гипотеза Синглтона
Хотя глобальный тоталитаризм по-прежнему остается нишевой темой для изучения, исследователи в области экзистенциального риска все чаще обращают внимание на его наиболее вероятную причину: искусственный интеллект.
В своей « одноэлементной гипотезе » Ник Бостром, директор оксфордского FHI, объяснил, как с помощью ИИ или других мощных технологий может сформироваться глобальное правительство и почему его невозможно свергнуть. Он пишет, что мир с «единым агентством, принимающим решения на самом высоком уровне» может возникнуть, если это агентство «получит решающее преимущество благодаря технологическому прорыву в области искусственного интеллекта или молекулярных нанотехнологий». Возглавив его, он будет контролировать достижения в области технологий, предотвращающих внутренние вызовы, такие как наблюдение или автономное оружие, и, с этой монополией, будет постоянно оставаться стабильным.
Если синглтон будет тоталитарным, жизнь будет безрадостной. Даже в странах с самыми строгими режимами новости просачиваются в другие страны и исходят из них, и люди могут сбежать. Глобальное тоталитарное правление уничтожило бы даже эти маленькие семена надежды. Чтобы быть хуже вымирания, «это будет означать, что мы не чувствуем абсолютно никакой свободы, никакой частной жизни, никакой надежды на побег, никакого агентства, которое могло бы контролировать нашу жизнь вообще», – говорит Такер Дэви, писатель из Института будущего жизни в Массачусетсе фокусируется на исследованиях экзистенциального риска.
«В тоталитарных режимах прошлого [было] так много паранойи и психологических страданий, потому что вы просто не представляете, собираетесь ли вы быть убиты за то, что сказали неправильные вещи», – продолжает он. «А теперь представьте, что нет даже вопроса, все, что вы говорите, сообщается и анализируется».
«Возможно, у нас еще нет технологий для этого, – сказал Орд в недавнем интервью , – но похоже, что технологии, которые мы разрабатываем, делают это проще и проще. И кажется правдоподобным, что это может стать возможным когда-нибудь в ближайшие 100 лет ».
ИИ и авторитаризм
Хотя жизнь при глобальном тоталитарном правительстве все еще является маловероятным и далеким будущим, ИИ уже способствует авторитаризму в некоторых странах и укрепляет инфраструктуру, которая может быть захвачена оппортунистическим деспотом в других.
«Мы стали свидетелями своего рода расплаты с переходом от очень утопических представлений о том, что может принести технология, к гораздо более отрезвляющим реалиям, которые в некоторых отношениях уже являются довольно антиутопическими», – говорит Эльза Каниа, старший научный сотрудник Центра New American Security, двухпартийная некоммерческая организация, разрабатывающая политику национальной безопасности и обороны.
В прошлом для наблюдения требовались сотни тысяч людей – каждый 100 житель Восточной Германии был информатором, – но теперь это возможно с помощью технологий. В Соединенных Штатах Агентство национальной безопасности (АНБ) собрало сотни миллионов американских звонков и текстовых записей, прежде чем прекратить внутреннее наблюдение в 2019 году , и, по оценкам, в Соединенном Королевстве имеется от четырех до шести миллионов камер видеонаблюдения . Восемнадцать из 20 городов мира с наибольшим количеством наблюдений находятся в Китае, но Лондон занимает третье место. Разница между ними заключается не столько в технологиях, которые используют страны, сколько в том, как они их используют.
Что, если определение того, что является незаконным в США и Великобритании, расширилось и включило критику правительства или исповедание определенных религий? Инфраструктура уже создана, чтобы обеспечить его соблюдение, а ИИ, с которым АНБ уже начало экспериментировать , позволит агентствам искать в наших данных быстрее, чем когда-либо прежде.
Помимо усиления слежки, ИИ поддерживает рост дезинформации в Интернете, которая является еще одним инструментом авторитарного режима. Глубокие фейки на базе искусственного интеллекта, которые могут распространять сфабрикованные политические сообщения , и алгоритмический микротаргетинг в социальных сетях делают пропаганду более убедительной. Это подрывает нашу эпистемологическую безопасность – способность определять, что является правдой, и действовать в соответствии с ней, – от которой зависят демократии.
«За последние несколько лет мы стали свидетелями появления пузырей фильтров и людей, которых различные алгоритмы заставляли поверить различным теориям заговора или, даже если они не теории заговора, поверить лишь в часть правды», – говорит Белфилд. . «Вы можете представить, что все становится намного хуже, особенно с глубокими подделками и тому подобным, пока нам, как обществу, не станет все труднее решить, что таковы факты, вот что мы должны с этим делать, и затем предпримите коллективные действия ».
Превентивные меры
В отчете о злонамеренном использовании искусственного интеллекта , написанном Белфилдом и 25 авторами из 14 организаций, прогнозируется, что подобные тенденции будут расширять существующие угрозы нашей политической безопасности и создавать новые в ближайшие годы. Тем не менее, Белфилд говорит, что его работа вселяет в него надежду, и что положительные тенденции, такие как более демократичные дискуссии об ИИ и действия политиков (например, ЕС рассматривает приостановку распознавания лиц в общественных местах), поддерживают его оптимизм в отношении того, что мы можем избежать катастрофической судьбы. .
Теперь нам нужно решить, какие виды использования ИИ приемлемы, а какие – недопустимы.
Дэйви соглашается. «Сейчас нам нужно решить, какие виды использования ИИ приемлемы, а какие – недопустимы», – говорит он. «И мы должны быть осторожны, позволяя ему контролировать большую часть нашей инфраструктуры. Если мы вооружаем полицию системой распознавания лиц, а федеральное правительство собирает все наши данные, это плохое начало ».
Если вы по-прежнему сомневаетесь в том, что ИИ может предложить такую мощь, подумайте о мире до ядерного оружия. За три года до первой ядерной цепной реакции даже ученые, пытающиеся ее осуществить, считали, что это маловероятно. Человечество тоже не было готово к ядерному прорыву и балансировало на грани «взаимно гарантированного уничтожения» до того, как договоры и соглашения управляли глобальным распространением смертоносного оружия без экзистенциальной катастрофы.
Мы можем сделать то же самое с ИИ, но только если мы объединим уроки истории с предвидением, чтобы подготовиться к этой мощной технологии. Возможно, мир не сможет остановить тоталитарные режимы, такие как нацисты, снова восстание в будущем, но мы можем избежать передачи им инструментов для неограниченного продления их власти.
Источник: https://www.bbc.com/
