Чи здатне людство пережити необмежену силу?

Людство завжди прагнуло більшої сили: над природою, хворобами, смертю, знанням і майбутнім. Але що станеться, якщо одного дня ця сила стане майже необмеженою? Чи здатне людство пережити необмежену силу?

Коротка відповідь

Людство може пережити необмежену силу лише за умови, що розвиток відповідальності, етики та інститутів не відставатиме від розвитку технологій. Найбільший ризик становить не сама сила, а її концентрація без достатнього контролю, мудрості та самоконтролю.

Можливо, найбільша загроза майбутнього полягає не в тому, що людство залишиться слабким. Можливо, справжній ризик у тому, що воно стане надто сильним раніше, ніж стане достатньо зрілим.

У цій статті:

що таке необмежена сила людства;
чому люди завжди прагнули більшої сили;
як сила змінювала цивілізації;
чи розбещує абсолютна влада;
що таке AGI, суперінтелект і технологічна сингулярність;
що таке AI alignment і чому це важливо;
чому сила без відповідальності може стати екзистенційним ризиком.

Що таке необмежена сила людства?

Необмежена сила людства — це гіпотетичний майбутній стан, у якому технології дають цивілізації можливість змінювати життя, інтелект, природу, клімат, свідомість і саму траєкторію еволюції.

Це не магія.

Це не обов’язково абсолютна влада.

Це поступове наближення до можливостей, які раніше існували лише в міфах.

Створювати життя.

Редагувати геноми.

Проєктувати інтелект.

Подовжувати життя.

Керувати інформаційними потоками.

Моделювати майбутнє.

Змінювати середовище планети.

Створювати системи, сильніші за людський розум.

Кожне покоління називає дивом те, що наступне покоління назве технологією.

Чому люди завжди прагнули сили?

Історія людства є історією розширення можливостей.

Вогонь.

Колесо.

Сільське господарство.

Писемність.

Порох.

Друкарський верстат.

Електрика.

Ядерна енергія.

Інтернет.

Штучний інтелект.

Кожна нова технологія збільшувала здатність людини впливати на світ.

Ми прагнули сили не тому, що людство завжди хотіло панувати.

Ми прагнули сили, тому що сила дозволяла виживати.

Захищати дітей.

Лікувати хвороби.

Будувати міста.

Передавати знання.

Досліджувати океани.

Досягати космосу.

Але сила має одну особливість.

Вона не лише вирішує проблеми.

Вона збільшує масштаб наслідків.

Сила сама по собі не робить людину мудрою. Вона лише робить її рішення важливішими.

Історія людської сили: від вогню до штучного інтелекту

Людство ніколи не отримувало всю силу одразу.

Воно отримувало її поступово.

І майже кожен етап створював не лише прогрес, а й новий ризик.

Епоха	Нова сила	Новий ризик
Вогонь	Контроль над природним процесом	Руйнування, зброя, неконтрольовані наслідки
Писемність	Збереження та передача знання	Контроль інформації, пропаганда, монополія на освіту
Друкарський верстат	Масове поширення ідей	Інформаційні конфлікти, ідеологічні війни
Ядерна енергія	Небачений масштаб енергії	Глобальне знищення
Інтернет	Планетарна комунікація	Дезінформація, залежність, фрагментація реальності
Штучний інтелект	Автоматизація мислення та рішень	Втрата контролю, концентрація влади, екзистенційний ризик
Суперінтелект	Системи, сильніші за людський розум	Наслідки, які людство може не встигнути зрозуміти або стримати

Ця таблиця показує одну важливу закономірність.

Кожна нова сила збільшує не лише можливості.

Вона збільшує відповідальність.

Проблема майже ніколи не полягає лише в самій технології.

Проблема полягає в тому, що моральність, культура та інститути часто змінюються повільніше за інструменти.

Можливо, найбільший розрив майбутнього — це розрив між швидкістю сили та швидкістю мудрості.

Чи розбещує абсолютна влада?

Фраза про те, що абсолютна влада розбещує абсолютно, стала однією з найвідоміших політичних ідей в історії.

Але можливо, влада не створює людські слабкості.

Можливо, вона лише прибирає обмеження, які ці слабкості стримували.

Людина з малою владою може здаватися доброю, бо її можливості обмежені.

Людина з величезною владою отримує шанс показати, ким вона була весь цей час.

Те саме може стосуватися цивілізацій.

Слабка цивілізація не може зруйнувати планету.

Надпотужна цивілізація може.

Слабка цивілізація не може створити суперінтелект.

Надпотужна цивілізація може.

Слабка цивілізація не може радикально змінити людську природу.

Надпотужна цивілізація може.

Найнебезпечнішою технологією майбутнього може виявитися не машина. А людина з необмеженою силою і обмеженою мудрістю.

Що таке технологічна сингулярність?

Технологічна сингулярність — це гіпотетичний момент, коли розвиток технологій, особливо штучного інтелекту, починає прискорюватися настільки швидко, що людство більше не здатне повністю передбачати наслідки власних винаходів.

Сьогодні нові технології створюють люди.

Після сингулярності технології можуть почати створювати технології.

Штучний інтелект може розробляти кращі версії самого себе.

Кращі версії можуть створювати ще кращі.

І цей цикл може повторюватися дедалі швидше.

Тоді прогрес перестане бути лінійним.

Він стане вибуховим.

Сингулярність небезпечна не тому, що вона створює надінтелект. Вона небезпечна тим, що може створити силу швидше, ніж людство навчиться бути відповідальним.

Що таке AGI?

AGI означає Artificial General Intelligence — штучний загальний інтелект.

На відміну від сучасного AI, який зазвичай спеціалізується на конкретних завданнях, AGI повинен бути здатним виконувати практично будь-яку інтелектуальну діяльність, доступну людині.

Навчатися.

Адаптуватися.

Планувати.

Створювати нові ідеї.

Розуміти складні системи.

Переносити знання між різними сферами.

Для багатьох дослідників саме AGI є межею між сучасним AI та справжньою інтелектуальною революцією.

AGI може стати не просто новою технологією. Він може стати новим учасником історії цивілізації.

Що таке суперінтелект?

Суперінтелект — це інтелект, який значно перевищує людський у практично всіх когнітивних сферах.

Наука.

Стратегія.

Планування.

Інженерія.

Моделювання майбутнього.

Прийняття рішень.

Творчість.

Якщо AGI приблизно відповідає рівню людини, то суперінтелект може перевищувати людські можливості так само, як людський інтелект перевищує можливості інших видів.

Саме тут питання сили переходить у зовсім інший масштаб.

Людство ніколи раніше не співіснувало з розумом, сильнішим за власний. Саме тому суперінтелект є не лише технологічним питанням. Він є цивілізаційним питанням.

Що таке AI Alignment?

AI Alignment — це проблема узгодження цілей штучного інтелекту з людськими цінностями та інтересами.

На перший погляд проблема здається простою.

Достатньо сказати системі, що потрібно робити.

Але реальність набагато складніша.

Будь-яка потужна система оптимізує саме ту мету, яку їй поставили.

Не ту, яку ми мали на увазі.

Саме ту, яку ми сформулювали.

Якщо цілі визначені неправильно, навіть корисна система може створити небезпечні наслідки.

Саме тому проблема AI alignment стала одним із центральних питань сучасних досліджень штучного інтелекту.

Найнебезпечніший суперінтелект може бути не ворожим. Він може бути надзвичайно компетентним у виконанні неправильно поставленої задачі.

Чи може людство контролювати суперінтелект?

Це одне з найважливіших питань XXI століття.

Люди звикли контролювати власні інструменти.

Молоток.

Автомобіль.

Комп’ютер.

Але контроль над системою, яка може перевершувати людський інтелект, є принципово іншою проблемою.

Як контролювати систему, яка краще прогнозує майбутнє?

Яка швидше навчається?

Яка бачить більше взаємозв’язків?

Яка може вдосконалювати сама себе?

Можливо, питання контролю одного дня зміниться питанням співіснування.

Можливо, найбільшим викликом суперінтелекту стане не його сила. Можливо, ним стане наша впевненість, що ми завжди будемо сильнішими.

Що таке екзистенційний ризик?

Екзистенційний ризик — це ризик, здатний назавжди змінити або знищити потенціал людської цивілізації.

Йдеться не про локальні катастрофи.

А про події, які можуть вплинути на майбутнє всього виду.

Глобальна ядерна війна.

Неконтрольований суперінтелект.

Біотехнологічні катастрофи.

Планетарні екологічні зміни.

Саме тому питання сили більше не є лише політичним або технологічним питанням.

Воно стає питанням виживання цивілізації.

Чим більшою стає сила цивілізації, тим меншою стає ціна помилки, яку вона може собі дозволити.

Чи може штучний інтелект отримати занадто багато влади?

Історично людство завжди остерігалося концентрації влади.

Монархії.

Імперії.

Монополії.

Авторитарні режими.

Причина проста.

Чим більше влади зосереджується в одному місці, тим більшими стають наслідки помилок.

Штучний інтелект може створити нову форму концентрації сили.

Не політичної.

Не військової.

Інтелектуальної.

Система, яка контролює фінанси, логістику, енергетику, медицину, інформацію та інфраструктуру, може отримати вплив, який раніше був неможливим навіть для найбільших імперій.

Саме тому питання управління AI стає питанням глобального масштабу.

Найбільший ризик майбутнього може полягати не в тому, що AI стане злим. Можливо, він стане занадто важливим для того, щоб людство могло дозволити собі його втратити.

Що станеться, якщо люди отримають силу богів?

Протягом більшої частини історії сили природи були сильнішими за людину.

Смерть була неминучою.

Хвороби були неконтрольованими.

Клімат був непередбачуваним.

Час був незворотним.

Але майбутнє може змінити це співвідношення.

Генна інженерія може дозволити змінювати біологію.

Штучний інтелект може дозволити проєктувати інтелект.

Нанотехнології можуть змінити матеріальний світ.

Космічні технології можуть дозволити людству залишити Землю.

Тоді виникає питання, яке раніше належало лише міфології та релігії.

Що станеться, коли істоти з людськими слабкостями отримають майже божественні можливості?

Проблема сили майбутнього може бути не технічною. Вона може бути моральною.

Чому відповідальність повинна зростати швидше за силу?

Дитині не дають керувати літаком.

Не тому, що вона погана.

А тому, що рівень відповідальності повинен відповідати рівню можливостей.

Те саме може стосуватися цивілізацій.

Кожне збільшення сили повинно супроводжуватися збільшенням відповідальності.

Етики.

Прозорості.

Інститутів контролю.

Глобальної координації.

Якщо цього не відбудеться, ризики починають зростати швидше за переваги.

Майбутнє може вимагати не лише більш розумних машин. Воно може вимагати більш мудрих людей.

Чи існують межі сили?

Можливо, фізичні межі існують завжди.

Енергія не є нескінченною.

Швидкість світла залишається обмеженням.

Ентропія продовжує діяти.

Але навіть якщо фізичні межі залишаються, практичні можливості цивілізації можуть стати майже безмежними порівняно з сучасним світом.

Саме тому майбутнє може бути визначене не тим, що ми можемо зробити.

А тим, що ми вирішимо не робити.

Зрілість цивілізації може визначатися не масштабом її сили. А масштабом її самоконтролю.

Що говорить Eternity Management про необмежену силу?

Всесвіт Eternity Management постійно повертається до одного питання.

Що відбувається, коли цивілізації стають сильнішими за власну історичну мудрість?

Що відбувається, коли безсмертя стає можливим?

Коли знання перестає бути дефіцитом?

Коли майбутнє можна моделювати?

Коли сила перестає бути обмеженням?

Саме тоді питання відповідальності починає визначати виживання цивілізації.

Технології визначають можливості.

Сила визначає масштаб наслідків.

Відповідальність визначає майбутнє.

Ця стаття природно поєднується з іншими матеріалами Eternity Management:

Можливо, найбільше питання майбутнього звучить не так: “Що ми можемо зробити?” А так: “Що ми повинні робити, коли можемо майже все?”

Висновок: чи здатне людство пережити необмежену силу?

Людство вже пережило багато революцій.

Сільськогосподарську.

Промислову.

Інформаційну.

Можливо, попереду знаходиться ще одна.

Революція можливостей.

Необмежена сила сама по собі не є ні доброю, ні злою.

Вона лише збільшує масштаб наслідків людських рішень.

Саме тому майбутнє може залежати не від того, наскільки потужними стануть наші технології.

А від того, наскільки відповідальними залишаться їхні творці.

Можливо, цивілізації гинуть не тоді, коли стають занадто слабкими. Можливо, вони гинуть тоді, коли стають сильнішими, ніж їхня здатність керувати власною силою.

Поширені запитання

Що означає необмежена сила людства?

Це гіпотетичний стан, у якому технології дозволяють цивілізації радикально змінювати біологію, інтелект, тривалість життя та навколишній світ.

Що таке технологічна сингулярність?

Технологічна сингулярність — це момент, коли розвиток AI починає прискорюватися швидше, ніж людство здатне прогнозувати його наслідки.

Що таке AGI?

AGI або Artificial General Intelligence — це штучний загальний інтелект, здатний виконувати широкий спектр інтелектуальних завдань на рівні людини або вище.

Що таке суперінтелект?

Суперінтелект — це інтелект, який значно перевищує людські можливості практично у всіх когнітивних сферах.

Що таке AI Alignment?

AI Alignment — це проблема узгодження цілей штучного інтелекту з людськими цінностями та інтересами.

Чому сила без відповідальності є небезпечною?

Тому що сучасні технології можуть збільшувати масштаб помилок до рівня, який здатний вплинути на все людство.

Чи може суперінтелект стати екзистенційним ризиком?

Деякі дослідники вважають, що неконтрольований суперінтелект може стати одним із найбільших довгострокових ризиків для цивілізації.