Екзистенціальні ризики і неконтрольована цифрова еволюція

[Я не спеціаліст по ІІ. Обговорювана книга не пропонує жодних конкретних рішень, а скоріше належить до категорії #спекулятивна журналістика і наукова фантастика. Як часто буває в подібних випадках, дискусії, породжені книгою, набагато цікавіше і корисніше самої книги. Ця тема отримала більш широке поширення в англ. інтернеті. У рунеті запит @сверхинтеллект, @надрозум дає ~189 результатів в місяць (яндекс)]

I. Апокаліпсис завтра

У своїй книзі Сверхинтеллект: Можливості, Ризики, Стратегії Нік Бостром малює песимістичний сценарій розвитку штучного інтелекту: як тільки з’явиться ІІ рівний людському інтелекту, сверхинтеллект буде одним з перших його винаходів. А далі «скрипаль не потрібен», сверхразумные інформаційні системи можуть самонавчатися і відтворювати ще більш складні системи, контролювати виробництво і розповсюдження конкуруючих ІІ, віддаватися агресивної мальтузианской гонці з іншими розумними агентами на лоні Штучної Природи.

Екзистенціальні ризики від сусідства сверхразума і людини виростають в рази. Нік Бостром попереджає, що сверхинтеллект здатний навчатися швидше і ефективніше за своїх творців і, якщо не прищепити йому людські цінності, то все може закінчитися плачевно, т. к. сверхинтеллект зможе не тільки регулювати подальше виробництво розумних машин, він буде успішно перешкоджати спробам людей скорегувати його роботу або перешкодити йому.

Автобіографічний відступ: Нік Бостром в середовищі вчених і філософів відомий як любитель жахів — він очолює інститут, який займається пошуком і публікацією екзистенціальних ризиків, робота у нього така. Деякі колеги навіть називають його Дональдом Трампом від ШІ, Нік Бостром ображається, але швидко прощає. Суворий світ наукових дискусій. Кінець автобіографічного відступу.

II. Що думають фахівці?

Вже зараз ШІ володіє обмеженою раціональністю» — може обирати оптимальні стратегії для досягнення результатів. Що буде, якщо він навчиться змінювати їх та змінювати ієрархії своїх цілей?

В якості основного аргументу на підтримку своїх побоювань Бостром призводить прагнення до оптимізації. Якщо сверхинтеллекту потрібно буде вирішити теорема Рімана і для цього йому потрібно буде перетворити половину живих істот в обчислювальні машини, то він це зробить не вагаючись, стверджує Бостром. Якщо сверхинтеллекту потрібно буде вилікувати рак, то він це зробить, навіть якщо для цього знадобиться знищити всіх людей не хворих на рак. Автор ставить проблему контролю сверхинтеллекта на перше місце в розробці ІІ. Серед вчених такий сценарій отримав назву парадигми Вченого в 2000-х. А останні успіхи в машинному навчанні привернули увагу до цього питання навіть техно-олігархів і бізнесменів, які забили тривогу і відверто висловлюють побоювання з приводу розвитку ІІ.

Рамез Naam сумнівається, що думки Б. Гейтса, В. Маска («сверхинтеллект це нова атомна бомба»), С. Хокінга про ризики ШІ мають який-небудь вагу. «#спервадобейся. Жоден з них не працював у цій сфері.» Він наводить думки видатних фахівців з ІІ/машинного навчання:

• Майкл Літман, професор університету Браун і колишній співробітник Асоціації ІІ: «Такі страхи просто нереалістичні. ІЇ не може просто так взяти, прокинутися і влаштувати апокаліпсис.»
• Ян ЛеКун, спеціаліст по нейронних мереж у Фейсбуці: «Деякі люди вважають, що ШІ одного разу зможе програмувати сам себе. Зазвичай такі припущення висловлюють не фахівці.»
• Ендрю Ин, фахівець з машинного навчання в Курсера/Гугл/Байду: «Так, комп’ютери стають розумнішими. Але це тільки розум, а не розум і самосвідомість, і більшість спеціалістів вважають, що таким способом можна створити свідомий ІІ. Хвилюватися про небезпеки сверхинтеллекта все одно, що переживати через перенаселення Марса.»
• Інші, не менш серйозні фахівці вважають інакше:
• Річард Саттон, професор комп’ютерних наук в університеті Альберта, у своїй промові на конференції з безпечного ІІ сказав, що: «існує певна ймовірність появи ІІ рівня людини» і тоді «ми будемо змушені співпрацювати з ним», а «з розумного раба ШІ може стати розумним суперником.»
• Юрген Шмідхубер, професор ІІ в університеті Лугано і колишній професор когнітивістики роботів в мюнхенському університеті, стверджує, що: «якщо темпи розвитку науки збережуться на рівні колишніх, то в найближчі десятиліття можна очікувати справжній прорив у застосуванні ІІ.» На реддите він зауважив, що: «На перший погляд, рекурсивне самоулучшение в машинах Геделя може допомогти в розвитку сверхинтеллекта. Гедель-машини можуть відбирати і виробляти ті зміни в своєму коді, які принесуть ймовірно позитивний результат відповідно до початкового набору можливостей. Тобто ми можемо задати початкові «правильні» установки і машина буде розвивати їх сама. Інші дослідники можуть задати своїм машинам інший набір параметрів. І почнеться машинна гонка еволюцій.Неможливо передбачити, хто переможе в цій гонці і що це принесе нам. Більше про це.»
• Мюррей Шенехэн, професор комп’ютерних наук в Кембриджі, в своїй книзі «Технологічна сингулярність» пише, що: «Від створення ІІ рівня людини (теоретично можлива, але дуже складне завдання) до створення сверхинтеллекта може пройти зовсім небагато часу і цей прорив можна порівняти з точкою сингулярності, де події розвиватимуться швидше, ніж ми припускаємо. Сверхинтеллект перевершує людські можливості буде пов’язаний з підвищеними екзистенційними ризиками і підвищеними вигодами.»

Не потребує представлення, Алан Тюрінг у роботі «Здатна цифрова машина мислити?» пише: «Припустимо, що нам вдасться створити мислячі машини. Це справить резонанс і зустріне опір з боку інтелектуалів і вчених, які будуть хвилюватися за своє становище і роботу. І не даремно. Тому, що при досягненні машинами рівня людського мислення, людям доведеться дуже постаратися, щоб не відстати від машин у розумній діяльності. Також видається цілком імовірним здатність розумної машини створювати свою подобу або ще більш розумну машину. Таким, чином, можна очікувати, що одного разу розумні машину можуть взяти під контроль розумне людство.»

III. Чому штучний інтелект?

Тому що людський мозок-це найбільш близький аналог того, що відбувається в машинному навчанні: інформаційні системи, які піддаються машинному навчання називаються нейронні мережі, що складаються з окремих шарів, кожен з яких відповідає за обробку певної інформації. Якщо шари нижніх рівнів можуть приймати інформацію, то шари верхніх рівнів здатні її обробляти, передавати і використовувати для власної тренування. Дуже схоже на самонавчальну машину в людській голові.

Нейронні мережі вже здатні розрізняти людську мову і обличчя краще людини. Це не так безневинно, як здається на перший погляд. Нас дивує перемога комп’ютера над людиною в шахах або го, хоча у людини немає спеціальних ділянок кори головного мозку для розв’язання шахових задач. Але розпізнавання і категоризація осіб це вже особлива зона кори, яка розвивалася еволюційно, і відповідає за виживання. І в цій області ІІ краще людини вже сьогодні.

Так, ІІ здатний абстрактно і категорично осмислювати навчальну інформацію: розрізняти зображення білих собак, чорних собак, спанієлів, такс, цуценяток, дорослих собак і відносити все це до класу «собаки.» ІЇ може створювати і маркувати порнографічні мотиви в зображеннях. (Обережно: справжня цифрова порнографія з точки зору ІЇ). Ці можливості ІЇ (категоризація/генералізація/класифікація) говорять про найпростішої розумної діяльності інформаційної системи.

Що далі?

IV. Порівняйте два підходи:

1. Механістичний: класифікація/категоризація це безумовно один з ознак розумного агента. Але тільки один. Це корисний і чудовий ознака, але не основний. Для цього інтелекту потрібно щось більше, ніж уміння клацати задачки — бажання ці задачки клацати. Розрізняти зображення собак і називати це собакою це круто, суперечці немає. Справжньому ІІ повинно бути властиве в першу чергу бажання, мотиваційний драйв розв’язувати задачі й доводити теореми. І створення розумної бажає інформаційної системи це щось більше, ніж вміння швидко і ефективно вирішувати навіть дуже складні завдання за вказівкою інженера цієї системи. А бажання розумною бажаючої машини можуть відрізнятися від цілей людини-творця. Цей підхід симпатичний Ніку Бострому.

2. Біологічний (обережно: грубе спрощення): велика частина головного мозку складається з одних і тих же або злегка розрізняються клітин, які розвинулися в ході еволюції. Якщо ми зможемо зрозуміти, як працює одна ділянка мозок, то зрозуміти як працюють інші ділянки буде набагато простіше. Мотиваційні процеси людської розумної діяльності проходять в тих же або близьких ділянках кори головного мозку, що і сприйняття/категоризація/класифікація інформації. Якщо вчені вважають, що інформаційні системи для сприйняття-категоризації, класифікації можна відтворити на прикладі людського мозку, то для відтворення мотиваційних розумних систем ученим буде досить трохи змінити наявні зразки нейромереж для категоризації/класифікації. Такі системи не будуть схожі на тотально мотивовані і сфокусовані на цілі прототипи (людський мозок теж мало схожий на такі системи). Швидше за все вийде купа мала з різнобічних перцепций, бажань і мотивацій, як це зазвичай трапляється в людських головах. Такий підхід ставить під сумнів тотальну владу людини-творця над ШІ, адже запрограмовані мотиви/цілі у машини не можуть виникнути або будуть значно змінені.

Біологічне відступ. Еволюційну історію біологічного підходу важко простежити і підтвердити з великою точністю. Поділ між когнітивними центрами сприйняття/обробки сенсорної інформації (префронтальный кортекс) і центрами пам’яті/емоцій/поведінки (гіпоталамус і гіппокамп) відбулося на ранніх етапах розвитку хребетних або ще раніше. Тим не менше, ці різні системи зберегли зв’язки і втручаються у функціонал один одного. Одні частини кортекса зав’язані на гіпоталамус і належать лімбічної системі. Інші частини таламуса (мозку ящірки, лімбічної системи) беруть участь в обробці інформації (colliculi).

Складається враження, що ділянки мозку, відповідальні за сенсорне сприйняття і мотиваційно-емоційні зони присутні в різних частинах кори. Більш того, префронтальный кортекс, який вважається колискою людської особистості (вища когнітивна діяльність, оцінки, планування тощо), ймовірно розвинувся з кортекса перших риб, з єдиного мозку цих риб. Який, у свою чергу, стався з тих кількох сотень нейронів, які відповідають за сприйняття та обробки сенсорної інформації у перших черв’яків. Кінець біологічного відступу.

Ні анатомія, ні еволюція не передбачають суто автономного поділу між сприйняттям, обробкою і мотивацією розумної діяльності. Одні і ті ж системи можуть сприймати інформацію в одному місці, і, з невеликими змінами, обробляти її і мотивувати подальшу діяльність вже на інших ділянках мозку. Все одне. Ризикуючи зануритися в метафізику і містику, а скажемо тільки що когнітивні спотворення (обробка інформації) і візуальні ілюзії (перцепції) мають більше спільного, ніж вважалося раніше (ще одне спрощення: ці спотворення відбуваються в технічно ідентичних областях, поля Бродмана).

V. Про походження видів

Категоризація / класифікація це основа навчання моралі. Можливо це і є мораль. Візьмемо, наприклад, ментальні категорії: всі знають, що таке птах, але з точним визначенням «птахи» трохи складніше (лелека це птах, пінгвін це дивна птиця, археоптерикс… підлозі-птиця?).

Всі пам’ятають, як виникають ці категорії. Трохи навчання, мати показує дитині на курку і каже «птах», через пару років дитина дізнається, що летюча миша «птах» і ось ваш мозок вільно оперує категоріями/класами і складними абстракціями, а через ще через пару тисяч років Дарвін приходить і каже, що є такий клас хребетних «птахи», що дуже добре, але ви і без нього це знали.

Люди навчаються етики і моралі схожим чином. Коли ми кусаємо когось, мати/батько/вчитель/рабин/священик/шаман кажуть нам, що це «погано», коли ми ділимося тістечком, нам говорять, що це «добре». На основі роботи з такими прикладами інформаційна система оперує категоріями і класами навіть якщо не може дати точні визначення цих категорій і класів.

Штучний інтелект може виробити свою штучну мораль на основі тих даних, які йому надають вчені. Мораль виникає під час тренування на ІІ навчальної інформації. Бостром ж вважає, що мораль / етика ШІ це окремий модуль або масив навчальної інформації.

Звичайний бостромовский контраргумент — імовірність того, що покупець зробить неправильні висновки з тренувальної інформації і виробить небезпечну для людей систему цінностей. Наприклад, ИИ може вирішити, що всі речі, які роблять людину щасливою — хороші. І почне оптимізувати по максимуму — стане робити людині ін’єкції героїну весь час, щоб людина залишався щасливим.

Не знаю чому, але людська оцінка вчинків не працює так прямолінійно, і в рідкісних випадках доводить якусь ідею до критичної маси. Може це із-за особливостей класифікації/категоризації або в кінцевому вирішенні беруть участь сторонні фактори, а не тільки дихотомія добре-погано. Це може стати цікавим завданням для розробників ІІ — визначити, що саме змушує інформаційні системи класифікувати інформацію подібно до людини*.

Взагалі складно уявити, що у людини є конкретний моральний ген, моральний ділянка кори головного мозку, якесь моральне пристосування. І навряд чи етика і мораль це біологічні, еволюційні конструкти, нейробіологічні механізми — швидше за все етика і мораль це необхідні умови просоціальної поведінки. Етика схожа на дах будинку, яка природно виростає внаслідок правильної роботи нижчих відділів, навчати штучний інтелект етики і моралі неможливо у відриві від звичайного навчання (якщо ми говоримо про ІЇ на основі нейронних мереж, які повторюють структури головного мозку).

Мотиваційна сфера людини працює на дофаминах і системи винагороди. Залишається сподіватися, що близьку людської здатність класифікації можна реалізувати в моделях ІІ. Люди можуть бажати сексу без прагнення запліднювати все живе і неживе поки планета не вибухне. ІЇ на основі людської моделі сприйняття і класифікації даних, буде хотіти вирішувати завдання без маніакального бажання підпорядкувати всі інші цілі цьому бажанню. Далеко не завжди і не всі люди є бездумними оптимізаторами: людям властиво ієрархічне цілепокладання, всі розуміють, що бути моральним вигідне в довгостроковій перспективі. Значить і сверхинтеллект, найімовірніше, не стане фатальною для людства оптимізатором-термінатором.

Найпоширеніше припущення (яке підтримує Нік Бостром): штучний інтелект буде втіленням чистої логіки, геть позбавленим подібності емоцій/сумнівів/коливань, а нам доведеться стримувати цього математичного голема**. Якщо згадати такі приклади з людської вибірки, то ці побоювання стають трохи перебільшеними — більшість людей, у яких знижена емпатія, у яких погано з етикою і мораллю, демонструють асоціальну поведінку, їм складно навчатися, адаптуватися, просто тому, що їм складно розуміти інших людей (аутисти, люди з шизоїдними розладами), навіть якщо вони можуть отримувати коріння з п’ятизначних чисел. Таким людям важко не те, що спланувати вбивство комара, вони важко переносять відчуття нового взуття на своїх ногах, про яке захоплення світу тоді говорити? Тут вже явна зв’язок з процесами ментализации, що говорить про невіддільності інтелекту від етики. Мені здається, що інший сценарій, де ШІ буде мислити не одними математичними формулами/програмним кодом, теж можливий. Це буде набагато складніше і не так страшно, як припускає Бостром. І тоді людям знадобляться інші стратегії для співіснування з ІІ.

*З 4 березня 2016 року діє програма Інституту Машинного Навчання MIRI «value alignment for advanced machine learning systems» (цілепокладання для складних систем машинного навчання). Завданням цієї програми є створення «інфра-людського ІІ», інформаційних систем з обмеженою автономністю.

**Формальна логіка, фахівцем з якої є Нік Бостром, не завжди адекватно описує реальність (або не прагне). Так що ці побоювання дещо перебільшені та логіко-математичний термінатор може виявитися не таким небезпечним, як бачиться Бострому.

Про автора рецензованої книги: шведський філософ Нік Бостром, автор понад 200 публікацій з глобальним ризикам, консеквенциализму, антропному принципом, наукової етики. Директор Інституту майбутнього людства, професор Оксфордського університету. Володар вчених ступенів з математичної логіки, фізики, обчислювальної нейробіології, філософії.

Оригінал: Bostromian paradigm and recent AI progress