Самостійний ІІ
Хоч це вже поганий тон — згадувати в першому абзаці минулорічний матч Alpha Go і людини, почнемо все ж з цього прикладу. Нас він цікавить тому, що це чи не перший адекватний випадок «самообучающегося ІІ». Є багато інших прикладів, але вони і сьогодні не вийшли з лабораторій і взагалі маловідомі широкій публіці. В основі самонавчання AlphaGo була багатогодинна практика ігор з самим собою плюс вивчення розіграних партій.
Це змагання людини і машини привернуло увагу всіх основних видань. Я, як завжди, гальмую і не встигла на цей шикарний мемо-поїзд сучасної журналістики. Але «протистояння століття» цікаво не тільки галасом навколо нього (мільйон доларів призових, нагородження почесним 9-м даном з гри го, науковий прорив року на думку Science) і виразним присмаком азимовской фантастики. Суть дійства коротко: ігрова машина AlphaGo домінувала і виграла 4 з 5 матчів в традиційній східній грі го. Виграла не у якогось першорозрядника, а у корейського го-професіонала 9 дана Чи Седоля (2 місце в міжнародному рейтингу). Фахівці заявляють, що цей випадок не схожий на шахове бій комп’ютера і Гаррі Каспарова, тому що в 1997 комп’ютер навчався під наглядом шахових гравців, які самі писали йому стратегії і тренували. Для навчання машини-гравця AlphaGo був використаний метод грубої сили (машина переглядала вибірку в сотні тисяч го партій) віддалено нагадує робочі наукові моделі, в народі відомі як GANs (generative adversarial networks). Вони-то і становлять особливий інтерес, тому що представники команди AlphaGo впритул зайнялися цими конкурентними нейронними мережами. Їх ми і розглянемо в цій статті.
Читайте також: Чому чатботы захоплюють світ + 25 прикладів для натхнення
Такий підхід до тренування штучного інтелекту вже давно не новина — генеративні конкуруючі мережі або просто GANs вперше з’явилися ще в 2014 з легкої руки Іена Гудфеллоу. Працюють GANs дуже просто — як зв’язки прокурор-адвокат, поганий-хороший поліцейський або критик-автор. Одна мережа (дискримінатор, D) класифікує, маркує вхідні дані як брехливі чи правдиві. Конкуруюча мережа (генератор, G) вивчає оцінки дискримінатора і може створювати нові дані на основі цих оцінок. Ці нейронні мережі взаємно навчають один одного. І, що найцікавіше, GANs потрібні зовсім невеликі вибірки навчальної інформації — потрібно всього кілька сотень зображень і три-чотири раунди повторів, щоб генератор почав виробляти свої варіанти оригінальних зображень (раніше процес навчання нейронних мереж вимагав багатьох годин і мільйонних вибірок).
Одним з найбільш зацікавлених у GAN моделях ІІ виявився «Фейсбук», який навіть поспішив опублікувати пост про це. Чому «Фейсбук»? Тому що це самий публічний гравець на ринку високих технологій — і Google, Amazon, Microsoft масово скуповують команди і стартапи з штучного інтелекту, щоб робити свої розробки. Але вони трохи відстають від «Фейсбуку», у якого в розпорядженні гігантська навчальна вибірка для тренування ШІ на зображеннях (computer vision — один з найпопулярніших методів навчання ІІ) і відмінна команда FAIR (Facebook Artificial Intelligence Research group).
Резюме: мережа-дискримінатор вчиться розрізняти справжні фото від згенерованих комп’ютером, а мережа-генератор тренується створювати реалістичні фотографії не відрізнити від оригіналу. У цієї навчальної гонці обидві мережі мають рівні (?) шанси на успіх. Що буде, коли вони завершать своє навчання?
Читайте також: Екзистенціальні ризики і неконтрольована цифрова еволюція
Трендопад
В останні роки машинне навчання просто переживає золоте століття — зростання потужності комп’ютерів, миттєвий доступ до великих масивів даних роблять цю галузь дуже гарячою. Сьогодні ШІ – це автомобіль Форда на початку минулого століття або космічні супутники в 60-х — загальний ажіотаж, запаморочливі прогнози і слабке розуміння, що з усім цим багатством робити. Нижче приклади останніх гучних технологій у сфері ІІ.
Навчання на льоту (one-shot learning) — навчання нейронних мереж на малій кількості даних, в ідеалі з допомогою одного прикладу і невеликої вибірки для тренування. Все більше стартапів працюють над швидко навчаються ІІ.
Так, ігровий алгоритм DeepStack не повторив долю Alpha Go, але впритул наблизився до успішного навчання на малих вибірках. В кінці 2016 DeepStack провів серію навчальних ігор в техаський покер з 11 гравцями з міжнародної організації покеру. Алгоритмом потрібно розіграти 3000 комбінацій з кожним гравцем, щоб показати пристойні результати — упевнені (середні 396 пунктів) перемоги над десятьма гравцями і близька перемога над одинадцятим (70 пунктів, статпохибка). Алгоритм не просто навчався в процесі ігор, а використовував методику re-solving (адаптацію до кожного нового гравця і кожної нової комбінації карт). DeepStack це результат спільного використання глибоких рекурсивний нейромереж і GANs.
Проект нейронних мереж від Microsoft ResNet використовується для розпізнавання зображень. Якщо зберегти роботу нейромережі під час сортування та розпізнавання зображень, то виходять ось такі знімки:
Перспективний напрям в криміналістиці і фотографії, Face Aging With GANs — пара дискримінатор-генератор після тренування на 5000 фотографій людських осіб різного віку може відтворювати, передбачати зміни осіб з віком. Якщо генератор відтворює пристаріле особа, то дискримінатор визначає наскільки результат відповідає оригіналу.
Король трейдерів Goldman Sachs замінив частину своїх трейдерів на алгоритми. Місце 600 рядових трейдерів тепер зайняли 200 розробників-інженерів, які підтримують торговельні алгоритми. Це пов’язано з великим (146 пунктів) планом керівництва банку щодо автоматизації простих брокерських операцій. Трейдерів з великим досвідом і досвідчених продавців це поки що не торкнеться.
Хоча в деяких хеджевих фондах (Sentient Technologies inc., Numerai, Emma hedge fund) алгоритми-трейдери на основі ІЇ вже виконують всю роботу з аналітики та прогнозування результатів. Зазвичай фахівці з ІЇ не в захваті від роботи на фінансові корпорації, але переваги від великих масиви даних і можливостей для тренування ІІ переважують скептицизм і небажання працювати на капіталістичних Молохов. 2016 рік став роком народження відразу декількох хеджевих фондів, в яких торгує штучний інтелект.
Китайський близнюк «Гугла» Baidu теж не дрімає. Більшість китайських розробок у сфері ШІ, машинного навчання розповсюджуються безкоштовно і будь-який бажаючий може їх тестувати, вивчати. У січні 2017 в Пекіні відкрилася лабораторія штучної реальності, де Ендрю Ин хоче подружити віртуальну реальність і роботу пошукових машин.
Ще одна багатообіцяюча розробка Baidu — медичний бот Melody, який здатний вести первинний опитування пацієнта і погрожує замінити
собою цілий відділ реєстрації в поліклініках.
Читайте також: Боти з того світла: як нейромережі зроблять тебе безсмертним
Демократизація ІІ – сьогодні дослідникам потрібні великі обсяги інформації і обчислювальні потужності, тому зараз конкурентоспроможні у сфері ШІ тільки великі компанії та наукові інститути. Як тільки з’являться моделі ШІ, здатні навчатися на невеликих масивах інформації, буде ще цікавіше, адже ще більше людей зможуть навчати, дослідити ІЇ. Можливо, з’являться соціальні мережі (вже), де люди зможуть ділитися прогресом у тренуванні своїх агентів ІІ.
Поширення отримають механізми для автоматичного визначення фейкових новин, фотографій, відео. Розвиток IBR (image-based rendering), технології, яка дозволяє домальовувати нові кадри на основі наявних (щось схоже на вже реалізовані inbetweening або motion interpolation методи), просто вимагає появи такого аналізатора фейків.
Ще один привіт з братського Китаю — розробка в сфері розпізнавання осіб (facial recognition) Face++, яка дозволяє розплачуватися своїм обличчям (важко підрахувати скільки шарів у цьому каламбурі). Тестування розробки проходить на базі системи мобільних платежів Alipay: тепер можна робити платежі надавши тільки своє обличчя.
У сфері розпізнавання і відтворення мови інтерес представляють відразу декілька випадків: презентація Adobe Voco (Voice Conversion) «Photoshop for voice» — програми для Adobe autdition, який маніпулює вихідним зразком аудіозаписи людської мови, додає нові слова і смисли в оригінальне повідомлення. Тепер чревовещание набуває нові смисли.
Хороший приклад як незалежний дослідник може вчити ІІ мов:
Програма вчить англійську:
Програма вчить японська:
А що буде якщо залишити ІІ без нагляду? Він буде самонавчання без зупинки і ставати все більш досконалим, наприклад, в музиці:
Алгоритмічний мэшап або штучний Стравінський
Читайте також: Роботи-маркетологи: як нейромережі змінять світ інтернет-маркетингу
Замість висновків: коли я чую, що молоді люди зі ступенем МВА роблять «ІІ стартапи», моя рука тягнеться до мишки. Якщо врахувати скільки безкоштовного софта і потужних комп’ютерів сьогодні доступні звичайним людям, моді на ШІ не варто дивуватися. Незважаючи на хайп навколо штучного інтелекту і машинного навчання, страхітливих прогнозів та дитячих витівок начебто Rocket AI, незважаючи на всі досягнення в цій сфері, ІІ складно назвати інтелектом у точному визначенні цього слова («люди, люди всюди» – всю роботу з розвитку та підтримки штучного інтелекту зараз виконують люди, ІІ навіть не може назвати самого себе, він тільки говорить, те, що вклали в нього вчені). Більшість сервісів, які працюють на основі штучного інтелекту все одно підтримуються розробниками, можна говорити лише про дуже малій частці автоматизації розумних машин. Поки що штучний інтелект всього лише повторює й відтворює або робочу навчальну інформацію – так, вражає уяву обчислювальними потужностями і швидкістю навчання, але на цьому все. Про щось схоже на людську вищу нервову діяльність говорити поки рано. «Та й не обов’язково», сказав би Ларрі Нівен*.
Update 02.23.17: Фейсбук випустив у відкритий доступ проект Prophet (Пророк), автоматичний інструмент для бізнес-прогнозів. Для своїх прогнозів Prophet використовує адитивні моделі непараметрового регресійного аналізу.
За мотивами подкасту з Іеном Гудфеллоу і Річардом Маллахом.
*«There exist minds think that as well as you do, but differently.» 15th Niven’s law*. –«Існують розуми, які мислять так само, як і ви. Тільки по-іншому.» 15 закон Нівена.
