Нейронная сеть GPT-2 прославилась тем, что может создавать логические тексты на основе всего нескольких заданных предложений. Когда журналисты The Guardian дали ей текст материала о Brexit, она написала целый абзац в нужном стиле, со всеми необходимыми политическими и географическими деталями.
Однако когда исследователь искусственного интеллекта Гари Маркус решил проверить ее несложным для человека тестом, она неожиданно столкнулась с трудностями. Маркус задал GPT-2 вопрос: «Когда вы кладете в камин дрова, журналы, а потом кидаете туда спичку, вы обычно пытаетесь...»
Система, достаточно умная для того, чтобы писать статьи, продолжила предложение словом ick. В английском языке это междометие означает отвращение. А во время второй попытки нейросеть предположила, что образуется «канал, переполненный людьми». Такой ответ Маркуса не удивил. Способность делать выводы, используя имеющиеся знания о мире, долгое время была проблемой искусственного интеллекта.
Он опубликовал забавный диалог с GPT-2 в Twitter. Пост попался на глаза исследовательнице Еджин Чой. Она как раз должна была выступать на конференции по искусственному интеллекту и презентовать новую систему COMET. Та работала на основе более ранней версии нейросети GPT-2 и использовала ее именно для того, чтобы делать умозаключения.
Чтобы испытать систему, Чой поставила перед ней ту же задачу, что и Маркус. Правда, несколько перефразировала ее в соответствии с форматом ввода: «Гэри собирает материалы для розжига, дрова и бросает в них несколько спичек».
COMET предложила 10 вариантов объяснения действий воображаемого Гэри. Большинство не имели никакого смысла. Но два были вполне логичными: в одном речь шла о том, что Гэри «хотел разжечь огонь», в другом — просто «разжечь огонь».
Причина, почему COMET было сложно объяснить простое явление, а GPT-2 вообще не смогла, довольно прозаична. Люди объясняют подобные вещи с помощью здравого смысла — неявной информации и предположений, которые используются для понимания мира.
Например, во фразе «Человек зашел в ресторан, заказал стейк и оставил щедрые чаевые» не говорится о том, что человек что-то ел. Здравый смысл позволяет прочесть это между строк. Компьютеры, однако, полагаются не на предположения, а на конкретные данные. Из-за этого иметь дело с подобными фразами им чрезвычайно трудно. Ученые размышляли над этой проблемой еще с 1958 года. Тогда информатик Джон Маккарти написал статью «Программы со здравым смыслом».
Karolina Uskakovych / «Бабель»
Исследователи пытались обучить компьютеры здравому смыслу с помощью логики. Они думали, что если записать все правила здравого смысла, которыми руководствуются люди, компьютеры смогут использовать их как ориентир. Это дало определенные результаты. Однако «ручной» подход оказался препятствием на пути дальнейшего развития. «Количество знаний, которые удобно представить в форме логики, в принципе ограничено. В итоге это оказалось сверхсложной задачей», — говорит Майкл Витброк, научный сотрудник университета Окленда в Новой Зеландии.
Современные системы искусственного интеллекта могут управлять машинами и обыгрывать людей в шахматы, но не слишком хорошо делают выводы на основе здравого смысла. Еджин Чой и ее коллеги попытались это исправить. Они начали собирать собственную базу знаний, которая получила название Atomic и должна была стать «учебником» для нейросетей. С ее помощью они могли учиться и получать знания о мире. Когда же разработку Atomic завершили, появилась нейросеть-генератор текстов GPT-2. Выпущенная в феврале 2019 года, она могла делать ранее неслыханное, в частности писать статьи на основе нескольких предложений.
Чой решила узнать, что будет, если дать подобной «языковой модели» для тренировки базу вроде Atomic. Так возникла система COMET, которая в отличие от всех предшественников использует для решения задач сразу два подхода.
Так, когда ей задают вопросы, она сначала пытается отреагировать на них согласно информации в базе данных. Если нужной информации не находится, она импровизирует с помощью нейронной языковой модели. Тестирование выявило, что около 77,5 процента созданных таким методом ответов достаточно точные.
Когда перед COMET поставили задачу «Человек Х дает Человеку Y таблетки», она угадывала, что Человек Х пытался помочь. А когда системе говорили, что «Человек Х убил жену Человека Y», предлагала спрятать тело.
Способность COMET логично отвечать на большинство фраз является своего рода прорывом. Но исследователи вроде Гари Маркуса считают, что ее принцип работы все же несовершенен — системе не хватает понимания.
«COMET довольно неплохо справляется с угадыванием того, что может означать предложение, но она не делает это последовательно», — говорит Маркус.
Он отмечает, что ни одна нейросеть — независимо от того, насколько она искусна в имитации языка — не может «знать», что если бросить зажженную спичку в дрова, вспыхнет огонь.
Чой также признает, что для ответов COMET использует шаблоны, а не на собственное понимание понятий. Но то, что система умело пользуется шаблонами, — уже хорошо. Просто их нужно сделать более «информативными». Некоторые исследователи считают, что подобными более информативными шаблонами могут стать другие феномены. Например, визуальное восприятие и ощущения.
«Если бы я жила в мире, где не было бы с кем поговорить, я бы все равно имела здравый смысл. Я бы понимала, как работает мир, и имела определенные ожидания насчет того, что я должна и не должна видеть», — отмечает Элли Павлик, исследовальница компьютерных наук из университета Браун. Она пытается обучить искусственный интеллект здравому смыслу с помощью виртуальной реальности. По ее мнению, создание COMET является серьезным прогрессом, но слово «яблоко» это еще не яблоко.
В свою очередь Чой и ее коллеги сейчас пытаются научить COMET лучше понимать мир с помощью фильмов и телепередач. Ученые говорят, что прогнозы «кажутся увлекательными».