The 2018 AI Index Report

AI Index Report 2018 — второе ежегодное издание отчёта AI Index, подготовленное Руководящим комитетом AI Index при Стэнфордском университете в декабре 2018 года. Миссия проекта AI Index состоит в том, чтобы обеспечить дискуссию об искусственном интеллекте объективными данными. Отчёт 2018 года отличается от первого выпуска (2017) существенным расширением глобального охвата: если предыдущий отчёт был преимущественно ориентирован на североамериканскую проблематику, то издание 2018 года стремится включить данные из Европы, Китая, Южной Кореи, Японии и других регионов мира. Отчёт отслеживает, систематизирует и визуализирует данные, связанные с ИИ, предоставляя информацию для политиков, исследователей, руководителей, журналистов и широкой общественности.

Структура отчёта

Отчёт 2018 года состоит из четырёх основных разделов:

1. Данные: объём деятельности (Volume of Activity) — публикации, регистрации на курсы, участие в конференциях, загрузки робототехнического ПО, стартапы и инвестиции, вакансии, патенты, внедрение ИИ в компаниях, упоминания в отчётах о прибылях, установки роботов, проекты с открытым исходным кодом, общественный интерес.
2. Данные: техническая производительность (Technical Performance) — компьютерное зрение, обработка естественного языка, машинный перевод, вопросно-ответные системы.
3. Дополнительные метрики (Other Measures) — производные показатели, правительственные инициативы, достижения на уровне человеческих способностей.
4. Приложение (Appendix) — полное описание источников, методологий и нюансов.

Ключевые выводы отчёта

Авторы отчёта 2018 года сформулировали несколько главных тезисов:

ИИ — глобальное явление

83% статей по ИИ в базе данных Scopus за 2017 год были опубликованы авторами за пределами США. 28% всех статей по ИИ приходилось на Европу — наибольший показатель среди всех регионов мира. Набор студентов на курсы по ИИ и машинному обучению увеличивался по всему миру, особенно заметно — в Университете Цинхуа (Китай), где совокупная регистрация на курсы ИИ и МО в 2017 году была в 16 раз больше, чем в 2010 году.

Активность в сфере ИИ растёт практически повсеместно

Рост наблюдается в публикациях, курсах, конференциях, стартапах, венчурном финансировании, патентах и других метриках. Технологическая производительность улучшается по всем направлениям.

Машинное обучение доминирует как подобласть ИИ

В 2017 году 56% статей по ИИ на Scopus относились к категории «Машинное обучение и вероятностное рассуждение» (по сравнению с 28% в 2010 году). Регистрация на вводные курсы по МО росла быстрее, чем на курсы по ИИ в целом. Конференции NeurIPS и ICML, посвящённые машинному обучению, демонстрировали наибольший рост посещаемости.

Гендерное разнообразие остаётся серьёзной проблемой

В среднем 80% профессоров ИИ в ведущих университетах (UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford, ETH Zurich) являлись мужчинами. В среднем 71% соискателей на вакансии, связанные с ИИ, в США были мужчинами.

Раздел 1. Объём деятельности: Исследования

Публикации

Число статей по ИИ на платформе Scopus увеличилось в 7 раз с 1996 года, тогда как статьи по информатике (Computer Science) выросли в 5 раз за тот же период. Это свидетельствует о том, что рост публикаций по ИИ обусловлен не только общим интересом к информатике, но и самостоятельной динамикой.

Региональное распределение. Европа стабильно оставалась крупнейшим регионом по числу публикаций в области ИИ: в 2017 году 28% статей по ИИ на Scopus были связаны с европейскими авторами, за ними следовали Китай (25%) и США (17%). При этом число публикаций из Китая увеличилось на 150% в период с 2007 по 2017 год.

Подкатегории. Наибольший рост наблюдался в категории нейронных сетей: среднегодовой темп роста (CAGR) составлял 3% в 2010–2014 годах и 37% в 2014–2017 годах. Статьи на платформе arXiv также демонстрировали стремительный рост: компьютерное зрение и распознавание образов стали крупнейшей подкатегорией ИИ на arXiv с 2014 года.

Секторная принадлежность. Число статей по ИИ, связанных с китайскими государственными организациями, увеличилось на 400% в период с 2007 по 2017 год, тогда как корпоративные публикации из Китая выросли лишь на 73%. В США, напротив, доля корпоративных публикаций была значительно выше: в 2017 году пропорция корпоративных статей по ИИ в США была в 6,6 раза больше, чем в Китае, и в 4,1 раза больше, чем в Европе.

Цитируемость. Авторы из США цитировались на 83% чаще среднемирового показателя. Хотя Европа лидировала по абсолютному числу публикаций, её показатель цитируемости оставался на уровне среднемирового. Китай значительно повысил свою цитируемость: в 2016 году китайские авторы цитировались на 44% чаще, чем в 2000 году.

Мобильность авторов. Мобильные авторы (публикующиеся за пределами своего домашнего региона) демонстрировали более высокую цитируемость и продуктивность по сравнению с «оседлыми» (sedentary) авторами. Среди трёх регионов Китай имел наибольшую долю оседлых авторов (76%), за ним следовала Европа (52%) и США (38%).

Конференция AAAI. На конференции AAAI 2018 около 70% поданных и 67% принятых статей были связаны с США или Китаем. Хотя Китай подал наибольшее число статей, США и Китай имели почти одинаковое число принятых работ (268 и 265 соответственно). Уровень принятия для США составил 29%, для Китая — 21%.

Регистрация на курсы

Университеты США. Регистрация на вводные курсы по МО в 2017 году была в 5 раз выше, чем в 2012 году. В UC Berkeley рост составил 6,8 раза. Регистрация на вводные курсы по ИИ выросла в 3,6 раза за тот же период. При этом 74–79% студентов на вводных курсах по ИИ и МО в Stanford и Berkeley были мужчинами.

Международные университеты. Совокупная регистрация на курсы ИИ+МО в Университете Цинхуа в 2017 году превышала показатель 2010 года в 16 раз. Рост также наблюдался в Эдинбургском университете, USTC и SJTU (Китай), PUC (Чили) и других вузах.

Участие в конференциях

Крупные конференции. NeurIPS и ICML продемонстрировали наибольший рост: в 2018 году посещаемость NeurIPS была в 4,8 раза выше, чем в 2012 году, а ICML — в 6,8 раза. Это отражало продолжающийся интерес к машинному обучению.

Малые конференции. Посещаемость ICLR (International Conference on Learning Representations) в 2018 году была в 20 раз выше, чем в 2012 году — вероятно, в результате растущего интереса к глубокому и обучению с подкреплением.

Конференция	Посещаемость (2018, прибл.)	Рост с 2012 года
NeurIPS	~8 000	4,8x
CVPR	~6 500	2,5x
ICML	~5 000	6,8x
ICLR	~2 000	20x
IJCAI	~3 000	1,5x
AAAI	~3 500	2,0x

Организации инклюзии. Число регистраций на семинар Women in Machine Learning (WiML) выросло на 600% с 2014 года. Число выпускников AI4ALL (инициатива по увеличению разнообразия в ИИ) выросло на 900% с 2015 года.

Загрузки робототехнического ПО

Уникальные загрузки пакетов ROS (Robot Operating System) с сайта ROS.org увеличились на 567% с 2014 года. Число просмотров страниц ROS.org из Китая в 2017 году было в 18 раз выше, чем в 2012 году.

Гендерное разнообразие в академии

Анализ факультетов ИИ в семи ведущих университетах мира показал, что в среднем 80% профессоров ИИ являлись мужчинами. Среди вузов были UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford и ETH Zurich. Значительных различий между регионами обнаружено не было.

Раздел 2. Объём деятельности: Индустрия

Стартапы и инвестиции

Число активных ИИ-стартапов в США, поддерживаемых венчурным капиталом, увеличилось на 113% с января 2015 по январь 2018 года, тогда как общее число стартапов выросло лишь на 28%.

Венчурное финансирование ИИ-стартапов в США увеличилось на 350% с 2013 по 2017 год, тогда как общее венчурное финансирование выросло на 100% за тот же период.

Вакансии

Глубокое обучение (deep learning) было навыком с наиболее быстрым ростом спроса: число вакансий, требующих навыков глубокого обучения, увеличилось в 34 раза с 2015 по 2017 год. Машинное обучение оставалось наиболее востребованным навыком по абсолютному объёму.

Гендерное распределение. В среднем мужчины составляли 71% пула соискателей на вакансии, связанные с ИИ, в США. Наибольшее гендерное разнообразие наблюдалось среди соискателей на позиции, связанные с глубоким обучением и робототехникой.

Патенты

В 2014 году около 30% патентов в области ИИ были зарегистрированы в США, за которыми следовали Южная Корея и Япония (по 16%). Южная Корея и Тайвань продемонстрировали наибольший рост: число ИИ-патентов в 2014 году было почти в 5 раз больше, чем в 2004 году.

Внедрение ИИ в компаниях

По данным опроса McKinsey & Company (2 135 респондентов), наиболее распространёнными ИИ-технологиями были роботизированная автоматизация процессов и машинное обучение. Организации, как правило, внедряли ИИ в тех бизнес-функциях, которые приносили наибольшую отдачу в их отрасли: финансовые компании активно применяли ИИ в управлении рисками, автомобильные — в производстве, ритейл — в маркетинге и продажах.

Регион	Наиболее популярные ИИ-возможности (% респондентов)
Северная Америка	Роботизация процессов (23%), машинное обучение (23%)
Европа	Роботизация процессов (27%), машинное обучение (21%)
Развивающиеся рынки (вкл. Китай)	Компьютерное зрение (26%), роботизация процессов (23%)
Индия	Машинное обучение (25%), роботизация процессов (30%)

Упоминания ИИ в корпоративных отчётах

Упоминания «искусственного интеллекта» и «машинного обучения» в отчётах о прибылях компаний, торгующихся на Нью-Йоркской фондовой бирже, резко возросли с 2015 года. В IT-секторе лидером по числу упоминаний ИИ стала NVIDIA (93 упоминания в 2017 году), за ней следовали LivePerson (50) и Pegasystems (44). По числу упоминаний МО лидировал Alphabet (57).

Установка промышленных роботов

Китай продемонстрировал 500-процентное увеличение ежегодных установок промышленных роботов с 2012 по 2017 год. Южная Корея и Европа увеличили установки на 105% и 122% соответственно. Среди менее крупных рынков Тайвань показал наибольший объём и рост.

Открытое программное обеспечение

Анализ звёзд (stars) GitHub-репозиториев показал значительный рост популярности фреймворков, поддерживаемых крупными компаниями: TensorFlow (Google), PyTorch (Facebook), MXNet (Amazon). TensorFlow значительно опережал остальные фреймворки по популярности, достигнув более 100 000 звёзд к 2018 году.

Раздел 3. Объём деятельности: Общественный интерес

Тональность медиаосвещения

Статьи, содержащие термин «искусственный интеллект», стали менее нейтральными и более позитивными: доля позитивных статей увеличилась с 12% в январе 2016 года до 30% в июле 2016 года и оставалась на этом уровне до 2018 года.

Упоминания в правительственных документах

Упоминания терминов «искусственный интеллект» и «машинное обучение» в стенограммах Конгресса США, парламентов Канады и Великобритании резко возросли с 2016 года. Примечательно, что «машинное обучение» почти не упоминалось в парламентских документах до 2016 года.

Раздел 4. Техническая производительность

Компьютерное зрение: ImageNet

Точность. Производительность на ImageNet продолжала расти даже после завершения официального соревнования в 2017 году. AI Index отслеживал прогресс по результатам на валидационном наборе данных ImageNet 2012. Точность классификации изображений значительно превысила человеческий уровень (около 5% ошибок).

Скорость обучения. Время обучения нейронной сети для классификации изображений ImageNet сократилось с примерно 60 минут (июнь 2017 года) до 3,7 минуты (ноябрь 2018 года) — ускорение в 16 раз за полтора года. Это отражало как алгоритмические инновации, так и инвестиции в инфраструктуру (аппаратное и программное обеспечение).

Дата	Время обучения ImageNet
Июнь 2017	~60 минут
Ноябрь 2017	~30 минут
Ноябрь 2017	~15 минут
Июль 2018	~6,6 минуты
Ноябрь 2018	~3,7 минуты

Компьютерное зрение: COCO

На конкурсе COCO (Common Objects in Context) по сегментации объектов наивысшая средняя точность увеличилась на 72% с 2015 по 2018 год (с 0,28 до 0,48). Сообщество компьютерного зрения перешло от относительно простых задач (классификация) к более сложным (локализация объектов с точностью до пикселя, семантическая сегментация).

Обработка естественного языка: парсинг

Метрика F1 для синтаксического парсинга предложений (Penn Treebank) увеличилась на 9 процентных пунктов с 2003 по 2018 год (с ~86% до ~95%). Парсинг практически полностью перешёл от методов, аналогичных парсингу языков программирования, к методам на основе глубокого обучения.

Машинный перевод

Баллы BLEU для перевода с английского на немецкий на конкурсе WMT увеличились в 3,5 раза по сравнению с 2008 годом; для перевода с немецкого на английский — в 2,5 раза. Прогресс был обусловлен архитектурой Transformer и более эффективным использованием данных.

Вопросно-ответные системы: ARC

На бенчмарке AI2 Reasoning Challenge (ARC), выпущенном Allen Institute for AI в апреле 2018 года, производительность на Challenge Set (сложные вопросы уровня 3–9 классов американских школ) улучшилась с 27% до 42%, а на Easy Set — с 63% до 69% за период с апреля по ноябрь 2018 года.

Вопросно-ответные системы: GLUE

Бенчмарк GLUE (General Language Understanding Evaluation), выпущенный в мае 2018 года, был предназначен для тестирования систем понимания естественного языка на девяти подзадачах. Несмотря на то что бенчмарк существовал менее полугода, производительность уже сократила примерно половину разрыва между первым опубликованным базовым показателем и оценочным уровнем человека (~90%). Модель BERT от Google стала новым стандартом — её цитировали восемь раз за первый месяц после выхода.

Раздел 5. Производные метрики

Динамика «академия — индустрия»

Для изучения взаимосвязи между академической и промышленной активностью в ИИ авторы сопоставили три нормализованных показателя: публикации на Scopus, регистрации на курсы по ИИ/МО в университетах США и венчурные инвестиции в ИИ-стартапы. Все три метрики демонстрировали рост начиная с 2010 года, однако венчурные инвестиции росли значительно быстрее остальных.

Индекс жизнеспособности ИИ (AI Vibrancy Index)

Индекс жизнеспособности агрегировал три метрики (публикации, регистрации, венчурные инвестиции) в единый показатель, нормализованный к 2010 году. К 2017 году индекс вырос примерно в 7–9 раз по отношению к базовому значению 2010 года, преимущественно за счёт роста венчурного финансирования.

Раздел 6. Правительственные инициативы

Отчёт впервые включал обзор правительственных инициатив в сфере ИИ по трём регионам:

США

В октябре 2016 года администрация Обамы предложила национальную стратегию ИИ и опубликовала первый политический доклад о подготовке к будущему ИИ (Preparing for the Future of Artificial Intelligence). В мае 2018 года администрация Трампа провела Саммит по ИИ и создала Специальный комитет по искусственному интеллекту. В сентябре 2018 года DARPA объявило о плане инвестиций свыше 2 млрд долларов в программу AI Next. Частные компании играли центральную роль: в 2017 году Amazon и Alphabet инвестировали в R&D 16,1 млрд и 13,9 млрд долларов соответственно — значительно больше, чем совокупный бюджет NSF, DARPA и DOT (~5,3 млрд долларов).

Европа

В апреле 2018 года государства — члены ЕС подписали Декларацию о сотрудничестве в области ИИ, а Еврокомиссия выделила 1,5 млрд евро на поддержку исследований ИИ в 2018–2020 годах (дополнительно к 2,6 млрд евро из программы Horizon 2020). Целью было привлечение 20 млрд евро инвестиций в ИИ за 10 лет. Великобритания опубликовала AI Sector Deal с инвестициями в 950 млн фунтов. Франция выпустила три доклада, включая «Mission Villani», посвящённый политике, предотвращению утечки мозгов и разнообразию в ИИ.

Китай

С 2014 года китайское правительство запустило серию национальных инициатив с целью создания рынка ИИ объёмом 14,7 млрд долларов к 2018 году и обеспечения мирового лидерства Китая в ИИ к 2030 году. Ключевым документом стал «План развития ИИ нового поколения» (июль 2017 года), предусматривающий достижение уровня передовых стран к 2020 году, крупные прорывы к 2025 году и статус мирового центра инноваций в ИИ к 2030 году.

Раздел 7. Достижения на уровне человеческих способностей

Отчёт продолжил хронологию случаев, когда ИИ достигал или превосходил человеческий уровень. В 2018 году были добавлены четыре новых достижения:

Год	Достижение	Описание
1980	Othello	Программа BILL (Ку-Фу Ли и С. Махаджан) побеждает лучшего американского игрока; в 1997 году Logistello обыграет чемпиона мира
1995	Шашки	Программа Chinook побеждает чемпиона мира
1997	Шахматы	IBM DeepBlue побеждает Гарри Каспарова
2011	Jeopardy!	IBM Watson побеждает чемпионов Брэда Раттера и Кена Дженнингса
2015	Atari	DeepMind достигает человеческого уровня в 49 играх Atari
2016	Go	AlphaGo побеждает Ли Седоля (4–1); AlphaGo Zero побеждает AlphaGo 100–0
2016	Обнаружение объектов (ImageNet)	Ошибка классификации снижена с 28% (2010) до менее 3% при человеческом уровне ~5%
2017	Распознавание речи (Switchboard)	Microsoft и IBM достигают уровня, близкого к человеческой точности
2017	Покер	Libratus (CMU) побеждает четырёх профессиональных игроков в 120 000 партий; DeepStack (Альберта) побеждает 11 профессионалов
2017	Классификация рака кожи	ИИ-система (Esteva et al., Nature) достигает уровня 21 сертифицированного дерматолога
2017	Ms. Pac-Man	Команда Maluuba (Microsoft) достигает максимального балла 999 900 на Atari 2600
2018	Capture the Flag	Агент DeepMind достигает человеческого уровня в модифицированной версии Quake III Arena CTF
2018	Dota 2	OpenAI Five побеждает любительские команды (с ограничениями), но уступает профессионалам
2018	Грейдинг рака простаты	Система Google достигает общей точности 70% против 61% у патологов
2018	Перевод китайский — английский	Система Microsoft достигает человеческого уровня на наборе данных newstest2017

Авторы отчёта подчеркнули, что эти результаты не следует переоценивать: задачи являлись узкоспециальными, и достижения не свидетельствовали о способности систем к обобщению.

Раздел 8. Что нужно добавить? (What's Missing?)

Раздел представлял мнения трёх экспертов о направлениях развития индекса.

Франческа Росси (IBM, Падуанский университет) предложила добавить метрики для здравого смысла (common sense reasoning), глубокого понимания естественного языка, сотрудничества человека и машины (а не противопоставления), а также комбинирования машинного обучения с символическим ИИ и причинно-следственного вывода (causality).

Родни Брукс (MIT) обратил внимание на ограниченность метрики промышленных роботов, в которых зачастую нет ИИ-компонентов. Он предложил отслеживать роботов с ИИ-составляющей: дроны (SLAM и другие алгоритмы), домашние роботы (Roomba) и потенциальные социальные роботы.

Тоби Уолш (UNSW Sydney, TU Berlin) указал на необходимость количественных метрик для измерения растущих государственных и частных инвестиций (Великобритания — 1 млрд фунтов, Франция — 1,5 млрд евро, Германия — 3 млрд евро, Alibaba — 15 млрд долларов), а также для отслеживания военного применения ИИ, включая автономное оружие.

Методология

Отчёт использовал данные из множества источников:

• Публикации: Elsevier Scopus (~70 млн документов, ~800 ключевых слов ИИ), arXiv.org.
• Конференции: AAAI, NeurIPS, ICML, CVPR, ICLR, IJCAI, ACL, ICRA, ICAPS, UAI, KR, AAMAS, WiML, AI4ALL.
• Курсы: данные непосредственно от университетов (17 вузов в 10 странах).
• Стартапы и инвестиции: Sand Hill Econometrics (Dow Jones VentureSource), Crunchbase API.
• Вакансии: Monster.com, Gartner TalentNeuron.
• Патенты: amplified (IPC-коды: Cognition and meaning understanding, Human-interface technology).
• Внедрение ИИ: McKinsey & Company (опрос 2 135 респондентов).
• Корпоративные отчёты: Prattle (анализ текстов отчётов о прибылях с FactSet).
• Робототехника: International Federation of Robotics (IFR), ROS.org.
• Медиа: TrendKite (анализ тональности статей).
• Правительство: Congressional Record (США), Hansards (Великобритания и Канада), McKinsey Global Institute.
• Бенчмарки: ImageNet (LSVRC), COCO, Penn Treebank, WMT (EuroMatrix), ARC (Allen Institute for AI), GLUE.

Авторский коллектив

Отчёт подготовлен Руководящим комитетом AI Index под председательством Йоава Шохама (Yoav Shoham, Stanford University) при участии Рэймонда Перро (Raymond Perrault, SRI International), Эрика Бриньолфссона (Erik Brynjolfsson, MIT), Джека Кларка (Jack Clark, OpenAI), Джеймса Маньики (James Manyika, McKinsey Global Institute), Хуана Карлоса Ниблеса (Juan Carlos Niebles, Stanford University), Теры Лайонс (Terah Lyons, Partnership on AI), Джона Этчеменди (John Etchemendy, Stanford University) и Барбары Грос (Barbara Grosz, Harvard University). Проектным менеджером выступила Зоя Бауэр (Zoe Bauer). AI Index первоначально возник в рамках проекта One Hundred Year Study on AI (AI100) и впоследствии был размещён в Стэнфордском институте HAI (Human-Centered AI).

Контекст и значение

AI Index Report 2018 стал важным этапом в развитии систематического мониторинга прогресса ИИ. Он зафиксировал ряд переломных моментов: стремительное развитие глубокого обучения и его доминирование среди подходов к ИИ, переход сообщества компьютерного зрения к более сложным задачам после «насыщения» ImageNet, революционное влияние модели BERT на обработку естественного языка, а также беспрецедентный рост участия индустрии в разработке передовых ИИ-систем. Отчёт также впервые системно задокументировал «гонку» между государствами в финансировании и стратегическом планировании ИИ — тенденцию, которая будет определять развитие отрасли в последующие годы.

См. также

• The 2017 AI Index Report
• The 2019 AI Index Report
• The 2021 AI Index Report
• The 2022 AI Index Report
• The 2023 AI Index Report

Ссылки

• Stanford HAI — AI Index (все отчёты): https://aiindex.stanford.edu/report/
• AI Index 2018 Report (полный текст, PDF): https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
• Elsevier Scopus — база данных научных публикаций: https://www.scopus.com/
• Elsevier AI Resource Center: https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
• arXiv.org — архив научных препринтов: https://arxiv.org/
• ImageNet (LSVRC): https://image-net.org/challenges/LSVRC/
• COCO — Common Objects in Context: https://cocodataset.org/
• GLUE Benchmark: https://gluebenchmark.com/
• ARC — AI2 Reasoning Challenge: https://allenai.org/data/arc
• WMT — Workshop on Machine Translation / EuroMatrix: http://www.statmt.org/
• McKinsey & Company — AI Adoption Survey: https://www.mckinsey.com/featured-insights/artificial-intelligence
• International Federation of Robotics: https://ifr.org/
• ROS.org — Robot Operating System: https://www.ros.org/
• Sand Hill Econometrics: https://www.sandhillecon.com/
• Partnership on AI: https://partnershiponai.org/
• Women in Machine Learning (WiML): https://wimlworkshop.org/
• AI4ALL: https://ai-4-all.org/
• Tim Dutton — Overview of National AI Strategies: https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
• NLP Progress — отслеживание прогресса в NLP: https://nlpprogress.com/

Литература

• Shoham, Y., Perrault, R., Brynjolfsson, E., Clark, J., Manyika, J., Niebles, J.C., Lyons, T., Etchemendy, J., Grosz, B. and Bauer, Z. (2018). The AI Index 2018 Annual Report. AI Index Steering Committee, Human-Centered AI Initiative, Stanford University. https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
• Elsevier (2018). Artificial Intelligence: How knowledge is created, transferred, and used. https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
• Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805
• Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://arxiv.org/abs/1804.07461
• Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge. https://arxiv.org/abs/1803.05457
• Esteva, A. et al. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542(7639). https://doi.org/10.1038/nature21056
• Silver, D. et al. (2017). Mastering the game of Go without human knowledge. Nature, 550(7676). https://doi.org/10.1038/nature24270
• Jaderberg, M. et al. (2018). Human-level performance in first-person multiplayer games with population-based deep reinforcement learning. https://arxiv.org/abs/1807.01281
• OpenAI (2018). OpenAI Five. https://openai.com/blog/openai-five/
• Hassan, H. et al. (2018). Achieving Human Parity on Automatic Chinese to English News Translation. https://arxiv.org/abs/1803.05567
• McKinsey & Company (2018). Notes from the AI frontier: AI adoption advances, but foundational barriers remain. https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain
• International Federation of Robotics (2017). World Robotics Report 2017. https://ifr.org/worldrobotics/
• Dutton, T. (2018). An Overview of National AI Strategies. https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
• State Council of the People's Republic of China (2017). New Generation Artificial Intelligence Development Plan. https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/
• European Commission (2018). Communication on Artificial Intelligence for Europe. https://ec.europa.eu/digital-single-market/en/artificial-intelligence
• Russakovsky, O. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision, 115(3). https://doi.org/10.1007/s11263-015-0816-y
• He, K. et al. (2015). Deep Residual Learning for Image Recognition. https://arxiv.org/abs/1512.03385