The 2019 AI Index Report

Материал из Systems analysis wiki
Перейти к навигации Перейти к поиску

AI Index Report 2019 — второе полноформатное ежегодное издание отчёта AI Index, подготовленное Стэнфордским институтом искусственного интеллекта, ориентированного на человека (Stanford HAI)[1]. Отчёт 2019 года отслеживает втрое больше наборов данных по сравнению с изданием 2018 года и охватывает девять тематических глав: от исследований и разработок до национальных стратегий и глобальной динамики ИИ. Издание содержит обновлённые данные по всем аспектам искусственного интеллекта — техническим достижениям, экономике, образованию, общественному восприятию и социальным последствиям — и представляет два новых интерактивных инструмента: Global AI Vibrancy Tool (vibrancy.aiindex.org), позволяющий сравнивать страны по 34 индикаторам, и AI Index arXiv Monitor (arxiv.aiindex.org), обеспечивающий полнотекстовый поиск по препринтам в области ИИ. AI Index является независимой инициативой при Стэнфордском институте HAI, задуманной в рамках проекта «Столетнее исследование ИИ» (AI100)[1].

Контекст и цели

Миссия AI Index состоит в предоставлении объективных, тщательно проверенных данных о развитии искусственного интеллекта для политиков, исследователей, руководителей, журналистов и широкой общественности[1]. Отчёт 2019 года вышел в момент быстрого роста интереса к ИИ со стороны правительств, корпораций и общества, и стремился развеять распространённые мифы — в частности, представление о том, что развитие ИИ сводится к соперничеству между США и Китаем. Данные отчёта демонстрируют, что локальные центры передового опыта в области ИИ формируются по всему миру: Финляндия выделяется в образовании в сфере ИИ, Индия показывает высокое проникновение ИИ-навыков, Сингапур обладает хорошо организованной государственной поддержкой, а Израиль лидирует по частным инвестициям в ИИ-стартапы на душу населения[1].

Структура отчёта

Отчёт 2019 года состоит из девяти тематических глав[1]:

  1. Исследования и разработки (Research and Development) — библиометрические данные, публикации, патенты, гендерное разнообразие в исследованиях ИИ.
  2. Конференции (Conferences) — посещаемость, статистика статей AAAI, организации по разнообразию, этика на конференциях.
  3. Техническая производительность (Technical Performance) — бенчмарки по компьютерному зрению, обработке языка, рассуждениям, вычислительным мощностям.
  4. Экономика (The Economy) — рабочие места, инвестиции, корпоративное внедрение, роботизация.
  5. Образование (Education) — онлайн-обучение, университетские программы, PhD-специализации, отток преподавателей.
  6. Автономные системы (Autonomous Systems) — беспилотные автомобили, автономное вооружение.
  7. Общественное восприятие (Public Perception) — центральные банки, парламенты, корпоративные отчёты, медиа.
  8. Социальные аспекты (Societal Considerations) — этические принципы, ИИ и устойчивое развитие ООН.
  9. Национальные стратегии и глобальная динамика ИИ (National Strategies and Global AI Vibrancy) — национальные стратегии, инструмент сравнения стран.

Ключевые выводы отчёта

1. Рост объёма публикаций

За период с 1998 по 2018 год объём рецензируемых публикаций в области ИИ вырос более чем на 300%. К 2018 году статьи по ИИ составляли 3% журнальных публикаций и 9% конференционных статей в базе данных Scopus[2]. Китай к 2018 году сравнялся с Европой по количеству журнальных и конференционных публикаций по ИИ, обойдя США ещё в 2006 году. При этом индекс цитирования (FWCI) публикаций из США по-прежнему примерно на 50% превышал китайский[1].

2. Рекордная посещаемость конференций

Посещаемость крупнейших ИИ-конференций продолжала значительно расти. Конференция NeurIPS в 2019 году ожидала 13 500 участников — рост на 41% по сравнению с 2018 годом и более чем в 800% относительно 2012 года. Конференции AAAI и CVPR демонстрировали ежегодный прирост посещаемости около 30%[1].

3. Стремительный технический прогресс

Время обучения модели классификации изображений на облачной инфраструктуре сократилось с примерно трёх часов в октябре 2017 года до примерно 88 секунд в июле 2019 года; стоимость обучения упала аналогичным образом. На бенчмарках SuperGLUE и SQuAD 2.0 прогресс был особенно быстрым, однако на задачах, требующих рассуждений (например, AI2 Reasoning Challenge), и задачах обучения на уровне концепций (Omniglot Challenge) результаты оставались ниже[3][1].

4. Экспоненциальный рост вычислений

До 2012 года рост вычислений для ИИ соответствовал закону Мура — удвоение каждые два года. После 2012 года вычисления удваивались каждые 3,4 месяца, что привело к увеличению более чем в 300 000 раз за шесть лет[4].

5. Глобальный рост найма в сфере ИИ

Сингапур, Бразилия, Австралия, Канада и Индия показали самый быстрый рост найма в сфере ИИ за период 2015–2019 годов. В США доля вакансий, связанных с ИИ, выросла с 0,26% от общего числа вакансий в 2010 году до 1,32% в октябре 2019 года, причём наибольший спрос приходился на специалистов по машинному обучению (0,51%)[5][6].

6. Частные инвестиции превысили $70 млрд

В 2019 году глобальные частные инвестиции в ИИ превысили 70 млрд долларов, включая более 37 млрд инвестиций в стартапы, 34 млрд в сделки M&A, около 5 млрд в IPO и около 2 млрд в миноритарные доли. С 2010 по 2018 год финансирование ИИ-стартапов выросло с 1,3 млрд до 40,4 млрд долларов при среднегодовом росте свыше 48%. Автономные транспортные средства получили наибольшую долю инвестиций (7,7 млрд), за ними следовали фармацевтика и терапия рака (4,7 млрд) и распознавание лиц (4,7 млрд)[7].

7. Растущее внедрение ИИ в бизнесе

По данным опроса McKinsey & Company (2 360 респондентов), 58% крупных компаний использовали ИИ хотя бы в одной функции или бизнес-подразделении в 2019 году по сравнению с 47% в 2018 году. При этом лишь 19% организаций предпринимали шаги по снижению рисков, связанных с объяснимостью алгоритмов, и только 13% — по противодействию предвзятости и дискриминации[8].

8. ИИ — самая популярная специализация для PhD

ИИ стал наиболее популярной специализацией среди аспирантов по информатике в Северной Америке: в 2018 году более 21% выпускников PhD по вычислительным наукам специализировались в ИИ и машинном обучении. Доля выпускников PhD в области ИИ, уходящих в индустрию, выросла с 21% в 2004 году до более 60% в 2018 году[9].

9. Отток преподавателей ИИ из академии

Уход преподавателей ИИ из академии в индустрию ускорился: более 40 уходов в 2018 году по сравнению с 15 в 2012 году и нулём в 2004 году. Наибольшие потери понесли Университет Карнеги-Меллон, Вашингтонский университет и Калифорнийский университет в Беркли[10].

10. Рост внимания к этике ИИ

Справедливость, интерпретируемость и объяснимость были определены как наиболее часто упоминаемые этические вызовы в 59 документах с принципами этичного ИИ. Из более чем 3 600 мировых новостных статей об этике и ИИ (середина 2018 — середина 2019) доминирующими темами были рамочные принципы и руководства по этичному использованию ИИ (32%), конфиденциальность данных (14%), распознавание лиц (13%), алгоритмическая предвзятость (11%) и роль крупных технологических компаний (11%)[11].

Глава 1. Исследования и разработки

Глава анализирует тренды в публикациях по данным Elsevier Scopus, препринтам arXiv, Microsoft Academic Graph (MAG), а также патентную активность, популярность программных фреймворков на GitHub и гендерное разнообразие среди исследователей ИИ[1].

Публикации

Европа оставалась крупнейшим издателем статей по ИИ, достигнув более 27% публикаций в Scopus к 2018 году. Доля Китая выросла с 10% в 2000 году до 28% в 2018 году. В США относительно высокую долю составляли корпоративные публикации: в 2018 году число корпоративных ИИ-статей в США превышало китайские более чем в семь раз[2].

На arXiv общее число статей по ИИ за 2010–2019 годы увеличилось более чем в двадцать раз. Компьютерное зрение (CV) было крупнейшей подкатегорией с 2014 года, однако в 2019 году машинное обучение стало лидирующей категорией. Подкатегория «Computation & Language» выросла почти в шестьдесят раз с 2010 года[12].

Цитирование

Более 32% мировых цитирований журнальных статей по ИИ приходились на Восточную Азию, более 40% цитирований конференционных статей — на Северную Америку. В патентной сфере Северная Америка аккумулировала более 60% мировой цитационной активности по ИИ-патентам за 2014–2018 годы[13].

Патенты

Более 51% мировых ИИ-патентов относились к Северной Америке. США опубликовали втрое больше ИИ-патентов, чем следующая страна — Япония. Свыше 94% ИИ-патентов были поданы в странах с высоким уровнем дохода[13].

GitHub Stars

Заметным трендом стало доминирование фреймворков, поддерживаемых корпорациями: TensorFlow (Google) и PyTorch (Facebook). Некорпоративные фреймворки — scikit-learn и Caffe — продолжали расти, но с меньшей скоростью[1].

Гендерное разнообразие в исследованиях

Более 41% ИИ-статей из Нидерландов и более 39% из Дании имели хотя бы одного соавтора-женщину. В Японии и Сингапуре этот показатель составлял лишь 10% и 16% соответственно. Многие западноевропейские страны, а также Аргентина, Канада и Иран показывали относительно высокое присутствие женщин в ИИ-исследованиях[14].

Глава 2. Конференции

Посещаемость

NeurIPS в 2019 году ожидал 13 500 участников (рост на 800% с 2012 года). ICLR вырос в 15 раз по сравнению с 2014 годом. Семинар Women in Machine Learning (WiML) увеличил число участников в 738% по сравнению с 2014 годом, а программа AI4ALL — на 2 000% по сравнению с 2015 годом[1].

Статистика AAAI

На конференции AAAI 2019 Китай представил наибольшее количество поданных и принятых статей. Более 68% заявок были от аспирантов. Израиль имел самый высокий процент принятия (24%), за ним Германия (23%), Канада (22%), США и Сингапур (по 20%). Машинное обучение, NLP и компьютерное зрение оставались тремя ведущими тематиками[1].

Этика на конференциях

Общее число статей с ключевыми словами, связанными с этикой, на ведущих ИИ-конференциях оставалось малой долей от общего числа, однако быстро росло. Анализ охватил 110 108 статей, включая 59 352 конференционные и 50 756 журнальных[15].

Глава 3. Техническая производительность

Глава отслеживает технический прогресс в задачах компьютерного зрения, обработки естественного языка, рассуждений, машинного перевода и вычислительных мощностей[1].

Компьютерное зрение

ImageNet. Первый метод, превзошедший человеческую точность на ImageNet, был опубликован в 2015 году. К 2019 году прогресс продолжался: три наиболее успешных метода использовали дополнительные данные для обучения. Конкурс ImageNet был прекращён в 2017 году, но датасет оставался ключевым бенчмарком[16].

Время и стоимость обучения. По данным проекта DAWNBench (Stanford), время обучения модели классификации изображений до точности 93%+ (top-5) на облачной инфраструктуре сократилось с более чем 3 часов (октябрь 2017) до ~88 секунд (июль 2019). Стоимость обучения упала с $2 323 (октябрь 2017, ResNet) до ~$12 (сентябрь 2018, ResNet на GCP с Cloud TPU)[3].

Генерация изображений. Прогресс в генерации изображений (CIFAR-10) измерялся с помощью метрики FID (Fréchet Inception Distance): более низкий балл коррелирует с лучшим качеством генерации[1].

Семантическая сегментация. Прогресс измерялся по метрике mean IoU на датасете Cityscapes — задаче, важной для систем автопилотирования[1].

Обработка естественного языка

GLUE. Бенчмарк General Language Understanding Evaluation, выпущенный в мае 2018 года, тестирует системы на девяти задачах обработки текста. Несмотря на то что бенчмарку было чуть больше года, результаты систем превзошли уровень неэкспертных оценщиков в июне 2019 года. Модели RoBERTa (Facebook) и T5 (Google) продолжали улучшать показатели[17].

SuperGLUE. Более сложный бенчмарк, запущенный в мае 2019 года. В течение пяти месяцев после запуска модель T5 (Google) почти достигла человеческого базового уровня 89,8, набрав 88,9 балла[18].

SQuAD. На бенчмарке Stanford Question Answering Dataset F1-балл для SQuAD 1.1 вырос с 67 (август 2016) до 95 (май 2019). Прогресс на SQuAD 2.0 был ещё быстрее: с 62 (май 2018) до 90 (июнь 2019). Время обучения модели ответов на вопросы до F1 ≥ 75 на SQuAD 1.0 сократилось с более 7 часов (октябрь 2017) до менее 19 минут (март 2019)[19].

Рассуждения. На ARC Challenge Set (Allen Institute for AI) лучший результат составил 67,7% (сентябрь 2019). На ARC-Easy — 85,4%. Задачи, требующие рассуждений, оставались значительно более трудными для ИИ-систем[20].

Машинный перевод

Число коммерчески доступных систем машинного перевода с предобученными моделями выросло с 8 (2017) до более 24 (2019). Наибольший прогресс в качестве наблюдался для пар китайский–английский, английский–немецкий и русский–английский[21].

Omniglot Challenge

За три года отмечен заметный прогресс в классификации с одного примера (one-shot), однако на остальных четырёх задачах обучения концепций (генерация примеров, парсинг, генерация новых концепций) прогресс был ограничен. Байесовское программное обучение (BPL) по-прежнему превосходило нейросетевые подходы в исходном задании[22].

Вычислительные мощности

Анализ OpenAI показал структурный разрыв: до 2012 года объём вычислений для ИИ удваивался каждые два года (закон Мура); после 2012 года — каждые 3,4 месяца. С 2012 года этот показатель вырос более чем в 300 000 раз[4].

Вехи человеческого уровня

Отчёт обновил хронологию достижений ИИ, добавив два новых результата к ранее задокументированным (Othello — 1980, шашки — 1995, шахматы — 1997, Jeopardy! — 2011, Atari — 2015, ImageNet — 2016, Go — 2016, покер — 2017, Ms. Pac-Man — 2017, StarCraft II — 2019):

Год Достижение
2018 AlphaFold (DeepMind) — предсказание 3D-структуры белков с беспрецедентной точностью
2019 AlphaStar (DeepMind) — победа над топ-профессионалом в StarCraft II
2019 Обнаружение диабетической ретинопатии с точностью на уровне специалиста

Глава 4. Экономика

Рабочие места и найм

Индекс найма ИИ (LinkedIn) показал, что Сингапур, Бразилия, Австралия, Канада и Индия лидировали по темпам роста найма в период 2015–2019 годов. В США штат Вашингтон имел наибольший относительный спрос на ИИ-вакансии (почти 1,4% от общего числа вакансий), за ним Калифорния (1,3%) и Массачусетс (1,3%). По абсолютному числу лидировала Калифорния с более чем 93 000 ИИ-вакансий[5].

Наибольшее проникновение ИИ-навыков наблюдалось в секторах ИТ-услуг (2,3% вакансий), профессиональных и научных услуг (более 2%), финансов и страхования (1,3%) и обрабатывающей промышленности (1,1%)[6].

По данным LinkedIn, Индия демонстрировала проникновение ИИ-навыков в 2,6 раза выше среднемирового. Интересная картина наблюдалась в гендерном разрезе: мужчины сообщали об ИИ-навыках в большем числе профессий, чем женщины, во всех странах выборки[6].

Инвестиции

Финансирование ИИ-стартапов росло со среднегодовым темпом свыше 48% (2010–2018). К ноябрю 2019 года объём инвестиций составил $37,4 млрд (против $40,4 млрд за весь 2018 год). Между 2014 и 2019 годами было осуществлено 15 798 инвестиций со средним размером около $8,6 млн[7].

Подушевой показатель инвестиций в ИИ был наиболее высоким у Израиля, за которым следовали Сингапур и Исландия. Стартапы из Китая получали существенно больше инвестиций на компанию: $34,1 млн — на 201% больше, чем в США, и на 296% больше среднемирового показателя[7].

Секторально наибольшие инвестиции направлялись в автономные транспортные средства ($7,7 млрд, 9,9% от общего объёма), фармацевтику и терапию рака ($4,7 млрд), распознавание лиц ($4,7 млрд), видеоконтент ($3,6 млрд) и обнаружение мошенничества ($3,1 млрд). Наиболее быстрорастущими направлениями были роботизированная автоматизация процессов, управление цепочками поставок и промышленная автоматизация[7].

Государственные инвестиции (США)

Федеральное правительство США планировало инвестировать $4,98 млрд в ИИ-исследования в 2020 финансовом году. Министерство обороны (DoD) — $4,0 млрд, включая $506 млн через DARPA, $221 млн на проект Maven и $209 млн на Joint AI Center (JAIC). Расходы федеральных агентств на контракты по ИИ выросли на ~70%: с $429 млн в 2017 году до $728 млн в 2018 году[23].

Корпоративное внедрение

58% крупных компаний сообщали об использовании ИИ хотя бы в одной функции (рост с 47% в 2018). 30% респондентов отмечали внедрение ИИ в нескольких подразделениях (21% в 2018). Наиболее часто внедряемые ИИ-возможности: роботизированная автоматизация процессов, компьютерное зрение и машинное обучение. Кибербезопасность была риском, с которым организации чаще всего боролись (48%), тогда как риски объяснимости (19%) и справедливости (13%) адресовались значительно реже[8].

Промышленная роботизация

В 2018 году глобальные установки промышленных роботов выросли на 6% — до 422 271 единицы стоимостью $16,5 млрд. Операционный парк роботов составлял 2 439 543 единицы. Пять крупнейших рынков — Китай, Япония, США, Южная Корея и Германия — аккумулировали 74% глобальных установок. Китай оставался мировым лидером (36%), установив 154 032 единицы[24].

Глава 5. Образование

Онлайн-обучение

Coursera, обслуживающая более 45 млн учащихся и предлагающая 3 700+ курсов, составила рейтинг 60 стран по ИИ-навыкам (Global Skills Index). Южная Азия и Восточная Азия демонстрировали наибольшую долю записей на курсы по ИИ и смежным компетенциям. На Udacity курс «Introduction to Machine Learning» набрал свыше 125 000 совокупных записей[25].

Университетские программы

Набор на вводные курсы по ИИ в Стэнфорде вырос в пять раз (2012–2018). На курс «Introduction to Machine Learning» в Иллинойсском университете (UIUC) — в двенадцать раз (2010–2018). На международном уровне университет Торонто имел наибольшее число зарегистрированных студентов, за ним Высшая школа экономики (Россия) и Университет Цинхуа (Китай)[1].

В Европе было выявлено 2 054 программы, охватывающие область ИИ, причём подавляющее большинство — на уровне магистратуры. 197 европейских университетов предлагали 406 специализированных магистерских программ по ИИ[26].

PhD-специализации и отток в индустрию

ИИ стал самой популярной специализацией PhD по информатике: более 21% в 2018 году. Доля PhD, уходящих в индустрию, утроилась: с 21% в 2004 году до 62% в 2018 году. Более 60% новых PhD по ИИ в США и Канаде были иностранными студентами (менее 40% в 2010 году); лишь ~10% покидали США после выпуска[9].

Три университета с наибольшими потерями ИИ-преподавателей: Карнеги-Меллон (17 штатных), Вашингтонский университет (11) и Беркли. Среди канадских университетов больше всего потерял Университет Торонто (9 преподавателей). Доля женщин среди PhD-выпускников по ИИ оставалась стабильной на уровне ~20% с 2010 по 2018 год[10].

Глава 6. Автономные системы

Беспилотные автомобили

Не менее 25 стран имели города, тестирующие автономные транспортные средства (АТС). В штате Калифорния с 2015 по 2018 год число компаний-тестировщиков и общее количество АТС выросли в семь раз. В 2018 году более 50 компаний и 500 АТС проехали свыше 2 млн миль. Не менее 41 штата и округ Колумбия рассматривали законодательство, связанное с АТС[27].

Частота аварий АТС в Калифорнии в 2018 году составила 22,44 на миллион миль — примерно в 5,5 раз выше скорректированного показателя для обычных водителей. В большинстве аварий автомобиль с водителем-человеком совершал наезд сзади на остановленное или прямо движущееся АТС в дневное время. Большинство повреждений были незначительными[27].

Автономное вооружение

По данным экспертного исследования Стокгольмского международного института исследований проблем мира (SIPRI), не менее 89 стран имели автоматические системы ПВО. Системы активной защиты разрабатывались и производились лишь девятью странами. Данные охватывали период 1950–2017 годов[28].

Глава 7. Общественное восприятие

Центральные банки

Коммуникации центральных банков демонстрировали растущий интерес к ИИ. Банк Англии, Банк Японии и Федеральная резервная система упоминали ИИ чаще остальных. Характер публикаций сместился от аналитических документов к выступлениям[1].

Парламентская и правительственная активность

Наблюдалось более чем десятикратное увеличение законодательной активности, связанной с ИИ, в Конгрессе США в 2017–2018 годах. В стенограммах Конгресса 2019 год стал годом наибольшего числа упоминаний ИИ. Аналогичные тренды отмечались в парламентах Канады и Великобритании[23].

Корпорации

Доля отчётов о доходах (earnings calls) 3 000 публичных компаний в США, содержащих упоминания ИИ, выросла с 0,01% (2010) до 0,42% (2018). Финансовый сектор лидировал по числу упоминаний[1].

Медиа и веб-поиск

По данным Google Trends, термин «machine learning» опережал другие связанные термины в поисковых запросах в США. По данным GDELT Project, из новостных статей, связанных с ИИ, 17,7% затрагивали влияние на занятость, 2,4% — алгоритмическую предвзятость и лишь 0,99% — «роботов-убийц»[29].

Глава 8. Социальные аспекты

Этические принципы

PricewaterhouseCoopers проанализировала 59 документов с принципами этичного ИИ от ассоциаций и консорциумов, правительств, технологических компаний, аналитических центров и научных организаций. Двенадцать этических вызовов были выделены наиболее часто: подотчётность, безопасность, человеческий контроль, надёжность и защищённость, справедливость, разнообразие и инклюзивность, устойчивость, прозрачность, интерпретируемость и объяснимость, многосторонний диалог, законность и соответствие, конфиденциальность данных[11].

Справедливость, интерпретируемость/объяснимость и прозрачность упоминались чаще всего. Для технологических компаний справедливость указывалась в 100% фреймворков, для аналитических центров — справедливость и человеческий контроль (по 100% и 88%)[11].

ИИ и Цели устойчивого развития ООН

McKinsey Global Institute идентифицировал около 160 вариантов использования ИИ для социального блага, потенциально поддерживающих все 17 Целей устойчивого развития (ЦУР) ООН. ИИ мог адресовать примерно половину из 169 целевых показателей ЦУР. Наибольшее число вариантов применения соответствовало ЦУР 3 (здоровье) и ЦУР 16 (мирные и инклюзивные общества). Однако для масштабного развёртывания ИИ в интересах устойчивого развития оставались существенные барьеры: доступность данных, вычислительные мощности, кадры и организационная готовность[30].

Глава 9. Национальные стратегии и глобальная динамика ИИ

Национальные стратегии

Число официальных стратегических документов по ИИ неуклонно росло. PwC, используя NLP-анализ 37 документов, выявила, что академическое партнёрство упоминалось в 94% документов, ИИ-исследования и разработки — в 48%, управление ИИ — в 42%. Защита потребителей и справедливость упоминались реже всего (2%)[11].

Инструмент Global AI Vibrancy

Впервые представленный инструмент охватывал 28 стран по 34 метрикам, сгруппированным в три столпа: исследования и разработки (21 метрика), экономика (10 метрик) и инклюзивность (5 метрик). Инструмент позволял пользователям настраивать весовые коэффициенты и проводить как межстрановые, так и внутристрановые сравнения[1].

Страновые профили

Отчёт включал подробные страновые профили для Бразилии, Китая, Франции, Германии, Индии, Нидерландов, Сингапура и США, а также обзор многосторонней региональной политики в области ИИ[1].

Значимые результаты по бенчмаркам 2019 года

Бенчмарк Лучший результат (2019) Человеческий уровень Прогресс
ImageNet (Top-1) ~88% ~95% (один аннотатор) Постоянное улучшение с дополнительными данными
GLUE Превышен не-экспертный уровень (июнь 2019) 87,1 (не-эксперт) RoBERTa, T5
SuperGLUE 88,9 (T5, Google) 89,8 Достигнут за 5 месяцев после запуска бенчмарка
SQuAD 1.1 (F1) 95 ~91 Превышен человеческий уровень
SQuAD 2.0 (F1) 90 ~89 Практически на уровне человека
ARC Challenge 67,7% — Задачи рассуждений остаются трудными
VQA 75,28% ~80% Рост на 2,85 п.п. за год

Методология

Отчёт использовал данные из множества источников[1]:

  • Публикации: Elsevier Scopus, arXiv (NESTA), Microsoft Academic Graph (MAG).
  • Бенчмарки: Papers With Code, DAWNBench/MLPerf, лидерборды GLUE, SuperGLUE, SQuAD, ARC, VQA, ActivityNet.
  • Конференции: данные регистрации NeurIPS, ICML, ICLR, AAAI, CVPR, WiML, AI4ALL, RightsCon.
  • Рынок труда: LinkedIn Economic Graph, Burning Glass Technologies, Indeed.
  • Инвестиции: CAPIQ, Crunchbase, Quid.
  • Корпоративная активность: McKinsey Global Survey, International Federation of Robotics.
  • Государственные расходы: Bloomberg Government.
  • Общественное восприятие: Google Trends, GDELT Project, Prattle (центральные банки), Hansard (парламенты).
  • Этика и стратегии: PricewaterhouseCoopers (NAISR), Harvard, LexisNexis.
  • Образование: CRA Taulbee Survey, Coursera, Udacity, Joint Research Centre (EC).
  • Автономные системы: California DMV, Bloomberg Philanthropies, SIPRI, NCSL.

Авторский коллектив

Отчёт подготовлен Руководящим комитетом AI Index при координации Рэймонда Перро (Raymond Perrault, SRI International) и под председательством Йоава Шохама (Yoav Shoham, Стэнфордский университет). В состав комитета входили: Эрик Бринйолфссон (MIT), Джек Кларк (OpenAI), Джон Этчменди (Стэнфорд), Барбара Грос (Гарвард), Тера Лайонс (Partnership on AI), Джеймс Маньика (McKinsey Global Institute) и Хуан Карлос Ниблес (Стэнфорд). Руководителем проекта и главным редактором выступил Саураб Мишра (Стэнфордский университет). Данные предоставили более 20 организаций-партнёров[1].

См. также

Ссылки

Литература

Примечания

  1. ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 1,11 1,12 1,13 1,14 1,15 1,16 1,17 1,18 1,19 1,20 1,21 Perrault, R., Shoham, Y., Brynjolfsson, E., Clark, J., Etchemendy, J., Grosz, B., Lyons, T., Manyika, J., Mishra, S., Niebles, J.C. (2019). The AI Index 2019 Annual Report. AI Index Steering Committee, Human-Centered AI Institute, Stanford University. https://aiindex.stanford.edu/report/
  2. ↑ 2,0 2,1 Elsevier Scopus. Data on AI publications 1998–2018. https://www.scopus.com/
  3. ↑ 3,0 3,1 Coleman, C. et al. Stanford DAWNBench: An End-to-End Deep Learning Benchmark and Competition. https://dawn.cs.stanford.edu/benchmark/
  4. ↑ 4,0 4,1 Amodei, D., Hernandez, D. (2018). AI and Compute. OpenAI. https://openai.com/blog/ai-and-compute
  5. ↑ 5,0 5,1 Burning Glass Technologies. AI Job Posting Data 2010–2019. https://www.burning-glass.com/
  6. ↑ 6,0 6,1 6,2 LinkedIn Economic Graph. AI Hiring Index and Skill Penetration Data. https://economicgraph.linkedin.com/
  7. ↑ 7,0 7,1 7,2 7,3 Quid. Global AI Startup Investment Data. CAPIQ, Crunchbase. https://quid.com/
  8. ↑ 8,0 8,1 McKinsey & Company (2019). Global AI Survey: AI proves its worth, but few scale impact. https://www.mckinsey.com/capabilities/quantumblack/our-insights/global-ai-survey-ai-proves-its-worth-but-few-scale-impact
  9. ↑ 9,0 9,1 Computing Research Association. Taulbee Survey 2018. https://cra.org/resources/taulbee-survey/
  10. ↑ 10,0 10,1 Gofman, M., Jin, Z. (2019). Artificial Intelligence, Human Capital, and Innovation. University of Rochester Working Paper. http://www.aibraindrain.org
  11. ↑ 11,0 11,1 11,2 11,3 PricewaterhouseCoopers (2019). National AI Strategy Radar and Ethical AI Principles Analysis. https://www.pwc.com/
  12. ↑ arXiv. AI papers statistics 2010–2019. NESTA analysis. https://arxiv.org/
  13. ↑ 13,0 13,1 Wang, K., Shen, I., Dong, Y. Microsoft Academic Graph Data 2019. https://academic.microsoft.com/
  14. ↑ Stathoulopoulos, K., Mateos-Garcia, J. (2019). Women in AI Research. NESTA. https://www.nesta.org.uk/
  15. ↑ Prates, M., Avelar, P., Lamb, L. (2019). Ethics analysis in AI conferences. Federal University of Rio Grande do Sul.
  16. ↑ Russakovsky, O. et al. ImageNet Large Scale Visual Recognition Challenge. https://www.image-net.org/
  17. ↑ Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://gluebenchmark.com/
  18. ↑ Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://super.gluebenchmark.com/
  19. ↑ Rajpurkar, P. et al. (2018). Know What You Don't Know: Unanswerable Questions for SQuAD. https://rajpurkar.github.io/SQuAD-explorer/
  20. ↑ Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC. Allen Institute for AI. https://allenai.org/data/arc
  21. ↑ Savenkov, K. Intento Machine Translation Quality Evaluation. https://inten.to/
  22. ↑ Lake, B. (2019). Omniglot Challenge: 3-year progress report. New York University.
  23. ↑ 23,0 23,1 Bloomberg Government (2019). Federal AI R&D Budget Analysis.
  24. ↑ International Federation of Robotics (2019). World Robotics Report 2019. https://ifr.org/worldrobotics/
  25. ↑ Coursera (2019). Global Skills Index. https://www.coursera.org/gsi
  26. ↑ Joint Research Centre, European Commission (2019). Academic offer and demand for advanced profiles in the EU.
  27. ↑ 27,0 27,1 California Department of Motor Vehicles (2019). Autonomous Vehicle Disengagement and Collision Reports. https://www.dmv.ca.gov/portal/vehicle-industry-services/autonomous-vehicles/
  28. ↑ Boulanin, V., Verbruggen, M. (2019). Mapping the Development of Autonomy in Weapon Systems. SIPRI. https://www.sipri.org/
  29. ↑ GDELT Project. Global AI News Coverage Data 2017–2019. https://www.gdeltproject.org/
  30. ↑ McKinsey Global Institute (2019). Notes from the AI frontier: Applying AI for social good. https://www.mckinsey.com/mgi/overview
Источник — https://systems-analysis.ru/wiki/index.php?title=The_2019_AI_Index_Report&oldid=4518