The 2022 AI Index Report

Материал из Systems analysis wiki
Перейти к навигации Перейти к поиску

AI Index Report 2022 — пятое ежегодное издание отчёта AI Index, подготовленное Стэнфордским институтом искусственного интеллекта, ориентированного на человека (Stanford HAI)[1]. Отчёт 2022 года является наиболее объёмным на момент публикации и выходит в период масштабного развёртывания ИИ-систем в экономике. Издание впервые содержит отдельную главу с углублённым анализом технической этики ИИ, обширный обзор робототехники на основе глобального опроса исследователей, а также данные о законодательных инициативах в области ИИ в 25 странах мира. Отчёт отслеживает, систематизирует и визуализирует данные, связанные с искусственным интеллектом, предоставляя объективную и тщательно верифицированную информацию для политиков, исследователей, руководителей, журналистов и широкой общественности.

Структура отчёта

Отчёт 2022 года состоит из пяти тематических глав и приложения[1]:

  1. Исследования и разработки (Research and Development) — тренды в публикациях, патентах, конференциях и программном обеспечении с открытым кодом.
  2. Техническая производительность (Technical Performance) — бенчмарки в компьютерном зрении, обработке языка, речи, рекомендательных системах, обучении с подкреплением, аппаратном обеспечении и робототехнике.
  3. Техническая этика ИИ (Technical AI Ethics) — новая глава: метрики справедливости и предвзятости, токсичность языковых моделей, мультимодальные искажения, проверка фактов и правдивость.
  4. Экономика и образование (The Economy and Education) — рынок труда, инвестиции, корпоративное внедрение ИИ и подготовка кадров.
  5. Политика и управление ИИ (AI Policy and Governance) — законодательство, регулирование и национальные стратегии.

Ключевые выводы отчёта

Авторы отчёта выделили ряд главных тезисов 2022 года[1]:

1. Частные инвестиции в ИИ резко выросли, а концентрация капитала усилилась

Частные инвестиции в ИИ в 2021 году составили около 93,5 млрд долларов — более чем вдвое превысив показатель 2020 года. При этом число вновь профинансированных ИИ-компаний продолжало снижаться: с 1 051 в 2019 году и 762 в 2020 году до 746 в 2021 году. Если в 2020 году лишь 4 раунда финансирования превысили 500 млн долларов, то в 2021 году таких раундов стало 15[2].

2. США и Китай доминируют в международном сотрудничестве по ИИ

Несмотря на растущую геополитическую напряжённость, США и Китай показали наибольшее число совместных публикаций по ИИ за период 2010–2021 гг., увеличив объём сотрудничества в пять раз с 2010 года. Этот тандем произвёл в 2,7 раза больше публикаций, чем следующая пара — Великобритания и Китай[3].

3. Языковые модели становятся более мощными, но и более предвзятыми

Большие языковые модели устанавливали новые рекорды на технических бенчмарках, однако данные показали, что более крупные модели сильнее воспроизводят предвзятость из обучающих данных. Модель с 280 млрд параметров (Gopher, DeepMind, 2021) продемонстрировала на 29% большую вызываемую токсичность по сравнению с моделью со 117 млн параметров, считавшейся передовой в 2018 году[4].

4. Расцвет этики ИИ

Исследования в области справедливости и прозрачности ИИ пережили взрывной рост с 2014 года: число профильных публикаций на этических конференциях увеличилось в пять раз. Алгоритмическая справедливость и предвзятость перестали быть чисто академической темой и превратились в мейнстримное направление исследований. Исследователи с индустриальной аффилиацией увеличивали вклад в этические конференции на 71% ежегодно[1].

5. ИИ становится доступнее и производительнее

С 2018 года стоимость обучения системы классификации изображений снизилась на 63,6%, а время обучения улучшилось на 94,4%. Аналогичная тенденция к снижению стоимости и ускорению обучения наблюдалась и в других категориях задач MLPerf: рекомендации, обнаружение объектов и обработка языка[5].

6. Данные как ключевой ресурс

Лучшие результаты на технических бенчмарках всё чаще достигались за счёт использования дополнительных обучающих данных. По состоянию на 2021 год, 9 из 10 передовых ИИ-систем на рассмотренных бенчмарках были обучены с использованием дополнительных данных. Эта тенденция неявно благоприятствует компаниям частного сектора, имеющим доступ к обширным датасетам[1].

7. Законодательство об ИИ по всему миру стремительно растёт

Анализ AI Index по 25 странам показал, что число принятых законов, содержащих термин «искусственный интеллект», выросло с 1 в 2016 году до 18 в 2021 году. Лидерами 2021 года стали Испания, Великобритания и США — по три принятых закона каждая[1].

8. Роботизированные манипуляторы становятся дешевле

Опрос AI Index показал, что медианная цена роботизированных манипуляторов снизилась на 46,2% за пять лет — с 42 000 долларов в 2017 году до 22 600 долларов в 2021 году, делая исследования в области робототехники более доступными[1].

9. Мультимодальные модели наследуют мультимодальные предвзятости

Мультимодальные модели языка и зрения (такие как CLIP) установили новые рекорды в задачах классификации изображений и генерации изображений по текстовому описанию, однако они также воспроизводили социальные стереотипы и предвзятости. Эксперименты с CLIP показали, что изображения чернокожих людей ошибочно классифицировались как «нечеловеческие» более чем вдвое чаще, чем изображения представителей любой другой расы[6].

10. Движение к более общему обучению с подкреплением

На протяжении последнего десятилетия ИИ-системы успешно осваивали узкие задачи обучения с подкреплением (например, шахматы — лучший шахматный движок превысил максимальный рейтинг Магнуса Карлсена на 24%). Однако за последние два года ИИ-системы также улучшили результаты на 129% в более общих задачах обучения с подкреплением (Procgen), где требуется действовать в новых, незнакомых средах[1].

Глава 1. Исследования и разработки

Глава анализирует тренды в публикациях, патентах, конференциях и открытом программном обеспечении[1].

Публикации

Общее число англоязычных публикаций по ИИ продолжило расти и достигло 334 500 в 2021 году[3].

По типу публикации. В 2021 году было выпущено более 56 700 публикаций в репозиториях (arXiv и др.), что отражает растущую роль предварительных публикаций (препринтов) в ИИ-исследованиях[1].

По географическому распределению. В 2021 году Китай продолжил лидировать по совокупному числу публикаций в журналах, конференциях и репозиториях — на 63,2% больше, чем у США. При этом США сохраняли доминирующее лидерство по числу цитирований конференционных и репозиторных публикаций[3]:

Показатель Китай ЕС + Великобритания США
Доля конференционных публикаций (2021) 27,6% 19,0% 16,9%
Доля конференционных цитирований (2021) 15,3% 23,3% 29,5%
Доля репозиторных публикаций (2021) 16,6% 23,9% 32,5%
Доля репозиторных цитирований (2021) 16,4% 20,1% 38,6%

Межсекторное сотрудничество. С 2010 по 2021 год наибольшее число совместных ИИ-публикаций было произведено коллаборациями между образовательными и некоммерческими организациями, затем — между частными компаниями и образовательными учреждениями, а также между образовательными и государственными институтами[1].

Патенты

Число поданных патентных заявок в области ИИ в 2021 году более чем в 30 раз превысило показатель 2015 года при среднегодовом темпе роста 76,9%. По региональному распределению Восточная Азия и Тихоокеанский регион доминировали с долей 62,1% патентных заявок. Китай подавал патентных заявок в три раза больше, чем США, — 87 343 заявки при 1 407 одобренных патентах в 2021 году[3].

Конференции

Посещаемость ведущих ИИ-конференций в 2021 году оставалась на уровне 2020 года — более 88 000 участников по всему миру. Большинство конференций по-прежнему проводились в виртуальном формате из-за пандемии COVID-19. Лишь ICRA и EMNLP использовали гибридный формат[1].

Глава 2. Техническая производительность

Глава представляет расширенный анализ прогресса в компьютерном зрении, обработке языка, речи, рекомендательных системах, обучении с подкреплением, аппаратном обеспечении и робототехнике[1].

Компьютерное зрение

ImageNet. Точность классификации изображений на ImageNet продолжала расти. Системы, использующие дополнительные обучающие данные, демонстрировали значительно более высокие результаты. В 2021 году модель CoAtNet, обученная на ImageNet-21K + JFT, достигла top-1 accuracy 90,88%, что существенно превышает человеческий уровень (около 94,9% по top-5)[1].

Специализированные подзадачи. В 2021 году наблюдался рост интереса к специализированным подзадачам компьютерного зрения — медицинская сегментация изображений и идентификация лиц в масках. Например, если до 2020 года лишь 3 исследовательские работы тестировали системы на бенчмарке Kvasir-SEG (медицинская визуализация), то в 2021 году таких работ было уже 25[1].

Визуальное здравое рассуждение (VCR). К концу 2021 года лучший результат на бенчмарке Visual Commonsense Reasoning составил 72,0 — рост на 63,6% с 2018 года, хотя системы по-прежнему значительно уступали человеческому уровню. Улучшения становились всё более маргинальными, указывая на необходимость новых подходов[1].

Обработка естественного языка

SuperGLUE. На вершине лидерборда SuperGLUE находилась модель SS-MoE с результатом 91,0, превышающим человеческий уровень (89,8). Стремительный прогресс на SuperGLUE свидетельствовал о необходимости разработки более сложных языковых бенчмарков[7].

SQuAD. Системы ИИ превзошли человеческий уровень на бенчмарке SQuAD 2.0 по пониманию прочитанного на 1–5%, однако на более сложных задачах, таких как абдуктивный логический вывод на естественном языке (aNLI), человек по-прежнему опережал ИИ, хотя разрыв сократился с 9 п.п. в 2019 году до 1 п.п. в 2021 году[1].

Машинный перевод. Число коммерчески доступных систем машинного перевода продолжало расти, а качество перевода на основных языковых парах (WMT 2014) стабильно улучшалось[8].

Распознавание речи

На бенчмарке LibriSpeech (Test-Clean) показатель ошибки распознавания слов (WER) продолжал снижаться, приближаясь к человеческому уровню. Прогресс также был достигнут на более сложных датасетах речи[1].

Обучение с подкреплением

Atari-57. Системы обучения с подкреплением продолжали совершенствоваться в классических задачах Arcade Learning Environment. Модель MuZero (DeepMind) оставалась одной из ведущих[1].

Procgen. На бенчмарке Procgen, тестирующем способность обобщения в новых средах, ИИ-системы улучшили результат на 129% за два года, что указывало на движение к более общим агентам[1].

Шахматы. Лучший шахматный программный движок превысил максимальный рейтинг ELO Магнуса Карлсена на 24%[9].

Аппаратное обеспечение и стоимость обучения

MLPerf. Данные бенчмарка MLPerf показали устойчивое снижение времени обучения при одновременном росте числа используемых ускорителей. Разрыв между средним числом ускорителей у лидеров и всех участников вырос в 9 раз с 2018 по 2021 год, что свидетельствовало о растущих требованиях к аппаратным ресурсам[5].

Стоимость обучения ImageNet. Стоимость обучения высокопроизводительной системы классификации изображений до 93% точности снизилась с 1 112,6 доллара в 2017 году до 4,6 доллара в 2021 году — падение в 223 раза за четыре года[1].

Робототехника

Цены на манипуляторы. Опрос AI Index, проведённый среди 509 профессоров робототехники из 67 университетов мира, выявил снижение медианной цены роботизированного манипулятора на 46,2% — с 42 000 долларов в 2017 году до 22 600 долларов в 2021 году[1].

ИИ-навыки в робототехнике. 67% опрошенных профессоров робототехники сообщили об использовании глубокого обучения, а 46% — обучения с подкреплением в своих исследованиях[1].

Глава 3. Техническая этика ИИ

Впервые включённая в отчёт глава предоставляет углублённый анализ метрик справедливости и предвзятости, токсичности языковых моделей, мультимодальных искажений, а также вопросов проверки фактов и правдивости ИИ[1].

Мета-анализ метрик справедливости и предвзятости

Число метрик для измерения предвзятости и справедливости ИИ устойчиво росло с 2018 года. Метрики делятся на два основных типа: бенчмарковые датасеты (например, StereoSet, CrowS-Pairs), измеряющие внутреннее поведение модели, и диагностические метрики (например, демографический паритет, равенство возможностей), оценивающие воздействие модели на конкретные группы населения[1].

Токсичность языковых моделей

RealToxicityPrompts. Токсичность языковых моделей существенно зависела от обучающих данных. Модели, обученные на отфильтрованном от токсичного контента тексте (например, C4 с фильтрацией), были значительно менее токсичными по сравнению с моделями, обученными на нефильтрованном интернет-контенте[10].

Масштаб и токсичность. Анализ модели Gopher (DeepMind, 280 млрд параметров) показал, что более крупные модели с большей вероятностью генерируют токсичные продолжения при соответствующих промптах, но одновременно лучше способны распознавать токсичный контент[4].

Детоксикация. Методы детоксикации языковых моделей (DAPT, PPLM, GeDi) последовательно приводили к ухудшению производительности, причём непропорционально сильнее — на афроамериканском английском и текстах, содержащих упоминания меньшинств[11].

Стереотипы и предвзятость

StereoSet измерял стереотипную предвзятость по осям пола, расы, религии и профессии. CrowS-Pairs оценивал степень стереотипной предвзятости в маскированных языковых моделях. Winogender и WinoBias тестировали гендерную предвзятость в задачах кореференции, а WinoMT — в машинном переводе[1].

Мультимодальные предвзятости (CLIP)

Модель CLIP (Contrastive Language-Image Pretraining, OpenAI) продемонстрировала впечатляющие результаты в классификации изображений, однако унаследовала предвзятости по полу, расе и возрасту из обучающих данных (400 млн пар «изображение–текст» из интернета). Ключевые находки[1]:

  • Дискредитационный вред: при добавлении нечеловеческих и криминальных категорий к классификации, изображения чернокожих людей ошибочно относились к нечеловеческим категориям в 14% случаев — вдвое больше, чем для других рас.
  • Гендерная предвзятость: ярлыки «няня» и «домработница» ассоциировались с женщинами, «заключённый» и «мафиози» — с мужчинами.
  • Распространение предвзятости: предвзятости CLIP транслировались в датасет LAION-400M, курировавшийся с помощью эмбеддингов CLIP, затрагивая все последующие приложения.

Проверка фактов и правдивость

TruthfulQA. Анализ нескольких семейств языковых моделей на бенчмарке TruthfulQA показал, что масштабирование базовых моделей (семейство GPT-3) приводило к снижению правдивости. Однако модели, дообученные с помощью обратной связи от человека (InstructGPT, WebGPT), становились более правдивыми по мере масштабирования[12].

FEVER. На бенчмарке FEVER (Fact Extraction and VERification) системы автоматической проверки фактов продолжали совершенствоваться, хотя по-прежнему отставали от человеческого уровня[1].

Тенденции на этических конференциях

Анализ публикаций на конференции FAccT (Fairness, Accountability, and Transparency) и тематических воркшопах NeurIPS выявил рост работ по интерпретируемости, объяснимости, каузальным рассуждениям, конфиденциальности, сбору данных, справедливости и предвзятости. Исследователи с индустриальной аффилиацией существенно увеличили свой вклад на этих площадках[1].

Глава 4. Экономика и образование

Глава исследует тренды на рынке труда, в инвестициях, корпоративном внедрении ИИ и подготовке кадров[1].

Рынок труда

Найм ИИ-специалистов. По данным LinkedIn, Новая Зеландия показала наибольший рост найма ИИ-специалистов — в 2,42 раза с 2016 по 2021 год, за ней следовали Гонконг (1,56×), Ирландия (1,28×), Люксембург (1,26×) и Швеция (1,24×)[13].

Вакансии. По данным Emsi Burning Glass, Сингапур лидировал по доле ИИ-вакансий среди всех вакансий — 2,33%, за ним следовали США (0,90%), Канада (0,78%) и Великобритания (0,74%). В США наибольшее число ИИ-вакансий наблюдалось в Калифорнии (более чем в 2,35 раза больше, чем в Техасе), а наибольшая доля ИИ-вакансий — в Вашингтоне (округ Колумбия)[14].

Инвестиции

Общие тренды. Совокупные корпоративные инвестиции в ИИ в 2021 году достигли рекордных 176,5 млрд долларов, из которых частные инвестиции составили 93,5 млрд (рост более чем вдвое к 2020 году), слияния и поглощения — около 72 млрд, публичные размещения — около 9,5 млрд[2].

Региональное распределение. США лидировали с частными инвестициями около 52,9 млрд долларов — более чем втрое больше, чем у Китая (17,2 млрд). Великобритания заняла третье место (4,65 млрд), затем следовали Израиль (2,4 млрд) и Германия (1,98 млрд)[2].

Страна Частные инвестиции 2021 (млрд USD) Частные инвестиции 2013–2021 (млрд USD)
США 52,9 149,0
Китай 17,2 61,9
Великобритания 4,65 10,8
Израиль 2,4 6,1
Германия 1,98 3,9
Индия 1,87 10,8

Отраслевой фокус. Наибольший объём частных инвестиций в 2021 году привлекла область «управление данными, обработка и облако» — в 2,6 раза больше, чем в 2020 году, за ней следовали «медицина и здравоохранение» (11,29 млрд) и «финтех» (10,26 млрд)[2].

Концентрация капитала. Средний размер сделки частного инвестирования в ИИ в 2021 году вырос на 81,1% по сравнению с 2020 годом. При этом число вновь профинансированных ИИ-компаний снижалось третий год подряд (с пика в 2018 году)[2].

Корпоративное внедрение

По данным McKinsey, средний уровень внедрения ИИ организациями в 2021 году составил 56% (рост на 6 п.п. с 2020 года). Лидировала Индия (65%), за ней — развитые страны Азиатско-Тихоокеанского региона (64%), развивающиеся рынки (57%) и Северная Америка (55%)[15].

Управление рисками. Усилия по решению этических проблем ИИ в индустрии оставались ограниченными: хотя 29% респондентов McKinsey признавали «справедливость и равенство» рисками при внедрении ИИ, лишь 19% предпринимали шаги по их снижению. Аналогично, 41% признавали «объяснимость» рисками, но только 27% работали над её обеспечением[15].

Образование

Бакалавриат. Число выпускников бакалавриата по информатике в Северной Америке (в вузах, присваивающих докторские степени) выросло в 3,5 раза с 2010 по 2020 год, достигнув более 31 000 человек — рост на 11,6% по сравнению с 2019 годом[16].

Докторантура. В 2020 году каждый пятый выпускник PhD по информатике специализировался на ИИ/машинном обучении — наиболее популярная специализация за последнее десятилетие. Число PhD с этой специализацией выросло на 72,05% с 2010 по 2020 год[16].

Глава 5. Политика и управление ИИ

Глава анализирует законодательную и регуляторную активность в сфере ИИ на глобальном уровне и в разрезе отдельных стран[1].

Глобальное законодательство

Анализ AI Index охватил законодательные инициативы в 25 странах. За период 2016–2021 годов было принято 55 законов, содержащих упоминание «искусственного интеллекта». Рост был резким: с 1 закона в 2016 году до 18 в 2021 году[1].

Лидеры по числу принятых законов (2016–2021):

Страна Законы (2016–2021) Законы (2021)
США 13 3
Россия 6 2
Бельгия 5 2
Испания 5 3
Великобритания 5 3
Франция 4 1
Италия 3 1

Среди принятых законов: канадский Budget Implementation Act (2017) с выделением 125 млн долларов на стратегию ИИ; российский Федеральный закон от 24.04.2020 № 123-ФЗ об экспериментальном правовом режиме для ИИ в Москве; американский IOGAN Act (2020) о финансировании исследований дипфейков; бельгийский декрет о создании этического комитета для ИИ-инструментов (2021)[1].

Законодательство в США

На федеральном уровне число предложенных ИИ-законопроектов выросло с 1 в 2015 году до 130 в 2021 году, однако лишь 2% из них были приняты. На уровне штатов число предложенных законопроектов выросло с 2 в 2012 году до 131 в 2021 году, при этом доля принятых составила 20% (26 из 131)[17].

Массачусетс предложил наибольшее число ИИ-законопроектов на уровне штатов (40 с 2012 года), за ним — Гавайи (35) и Нью-Джерси (32)[17].

Упоминания ИИ в парламентских документах

Упоминания ИИ в правительственных протоколах 25 стран выросли в 7,7 раза за шесть лет (2016–2021), достигнув 1 323 в 2021 году. Великобритания доминировала с 939 упоминаниями за весь период, за ней — Испания, Япония, США и Австралия[1].

В Конгрессе США 117-я сессия (начавшаяся в 2021 году) к концу первого года уже зафиксировала 295 упоминаний ИИ — на пути к превышению рекорда 116-й сессии (506 упоминаний за 2019–2020 гг.)[17].

Методология

Отчёт использует данные из множества источников[1]:

  • Публикации и патенты: Center for Security and Emerging Technology (CSET), Джорджтаунский университет.
  • Бенчмарки: Papers With Code, лидерборды SuperGLUE, SQuAD, VCR, MLPerf и др.
  • Инвестиции и стартапы: NetBase Quid.
  • Рынок труда: Emsi Burning Glass, LinkedIn.
  • Корпоративная активность: McKinsey & Company.
  • Робототехника: оригинальный опрос AI Index (509 профессоров, 67 университетов).
  • Законодательство: AI Index (глобальный анализ 25 стран), Bloomberg Government (США).
  • Образование: CRA Taulbee Survey.
  • Этика: RealToxicityPrompts, Perspective API, StereoSet, CrowS-Pairs, Winogender, WinoBias, WinoMT, TruthfulQA, FEVER, FAccT, NeurIPS.

Авторский коллектив

Отчёт подготовлен под руководством содиректоров Джека Кларка (Jack Clark, Anthropic / OECD) и Рэя Перро (Raymond Perrault, SRI International) при участии широкого круга исследователей и организаций-партнёров. В управляющий комитет входили Эрик Бриньолфссон (Erik Brynjolfsson, Stanford), Джон Этчементи (John Etchemendy, Stanford), Тера Лайонс (Terah Lyons), Джеймс Маньика (James Manyika, Google / University of Oxford), Хуан Карлос Ньеблес (Juan Carlos Niebles, Stanford / Salesforce), Майкл Селлитто (Michael Sellitto, Stanford), Йоав Шохам (Yoav Shoham, Stanford / AI21 Labs — основатель-директор). Менеджер исследований и главный редактор — Нестор Маслей (Nestor Maslej, Stanford). AI Index является проектом Стэнфордского института HAI (Human-Centered Artificial Intelligence)[1].

Ссылки

Литература

Примечания

  1. ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 1,11 1,12 1,13 1,14 1,15 1,16 1,17 1,18 1,19 1,20 1,21 1,22 1,23 1,24 1,25 1,26 1,27 1,28 1,29 1,30 1,31 1,32 1,33 1,34 1,35 Zhang, D., Maslej, N., Brynjolfsson, E., Etchemendy, J., Lyons, T., Manyika, J., Ngo, H., Niebles, J.C., Sellitto, M., Sakhaee, E., Shoham, Y., Clark, J., Perrault, R. (2022). The AI Index 2022 Annual Report. AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University. https://aiindex.stanford.edu/report/
  2. ↑ 2,0 2,1 2,2 2,3 2,4 NetBase Quid (2021). AI Investment and Startup Activity Data. https://quid.com/
  3. ↑ 3,0 3,1 3,2 3,3 Center for Security and Emerging Technology, Georgetown University (2021). AI Publications and Patents Data. https://cset.georgetown.edu/
  4. ↑ 4,0 4,1 Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. https://arxiv.org/abs/2112.11446
  5. ↑ 5,0 5,1 MLCommons (2021). MLPerf Training Benchmark Results. https://mlcommons.org/en/training-normal-11/
  6. ↑ Birhane, A. et al. (2021). Multimodal datasets: misogyny, pornography, and malignant stereotypes. https://arxiv.org/abs/2110.01963
  7. ↑ Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://arxiv.org/abs/1905.00537
  8. ↑ Intento (2021). The State of Machine Translation 2021. https://inten.to/
  9. ↑ Swedish Chess Computer Association (2021). Chess Engine Rating List. https://www.ssca.se/
  10. ↑ Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. https://arxiv.org/abs/2009.11462
  11. ↑ Xu, A. et al. (2021). Detoxifying Language Models Risks Marginalizing Minority Voices. https://arxiv.org/abs/2104.06390
  12. ↑ Lin, S., Hilton, J., Evans, O. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. https://arxiv.org/abs/2109.07958
  13. ↑ LinkedIn (2021). AI Hiring Index Data. https://www.linkedin.com/
  14. ↑ Emsi Burning Glass (2021). AI Job Postings Data. https://www.economicmodeling.com/
  15. ↑ 15,0 15,1 McKinsey & Company (2021). The State of AI in 2021. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
  16. ↑ 16,0 16,1 Computing Research Association (2021). CRA Taulbee Survey 2020–2021. https://cra.org/resources/taulbee-survey/
  17. ↑ 17,0 17,1 17,2 Bloomberg Government (2021). U.S. AI Legislative Records. https://about.bgov.com/
Источник — https://systems-analysis.ru/wiki/index.php?title=The_2022_AI_Index_Report&oldid=3323