Эта статья, несмотря на свое название, посвящена некоторым довольно фундаментальным проблемам исследования операций. Как хорошо известно, давно ведутся споры о том, можно ли считать исследование операций научной деятельностью в полном смысле этого слова. Я утверждаю, что ответ на этот вопрос — утвердительный с оговорками; есть две оговорки, одна касается цели, другая — метода.
Сравнивая научное исследование с операционным анализом, мы, прежде всего, отмечаем разницу в акцентах: как чистые ученые, мы в первую очередь озабочены поиском истины и, следовательно, лучшим пониманием мира, в котором мы живем; любое применение для взаимодействия с реальным миром, которое может вытекать из такого возросшего понимания, приобретает второстепенное значение. Как операционные аналитики, с другой стороны, мы прагматики, наша главная забота — более эффективное управление реальным миром, даже если для этого может потребоваться достижение этого без желаемой степени понимания всех лежащих в основе явлений.
Эта разница в отношении между пуристом, стремящимся к пониманию, и прагматиком, стремящимся к контролю над своим окружением, влечет за собой методологическое различие, которое является второй оговоркой, упомянутой мной выше. И точный ученый, и операционный аналитик склонны использовать то, что иногда называют математической моделью предмета исследования; в случае ученого такая модель, скорее всего, будет частью хорошо подтвержденного корпуса наших научных знаний, тогда как модель исследования операций носит более предварительный, *ad hoc* характер. Другими словами, даже если текущее состояние науки не предоставляет устоявшейся теории для явлений, с которыми приходится иметь дело операционному аналитику, последний, тем не менее, должен построить модель как можно лучше, где и структура модели, и ее числовые входные данные могут основываться просто на интуитивном понимании и ограниченном практическом опыте самого аналитика или любых доступных ему экспертов-консультантов по предмету исследования. По мере накопления дальнейших идей и получения большего количества экспериментальных данных операционный аналитик должен быть готов отбросить свою первую модель и заменить ее улучшенной. Эта предварительная процедура, диктуемая прагматическими соображениями, по сути, является процедурой последовательного приближения. В этом отношении исследование операций имеет статус, сходный со статусом так называемых неточных наук, примерами которых являются медицина, инженерия и большинство социальных наук.
Поэтому, сравнивая исследование операций с точной наукой, именно в отношении точности исследование операций уступает, но не обязательно в отношении научного характера его методов. Как я подробно обсуждал в другом месте, а именно в моей статье с Николасом Решером «Об эпистемологии неточных наук»*, методы неточных наук (включая исследование операций), несмотря на их опору на менее чем универсальные законы и на интуитивное суждение, могут быть столь же «научными», как и методы точных наук, при условии соблюдения определенных стандартов объективности при подтверждении прогнозов.
В этой статье меня особенно интересует один методологический аспект исследования операций, а именно опора на экспертные оценки. Мне кажется, что операционный аналитик, далекий от отрицания потребности в интуитивной экспертизе, должен сознательно признавать ее и, более того, максимально использовать. Только заменив скрытое использование экспертизы ее явным и систематическим применением, исследование операций может надеяться приобрести статус науки, пусть и неточной.
Первый вопрос, который необходимо поднять, заключается в том, как на самом деле можно гарантировать объективность, если прямые эмпирические данные заменяются, даже частично, мнением, пусть и экспертным. Обоснование такой процедуры можно увидеть, рассматривая эксперта как объективный индикатор, сравнимый с измерительным прибором. То есть, прогнозные высказывания эксперта должны рассматриваться как неотъемлемая, внутренняя часть предмета исследования, в том смысле, что информация о его надежности — подтвержденная его прошлыми прогнозными показателями — должна быть добавлена к нашим знаниям о рассматриваемой области. Включив в нашу модель производительность этого инструмента для измерения вероятностей — т. е. прогнозного эксперта — наши данные дополняются высказываниями эксперта, а наша теория дополняется объективно подтверждаемыми гипотезами о его надежности.
Поэтому часто неизбежная опора на экспертные оценки в исследовании операций не обязательно означает, что объективность отбрасывается на ветер. Однако, чтобы повысить уровень объективности и наиболее эффективно использовать экспертные оценки, когда они доступны, необходимо приложить усилия для разработки конкретных методов выявления экспертных показателей и обработки данных в форме экспертных высказываний в прогнозы с максимально возможной надежностью.
Самый простой способ оценить способности эксперта — это использовать его прошлые показатели, при условии наличия записи о последних. Его «степень надежности» может быть определена как относительная частота случаев, когда, столкнувшись с несколькими альтернативными гипотезами, он приписывал правильной гипотезе большую вероятность, чем другим. Поскольку некоторые прогнозы явно легче сделать, чем другие — либо потому, что содержание утверждения может быть логически менее точным, либо потому, что доступно больше теоретических знаний — важна не столько абсолютная степень надежности, сколько относительная степень надежности по сравнению со среднестатистическим хорошо информированным человеком. Другой, возможно, более тонкий показатель эффективности эксперта — это его «степень точности», то есть степень, в которой его «личные» оценки вероятности p соответствуют его надежности в классе тех гипотез, которым он приписал вероятность p.
Эксперт, конечно, лучше всего выбирается на основе его прошлой надежности. Если, кроме того, доступны данные о его прошлой точности, возможно, удастся определить, демонстрируют ли его оценки вероятности систематическую погрешность; если да, то можно компенсировать это и таким образом получить более точные прогнозы вероятности. (Это предполагает определенную статистическую стабильность в работе эксперта, гипотезу, для которой имеются некоторые доказательства.) Также может быть целесообразно изучить систематические возможности улучшения работы эксперта — помимо непрерывного обучения и опыта в его области знаний — путем предоставления ему соответствующим образом подобранных вспомогательных средств, скажем, в виде табличных данных, теоретической информации, контрольных списков релевантных соображений и так далее.
Часто еще лучше, чем иметь одного эксперта, — иметь под рукой двух или более экспертов. Существует два способа использования групп экспертов. Один — заставить их работать индивидуально и искать методы наилучшего комбинированного использования их высказываний; это область методов консенсуса. Другой — заставить их работать совместно в групповом упражнении и получать экспертные суждения от группы в целом; это включает в себя все, от простых обсуждений за круглым столом среди экспертов, возможно, приводящих к голосованию по рассматриваемому вопросу, до сложных псевдоэкспериментов. Метод, который находится где-то между индивидуальным и групповым действием, — это так называемый метод Дельфи.
Если для консультации по данному вопросу доступно несколько, а не один эксперт, простейшим способом формирования консенсуса их суждений является взятие медианы их ответов. Вариантом этой процедуры является взятие взвешенных средних, где веса могут основываться либо на записи прошлой производительности, либо на самооценке экспертом его относительной компетентности в ответе на конкретный вопрос. Более сложные методы взвешивания могут учитывать не только прошлые показатели или настоящую самооценку компетентности отдельного эксперта, но и корреляции между этими показателями для нескольких экспертов.
Среди успешных прошлых применений техники консенсуса я могу упомянуть следующие: исследование прогнозирования социальных и технологических событий Капланом, Скогстадом и Гиршиком (в Public Opinion Quarterly, 1951); неопубликованное исследование, проведенное в RAND много лет назад, о предсказуемости результатов скачек с использованием консенсуса прогнозов гандикаперов; консенсус, основанный на опросе общественного мнения, проведенном корпорацией Raytheon совместно с ее очень комплексной стратегической компьютерной игрой; и консенсус мнений о политическом прогрессе в различных странах Южной Америки, проведенный Фицгиббоном и Джонсоном (в American Political Science Review, 1960).
Далее позвольте мне сказать несколько слов о том, что мы в RAND назвали техникой Дельфи, которая пытается добавить к базовому методу консенсуса (невзвешенных или взвешенных медиан) достоинство раскрытия взглядов экспертов критике друг друга без фактической конфронтации и всех ее психологических недостатков (таких как ложное убеждение, нежелание отказываться от публично высказанных мнений и эффект подражания мнению большинства). Эта техника Дельфи заменяет прямые дебаты тщательно разработанной программой последовательных индивидуальных опросов (лучше всего проводимых с помощью анкет), перемежающихся информацией и обратной связью мнений, полученных путем вычисленного консенсуса из предыдущих частей программы. Некоторые из вопросов, адресованных респондентам, могут, например, касаться «причин» ранее высказанных мнений, и совокупность таких причин затем может быть представлена каждому респонденту в группе вместе с предложением пересмотреть и, возможно, изменить свои предыдущие оценки. Как запрос о причинах, так и последующая обратная связь о причинах, приведенных другими, могут служить стимулом для экспертов должным образом учесть соображения, которые они могли по неосторожности упустить, и придать должный вес факторам, которые они были склонны отбросить как несущественные при первом рассмотрении.
Единственный опубликованный отчет о применении техники Дельфи — это отчет Далки и мой собственный в этом году в *Management Science*.* В настоящее время проводится крупномасштабный эксперимент по использованию техники Дельфи, в котором ряд международных панелей респондентов используются в попытке получить долгосрочные прогнозы непредвиденных обстоятельств состояния мира через 25 лет.
Другая процедура, которая оказывает значительную помощь отдельному эксперту в его работе, особенно если он должен действовать совместно с другими экспертами, — это применение методов симуляции. Это форма псевдоэкспериментирования, при которой подходящая модель реального мира, а не сам реальный мир, подвергается экспериментальным манипуляциям. Эта процедура особенно перспективна, когда желательно использовать нескольких экспертов с различными специализациями в контексте, в котором их прогнозы не могут вводиться независимо, но где они, вероятно, будут взаимодействовать друг с другом. Здесь модель предоставляет экспертам искусственную, смоделированную среду, в которой они могут совместно и одновременно экспериментировать, реагируя на изменения в среде, вызванные их действиями, и приобретая через обратную связь понимание, необходимое для успешных прогнозов внутри модели и, таким образом, косвенно о реальном мире.
Различные симуляционные эксперименты проводились в прошлом. В качестве примера особого текущего интереса я хотел бы упомянуть наши надежды на применение методов симуляции к изучению экономик слаборазвитых стран, проект, о котором Э. С. Куэйд докладывал на недавней встрече в Париже по применению исследования операций к слаборазвитым странам.*
Особым случаем симуляции, включающим ролевые игры участвующих экспертов, является операционная игра. Симуляционная модель может считаться игровой для реальной ситуации, если последняя касается лиц, принимающих решения, в контексте конфликтующих интересов. В операционной игре смоделированная среда особенно эффективна в напоминании эксперту о необходимости учитывать все потенциально релевантные факторы при составлении своих прогнозов; ибо если он этого не сделает и выберет тактику или стратегию, упускающую существенный фактор, проницательный оппонент достаточно скоро научит его не повторять такого упущения.
Помимо хорошо известных применений операционных игр в военном деле, я могу упомянуть такие применения, как планирование закупок, дипломатия холодной войны, экономические переговоры и промышленная конкуренция.
В качестве резюме позвольте мне повторить следующее:
- Я считаю исследование операций наукой, но неточной.
- Операционный аналитик, в отличие от чистого ученого, подчеркивает контроль, а не понимание.
- Использование суждений при построении и применении операционно-аналитических моделей неизбежно.
- Поскольку использование суждений является *sine-qua-non* (непременным условием), такое суждение должно быть как можно более экспертным, а его применение — как можно более систематическим.
- В интересах повышения научных стандартов исследования операций было бы целесообразно искать улучшенные методы выявления и измерения экспертности, а также эффективного использования экспертов как поодиночке, так и в группах.
- В частности, использование групп экспертов с помощью методов консенсуса, техники Дельфи, процедур симуляции и операционных игр должно быть доработано до такой степени, чтобы они стали общепринятой частью стандартного набора инструментов исследования операций.
* Любые мнения, выраженные в этом документе, принадлежат автору. Их не следует интерпретировать как отражение взглядов Корпорации RAND или официального мнения или политики какого-либо из ее правительственных или частных исследовательских спонсоров. Документы воспроизводятся Корпорацией RAND в качестве любезности для членов ее персонала. Документ был подготовлен для представления на Третьей Международной конференции по исследованию операций, Осло, Норвегия, июль 1963 г.
* Management Science, 6 (1959); также выпущено Корпорацией RAND как P-1513.
* N. Dalkey and O. Helmer, "An Experimental Application of the Delphi Method to the Use of Experts," Management Science, 9 (1963).
* P-2718, "An Approach to the Study of a Developing Economy," by O. Helmer and E. S. Quade.