Logo Форумы Газета Море(!) аналитической информации!
IT-консалтинг Software Engineering Программирование СУБД Безопасность Internet Сети Операционные системы Hardware
2004 г.

Технологии принятия решений: метод анализа иерархий

ЗАО «НЕЙРОСПЛАВ»

Быть или не быть? Как принять правильное решение? Этот вечный вопрос мы задаём себе  на протяжении всей жизни. И как часто принимаем решения в лучшем случае на основе интуиции, а зачастую просто «тыча пальцем в небо».

Хорошо известно, что методами рационального осмысления сложных проблем владеют лишь немногие «самородки», которые и преуспевают в жизни. Но как же быть остальным?  Ведь решения надо принимать каждый день! А если задача очень сложна, многогранна, информационно неполна, то здесь на одной интуиции далеко не уедешь.

Как сделать процесс принятия решения комфортным, технологичным, а самое главное, эффективным, если Вы – руководитель предприятия, или аналитик, или просто человек, который  львиную долю своего времени должен тратить на это?

В настоящее время существует множество информационных технологий, позволяющих предельно облегчить жизнь и помочь в решении проблем, связанных с процессами принятия решений в различных предметных областях. В частности, очень распространены сейчас системы поддержки принятия решений на основе Метода Анализа Иерархий, разработанного американским ученым Т. Саати.

В данной статье изложены основы этого метода, несколько модифицированного сотрудниками ЗАО «НЕЙРОСПЛАВ».

Задачи принятия решения

Процессы принятия решений в различных сферах деятельности во многом аналогичны. Поэтому необходим универсальный метод поддержки принятия решений, соответствующий естественному ходу человеческого мышления.

Часто экономические, медицинские, политические, социальные, управленческие проблемы имеют несколько вариантов решений. Зачастую, выбирая одно решение из множества возможных, лицо, принимающее решение, руководствуется только интуитивными представлениями. Вследствие этого принятие решения имеет неопределенный характер, что сказывается на качестве принимаемых решений.

С целью придания ясности процесс подготовки принятия решения на всех этапах сопровождается количественным выражением таких категорий как «предпочтительность», «важность», «желательность» и т.п.

Задачи принятия решения можно рассмотреть следующим образом.

Пусть имеются:

1.       несколько однотипных альтернатив (объектов, действий и т.п.),

2.       главный критерий (главная цель) сравнения альтернатив,

3.       несколько групп однотипных факторов (частных критериев, объектов, действий и т.п.), влияющих известным образом на отбор альтернатив.

Требуется каждой альтернативе поставить в соответствие приоритет (число) – получить рейтинг альтернатив. Причем чем более предпочтительна альтернатива по избранному критерию, тем больше ее приоритет.

Принятие решений основывается на величинах приоритетов.

Простой пример.

Руководителю фирмы требуется решить, какую программу для бухучета следует приобрести. Альтернативы – предлагаемые на рынке программы: «1С», «Парус», «С2», «Бухгалтер–3», «программа, изготовленная на заказ».

Главная цель – выбор наилучшей программы для бухучета. Факторы, определяющие выбор, - параметры программы: стоимость, защищенность информации, гибкость настройки, расширяемость, нетребовательность к ресурсам и др.

Составляется рейтинг программ.

Принимается решение - купить программу, которая стоит первой в рейтинге.

Задача принятия решения имеет две главные разновидности:

1.       задача выбора (выбрать или отвергнуть несколько вариантов из группы возможных),

2.       задача распределения ресурсов (каждый из рассматриваемых вариантов учитывается в соответствии с его приоритетом).

Огромное множество задач сводится к задаче принятия решения в приведенной здесь формулировке (хотя мы порой этого и не подозреваем). Заметим, что у реального процесса принятия решения имеются сопутствующие проблемы CommonInf_SatelliteProblem, которые успешно решаются с помощью метода анализа иерархий.

Типичные варианты задачи принятия решения

Задача принятия решений чрезвычайно остро стоит перед

§         работниками управления;

§         экономистами;

§         финансистами;

§         социологами;

§         политиками;

§         консультантами;

§         оценщиками;

§         работниками здравоохранения;

§         военными;

§         психологами;

§         работниками социальной сферы;

§         научными работниками,

которые всегда стоят перед выбором наилучшего (наиболее безрискового, дешевого, качественного…) решения из множества существующих альтернатив.

Вот примеры решаемых ими типичных задач.

1.       Рейтинг клиентов (какой из клиентов чаще покупает мои товары? кто из потенциальных клиентов является наиболее перспективным?).

1.       Анализ рисков (например: вложения в какой из рассматриваемых руководством банка проектов наименее рискованны?).

2.       Распределение ресурсов.

Пример. Руководство завода рассматривает перспективные проекты развития. Для них создается модель рейтингования. В итоге каждому проекту приписывается доля от единицы. Эти доли показывают, какой процент от имеющихся ресурсов (сырья, денег и т.п.) надо вложить в каждый проект.

3.       Планирование от достигнутого.

Пример. Исходя из имеющихся: основных фондов, кадров, сырья, инфраструктуры, партнеров, конкурентов, конъюнктуры, влияния государства, имеющейся финансовой поддержки составляется рейтинг возможных положений предприятия через год, если все останется «как сейчас»: банкротство, бум основного производства, перепрофилирование, увеличение экспорта, захват или потеря рынков и т.п. Когда рейтинг известен, принимаются меры по поддержанию позитивных тенденций и подавлению негативных тенденций.

4.       Планирование желаемого будущего.

Пример. Рейтинг наиболее перспективных сценариев развития региона известен. Руководством составляется рейтинг действий, которые надо осуществить, чтобы наиболее перспективные сценарии осуществились.

5.       Комбинированное планирование для определения приоритетов деятельности, позволяющей сблизить результаты планирования от достигнутого и планирования желаемого будущего.

6.       Выбор оптимальной стратегии. Это может быть комплекс задач по планированию, анализу рисков, распределению ресурсов и т.д.

7.       Анализ эффективность-стоимость.

Пример. При исследовании возможностей разработки полезных ископаемых региона получены рейтинги: а) по главному критерию «эффективность (высокая) добычи»: уголь – 0,45; железная руда – 0,3; фосфориты – 0,15; известняк – 0,1; б) по главному критерию «стоимость (низкая) добычи»: фосфориты – 0,5; железная руда – 0,3; известняк – 0,1; уголь – 0,1. Тогда, находя отношения относительной оценки эффективности к стоимости, получим рейтинг по критерию «эффективность-стоимость»: уголь – 4,5; железная руда – 1; известняк – 1; фосфориты – 0,3. Принято решение разрабатывать уголь и руду, не разрабатывать известняк и фосфориты.

8.       Принятие кадровых решений.

Пример. Составляется рейтинг сотрудников фирмы по критерию «полезность за последний месяц». Критерий складывается из факторов: компетентность, коммуникабельность, участие в проектах, принесших прибыль, и т.п. Лидеры рейтинга поощряются.

9.       Разрешение конфликтов.

Пример. Члены руководства корпорации по-разному оценивают ситуацию, склоняются к реализации разных проектов и не могут договориться. Директор не хочет принимать авторитарного решения. С учетом специфики деятельности корпорации составляется (возможно общими усилиями) рейтинг проектов, по нему выбирается проект устраивающий всех. (При составлении рейтинга в данном случае особенно важно то, что происходит обмен мнениями, своего рода деловая игра и спор переходит в конструктивное русло.)

10.   Поиск существенных факторов. Рейтинг составлен. Отбрасываем некоторые факторы. Если рейтинг в принципе не изменился, то отброшенные факторы несущественны. Задача определения существенных факторов особенно актуальна при решении масштабных проблем и проблем стратегического планирования.

11.   Диагностика возможных сценариев развития ситуации.

12.   Построение зависимостей.

Пример. Составляем прогнозы рейтинга ценных бумаг на начало каждой из следующих двадцати недель. Тогда для каждого вида ценных бумаг можно нарисовать график прогнозируемых изменений ее рейтинга относительно других бумаг по двадцати позициям. По графику определяем тенденцию: рост, падение, колебания, когда рост и когда падение. Потом принимаем решения о стиле игры в данном секторе рынка акций.

Можно привести и многие другие примеры задач, для решения которых успешно применяются методы поддержки принятия решений на основе рейтингования альтернатив. Особенно эффективным является метод анализа иерархий. Многочисленные ссылки на успешное применение метода при решении разнообразных задач можно найти в литературе и в сети Internet.

Аналогии


1) Метод анализа иерархий имеет аналогии с теорией вероятностей.

Приоритеты альтернатив (это положительные числа, их сумма равна единице) можно отождествить с вероятностями выбора альтернатив. Приоритеты факторов, влияющих на рейтинг альтернатив, можно считать вероятностями гипотез. При таком подходе способ вычисления приоритетов альтернатив аналогичен применению формулы полной вероятности.
При работе с моделями, учитывающими наличие обратных связей, можно установить многочисленные терминологические и идеологические соответствия между методом анализа иерархий и марковскими случайными процессами с дискретным набором состояний и дискретным временем (марковскими цепями).
(См.данные
MainNotion_Date)

2) Метод анализа иерархий имеет аналогии с теорией графов.

Структура ситуации принятия решения представляется в методе анализа иерархий в виде направленного графа. Узлами графа служат: альтернативы, главный критерий рейтингования альтернатив, факторы, влияющие на рейтинг альтернатив. Направленными дугами графа являются связи, указывающие на влияния одних узлов, на приоритеты других узлов.
(См.структуры
MainNotion_Struct.)

3) Метод анализа иерархий имеет аналогии с теорией неотрицательных матриц.

Расчеты рейтингов, проводимые в методе анализа иерархий, математически основываются на методах расчетов собственных векторов для неотрицательных (и в частности, для стохастических) матриц.
(См. данные
MainNotion_Date)

4) Метод анализа иерархий имеет аналогии с экспертными системами.

Технологии принятия решения с помощью экспертных систем, основанных на байесовском способе логического вывода, являются частным случаем применения метода анализа иерархий.


5) Метод анализа иерархий имеет аналогии с идеологией искусственных нейронных сетей.

В частности, обратная задачаMethodUse_InversTask в методе анализа иерархий по способу решения и проведение процедуры согласования аналогичны обучению нейронной сети.

6) Метод анализа иерархий имеет аналогии с синергетикой.

Модели, строящиеся в методе анализа иерархий, имеют кластерную структуру. Кластеры, по сути, являются элементарными иерархическими структурами. В пределах кластеров метод оперирует понятием вектора приоритетов. При соединении кластеров в систему рейтинг альтернатив конструируется на основе векторов приоритетов в отдельных кластерах. Сложные модели часто демонстрируют «голографический» эффект. Даже при удалении части структуры итоговый рейтинг в целом сохраняется.

Возможности метода анализа иерархий

Метод анализа иерархий – методологическая основа для решения задач выбора альтернатив посредством их многокритериального рейтингования.
Метод анализа иерархий создан американским ученым Т. Саати и вырос в настоящее время в обширный междисциплинарный раздел науки, имеющий строгие математические и психологические обоснования и многочисленные приложения.

Основное применение метода – поддержка принятия решений посредством иерархической композиции задачи и рейтингования альтернативных решений. Имея в виду это обстоятельство, перечислим возможности метода.

1) Метод позволяет провести анализ проблемы. При этом проблема принятия решения представляется в виде иерархически упорядоченных:
     а) главной цели (главного критерия) рейтингования возможных решений,
     б) нескольких групп (уровней
MainNotion_Struct) однотипных факторов, так или иначе влияющих на рейтинг,
     в) группы возможных решений,
     г) системы связей, указывающих на взаимное влияние факторов и решений.

Предполагается, так же, что для всех перечисленных «узловMainNotion_Struct» проблемы указаны их взаимные влияния друг на друга (связиMainNotion_Struct друг с другом). (См. структурыMainNotion_StructExamples_Test4)

2) Метод позволяет провести сбор данных по проблеме.

В соответствие с результатами иерархической декомпозиции модель ситуации принятия решения имеет кластерную структуру. Набор возможных решений и все факторы, влияющие на приоритеты решений, разбиваются на относительно небольшие группы – кластерыMainNotion_Struct. Разработанная в методе анализа иерархий процедура парных сравненийMethodUse_TwineCompare позволяет определить приоритеты объектов, входящих в каждый кластер. Для этого используется метод собственного вектораRules_EigenVectorMethod. Итак, сложная проблема сбора данных разбивается на ряд более простых, решающихся для кластеров.
(См. данные
MainNotion_Date.)

3) Метод позволяет оценить противоречивость данных и минимизировать ее.

С этой целью в методе анализа иерархий разработаны процедуры согласованияMethodUse_Coordination. В частности, имеется возможность определять наиболее противоречивые данныеExamples_Test2, что позволяет выявить наименее ясные участки проблемы и организовать более тщательное выборочное обдумывание проблемы.

4) Метод позволяет провести синтез проблемы принятия решения.

После того, как проведен анализ проблемы и собраны данные по всем кластерам, по специальному алгоритму рассчитывается итоговый рейтинг - набор приоритетов альтернативных решений. Свойства этого рейтинга позволяют осуществлять поддержку принятия решений Например, принимается решение с наибольшим приоритетом. Кроме того, метод позволяет построить рейтинги для групп факторов, что позволяет оценивать важность каждого фактора.

5) Метод позволяет организовать обсуждение проблемы, способствует достижению консенсуса.

Мнения, возникающие при обсуждении проблемы принятия решения, сами могут в данной ситуации рассматриваться в качестве возможных решений. Поэтому метод анализа иерархии можно применить для определения важности учета мнения каждого участника обсуждения.

6) Метод позволяет оценить важность учета каждого решения и важность учета каждого фактора, влияющего на приоритеты решений.

В соответствии с формулировкой задачи принятия решенияCommonInf_TaskDefination величина приоритета напрямую связана с оптимальностью решения. Поэтому решения с низкими приоритетами отвергаются как несущественные. Как отмечено выше, метод позволяет оценивать приоритеты факторов. Поэтому, если при исключении некоторого фактора приоритеты решений изменяются незначительно, такой фактор можно считать несущественным для рассматриваемой задачи.

7) Метод позволяет оценить устойчивость принимаемого решения.

Принимаемое решение можно считать обоснованным лишь при условии, что неточность данных или неточность структуры модели ситуации принятия решения не влияют существенно на рейтинг альтернативных решений.

Источник задач

Процессы принятия решений в различных сферах деятельности во многом аналогичны. Кроме того, во многом схожи и сопутствующие проблемыCommonInf_SatelliteProblem. Поэтому необходим метод, позволяющий по универсальным правилам оказывать поддержку принятия решений и соответствующий естественному ходу мышления лиц, принимающих решения.

В связи с этим возникают следующие вопросы: какой метод нужен иCommonInf_MetodSelect какова формулировка задачи принятия решения.CommonInf_TaskDefination

Какой метод нужен?

Обобщая опыт принятия решений в экономике, политике, на производстве и в других сферах человеческой деятельности, можно высказать ряд интуитивных пожеланий к свойствам метода, призванного обеспечить поддержку процесса принятия решения.

Метод должен соответствовать естественному ходу человеческого мышления. Следует иметь в виду, что математика, положенная в основу метода, не должна заменять человеческий ум и опыт в интерпретации реального мира.

Метод должен служить универсальной систематической основой принятия решения, позволяющей ставить процесс принятия решений на поток. (Вместо мозговых штурмов, организуемых спонтанно и без четкого плана, получаем понятный алгоритм организации размышления над принятием решения в любой сфере деятельности.)

Метод должен позволять решать проблему принятия решений с учетом ее реальной сложности и другие сопутствующие проблемыCommonInf_SatelliteProblem. Заметим, что применение традиционных аналитических технологий невозможно без всевозможных допущений, упрощающих ситуацию.

Метод должен учитывать тот факт, что, как правило, имеется множество мнений, множество стилей принятия решения. В процессе выработки единого решения возможны конфликты. Поэтому нужны механизмы достижения согласия.

Метод должен учитывать тот факт, что часто (особенно для масштабных задач) имеется множество решений. Как следствие несистематический процесс принятия решений несет в себе неопределенность, сказывающуюся на качестве решений. Кроме того, для выбора лучшего решения далеко не всегда удается построить логическую цепочку рассуждений, когда из двух вариантов можно выбрать только один и компромиссы не допустимы. Поэтому для обеспечения ясности необходим механизм количественного ранжирования (установки приоритетов) для возможных решений. (Способность «осознавать» числа является одной из важных особенностей человеческого мышления.) С этим связана формулировка задачи принятия решенияCommonInf_TaskDefination.

Метод должен предполагать обоснованный и понятный способ рейтингования возможных решений. Иначе процесс принятия решений может носить неопределенный характер, а потенциальные возможности могут оказаться нереализованными.

Метод должен учитывать как имеющуюся количественную информацию, так и качественную информацию о предпочтениях лица принимающего решения (нравится – не нравится, лучше – хуже и т.п.), что чрезвычайно важно для экономики, политики, управления, социальной сферы. В связи с этим может быть полезна процедура парных сравненийMethodUse_TwineCompare.

Высказанным здесь пожеланиям во многом удовлетворяют возможности метода анализа иерархийCommonInf_Features.

 

Преимущества и недостатки метода

В рамках метода анализа иерархий нет общих правил для формирования структуры модели принятия решения. Это является отражением реальной ситуации принятия решения, поскольку всегда для одной и той же проблемы имеется целый спектр мнений. Метод позволяет учесть это обстоятельство с помощью построения дополнительной модели для согласования различных мнений, посредством определения их приоритетов. Таким образом, метод позволяет учитывать «человеческий фактор» при подготовке принятия решения. Это одно из важных достоинств данного метода перед другими методами принятия решений.

Формирование структуры модели принятия решения в методе анализа иерархий достаточно трудоемкий процесс. Однако в итоге удается получить детальное представление о том, как именно взаимодействуют факторы, влияющие на приоритеты альтернативных решений, и сами решения. Как именно формируются рейтинги возможных решений и рейтинги, отражающие важность факторов. Процедуры расчетов рейтингов в методе анализа иерархий достаточно просты (он не похож на «черный ящик»), что выгодно отличает данный метод от других методов принятия решений.

Сбор данных для поддержки принятия решения осуществляется главным образом с помощью процедуры парных сравненийMethodUse_TwineCompare. Результаты парных сравнений могут быть противоречивыми. (Метод предоставляет большие возможности для выявления противоречий в данных.) При этом возникает необходимость пересмотра данных для минимизации противоречий. Процедура парных сравнений и процесс пересмотра результатов сравнений для минимизации противоречий часто являются трудоемкими. Однако в итоге лицо, принимающее решение, приобретает уверенность, что использующиеся данные являются вполне осмысленными.

В рамках метода анализа иерархий нет средств для проверки достоверности данных. Это важный недостаток, ограничивающий отчасти возможности применения метода. Однако метод применяется главным образом в тех случаях, когда в принципе не может быть объективных данных, а ведущими мотивами для принятия решения являются предпочтения людей. При этом процедура парных сравнений для сбора данных практически не имеет достойных альтернатив. Если сбор данных проведен с помощью опытных экспертов и в данных нет существенных противоречий, то качество таких данныхMethodUse_CheckQuality признается удовлетворительным.

Схема применения метода совершенно не зависит от сферы деятельности, в которой принимается решение. Поэтому метод является универсальным, его применение позволяет организовать систему поддержки принятия решений.

Работа по подготовке принятия решений часто является слишком трудоемкой для одного человека. Модель, составленная с помощью метода анализа иерархий, всегда имеет кластерную структуру. Применение метода позволяет разбить большую задачу, на ряд малых самостоятельных задач. Благодаря этому для подготовки принятия решения можно привлечь экспертов, работающих независимо друг от друга над локальными задачами. Эксперты могут не знать ничего о характере принимаемого решения, что отчасти способствует сохранению. В частности, благодаря этому удается сохранить в тайне информацию о подготовке решения.

Метод дает только способ рейтингования альтернатив, но не имеет внутренних средств для интерпретации рейтингов, т.е. считается, что человек, принимающий решение, зная рейтинг возможных решений, должен в зависимости от ситуации сам сделать вывод.) Это следует признать недостатком метода.

Данный метод может служить надстройкой для других методов, призванных решать плохо формализованные задачи, где более адекватно подходят человеческие опыт и интуиция, нежели сложные математические расчеты. Метод дает удобные средства учета экспертной информации для решения различных задач.

Метод отражает естественный ход человеческого мышления и дает более общий подход, чем метод логических цепей. Он дает не только дает способ выявления наиболее предпочтительного решения, но и позволяет количественно выразить степень предпочтительности посредством рейтингования. Это способствует полному и адекватному выявлению предпочтений лица, принимающего решение. Кроме того, оценка меры противоречивости использованных данных позволяет установить степень доверия к полученному результату.

 

Смежные научные разделы

 

Метод анализа иерархий представляет собой междисциплинарную область науки.
Обоснование вычислительных процедур метода проводится с помощью теории неотрицательных матриц.

Основным инструментом для сбора данных, благодаря которому метод практически не имеет аналогов при работе с качественной информацией, является процедура парных сравнений. Психологические обоснования шкал сравненийRules_PsychologicBasis основаны на результатах исследований стимулов и реакций.

Анализ структуры моделиMethodUse_Analize, которой оперирует метод анализа иерархий, проводится с помощью процедур, разработанных в теории графов.

При проведении процедуры согласованияMethodUse_Coordination и при решении обратной задачиMethodUse_InversTask используются методы оптимизации (нелинейного программирования).

 

Сопутствующие задачи

 

Формулировка задачи принятия решенияCommonInf_TaskDefination является довольно обобщенной. Для реального процесса подготовки принятия решения самостоятельный интерес представляют также следующие задачи:

1) Выявить наиболее неясные и противоречивые этапы создания модели для поддержки принятия решения
MethodUse_Create:
     а) является ли рассматриваемый набор решений полным,
     б) учтены ли все группы факторов, влияющих на выбор наиболее приоритетного решения,
     в) определены ли все существенные влияния главного критерия, факторов и альтернатив друг на друга,
     г) известны ли сравнительные оценки того, как сильно влияют главный критерий, факторы и альтернативы друг на друга, имеются ли противоречия в оценках (какова согласованность сравнений
Rules_Coordination?),
     д) имеются ли альтернативные мнения по рассматриваемой проблеме, насколько они различаются.

2) Разбить большую задачу о принятии решения на ряд малых задач (провести анализ), что позволяет распределить работу по подготовке принятия решения. Представить в понятной форме схему взаимодействия факторов, влияющих на формирование приоритетов решений, и самих решений (провести синтез), т.е. составить схему задачи принятия решения.

3) Оценить и минимизировать противоречивость данных, использующихся для определения приоритетов рассматриваемых решений.

4) Установить предварительно условия, при которых по найденному рейтингу приоритетов возможных решений можно сделать выбор лучшего решения.

4) Выяснить, все ли мыслимые варианты решений и факторов, влияющих на выбор решений, являются существенными или некоторые из них можно не рассматривать. Это весьма важно в тех ситуациях, когда рассматриваются проблемы большого масштаба или проблемы стратегического планирования.

5) Оценить устойчивость результатов
MethodUse_CheckResultStability, полученных в результате применения метода анализа иерархий. В реальной ситуации практически невозможно гарантировать, что имеющиеся данные или представления о проблеме являются абсолютно точными. Поэтому необходимо проверить в какой мере изменятся приоритеты решений, если данные или схема принятия решения потерпят незначительные изменения.

6) Учесть, что обычно по рассматриваемой проблеме имеется множество мнений. Это приводит к необходимости выбора решения при наличии нескольких эффективных схем принятия решения и нескольких наборов правдоподобных данных. Т.е. необходима работа при наличии множества данных
Advice_WorkInGreatlyOption.

7) Организовать численную обработку имеющейся качественной информации (процедура парных сравненийMethodUse_TwineCompare).

С необходимостью решения перечисленных выше задач и ряда других связаны возможности метода анализа иерархийCommonInf_Features и особенности реализации метода в системе «Император».

 

Сопутствующие проблемы

 

Задача принятия решенияCommonInf_TaskDefination и сопутствующие задачиCommonInf_SatelliteTask содержат ряд проблем, справиться с которыми позволяет метод анализа иерархийCommonInf_Features, в то время как применение других методов поддержки принятия решения может оказаться неэффективным. (См. преимущества и недостатки методаCommonInf_Valuation, условия обоснованного применения методаCommonInf_UseConsition, эффективность применения методаCommonInf_Effectivity.)

 

Перечислим ряд типичных проблем.

1) Полный набор решений, которые действительно необходимо учитывать, не известен. Полный набор факторов, ощутимо влияющих на рейтинг альтернативных решений, не известен.
Эта проблема особенно актуальна для принятия стратегических долгосрочных решений. Действительно, с течением времени малозначительные на данный момент факторы и альтернативы могут стать важнейшими, и наоборот, то что важно сейчас может оказаться незначительным впоследствии. Поэтому необходимо выявление существенных элементов
MethodUse_ExtractEssentialElement рассматриваемой проблемы.

2) Имеется очень много альтернатив и факторов, влияющих на их отбор. При этом выявление существенных элементов
MethodUse_ExtractEssentialElement не решает проблему полностью. Необходимы способы разбиения совокупности рассматриваемых решений и факторов, которые потенциально определяют приоритеты решений, на достаточно малые группы – кластеры. Как следствие сложная задача рейтингования решений разбивается на ряд простых задач. Такое разбиение дает возможность распределения работы по подготовке принятия решения между несколькими специалистами и соблюдения конфиденциальности информации о принимаемом решении.

3) Влияния различных факторов на выбор оптимального решения сложны и запутаны.

В реальных задачах часто имеют место так называемые «обратные связи». Это особенно ярко проявляется, когда принимается решение, требующее значительного времени на воплощение. В таком случае оказывается, что факторы, определяющие значимость решения, сами зависят от принятого решения.

Например, производственное решение, принятое с учетом имеющихся на данный момент ресурсов предприятия, впоследствии влияет на величины ресурсов, а это может приводить к пересмотру решения (и так далее).

Кроме того, некоторые факторы влияют на принятие решения опосредованно (одни факторы влияют на важность других). Из-за этого также возникают затруднения с определением нужного набора факторов.

4) Нет точной количественной информации, необходимой для решения задачи.

Во многих случаях выбор решения существенно зависит от желаний лица, принимающего решения. То, что хорошо для одного человека, может быть совершенно неприемлемо для другого. Поэтому принятие решение должно учитывать «человеческий фактор». В таких случаях необходимы методы обработки качественной информации, что является практически непреодолимым препятствием для традиционных средств принятия решений.

5) Имеющиеся данные противоречивы.

Принятие решения зависит в итоге от воли человека и зависит во многом от субъективных мнений экспертов. Поэтому данные, на основе которых принимается решение всегда более или менее противоречивы.

Простым примером являются непоследовательные суждения. Человек, планируя выходные, вполне может рассуждать так, сравнивая последовательно по парам имеющиеся варианты: «Лучше отправиться на рыбалку, чем с семьей в парк развлечений», «В парке с семьей гораздо лучше, чем с друзьями на охоту», «Охота лучше рыбалки». Это нелогично, но довольно естественно.

Интуитивно ясно, что противоречия нельзя снять совсем, но их необходимо найти и уменьшить. Ведь противоречивые данные не могут быть достоверной основой для принятия решения.

6) В процессе решения задачи возникает множество мнений, но нет системы достижения консенсуса. Ясно, что метод, позволяющий рейтинговать возможные решения,  может быть использован для достижения согласия путем «усреднения», «взвешивания» имеющихся мнений.

7) Нет четкой и универсальной методики составление рейтинга рассматриваемых решений.

Условия обоснованного применения метода

 

Важным требованием, обеспечивающим обоснованность применения метода, является квалифицированность экспертов, принимающих участие в создании структуры модели принятия решения, подготовке данныхRules_DatePreporation и в интерпретации результатовMethodUse_ResultInterpritation, т.е. их способность давать правильную непротиворечивую информацию. Во многом обоснованность решения, принятого с помощью иерархического анализа проблемы, связана: 1) с полнотой учета факторов, определяющих рейтинг решений, 2) с полнотой учета связей между целью рейтингования, факторами и возможными решениями, 3) адекватностью формулировок критериев для парных сравненийAdvice_TwineCompareCriterion тем целям, которые преследуются для построения модели.

Модели, основанные на строгом иерархическом принципе, являются полилинейными и предполагают использование взвешенного суммирования для вычисления приоритетов альтернатив. При этом взаимная зависимость однотипных факторов, от которых зависят приоритеты решений, друг от друга выясняется или путем парных сравнений или не учитывается вовсе (т.е. факторы в модели считаются независимыми). Таким образом, если учитываются сильно коррелирующие факторы, то соответствующая модель должна как минимум иметь обратные связи. Учет обратных связей позволяет установить опосредованные связи между однотипными факторами (через факторы других типов). Если в реальной ситуации имеются существенно нелинейные взаимодействия между компонентами задачи, то аддитивный принцип расчета рейтинга, принятый в методе анализа иерархий может приводить к ошибкам.

Метод наиболее подходит для тех случаев, когда основная часть данных основана на предпочтениях лица, принимающего решения.

Результаты, полученные с помощью иерархических моделей (без обратных связей), являются статичными. Учет цикличности функционирования систем во времени возможен только с помощью систем с обратными связями. Метод не приспособлен для моделирования произвольных динамических процессов. В частности, в рамках метода нет явных средств для моделирования «запаздывания», при котором действия разных факторов распространяются с разными скоростями.

Сбор данных и минимизация содержащихся в них противоречий может подчас производиться долго. При этом может оказаться, что в наборе данных неявно учитывается их разброс по времени. Это обстоятельство может вести к искажению результатов при моделировании быстро меняющихся ситуаций. Метод дает более реалистичные результаты при моделировании медленно меняющихся ситуаций, для принятия стратегических решений.

Рейтинг возможных решений должен иметь малую чувствительность к несущественным изменениям данных или структуры модели.

 

Формулировка задачи принятия решения

 

Часто экономические, медицинские, политические, социальные, управленческие проблемы имеют несколько вариантов решений. (Эти решения относятся к одной проблеме, и в этом смысле они однородны. По отношению друг к другу варианты решений являются альтернативами.)

Таким образом, в типичной ситуации принятия решения:
1) рассматриваются несколько вариантов решения,
2) задан критерий, по которому определяется в какой мере то или иное решение является подходящим,
3) известны условия, в которых решается проблема, и причины, влияющие на выбор того или иного решения.

Кроме того, зачастую, выбирая одно решение из множества возможных, лицо, принимающее решение, руководствуется только интуитивными представлениями. Эти представления могут быть непродуманными в деталях (на вопрос «почему?» далеко не всегда может четко ответить даже тот, кто принял решение). Для других людей мотивы принятия решения могут быть и вовсе неясными. Поэтому с целью придания ясности следует найти численную меру для определения того, насколько каждое из решений является подходящим.

Мы будем строить метод принятия решения так, чтобы на всех этапах его реализация сопровождалась количественным выражением таких категорий как «предпочтительность», «важность», «желательность» и т.п.

 

Основные поняти метода анализа иерархий

 

Введение

 

В соответствии с формулировкой задачи принятия решенияCommonInf_TaskDefination структура модели принятия решения в методе анализа иерархий представляет собой схему (граф), которая включает:
1) набор альтернативных решений,
2) главный критерий рейтингования решений,
3) набор групп однотипных факторов, влияющих на рейтинг,
4) множество направленных связей, указывающих на влияния решений, критерия и факторов друг на друга.

Структура модели отражает результат анализа ситуации принятия решения.

Первая группа понятий связана с описанием возможных структурMainNotion_Struct моделей принятия решения.

Для вычисления приоритетов альтернативных решений к структуре необходимо добавить информацию о силе влияний решений, критерия и факторов друг на друга.

Вторая группа понятий связана с описанием данныхMainNotion_Date для моделей принятия решения.

После того как сформирована структура и собраны все данные, модель принятия решения готова, т.е. в ней могут быть получены рейтинги приоритетов решений и факторов. Знание приоритетов используется для поддержки принятия решения.

Третья группа понятий связана с описанием результатовMainNotion_Result, получаемых в моделях принятия решения.

Четвертая группа понятий связана с пояснением того, как организованы вычисленияMainNotion_Calculation. Знание этих понятий необходимо лишь для понимания математических обоснований метода. Для применения метода знание этих понятий необязательно.

 

Cтруктуры


1) Узел – общее название для всех возможных решений (альтернатив), главного критерия (главной цели) рейтингования решений, всех факторов, от которых, так или иначе, зависит рейтинг. Название узла совпадает с названием соответствующего решения, критерия или фактора. Заметим, что с математической точки зрения схема ситуации принятия решения (структура модели), которая строится в методе анализа иерархий, является графом. Таким образом, понятие «узел» вполне оправдано. Ясно также, что решения, критерий и факторы являются «узлами» проблемы принятия решения.

2) Уровень – группа всех однотипных (равноправных, однородных, гомогенных и т.п.) узлов. Название уровня отражает назначения, функцию группы узлов в ситуации принятия решения. Каждый узел определяется не только своим названием, но и названием уровня, которому он принадлежит. Ясно, что отдельный уровень образуют альтернативные решения (узлы этого уровня однотипны в том смысле, что они являются решениями; прочие узлы таковыми не являются). Главный критерий рейтингования, как правило, один – это отдельный уровень. На рейтинг оказывают влияние несколько групп факторов – это также уровни.
 
 3) Вершина – узел, соответствующий главному критерию (главной цели) отбора альтернатив.

4) Связь – указание на наличие влияния одного узла (доминирующего) на другой (подчиненный).
На схеме связь изображается стрелкой. Направление связи (и соответствующей стрелки) совпадает с направлением влияния. С точки зрения теории графов связь – дуга направленного графа. Связь от узла-фактора к узлу-решению означает, что предпочтительность (важность, оптимальность) решения оценивается с точки зрения воздействия данного фактора.  Связь от вершины к узлу-фактору означает, что важность учета фактора оценивается с точки зрения главного критерия рейтингования альтернатив.
Связь от узла-фактора к узлу-фактору означает, что важность учета второго фактора рассматривается с точки зрения первого фактора.

5) Кластер – группа узлов одного уровня, подчиненных некоторому узлу другого уровня –вершине кластера (доминирующему узлу). Кластеры образуются при расстановке связей между узлами, т.е. при расстановке связей происходит формирование кластерной структуры
Advice_KlasterStruct. Важность узлов кластера друг относительно друга оценивается в соответствие с тем, какой узел является вершиной кластера.
Кластер определяется: 1) своей вершиной, 2) названием уровня, 3) списком узлов.


6) Система (структура модели, схема ситуации принятия решения) – совокупность всех узлов, сгруппированных по уровням, и всех связей между узлами. С математической точки зрения системы, которыми приходится оперировать в методе анализа иерархий, являются – направленными графами (сетями). Связи образуют пути, ведущие от одних узлов к другим. Все пути так или иначе являются частями  основных путей, ведущих от главного критерия рейтингования через факторы к альтернативам, т.е. основные пути, по сути, являются логическими цепочками, ведущими к выбору одной из альтернатив.
Эта система является иерархической (но не является строгой иерархией).

Попутно заметим, что даже для простых задач структуры моделей, строящихся с помощью метода анализа иерархий, представляют собой довольно сложные схемы. Однако это свидетельствует лишь о том, что метод позволяет вскрыть реальную сложность задач, которые человеку приходится решать мысленно.
Название системы отражает ее назначение, принадлежность к сфере деятельности, в которой принимается решение.

7) Иерархия – система, в которой уровни расположены и пронумерованы так, что: 1) нижний уровень содержит рейтингуемые альтернативы, 2) узлы уровней с большими номерами могут доминировать только над узлами уровней с меньшими номерами. Таким образом, в иерархии связи определяют пути одной направленности - от вершины к альтернативам через промежуточные уровни, которые состоят из узлов-факторов. Система представляет собой строгую иерархию, если допустимы связи только между соседними уровнями от верхнего уровня к нижнему.

8) Система с обратными связями. Система имеет обратные связи, если при любом способе нумерации уровней в системе есть узлы, доминирующие и над узлами уровней с большими номерами, и над узлами уровней с меньшими номерами, т .е. система имеет обратные связи, если ни при каких перестановках уровней она не сводится к иерархии. Кроме того, понять различия в структуре иерархии и системы с обратными связями можно, рассматривая пути, образованные связями. Если в системе нет ни одного такого уровня, что по путям, начинающимся в узлах этого уровня, можно попасть в узлы того же уровня, то система является иерархией, т.е. в иерархии любой путь может пересекаться с каждым уровнем лишь однажды. Если в системе имеются такие уровни, что по пути, начинающемуся в одном из узлов этого уровня, можно попасть в один из узлов того же уровня, то система имеет обратные связи. Т.е. в системе с обратными связями обязательно есть пути, пересекающие некоторые уровни хотя бы дважды.


Формирование структуры без обратных связей
Rules_WithOutBackLink (иерархии) и формирование структуры с обратными связямиRules_WithBackLink производятся по определенным правилам.

Данные


1) Приоритет узла в кластере – положительное число, служащее для количественного выражения важности (веса, значимости, предпочтительности и т.п.) данного узла в кластере относительно остальных узлов кластера в соответствие с критерием, заключенным в вершине кластера. Сумма всех приоритетов узлов кластера равна единице. Поэтому часто приоритеты можно трактовать как вероятности, доли общего ресурса и т.п. в зависимости от рассматриваемого случая.

Часто трудно непосредственно определить набор приоритетов (вектор приоритетов) узлов кластера. Тогда используется процедура парных сравненийMethodUse_TwineCompare и метод собственного вектораRules_EigenVectorMethod.


2) Пaрные сравнения узлов кластера – оценки (качественные или количественные) отношения приоритета одного узла к приоритету другого, т.е. результаты парных сравнений – это оценки важности (предпочтительности, вероятности и т.п.) каждого узла кластера относительно каждого из других по критерию, заключенному в вершине кластера. Результат парного сравнения – оценка отношения «весов» сравниваемых объектов («веса» объектов численно выражают их предпочтительность, оптимальность, значимость и т.п.). Цель парных сравнений – определение приоритетов узлов кластера. Для того, чтобы уточнить, в каком смысле название вершины кластера является критерием для проведения сравнений используется формулировка критерия для парных сравнений
Advice_TwineCompareCriterion.
Для проведения парных сравнений задаются параметры: шкала сравнений и способ сравнений. При проведении парного сравнения объектов
 и  достаточно установить только один из результатов  (оценка отношения «веса» объекта  и весу объекта ) или , так как .

3) Шкала сравнений – упорядоченный набор градаций (терминов, чисел и т.п.) для выражения результатов парных сравнений. Шкала сравнений позволяет выражать оценки отношений значений приоритетов узлов, поэтому ее деления – безразмерные величины. Шкалы, использующиеся в методе анализа иерархий, являются шкалами отношений. Т.е. если результату сравнения пары объектов ставится в соответствие значение
 на шкале, то число  - оценка отношения «весов» объектов («веса» объектов численно выражают их предпочтительность, оптимальность, значимость и т.п.
Examples_Test2).

Шкала является количественной, если результаты парных сравнений выражаются непосредственно с помощью чисел.

Шкала является качественной, если результаты парных сравнений выражаются с помощью с градаций-предпочтений. Градациям качественных шкал, использующихся в методе анализа иерархий, соответствуют числа.Т.е. качественные шкалы предоставляют возможность опосредованного оценивания приоритетов через предпочтения. Дискретная шкала имеет конечных набор градаций (при переходе от одной градации к другой значение парного сравнения изменяется скачком).

Дискретной шкале соответствует конечный набор чисел. Дискретные шкалы отличаются по величине наибольшего значения (при количественных сравнениях) или по количеству основных градаций (при качественных сравнениях).

Если число  - верхний предел шкалы, то  - нижний предел шкалы, т.е. все результаты парных сравнений, выраженные в такой шкале, лежат в пределах от  до . Если результату сравнения пары объектов соответствует единица, то значения «весов» объектов оцениваются как равные. Кроме того, для дискретной шкалы  - количество градаций для выражения превосходства одного из сравниваемых объектов над другим. При этом дискретная шкала имеет градации . В качестве градаций непрерывной шкалы может использоваться любое из действительных чисел от  до .

Непрерывная шкала имеет непрерывный набор градаций (между основными делениями шкалы есть всевозможные промежуточные). Градациям непрерывной шкалы соответствуют числа на отрезке числовой прямой. Непрерывные шкалы отличаются по величине наибольшего значения (при количественных сравнениях) или по количеству основных градаций (при качественных сравнениях). Если «вес» объекта  оценивается как превышающий «вес» объекта , результату  парного сравнения объектов  и  соответствует значение на шкале, большее единицы. В противном случае  лежит на шкале слева от единицы. В соответствии с этим правилом осуществляется и перевод градаций качественных шкал в числовые значения.

4) Способ сравнений определяется набором парных сравнений, необходимых для определения приоритетов узлов кластера. При сравнениях с эталоном (по Стивенсу) выбирается один из узлов кластера, с которым сравниваются все остальные. При проведении классических сравнений (по Саати) каждый узел кластера сравнивается со всеми остальными узлами кластера.
 
5) Сравнения кластеров - процедура оценки важности (приоритетности, силы подчинения) кластеров, имеющих общую вершину.

Кластеры сравниваются друг с другом по критерию, заданному названием их вершины. Для проведения сравнений используется та же методика, что и для сравнений узлов в кластере.
Фактически при сравнении кластеров, подчиненных одному узлу, производится рейтингование уровней по критерию, определяемому этим узлом.

6) Матрица сравнений – таблица числовых значений парных сравнений (для узлов кластера или для кластеров, имеющих общую вершину).

7) Индекс согласованности – количественная оценка противоречивости результатов сравнений (для системы в целом, для узлов одного кластера или для кластеров, имеющих общую вершину). Следует иметь в виду, что между достоверностью и непротиворечивостью сравнений нет явной связи. Противоречия в сравнениях возникают из-за субъективных ошибок экспертов. Индекс согласованности не зависит от шкал сравнений, но зависит от количества парных сравнений. Индекс согласованности – положительное число. Чем меньше противоречий в сравнениях, тем меньше значение индекса согласованности. При использовании способа сравнений с эталоном значение индекса согласованности равно нулю.

8) Достоверность результата сравнения – количественной оценка, характеризующая степень неточности (размытости) результата сравнения, связанная с компетентностью эксперта, уровнем доверия к данным и т.п. Достоверность сравнения выражается долей единицы (или в процентах). Нулю соответствуют абсолютно недостоверные сравнения, единице (или 100%) – абсолютно достоверные сравнения. На основе значений достоверности сравнений для кластеров, имеющих общую вершину, и значений достоверности парных сравнений в кластерах определяется достоверность данных в масштабах всей системы.


9) Относительная согласованность матрицы сравнений– отношение индекса согласованности к среднестатистическому значению индекса согласованности при случайном выборе коэффициентов матрицы сравнений. Относительная согласованность для системы в целом характеризует взвешенное среднее значение относительной согласованности по всем матрицам сравнений.
Данные можно считать практически непротиворечивыми (достаточно согласованными), если значение относительной согласованности меньше чем 0,1. Это заключение справедливо как для данных кластера, так и для данных в масштабе всей системы.

10) Идеальные сравнения – наиболее близкие к имеющимся непротиворечивые результаты сравнений.
Идеальным сравнениям соответствуют нулевой индекс согласованности и, соответственно, нулевое значение относительной согласованности.
Знание идеальных сравнений используется при проведении процедуры согласования для кластеров
Advice_CoordinateKlaster, позволяющей скорректировать сравнения для уменьшения их противоречивости.

11) Наиболее противоречивые сравнения – это результаты нескольких парных сравнений узлов одного кластера или кластеров, имеющих общую вершину, вносящие наибольший вклад в значение относительной согласованности.

результаты


1) Итоговый вектор приоритетов – рейтинг альтернатив.
Каждой альтернативе (каждому возможному решению) ставится в соответствие положительное число – приоритет. Приоритет количественно выражает важность (предпочтительность, вероятность, оптимальность и т.п.) альтернативы в соответствии с главным критерием.
Сумма приоритетов всех альтернатив равна единице. Вследствие этого часто допустимо отождествление приоритетов с вероятностями.
Для поддержки принятия решения в основном с помощью итогового вектора приоритетов производится интерпретация результатов применения метода
MethodUse_ResultInterpritation. Например, принимается решение с наибольшим приоритетом, отвергается решение с наименьшим приоритетом и т.п.

2) Вектор приоритетов уровня - рейтинг узлов данного уровня.
Вектор приоритетов уровня вычисляется в предположении, что узлы данного уровня являются альтернативами. Все уровни, кроме тех, что содержат альтернативы и главный критерий рейтингования альтернатив, состоят из факторов, влияющих на итоговый вектор приоритетов. Таким образом, приоритеты узлов-факторов количественно характеризуют важность учета каждого фактора относительно других факторов того же уровня. При вычислении вектора приоритетов уровня рассматриваются только такие пути, образованные связями, которые ведут от вершины к узлам данного уровня.
Приоритет узла в системе – это соответствующая компонента вектора приоритетов уровня, которому принадлежит данный узел.

3) Вектор приоритетов кластера – рейтинг узлов кластера.
Вектор приоритетов узлов кластера может задаваться напрямую (без проведения сравнений) или рассчитываться на основе матрицы сравнений.

3) Показатели согласованности и достоверности для системы в целом, характеризующие качество данных, использованных для вычисления векторов приоритетов, также являются результатами.
Величины этих показателей позволяют оценить степень доверия к результатам, полученным с помощью метода анализа иерархий.
Знание показателей согласованности позволяет решать промежуточную задачу выявления участков проблемы, по которым имеется наиболее противоречивая информация. Решение такой задачи позволяет сделать сбор и корректировку данных более целенаправленными.

4) Устойчивость вектора приоритетов – качественная характеристика чувствительности значений приоритетов к малым изменениям данных или структуры модели.
Очевидно, данные, использующиеся для принятия решений, всегда более или менее неточны. Поэтому чем меньше чувствительность значений приоритетов, тем больше обоснованность использования этих приоритетов для поддержки принятия решения.
В зависимости от решаемой задачи определяется понятие «существенное изменение рейтинга» (смена лидера, смена аутсайдера и т.п.). Если при малых изменениях данных или структуры рейтинг изменяется несущественно, то он считается устойчивым.

5) Существенные элементы структуры – это узлы или связи между узлами, удаление которых приводит к существенному изменению рейтинга. Очевидно, заранее бывает чрезвычайно сложно определить, какие факторы являются определяющими для принятия решения, а какими можно пренебречь. Часто при принятии решений происходит упрощение ситуации (отбрасывание ряда факторов) или делается попытка учесть максимально возможное количество факторов. Поэтому поиск существенных факторов является важной самостоятельной задачей в процессе подготовки принятия решения.

6) Приоритет узла в модели – соответствующая компонента вектора приоритетов уровня, которому принадлежит данный узел. Допустим, в решаемой задаче близость приоритета к единице (к нулю) ассоциируется с предпочтительностью оптимальностью и т.п. Тогда, как правило, узлы с малыми (с большими) приоритетами оказываются несущественными.

7) Приоритет кластера в модели. Если некоторый узел является вершиной только одного кластера, то приоритет кластера в модели совпадает с приоритетом его вершины. (В модели, структура которой является строгой иерархией, так определяется приоритет для каждого кластера.) Если некоторый узел является вершиной нескольких кластеров, то для них устанавливаются приоритеты относительно общей вершины. Приоритет каждого из таких кластеров определяется как произведение приоритета относительно вершины на приоритет узла-вершины в модели.

эффективность применения метода

 

Если для принятия решений достаточно использовать только объективные данные, то в смысле точности и быстроты получения результата более предпочтительными могут быть другие методы (например, методы оптимизации целевого критерия).

Метод может быть излишне громоздким для принятия решения в простых ситуациях, из-за того, что для сбора данных требуется провести много парных сравнений. Однако, если рассматривается масштабная проблема и цена последствия неправильного решения высока, требуется адекватный инструментарий. Метод анализа иерархий позволяет разбить сложную проблему на ряд простых, выявить противоречия.

В задачах принятия стратегических решений часто приходится опираться скорее на опыт и интуицию специалистов, нежели на имеющиеся объективные данные. В этом случае результаты, полученные методом анализа иерархий, могут быть более реалистичными, чем результаты, полученные другими методами.

Рейтинги возможных решений получаются на основе «прозрачных» принципов. Поэтому они могут быть более убедительными, чем информация для поддержки принятия решения, полученная с помощью моделей типа «черного ящика». В таких моделях входная информация о проблеме преобразуется в выходную информацию о принятии решения по «непрозрачным» принципам и структура ситуации принятия решения не раскрывается.

Метод анализа иерархий не требует упрощения структуры задачи, априорного отбрасывания некоторых признаков. Поэтому он эффективнее других аналитических инструментов позволяет учитывать влияние всевозможных факторов на выбор решения.

Составление структуры модели принятия решения может быть трудоемким процессом. Однако, если она составлена, то она может затем применяться многократно. Остается лишь корректировать эту структуру и наполнять ее данными. При этом решение типичных задач может быть поставлено на поток. Таким образом, применение метода становится более эффективным.

 

В качестве примера можно рассмотреть задачу составления оптимального производственного плана. При этом могут учитываться различные факторы: стоимость сырья, затраты на производство, цены на продукцию и т.п. Факторы могут характеризоваться стабильными или изменяющимися показателями. План может носить перспективный характер. При этом, в частности, возникают задачи о закупках сырья, требующегося для реализации оптимального плана, построенного с учетом прогнозов.

Зарегистрируйте номер 007-101-303
на сайте VIP.GFI.RU и получите
наши продукты БЕСПЛАТНО

Новости мира IT:

Архив новостей

Последние комментарии:

Вышел релиз KDE 4.13 (2)
22 Апрель, 01:48
Loading

IT-консалтинг Software Engineering Программирование СУБД Безопасность Internet Сети Операционные системы Hardware

Информация для рекламодателей PR-акции, размещение рекламы — adv@citforum.ru,
тел. +7 495 6608306, ICQ 232284597
Пресс-релизы — pr@citforum.ru
Послать комментарий
Информация для авторов
Rambler's Top100 TopList liveinternet.ru: показано число просмотров за 24 часа, посетителей за 24 часа и за сегодня This Web server launched on February 24, 1997
Copyright © 1997-2000 CIT, © 2001-2009 CIT Forum
Внимание! Любой из материалов, опубликованных на этом сервере, не может быть воспроизведен в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Подробнее...


Предлагаем широкий ассортимент запчастей Хово. Специальные предложения для постоянных покупателей.