Резерв на непредвиденные в оценке CAPEX: как проверить по модели RAND

Откуда в оценке класса 5 берётся резерв?

КороткоДля оценки CAPEX класса 5 AACE предлагает считать резерв на непредвиденные (contingency) параметрической моделью, потому что списка рисков на такой стадии ещё нет. Модель переводит несколько характеристик проекта в ожидаемый рост стоимости. Пожалуй, самая известная из таких моделей построена в корпорации RAND в 1981 году. На практике вместо модели часто ставят фиксированный процент, и проверить его нечем.

В записке о классах оценки я обещал отдельно рассказать, как резерв считают по рискам вместо норматива. Начну с самой ранней стадии, где спорят чаще всего.

Оценку CAPEX класса 5 собирают на стадии концепции, когда проект проработан не больше чем на 2% (AACE 18R-97). Реестр рисков по статьям при такой проработке не собрать: кроме самой идеи, привязать риски пока не к чему. Поэтому AACE допускает, что на самой ранней стадии параметрический метод можно применять без других методов (AACE RP 42R-08, с. 2).

Фиксированный процент по классу, вроде условного «класс 5 = 40%», AACE, как правило, не рекомендует: такие значения «часто нереалистичны и могут почти не иметь эмпирической основы» (AACE PGD-02; здесь и дальше перевод мой). При этом в 119R-21 признано, что во многих корпоративных процедурах, если не в большинстве из них, для каждого класса записан как раз фиксированный диапазон (с. 3).

В российской сметной системе на этом месте стоит норматив резерва в несколько процентов. Он рассчитан на проектную документацию, где объём уже известен, и оценке класса 5 не подходит. О нормативе будет отдельная записка.

Когда оценку класса 5 считаю я, рядом с процентом резерва показываю модель и значения, которые в неё подставил. А если слышу, что проект уже кто-то оценил, первым делом спрашиваю, какой моделью посчитан резерв и что в неё подставлено. Процент без такого ответа остаётся мнением, даже записанный с десятыми.

Почему модель RAND 1981 года до сих пор в ходу?

КороткоКорпорация RAND по заказу Министерства энергетики США разобрала 106 оценок по 40 заводам в США и Канаде и вывела уравнение роста стоимости от пяти характеристик проекта. На своей выборке уравнение объясняет 83% различий в точности оценок. AACE строит на нём параметрические рекомендации, а отчёт выложен в открытый доступ на OSTI, в научном архиве Минэнерго США.

Отчёт называется «Understanding Cost Growth and Performance Shortfalls in Pioneer Process Plants», его авторы Мерроу, Филлипс и Майерс. Данные дали 34 компании, среди них нефтяные, химические, инжиниринговые и пять горно-металлургических. В выборке в основном «пионерные» заводы, то есть первые промышленные установки на новой технологии, запущенные незадолго до исследования. Выводы авторы распространяли на заводы непрерывного цикла в целом.

Ошибку оценки авторы меряют отношением «оценка/факт» и считают его в постоянных ценах 1980 года. Оценки, сделанные под другую мощность или номенклатуру продукции, они пересчитали на построенный завод. Из факта вычли то, чего проектировщики и сметчики предвидеть не могли: забастовки, непогоду, нехватку материалов и рабочих рук, требования регулятора, введённые после даты оценки (с. 45-46). В среднем по выборке это отношение равно 0,78: факт вышел примерно на 28% выше оценки.

AACE опирается на эту работу в нескольких документах. В 43R-08 собраны учебные модели в Excel, и модель RAND описана там первой как более свежая и статистически надёжная, чем прежняя работа Хэкни. Параметрический метод и его калибровку описывает 42R-08. А 119R-21 (ведущий автор Джон Холлманн) сворачивает модель в таблицы по классам оценки и называет модель RAND «пожалуй, самой известной» в своём роде (с. 3-4).

Для проверки чужой оценки важно вот что: коэффициенты модели опубликованы, так что пересчитать резерв может любой. Правило разброса, значения по умолчанию и таблицы по классам есть только в 119R-21.

От каких характеристик проекта зависит резерв?

КороткоИз пяти характеристик проекта в модели RAND на классе 5 больше всего спорят о двух, о проработке площадки и инжиниринга и о полноте статей в оценке. Каждая двигает резерв почти на 7 процентных пунктов, и на ранней стадии обе выставляют по суждению. Остальные три описывают технологический процесс.

Уравнение из отчёта RAND (с. 57, коэффициенты в табл. 4.9 на с. 59), в переменных самого отчёта:

Постоянная часть уравнения равна 1,12196. Модель считает C, отношение «оценка/факт», и резерв до медианы равен 1/C − 1. Для процесса, который ещё в стадии НИОКР, коэффициент проработки берут −0,06361 вместо −0,04011. Сдвиги в последнем столбце я посчитал от базового примера (проработка 7, полнота 36, накопление примесей 2, четыре блока, освоенная технология); чем дальше от него, тем шаги немного больше.

Медианой, или P50, называют цифру, которую проект с равными шансами превысит или не превысит; в записке о классах это называлось уровнем доверия 50%. P90 проект превысит в одном случае из десяти, P10 — в девяти из десяти.

На классе 5 проработка находится у верхнего края шкалы, и каждый её уровень добавляет почти семь пунктов резерва. Полнота, которую легко принять за бухгалтерскую мелочь, весит столько же. Главными драйверами 119R-21 называет проработку, новизну технологии и сложность (с. 4); о новизне и сложности спорят реже, потому что их видно по технологической схеме.

Значения переменных стоимостной инженер выставляет не в одиночку. Балл по примесям RAND так и определяет: оценка технологов (табл. 4.8). Для параметрических моделей AACE описывает совещание ключевых людей проекта, где баллы согласуют вместе, а системные риски относит к зоне высшего руководства (42R-08). Главный источник у каждого значения свой:

• Технолог: новизна технологии и накопление примесей. Он знает, какие переделы ещё не работали в промышленном масштабе и чего ждать от примесей в сырье. Число блоков тоже снимают с его технологической схемы.
• Руководитель проектирования (ГИП): проработка, то есть уровень инжиниринга и качество данных площадки.
• Стоимостной инженер: полнота, её видно по составу самой оценки.
• Заказчик: итоговый процент резерва и управленческий резерв сверх него, при утверждении бюджета.

Как пересчитать резерв в Excel за пять строк?

КороткоДля пересчёта хватает пяти формул в Excel. Коэффициенты взяты из общедоступного отчёта RAND, правило разброса σ = 1 − C взято из AACE 119R-21, а распределение считает стандартная функция НОРМ.ОБР. Перед расчётом своей оценки проверьте таблицу на примере AACE из открытого доступа, это занимает пару минут.

Не собираетесь считать сами? Раздел можно пропустить: вопросы к автору оценки в конце работают и без него.

1. C = 1,12196 − 0,00297 × PCTNEW − 0,02125 × IMPURITIES − 0,01137 × COMPLEXITY + 0,00111 × INCLUSIVENESS − 0,04011 × PROJECT DEFINITION.
2. Резерв до P50 = 1/C − 1.
3. Разброс отношения «оценка/факт» (стандартное отклонение): σ = 1 − C.
4. P90 = база / НОРМ.ОБР(0,1; C; σ).
5. P10 = база / НОРМ.ОБР(0,9; C; σ).

В русском Excel это пять ячеек. Параметры вводятся в A2:E2 в порядке уравнения, база (оценка без резерва) в F2:

G2  C:       =1,12196-0,00297*A2-0,02125*B2-0,01137*C2+0,00111*D2-0,04011*E2
H2  резерв:  =1/G2-1
I2  P50:     =F2/G2
J2  P90:     =F2/НОРМ.ОБР(0,1;G2;1-G2)
K2  P10:     =F2/НОРМ.ОБР(0,9;G2;1-G2)

Долю новой технологии и полноту вводите числами без знака процента, например 36. При вводе 36% Excel сохранит 0,36, и резерв выйдет неверным. В английском Excel функция называется NORM.INV. Разделители задают региональные настройки Windows, язык Excel на них не влияет: при русских настройках аргументы разделяет точка с запятой, а дробь пишется через запятую, при английских это запятая и точка.

В формулу P90 идёт вероятность 0,1: модель считает отношение «оценка/факт», и оно тем меньше, чем дороже вышел проект. НОРМ.ОБР(0,1; C; σ) даёт такое отношение, хуже которого проект окажется в одном случае из десяти.

Для примера возьму значения, которые 119R-21 принимает для класса 5 по умолчанию: проработка 7, полнота 36, накопление примесей 2. Технология освоенная, блоков четыре. Тогда C ≈ 0,79, резерв до P50 около 26%, а на базе 100 получается P10 ≈ 94, P50 ≈ 126, P90 ≈ 189. Проще говоря, дороже или дешевле 126 проект обойдётся с равными шансами, а дороже 189 выйдет в одном случае из десяти.

Собранную таблицу удобно проверить на примере из 119R-21 (с. 5). Первые страницы своих практик AACE выкладывает в открытый доступ, и этот пример в них попадает. В нём взяты C = 0,78 и разброс 0,19, фактические среднее и стандартное отклонение выборки RAND, так что разброс в этом примере не равен 1 − C. Поставьте в G2 значение 0,78, а в J2 и K2 временно замените 1-G2 на 0,19. На базе 100 должно получиться P10 ≈ 98, P50 ≈ 128, P90 ≈ 186. В документе на P90 указано 1,85, потому что единицу там делили на уже округлённое 0,54.

При C меньше 0,6 формуле P90 доверять нельзя: около 0,56 её знаменатель доходит до нуля, и Excel выдаст огромное или отрицательное число. Такое число говорит только о том, что проект вышел за пределы модели.

Резерв вашей оценки могу пересчитать и я: это нормальный повод для короткого разговора.

Почему оценку без резерва превысят пять раз из шести?

КороткоПо модели RAND с правилом разброса из 119R-21 оценка без резерва на непредвиденные находится примерно на 16-м процентиле: проект превысит её с вероятностью около 84%, и от характеристик проекта это не зависит. 119R-21 говорит то же словами: база «типичного смещения» стоит примерно на P15, а у крупных проектов обычно между P10 и P20.

Стоимость уложится в базу, только если отношение «оценка/факт» окажется не меньше единицы. При среднем C и разбросе 1 − C единица отстоит от среднего ровно на один разброс. Вероятность, что отношение окажется выше единицы, равна 15,9% при любом наборе характеристик.

Правило σ = 1 − C в 119R-21 опирается на два эмпирических наблюдения: отношение «оценка/факт» распределено примерно нормально, а резерв до P50 примерно равен стандартному отклонению при базе около P15 (с. 4). При таком правиле утверждения про резерв и про P15 сводятся к одному. Если мерить резерв долей от P50, он равен 1 − C, ровно одному разбросу: в базовом примере это 26 из 126, около 21%, и σ тоже около 0,21.

Базовая оценка без резерва по этой модели означает цифру, которую проект превысит пять раз из шести. Условный пример: на защите бюджета резерв урезали с 26% до 15% как перестраховку. Шанс уложиться в такой бюджет по модели падает с половины до 36%. О том, что резерв не подушка, я писал в записке о классах, здесь это видно в числах.

119R-21 просит авторов оценок помнить о смещении своей базы, то есть о том, собрана она оптимистично или с запасом, и поправлять P50 и диапазон (с. 3). База с запасами внутри статей заставит модель посчитать те же риски второй раз.

В каких трёх местах модель приходится толковать?

КороткоВ модели RAND есть три места, где толкование приходится выбрать, прежде чем подставить число. Это значения переменных, смысл того, что модель выдаёт, и разброс вокруг ответа вместе с формой распределения. Первые два двигают процент резерва, третье меняет ширину диапазона вокруг него. Каждый выбор законен, и каждый стоит назвать в основании оценки (basis of estimate).

Значения переменных. 119R-21 для класса 5 берёт проработку 7, а полноту 36 и накопление примесей 2 ставит около средних по выборке RAND (35,8 и 2,3). По определениям RAND иногда выходит другое. - Проработка. RAND складывает уровень инжиниринга по шкале от 1 до 4 и среднее качество данных о площадке по четырём элементам, тоже от 1 до 4 (с. 52-53). У оценки класса 5 инжиниринг обычно на уровне 4, это «скрининг». Если условия площадки приняты допущением, например заложены факторами, выходит 4 + 3 = 7, ровно значение 119R-21 по умолчанию. Если данных о площадке в оценке нет совсем, выходит 8: «оценка проекта, для которого ещё не выбрана площадка и который ещё не дошёл до инжиниринга, получила бы значение 8» (с. 54). - Полнота. Буквально это доля трёх статей из таблицы переменных, и в оценке по одному оборудованию их нет, значит 0. Авторы RAND при этом пишут, что переменная «вероятно, измеряет детальность информации, включённой в оценку» (с. 56), а 119R-21 использует её как меру смещения базы. По словам 119R-21, лист ввода 43R-08 полноту ниже 33% не принимает, так что ноль лежит вне рабочего диапазона листа. - Технология. Для освоенного процесса буквальное значение равно нулю. Но 119R-21 относит металлургию и горное дело к отраслям со средним уровнем новизны, и отраслевой ориентир даёт 10%.

Что модель выдаёт. Авторы RAND мерили рост стоимости от оценок, в которые резерв уже был включён, и на разный размер этих резервов не поправляли (с. 42, сноска 13). 119R-21 принимает выход модели примерно за P50 и прикладывает его к базе без резерва (с. 5). Допущение законное, но его стоит назвать. Для порядка величины: если в оценках выборки уже сидел резерв около 10%, то резерв, приложенный к базе без резерва, должен был бы быть примерно на 13 пунктов больше.

Разброс и форма распределения. Правило σ = 1 − C связывает разброс с самим резервом. В AACE есть и другое правило: в 42R-08 редакции 2021 года разброс задан иначе, и для базового примера P90 выходит на 42% выше P50 вместо 50%. Разброс точек вокруг уравнения RAND (±0,083) дал бы около +15%. Для диапазона его не берут ни 119R-21, ни 42R-08: авторы RAND оговаривают, что на новых проектах ошибка будет больше (с. 63). 119R-21 из этих вариантов берёт самый широкий и потому самый осторожный.

Форма распределения тоже выбор. 119R-21 считает нормальным отношение «оценка/факт» и в сноске отмечает, что обратное отношение, «факт/оценка», хорошо описывается и логнормальным распределением (с. 4). Вблизи типичных значений оба варианта дают близкие цифры, при крайних значениях переменных они расходятся.

Насколько меняется резерв от прочтения?

КороткоОт значений 119R-21 по умолчанию до оценки, где нет ни данных площадки, ни статей владельца, резерв на непредвиденные до P50 растёт с 26% до 40% базы. Нижняя граница почти не двигается: P10 во всех вариантах на 5-8% ниже базы. Верхняя, P90, растёт сильнее, но насколько именно, решает уже форма распределения.

Расчёт на базе 100; блоков четыре, накопление примесей 2:

P50 от прочтения сдвигается на 14 единиц, P90 — примерно на сотню, с 189 до 290. Но P90 здесь зависит не только от проекта. Возьмём логнормальное распределение с той же медианой и тем же положением базы: P90 в последней строке будет около 216 вместо 290, в первой около 170 вместо 189. Прочтение переменных двигает P50, а как далеко уходит хвост, решает форма распределения.

43R-08 просит «с большой осторожностью» ставить на крайние значения большинство переменных или все сразу (с. 2). Полнота 0 и проработка 8 как раз края своих шкал. С другой стороны, в выборке RAND были и самые ранние оценки: по семи таким факт в среднем вышел вдвое выше оценки (табл. 4.3, с. 48). В обзоре Холлманна 2012 года эти данные стоят в колонке класса 5 с медианой +100%. Так что 40% не выходят за то, что наблюдали в RAND, хотя там были заводы с новой технологией.

Как выбрать строку? Я смотрю в документ оценки. Если в нём нет ни данных площадки, ни земли, ни запасов, ни персонала до пуска, я беру нижние строки таблицы. Площадка, заложенная типовыми факторами, и посчитанные статьи владельца возвращают к значениям 119R-21 по умолчанию. С технологией похоже: процесс, уже работающий на таких же заводах, получает 0, а заимствованный из другой отрасли или впервые выходящий на промышленный масштаб — отраслевой ориентир 10% или собственную оценку. В основание оценки в любом случае идут обе цифры.

Для каких проектов модель подходит хуже?

КороткоМодели RAND и 43R-08 построены на данных по технологическим заводам Северной Америки 1950-1980-х. 43R-08 предупреждает, что они хуже подходят проектам, где доминирует оборудование или машины, и называет среди них пирометаллургию. Гидрометаллургию тот же документ относит к типичным для модели отраслям. Поправка для конкретного проекта может идти и вверх, и вниз.

Эти предупреждения есть в открытом фрагменте 43R-08, на первых двух страницах. Модели там названы учебными: до применения их нужно откалибровать и проверить на собственном опыте. Там же сказано, что они «будут хуже подходить для проектов, где доминирует оборудование или машины (например, сухие процессы с малым объёмом трубопроводов, обрабатывающие производства, пирометаллургия)» (с. 2).

Здесь легко спутать две вещи. Доминирующее оборудование характеризует объект, оценка по одному списку оборудования характеризует документ. От первого зависит, подходит ли модель, от второго зависят значения проработки и полноты.

Вверх резерв тянут значения переменных по составу оценки и предупреждение 43R-08 о проектах, где доминирует оборудование.

Вниз тянет наблюдение, которое приводит 119R-21: основное оборудование и на ранней стадии оценивают надёжнее прочих статей. Фразу 119R-21 о том, что модель применима в любой отрасли, я читаю как ответ на вопрос об отрасли, а не о составе объёма.

Отдельно от направления: оценка класса 5 для освоенной технологии далека от типичного проекта выборки RAND. Там в среднем почти треть оценки приходилась на новую технологию, а проработка была около 4 по шкале от 2 до 8 (табл. 4.8), так что модель здесь работает на краю своих данных.

Некоторых рисков модель не видит вовсе. Эскалацию, валютные колебания, крупные изменения объёма и критические события (редкие, но с большим ущербом) 119R-21 выносит за пределы диапазона. У проектов в СНГ к ним в последние годы добавились удлинение поставок из-за санкционных ограничений и вынужденная смена поставщиков. Такие риски считают отдельными строками, в процент резерва они не входят.

Вывод поэтому двусторонний. Значения по составу оценки поднимают резерв до 33-40%, более надёжная оценка оборудования его снижает. Какой довод перевешивает на конкретном проекте, решает стоимостной инженер, и его решение должно быть видно в основании оценки.

Что написать о резерве в основании оценки?

КороткоПо основанию оценки резерв на непредвиденные должен пересчитываться без звонка автору оценки. Авторы RAND советовали знать основание каждого резерва ещё в 1981 году. На классе 5 в такое основание входят значения переменных, их авторы и источник каждого значения, правило разброса с формой распределения, итоговые P10, P50, P90 и пара строк чувствительности.

Предупреждая о двойном счёте, когда модель прикладывают к оценке с уже заложенным резервом, авторы RAND пишут: «мы настоятельно рекомендуем проверяющим знать точное основание, на котором построен каждый резерв» (с. 63).

На базовом примере из этой записки раздел о резерве мог бы выглядеть так:

Резерв на непредвиденные: около 26% от базы до P50 (C ≈ 0,79).
Модель: RAND R-2569-DOE, 1981, табл. 4.9; значения по умолчанию из AACE 119R-21.
Переменные: технология 0% (процесс освоен), накопление примесей 2, блоков 4,
полнота 36 (по умолчанию; по составу оценки 0),
проработка 7 (площадка принята допущением; без данных площадки 8).
Кто выставил: главный технолог (технология, примеси, блоки),
ГИП (проработка), стоимостной инженер (полнота, по составу оценки).
Разброс: σ = 1 − C, нормальное распределение отношения «оценка/факт».
P10 / P50 / P90 ≈ 94 / 126 / 189% от базы.
Чувствительность: проработка 8 и полнота 0 дают резерв около 40% и P90 около 290%.
Вне резерва: эскалация, валюта, изменения объёма, критические события.
Управленческий резерв: решение заказчика, уровень доверия P70-P90.

Последняя строка важна для бюджета. PGD-02 описывает практику: проект финансируют «при некотором повышенном уровне доверия (например, p70-90)», а управленческий резерв равен разнице между этим уровнем и оценкой с резервом, «обычно заданным на p50 или по среднему». Раз P90 так чувствителен к прочтению и к форме распределения, от этих решений прямо зависит, сколько денег заказчик держит вне проекта.

Что спросить у автора оценки про резерв?

КороткоШесть вопросов помогают понять, есть ли у процента резерва на непредвиденные основание, и задаются без единой формулы. Хороший ответ на каждый содержит число и его источник. Если на большинство вопросов автор оценки отвечает «так принято», процент пока держится на его привычке, и проверять его стоит до утверждения бюджета.

1. По какой модели посчитан резерв и почему она подходит этому проекту?
2. Какие значения подставлены в пять переменных, кто их выставил и откуда они взяты?
3. Какие значения взяты по умолчанию, какие по составу самой оценки, и что даёт другой вариант?
4. Где на распределении стоит база: около P15, как заложено в модели, или выше, потому что запасы уже сидят внутри статей?
5. Какие получились P10, P50 и P90, по какому правилу разброса и при какой форме распределения?
6. Что не вошло в резерв и где это посчитано?

Ответы на эти вопросы стоит положить в основание оценки, рядом с процентом резерва. Разобрать резерв конкретной оценки вместе можно через форму на главной.