ESG

Mar. 17th, 2011 01:54 pm
green_fr: (Default)
[personal profile] green_fr
Ставим на работе «генератор экономических сценариев» — грубо говоря, генератор равновероятных траекторий нужных нам экономических показателей на нужный нам период. Например, курс евро к доллару на сто лет вперёд — невозможно сказать, какая из этих траекторий реализуется, главное — что они равновероятны и покрывают более-менее плотно все возможные варианты.

В настройках программы есть параметр «randomize seed». Ну, говорят показывающие нам программу ребята, у нас хороший генератор случайных чисел. Но ведь вы же не будете генерировать миллиарды сценариев, а всего лишь тысячу-другую, правда? А при малом количестве случайных чисел всегда есть вероятность попасть в зону, где эти случайные числа будут «неправильными», например все отрицательными. Вот для таких клиентов как вы, мы нашли в нашей псевдослучайной последовательности точку, соответствующую randomize seed = 31.31, после которой случайные числа довольно «хорошие» даже при малых горизонтах.

Я щипаю себя — нет, не сплю. Переспрашиваю, правильно ли я понял. Да, говорят, если сгенерировать два раза сценарии с одним и тем же randomize seed, то сценарии будут совершенно идентичны. И да, подавляющее большинство их клиентов ставят randomize seed на этот magic number 31.31!

У меня аж руки чешутся посмотреть, на сколько изменится наш окончательный результат, если подвигать этот randomize seed.


К слову, ребята, два дня рассказывавшие нам про свою программу, оба шотландцы. Чтобы примерно представить уровень моего понимания их акцента — в самом начале я спросил у них, кто такой «юкоф», о котором они так много говорят (сразу вспомнился какой-то английский фильм про вторую мировую войну, где Жукова записали как Jukov, и произносили именно «юкоф»). Оказался yield curve...

Date: 2011-03-17 01:06 pm (UTC)
From: [identity profile] kalvado.livejournal.com
А разве нет нормального ГСЧ на уровне ОС?
В каких-то чипсетах помнится был внутренний true ГСЧ, но идея не прижилась..

Date: 2011-03-17 01:31 pm (UTC)
From: [identity profile] green-fr.livejournal.com
А как это решает проблему? Я не совсем понимаю, что ты хочешь сказать...

Date: 2011-03-17 01:57 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Посмотри чуть ниже мой уточнение проблемы — похоже я невнятно написал, что именно меня зацепило во всей этой истории.

Date: 2011-03-17 02:01 pm (UTC)
From: [identity profile] kalvado.livejournal.com
шур, ну я не тормоз и картинку заценил.
Меня удивило конкретно что "у нас хороший генератор случайных чисел"
казалось бы 100% стандартный должен быть?

Date: 2011-03-17 02:22 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Не, у каждого производителя свои заморочки. Что такое «стандартный генератор»?
Саша внизу правду говорит, что есть настоящие случайные генераторы, на какой-то случайной физике основанные, результаты которых реально продают для «белого шума».

Date: 2011-03-17 03:53 pm (UTC)
From: [identity profile] kalvado.livejournal.com
Шур, я отвечаю в основном a_p поскольку ответ общий более-менее, а ты как хозяин журнала получишь.
а генераторы.. http://www.protego.se/sg100_en.htm например
Или у них же ("если вам нужна недлинная последовательность") - диски с последовательностями с "настоящего" прибора.

Date: 2011-03-17 02:36 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
нет, со стандартным может не получиться. Ведь любой псевдо-случайный генератор проверяется на "случайность" по отношению к какой-то задаче (или классу задач). Например, соблюдения общего требования равномерности и отсутствия корреляций на некотором (небесконечном) интервале может оказаться недостаточно для надёжного вычисления методом Монте-Карло площади некоторых фигур чрезвычайно сложной формы, потому что как раз на этих самых фигурах "псевдо" из названия генератора и вылезет.

Date: 2011-03-17 03:44 pm (UTC)
From: [identity profile] kalvado.livejournal.com
Просто если "свой" генератор - кто-то должен был его написать, оттестировать и так далее... ПО нынешним меркам не проще использовать специалистов? Ну и с некоторого момента использование генератора "настоящих" случайных чисел из шума становится оправданным. То есть если ГСЧ действительно так важен.

Оно конечно стоит денег, но ИМХО речь идет о ситуации (2 человека на неделю приехали - это ведь само по себе тысячи долларов) когда стоимость генератора уже оправдана.
Ну собственно я уже помянул - в какой-то момент, как я помню, true random пытались встроить стандартным оборудованием в чипсеты- но не пошло почему-то; хотя могло бы быть полезно...

Date: 2011-03-17 03:57 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Так это и есть специалисты (Barrie & Hibbert). Они софт делают, который стоит сотни тысяч евро - хрен ли там генератор не приписать?

Date: 2011-03-17 04:06 pm (UTC)
From: [identity profile] kalvado.livejournal.com
Угу, и пошаманить чтоб "как надо" работало
По моему опыту, как только начинают страдать херней и переписывать стандартные библиотеки (не дорабатывать под себя, а делать "свои")- сушите весла, работать не будет. Особенно если окошки-менюшки нестандартные начинаются, это полный финиш. Собственно это и удивило - если охота выпендриться, можно это делать аккуратнее, без return(4) - цена вопроса - 100-200 денег. Сугубое ИМХО.

Date: 2011-03-17 06:56 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
да, конечно. Генераторы и продают специалисты по методам, где нужны случайные числа, и они при этом проверяют, подходит ли данный генератор данной задаче. По ссылке, которую вы даёте выше, есть уайтпейпер с объяснениями, какие (примерно) тесты проводит драйвер девайса, чтобы гарантировать "хорошую случайность". Можно поверить специалистам из этой компании, а можно - специалистам из другой.

Date: 2011-03-17 07:26 pm (UTC)
From: [identity profile] kalvado.livejournal.com
Ну по самой своей сущности, генераторы работающие на шуме ограничены несколько другими вещами - там длинных корреляций ожидать сложно. А вот "специалистам" которые всем ставят одинаковый сид верить сильно стремно - потому как корреляции при таком подходе будут _гарантированно_. Ну а как мы знаем, тринадцатый удар часов...

Date: 2011-03-18 09:16 am (UTC)
From: [identity profile] green-fr.livejournal.com
гарантировано будут корреляции между чем и чем? Между результатами расчётов разных компаний, использующих их софт? В чём проблема?

Date: 2011-03-17 01:43 pm (UTC)
From: [identity profile] yuriyag.livejournal.com
Иллюстрация - пять!!!

Date: 2011-03-17 02:33 pm (UTC)
From: [identity profile] och.livejournal.com
четыре! :)

Date: 2011-03-17 01:46 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
это не более безумно, чем считать некоторые (какие угодно) траектории валютного курса равновероятными.
Кстати, вообще генерация "правильных" случайных чисел (для оценки всяких сингулярных интегралов, например) - довольно разработанная область. Я слышал даже о продажах банкирам сидюков с набором псевдослучайных чисел.

Date: 2011-03-17 01:56 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Саша, я вот так вот с пол-пинка не скажу, как именно они строят эти траектории, поэтому и не берусь говорить, насколько бред то, что они — равновероятны. Там не простое броуновское движение, там за каждой формулой — нобелевские премии. Что, безусловно, не говорит об их абсолютной верности, но, по крайней мере мне, внушает некоторое уважение :-)
На самом деле, теория там даже более общая — она работает с траекториями, каждой из которых присвоена какая-то плотность вероятности. Просто для упрощения понимания мы работаем с равноаероятными траекториями. То есть, грубо говоря, более вероятная траектория будет выпадать чаще и будет повторяться в наших сценариях.

По поводу генерации чисел — ты уже второй, кто об этом пишет, похоже, я невнятно выразился. Проблема глобальная: на малом количестве точек очень сложно не попасть в какое-то отклонение случайных чисел. представь, что ты генеришь всего два случайных числа от 0 до 1. И выпали, скажем, 0,0001 и 0,0002. Согласись, что на этих двух числах ты легко можешь получить бредовый результат, какой умной ни была бы твоя теория, которая использует эти случайные числа. при этом, предположим, генератор у тебя идеальный, и если ты сгенеришь миллиард случайных чисел, то распределение будет красивым и аккуратным. Вопрос остаётся: что делать, если тебе не нужно генерить (ибо нет возможности обработать) очень много чисел?

Date: 2011-03-17 02:07 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
мне кажется, что совершенно всё равно, как они строят предсказания будущего и присваивают этим предсказаниям условные вероятности. Дело в том, что какая-либо фундированность подобных предсказаний подразумевает глубокое понимание того, как устроены агенты модели (то есть люди). То есть, сложная математика за этим всем, конечно же стоит (и внушает уважение - я совершенно серьёзно с тобой в этом согласен), просто к действительности она отношения не имеет.

Про случайные числа я понял тебя именно так, как ты описал, я просто заметил, что проблема "как бы нам уменьшить количество вычислений посредством уменьшения количества случайных чисел" - довольно известная и там уже натоптано. Кстати, если результат вычислений по модели критически зависит от входного набора случайных чисел, то любой выбор этого набора (пардон за тавтологию) обозначает имплицитное дополнение модели (не её автором, а тем, кто выбирает). Но на фоне науки, предсказывающей будущее, это уже ерунда :)

Date: 2011-03-17 02:25 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Ну, первый параграф я бы резюмировал как «да, экономика — не точная наука». Всё ещё не просчитывает, очевидно. Но что-то считает с хорошим приближением.

А последний — об этом и пост. На фоне красивой модели — жирная такая ерунда.

Date: 2011-03-17 02:30 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
ага, что-то - с хорошим, а что-то - с плохим. Причём узнать заранее, что с хорошим, а что с плохим - нельзя. И всё это в упрёк не науке, а тем, кто определяет своё поведение в реальном мире, исходя из её выводов :).

Date: 2011-03-17 02:36 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Ну, это уже другая тема. У нас задача — разработать общие для всех страховщиков Европы правила, по которым мы будем считать нечто. Может быть это нечто никак не будет соответствовать реалии, но для нас важно не столько абсолютное значение этого параметра, как относительное, возможность сравнения двух разных страховых компаний. В частности с «эталоном плохой компании» — как только твои показатели достигают её значения, к тебе приходят регуляторы, которые либо требуют немедленно вывести твою компанию в норму, либо закрывают её.

А то, что ты говоришь, это да, это есть. «Но только не в нашем районе» :-Р

Date: 2011-03-17 02:39 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
да-да, вот именно от этих-то порядков я и нахожусь в некотором кагбе ужасе (сейчас напишу чуть ниже).

Date: 2011-03-17 02:10 pm (UTC)
From: [identity profile] kalvado.livejournal.com
Кстати вопрос красивый: если формулы действительну правильно учитывают вероятности, и вероятность двух (или 3) неудач (скажем 1е-4 соответствует резкому скачку курса) подряд соответствует вероятности выпадения х<1е-3 подряд 2-3 раза (1 из миллиона/миллиарда), и аккуратно описывается двумя или тремя такими числами.. То в чем проблема?
Спроси у японцев что случается когда три неприятности подряд - землетрясение, цунами, и валится ЛЭП? Если такие сценарии заведомо хотим исключить - то да, выбираем "чистый" участок последовательности.. Или отдельно моделируется worst case?

Date: 2011-03-17 02:33 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Ты тут сразу несколько вопросов поднимаешь.
1. Можно моделировать сразу целый мир. То есть, ты рассматриваешь вероятность события «землетрясение, плюс цунами, плюс ЛЭП упала». Генератор сценариев нужен сложный, сценариев много и т.д. (на самом деле, как ты правильно заметил, мы ищем практически worst case, точнее не на 100% худший, а на 99,5%, то есть самое худшее из того, что происходит раз в 200 лет).
2. Можно моделировать маргинальные реакции мира на каждый фактор риска. например, на землетрясение. потом — на цунами. но тогда в конце придётся высосать из пальца ввести в расчёты матрицу корреляции этих факторов — цунами очень хорошо коррелирует с землетрясениями.
3. «Чистый» участок последовательности нужен не для того, чтобы исключить заведомо плохие или хорошие экстремальные случаи, а наоборот — убедиться, что все более-менее экстремальные случаи покрыты. Например, мы можем потерять много денег как в случае повышения процентной ставки (облигации дешевеют, клиенты линяют), так и понижения (мы не можем выплатить собственные обещания). То есть мы предполагаем, что мы не знаем, какой из сценариев нам нужен для 99,5% worst case, поэтому тупо сделаем 1000, отсортируем и возьмём пятый сзади. Но при этом хотим надеяться, что все варианты не будут выигрышными, что при таком малом количестве тиражей вполне вероятно.

Date: 2011-03-17 02:45 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
а вот и классический пример на тему: оценка рисковости, привёдшая к недавнему сабпрайм кризису в Америке, именно что принципиально не учитывала НЕнезависимости страховых случаев: то есть, вместо очевидного *кому угодно* положения, что (в случае рецессии, к примеру) многие должники не смогут выплачивать кредиты, и вся недвижимость (а не только некоторый дом с вероятностью Х) пойдёт вниз, была взята с потолка (то есть, виноват, не с потолка, а оценена на некотором прошедшем временном промежутке :) "вероятность дефолта должника" и из неё уже оценена рискованность вложения. Тонко, ничего не скажешь.

Date: 2011-03-17 03:08 pm (UTC)
From: [identity profile] aguti.livejournal.com
Класс.

Date: 2011-03-17 03:10 pm (UTC)
From: [identity profile] aguti.livejournal.com
Вспомнился анекдот "вероятность встретить динозавра 50%: или встречу, или не встречу" :)

Date: 2011-03-17 03:13 pm (UTC)
From: [identity profile] aguti-aka-jav.livejournal.com
"ultrafast trading" робот тоже аномален с точки зрения робота первого поколения.

Date: 2011-03-17 03:48 pm (UTC)
From: [identity profile] kalvado.livejournal.com
Речь о другом..
Если модель оценивает случайные события - то исключать варианты типа "не повезло, и еще раз, и еще - боже, чем я перед тобой провинился??" некорректно. Речь не о взаимозависимости событий, а о том что искуственно ограничивается все "неплохими" сценариями..

Date: 2011-03-17 06:52 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
ну, до такого (я надеюсь) всё-таки не доходит. Но вот тупо перемножить три однопроцентных вероятности и, получив одну миллионную, исходить из того, что это и есть вероятность того, что случатся все три события (забыв подумать о том, например, не повышается ли при возникновении первого события вероятность второго) - это запросто. А реальность, она не любит подхода "если мы чего-то не можем оценить, то его нет".

Date: 2011-03-17 07:00 pm (UTC)
From: [identity profile] kalvado.livejournal.com
Раз уж мы верим специалистам компании (С), то можно надеяться что перекрестные связи в модель как-то заложены. А вот вероятность нескольких плохих _независимых_ ситуаций подряд - это и есть глюки ГСЧ.
Но это мы уходим в дебри.. давайте простую ситуацию - поверим что все зависимости учтены..

Date: 2011-03-18 09:15 am (UTC)
From: [identity profile] green-fr.livejournal.com
Саша, ну ты описываешь какую-то совсем ерунду. Не учесть корреляции событий - надо быть совсем идиотом. И американские subprimes полетели не от этого.

Date: 2011-03-18 09:21 am (UTC)
a_p: (Default)
From: [personal profile] a_p
хотел бы я, чтоб это было ерундой. Но ведь нет, это всё математик, занятый в фининдустрии мне разъяснял (то есть это у его компании приобретается софт для расчётов рискованностей).

Разумеется, очень многим это было ясно заранее (там действительно, идиотов как бы и не меньше, чем в прочих местах).

Date: 2011-03-18 09:25 am (UTC)
From: [identity profile] green-fr.livejournal.com
Ну да, а я совершенно отличные истории читал (вера в Гаусса, сложные схемы для рейтингов и т.п.). Я говорю, выглядит типичным ОБС.

Date: 2011-03-18 09:36 am (UTC)
a_p: (Default)
From: [personal profile] a_p
да, сложность машинерии сводит любое обсуждение неинсайдеров (и, боюсь, инсайдеров тоже - иначе почему они говорят такое разное??) к ОБС.

Соответственно, простым людям остаётся из доступных им ОБСов выбирать непротиворечивые, ясные и объясняющие то, что произошло.

Особенно хорошо, когда ОБС имеет предсказательную силу. Вот например, у меня есть приятель, который в июле 98 года поделился тем, что только что вывел все свои деньги, вложенные в Москве, за границу (потому что там ему стало стрёмно). Понятно, что, если мне когда-нибудь доведётся что-нибудь своё инвестировать, я посоветуюсь именно с ним.

Date: 2011-03-17 03:47 pm (UTC)
From: [identity profile] och.livejournal.com
yield curve? (я теперь чаще заглядываю в википедию после твоих постов :) )

Date: 2011-03-17 03:51 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Грубо говоря, процентная ставка, если ты кладёшь деньги на год, на два, на три и т.п. Кривай, где по Y - процентная ставка, по X - время, на которое та блокируешь вклад.

Date: 2011-03-17 03:54 pm (UTC)
From: [identity profile] och.livejournal.com
ага, уже прочитал :) - я к тому, что у тебя ус отклеился в слове yield опечатка

Date: 2011-03-17 04:01 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Исправил, спасибо :-)

Date: 2011-03-17 06:39 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
а я думал, это ты так передаёшь ихнюю фонетику :)

Profile

green_fr: (Default)
green_fr

December 2025

S M T W T F S
 1 2 3 4 56
7 8 9 10 11 1213
14 15 16 17 18 1920
212223242526 27
28293031   

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Dec. 31st, 2025 11:27 pm
Powered by Dreamwidth Studios