green_fr: (Default)
[personal profile] green_fr
С работой у нас в итоге устаканилось. Причём мне, как первому вышедшему, без проблем выдали ноутбук, оставшимся ноутов уже не хватило. В итоге на весь отдел (6 человек) ноут у меня, у шефа (он изначально с ноутом работал) и ещё у одного коллеги, который с этого года должен был тестировать работу из дому. Ирония в том, что именно он из нас из всех подхватил вирус (через ясли своей дочки), и в день всеобщей эвакуации его уже не было => ноутбук достался другому коллеге.
Ноуты, конечно, красивенькие, но совсем не такие мощные, как наши машины на работе. Два расчёта параллельно просто не тянут, да и один получается существенно дольше (16 часов вместо 12 для одного из наших стандартных процессов).

На мне же наши IT-шники протестировали удалённый доступ к рабочему компу. Они остановились на VMware через MS store, там лежит версия 5.20, а она жутко глючная. Комбинации клавиш практически не работают, и не только какие-то замысловатые — стандартные стрелочки с Shift (выделить) или Ctrl (быстрое перемещение) не работают! Работать в Excel через клавиатуру просто невозможно. А мышка лагает так, что пока выделишь нужный тебе фрагмент, ребёнок всю обесцененную лексику успеет выучить. По поводу клавиатуры я тут же вспомнил благословенный vi, экзотика управления которого, по легенде, была призвана обеспечить одинаково неудобную стабильную работу при любом качестве соединения. Но в итоге на сайте VMware нашлась старая версия 4.10 — у неё не такие красивые кнопочки, как у новой, зато она работает. По крайней мере с клавиатурой — лаги мышки меня смущают существенно меньше.

Учитывая, что я с рабочего компа тоже регулярно работал удалённо на других машинах (у нас есть два «мега-калькулятора», на каждом из которых я могу запускать по 4 процесса), чувствую себя героем Гёдель/Эшер/Бах (ну или Inception, что кому ближе): нужно постоянно помнить, на каком уровне ты сейчас находишься. Экран один, а выводиться на него может информация с 7 разных компьютеров.


На самой работе рок-н-рол. Падение биржи, я думаю, заметили все.
Нам тут пришли очередные intéressement / participation, которые мы традиционно вкладываем в самые рисковые фонды — деньги всё равно на много лет заблокированы, за это время волятильность важна не так, как общий тренд. А тут завертелись и забыли вовремя ответить, куда вкладывать деньги, а по умолчанию они идут в самые тупые «наличные» фонды. И я так думаю, что это, наверное, было самым лучшим моим решением об инвестициях за последние годы :-)

У нас один из ежедневных отчётов это дневной VaR 99.5%, то есть оценка того, более чего каждый из наших фондов не может потерять за день с вероятностью в 99.5%. Очевидно, что в эти дни мы были как раз в оставшихся 0.5%. В принципе, ничего страшного — никто 100% и не обещал. Но оказалось, что законодатель отдельно предусмотрел условие: если в течение года правило нарушается более 4 раз, то формулу нужно пересмотреть — и один наш фонд таки вылетел 5 раз подряд ниже нашей оценки.

Другой расчёт раз в триместр. Мы продаём (совершенно нелепую с моей точки зрения) опцию автоматического арбитража между безопасными (наличные) и рисковыми (акции) фондами. Логика такая: если уж покупать акции, то лучше это делать в низу цикла. А для этого давайте сравнивать текущее положение индекса со средним за прошлые три года. Если меньше — надо покупать!
Я не буду останавливаться на обосновании или опровержении этой логики, скажу только, что за последние несколько лет правило срабатывало всего пару раз, подсказывая перевод 0.5% наличности в акции. Сейчас, очевидно, всё вылетело по максимуму, и подписчики этой опции на автомате перевели в акции 3%. После того, как я отослал результаты, мне отдельно перезвонили: вы уверены в ваших расчётах — да господи, чтобы их проверить, достаточно включить телевизор!
На самом деле, нынешняя ситуация прекрасно иллюстрирует бессмысленность подобных схем. Можно придумать сколько угодно красивых вариантов, дающих 1% выигрыша в 99% случаев случайного процесса — это означает лишь то, что в оставшемся 1% случаев мы будет терять 99%. Примерно как алгоритм с удваиванием ставки в казино: он работает всегда, кроме того редкого случая, когда вы теряете вообще всё.


Соседний отдел — макроэкономика — запустили ежедневный утренний дайджест с самыми важными новостями. Очень интересно их читать, надо не забыть поблагодарить их, когда всё это закончится.

А мы перешли с ежегодного отчёта / расчёта риска на еженедельный. Более того, каждый раз ещё с разными сценариями — а что, если мы сделаем так? а эдак? как это скажется на нашей оценке риска? Поэтому работы стало просто невпроворот, и все мои мечты о недописанных постах, недосмотренных фильмах и недочитанных книгах накрылись медным тазом.
Грех жаловаться, конечно — я предпочитаю, чтобы у меня было слишком много (интересной!) работы, чем недостаточно. У меня вообще дурацкая черта трудоголика: если на работе всё хорошо, то и в личных проектах всё кипит. Если на работе застой — то и за своё браться душа не лежит.
Проблема с работой из дому в том, что ты не возвращаешься домой на волне прекрасной работы, чтобы заняться чем-то своим. Ты продолжаешь работать. В какой-то момент проснулся ночью, не спалось — вместо того, чтобы взять книжку, как все приличные люди, пошёл наверх, включил комп. Риск такого достаточно очевиден, постараюсь держать себя в руках :-)


Для собраний поставили всем Microsoft Teams. Наши IT-шники при этом пытаются как-то создать синхронизацию наших рабочих календарей (Lotus Notes...) с календарями Teams. Пока что безуспешно — приходится синхронизировать вручную.

Ещё показали прикольный вариант использования того же Teams — вместо того, чтобы создавать «собрания», привязанные к какой-то дате и теме, рассматривать эти собрания как комнаты чата. То есть, у нас есть «собрание» с названием — именем нашего отдела. Оно стоит на какую-то там старую дату, но если нам нужно поговорить на какую бы то ни было тему, мы просто бросаем клич: айда в Actuariat Financier?

Забавно смотреть грабли, на которые наступаем мы, ньюбы, пока учимся. Кто-то не выключает микрофон, когда у него за спиной дети орут. Кто-то не выключает камеру, когда начинает ходить по комнате с телефоном в руках (тут не только то, что мы сможем увидеть что-то эдакое в его доме — скорее то, что нас стошнит от этой качки). У кого-то аватаркой встала фотография то ли кармана, то ли прижатой к камере поверхности стола.


Отдельно про Анечку. Я и до сих пор догадывался, насколько она крутая, а тут увидел вживую и совсем впечатлился! Это сложно описать, но от неё просто исходит «дух эффективности» :-) Я смотрю, как она управляет своей командой, и просто зависть берёт (у нашего шефа основной метод менеджмента это «ну вы там сами разберитесь...» и «я же сто раз говорил, как надо было делать»). Не говоря уже об её управлении временем: мой любимый момент наступает раз в час, когда без нескольких минут ровно у Анюты меняется голос, она начинает подбивать итоги совещания: что было сказано, кто что делает, что осталось не проработанным. Потом «до свидания, товарищи», секунд на 10 пауза — «и снова здравствуйте», уже на следующем собрании.

Date: 2020-04-08 12:02 pm (UTC)
From: [identity profile] yuriyag.livejournal.com
Не совсем понял какое отношение VMware имеет к удалённому доступу, очевидно я её в таком свойстве никогда не использовал.
Мы с Лотуса перешли на Outlook, а он по родственному дружит со Skype.
Но в общем нашей конторе (и нам соответственно) очень сильно повезло. У нас вся инфраструктура для удалённой работы существует уже довольно много лет, у всех лаптопы, "большие машины" в нашем локальном подобии "облака". Конечно сильно возросла нагрузка на инфраструктуру, но там что-то оперативно подкрутили, запретили Ютюб через VPN и пока тьфу-тьфу-тьфу всё тянет, разница с офисом только в том, что там кресло и стол были удобнее )).

Date: 2020-04-08 12:05 pm (UTC)
From: [identity profile] green-fr.livejournal.com
А что VMware ещё умеет делать?

Про кресло - о да! И столовая :-)

Date: 2020-04-08 12:11 pm (UTC)
From: [identity profile] yuriyag.livejournal.com
И фитнес зал прямо над столовой!

Мы используем VMware для виртуальных машин. У меня на лаптопе например стоит VMWare Workstation, а на диске - с десяток виртуальных машин которые я запускаю по необходимости.
В нашем "облаке" виртуальные машины живут тоже под VMWare vSphere.

Date: 2020-04-08 12:38 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Да, понял, спасибо!

Date: 2020-04-10 04:38 pm (UTC)
From: [identity profile] stanika.livejournal.com
А нам бесплатно с работы доставили стулья - столы - экраны - мышки - кому что надо

Date: 2020-04-11 09:46 am (UTC)
From: [identity profile] green-fr.livejournal.com
Бери два! Себе и для того парня!
На самом деле, молодцы, конечно.

Date: 2020-04-08 12:17 pm (UTC)
From: [identity profile] virginian.livejournal.com

Вроде как сейчас практически дно и можно покупать те же индексные фонды.

Date: 2020-04-08 12:39 pm (UTC)
From: [identity profile] green-fr.livejournal.com
У нас на работе любимая байка на эту тему про акции Евротуннеля. Когда они упали до 1 доллара, все говорили: дно, нужно покупать. Они упали до 1 цента - технически точно дно, нужно покупать. Потом они торговались типа "100 акция за 1 цент" :-)

Date: 2020-04-08 12:49 pm (UTC)
From: [identity profile] catpad.livejournal.com
Я не знал, что ты любишь Гёдель, Эшер, Бах!

Date: 2020-04-08 01:04 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Ну ты посмотри на меня - как я могу не любить эту книгу?!
Я в очередной раз кому-то дал свой экземпляр и забыл, кому. Снова нужно будет искать по букинистам и скупать все, что найду! По-французски я его тоже уже читал.

Date: 2020-04-08 01:12 pm (UTC)
From: [identity profile] catpad.livejournal.com
Я должен был догадаться!
У меня с ней такая история. Приехал в Израиль в 92-м году, пошёл в университетскую библиотеку и тут же обнаружил ГЭБ, ещё в самом первом издании. В ту же секунду я понял, что это, видимо, главная книга моей жизни. А интернета ещё тогда не было и в магазине не купишь (не Америка же). Пришлось мне засунуть в ксерокс какое-то чудовищное количество денег и провести около него несколько часов, но я переснял всю книгу и потом ещё сшил ее. В таком виде она у меня была лет десять, пока не заказал из Амазона. Потом ещё купил по-русски. Теперь ищу самое первое издание в твёрдой обложке, но пока дешевле 500$ не нашёл.

Date: 2020-04-08 01:42 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Да ты библиоман! Зачем тебе первое издание?! :-)

Date: 2020-04-08 10:12 pm (UTC)
From: [identity profile] catpad.livejournal.com
Из ностальгических соображений. Потому что я переснимал именно это издание.

Date: 2020-04-08 01:30 pm (UTC)
From: [identity profile] och.livejournal.com
мнe ты дал свой экземпляр и забыл :)

Date: 2020-04-08 01:43 pm (UTC)
From: [identity profile] green-fr.livejournal.com
О! Вот она польза ЖЖ! :-) Вернёшь как-нибудь?

Date: 2020-04-08 08:37 pm (UTC)
From: [identity profile] och.livejournal.com
приглашай на обед как будут выпускать/впускать :)

Date: 2020-04-09 02:23 pm (UTC)
From: [identity profile] yuriyag.livejournal.com
j'aime bien cette formule! ))

Date: 2020-04-08 12:55 pm (UTC)
From: [identity profile] birdwatcher.livejournal.com
Хорошо объяснил мартингальную теорему, уважаю.

Date: 2020-04-08 01:06 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Не знаю, почему, но мне почему-то казалось, что ты скорее будешь её критиковать, как теорему из идеального мира, тогда как в реальном - блаблабла. А на самом деле, мне она кажется не то что важной - краеугольной. Даже если она не идеально подходит для реального мира, нужно сначала понять её, потом понять, где именно она может не работать, и только потом уже пытаться писать своих "арбитражных роботов".

Date: 2020-04-08 02:12 pm (UTC)
From: [identity profile] birdwatcher.livejournal.com
100%, золотые слова же

Date: 2020-04-08 02:35 pm (UTC)
From: [identity profile] birdwatcher.livejournal.com
Я формулирую так: если вы не умеете предсказывать точнее или быстрее остальных - неважно, где вам покупать и продавать, в среднем потеряете bid-ask spread плюс комиссию. Если умеете - объясните, откуда у вас информационное либо скоростное преимущество (такие случаи известны, многие из них легальны).

Date: 2020-04-08 04:20 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Аналогично :-) Я только скоростное преимущество отдельно не выделяю: если вы не знаете чего-то раньше других, то блаблабла.

Date: 2020-04-08 04:23 pm (UTC)
From: [identity profile] birdwatcher.livejournal.com
Не, на практике это фундаментально разные вещи - у тебя быстрые сети или хорошие модели?

Date: 2020-04-08 02:41 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
А у нас у всех просто remote desktop'ы и всё (айтишников-то нет, некому всякое настраивать. Только ограничение на входящий IP). Вроде, ничего не лагает, даже в графических приложениях. А интересно, то, что у вас считается 12 часов, оно на чём написано? Меня вообще интересуют такие вещи, но максимум, что у меня получается, это загрузить 16-корный компьютер на 98 процентов.

Date: 2020-04-08 04:26 pm (UTC)
From: [identity profile] green-fr.livejournal.com
MatLab, причём написано вот этими самыми ручками, то есть гарантированно есть место возможности по оптимизации! ;-)

Там если в двух словах: проекция некоторого портфеля на 80 лет в 1000 сценариях. Ну и портфель - десятки тысяч линий. Причём самые простые - это какой-нибудь там актив типа акций : VM(t) = VM(t-1) * r(t) - но акции у нас все в одну строчку, простых мало. А самые сложные - это какой-нибудь замысловатый пассив, который с какой-то вероятностью умирает, принимает вероятностные же решения в зависимости от того, что дали ему мы, а что могла бы дать конкуренция, у которого есть супруг, который наследует часть накоплений в случае смерти, если он сам ещё жив в момент смерти клиента, причём наследует в виде ренты - то есть здравствуй, ещё один контракт, ну и так далее. То есть, тупо _много_ элементарных действий с _многими_ данными. И никакой возможности упростить через аналитическую формулу. Но можно упростить, заметив, что мы иногда считаем какие-то вещи по два раза - я в первую неделю карантина, когда больше в сети никого практически не было, этим пытался заниматься :-)

Date: 2020-04-08 08:45 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
Ага, понятно. Где много простых независимых друг от друга операций, ускорение при параллелизации должно быть линейным до насыщения бандпасса памяти; подозреваю, что в вашем случае это десятки кор.

Date: 2020-04-08 09:38 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Саша, раз уж ты про ограничение памяти заговорил :-) У тебя есть какая-то возможность убедиться, что мы на пределе пропускной способности памяти? У меня есть такое подозрение, но доказать с красивой картинкой в руках я не могу. Вот есть же графики насыщения процессора или памяти, операция с диском и прочего - а для памяти этого нет, сложно. Как можно проверить, убедиться, доказать?

Я пытался уломать наших айтишников купить память, отличающуюся только скоростью доступа, и сделать мне две почти идентичные машины, чтобы я погонял разные тесты и показал, что смена скорости памяти приведёт к смене времени расчётов. Но они обломались - закупки нестандартного оборудования только для того, чтобы удовлетворить моё любопытство, в их планы не водило.

Какие ещё есть варианты?

Date: 2020-04-09 02:46 am (UTC)
From: [identity profile] ticklish-frog.livejournal.com
Я думаю, у них есть свободные машины разных конфигураций на попробовать, но им не хочется заниматься установкой и перепривязкой матлаба к ним. Если бы матлаб был на виртуальной машине, можно было бы быстро попробовать его на разных хостах, но, наверное, матлаб так не работает.

Вывод: переходить с матлаба на более масштабируемое решение :)

Date: 2020-04-09 08:07 am (UTC)
a_p: (Default)
From: [personal profile] a_p
Я специально этим не занимался, и это должно быть непросто, потому что значительная часть операций с памятью на самом деле замкнута на кеше процессора. Поэтому тесты, описанные ниже, нужно исполнять на объёмах данных, заведомо превосходящих кэш. И крайне желательно, чтобы задача обрабатывала их последовательно.

Однако же, если возможно загрузть все данные в память, и после этого начать исполнять задачу на 1-2-4-8 корах, то можно увидеть, будет ли ускорение линейным. Если нет - мы насытили возможности памяти (методом исключения, быстродействие памяти там единственный шарящийся ресурс). Альтернативно, если у тебя есть только монотредная программа, можно запускать идентичные инстансы и смотреть, как будет расти время исполнения каждого с ростом количества инстансов. Например, при четырёх инстансах время исполнения будет таким же, что и при одном, а при восьми - начнёт падать.

Конечно, при таком тесте важно иметь независимые инстансы - а то, если они подгужают одну dll- которая почему-либо имеет внутри себя шарящиеся данные или немультитредные функции, то мы будем мерять не память, а качество dllи. Можно сделать инстансы независимыми, обеспечив каждому из них отдельный инстанс dll: для этого нужно создать несколько копий dll файла (поименовав их, например 1.dll, 2.dll и так далее) и заставив каждый процесс грузить свою (копирование файла с тем же именем в разные директории не поможет! Винда будет использовать уже загруженную версию dll файла с тем же именем для всех последующих инстансов).

Date: 2020-04-09 04:52 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Ну да, я примерно так и делал, поэтому к такому выводу и пришёл. Ну ладно, остановлюсь на этом "доказательстве"...

Date: 2020-04-09 04:57 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
если ты уверен в независимости инстансов, то доказательство - без кавычек

Date: 2020-04-09 08:15 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Ну, я не люблю доказательства вычёркиванием всех остальных вариантов, потому что всегда есть шанс, что я чего-то не знаю, чего-то не учёл. Согласись, мы грешим на пропускную способность памяти по большому счёту из логики "ну а что же ещё, если не оно?" - а вот мало ли, вдруг с тех пор, как я последний раз разбирался в структуре компьютеров, там прибабахали очередные сепульки, и это они медленно сепулькируют? Мне хотелось бы не негативного доказательства, хотя бы чисто для себя...

Date: 2020-04-08 04:27 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Ну и да, с многоядерными вычислениями мы тоже не дружим. Исторически. Поэтому я и пишу про "запустить 4 процесса одновременно" - потому что там 4 ядра, вместе они как раз процессор на 100% загрузят.

Date: 2020-04-08 04:28 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Саш, а у вас там как дела? Как твои девочки-медики?

Date: 2020-04-08 08:38 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
сава, мерси. Работы много (по паре дежурств в неделю) и она довольно депрессивная, потому что много народу умирает, но это селяви реаниматологов.

Date: 2020-04-08 06:56 pm (UTC)
From: [identity profile] oldjackaroo.livejournal.com
А я вот не понимаю, как можно то, что считается больше 15 минут, запускать на единственной машине, а не в облаке на паре сотен-тысяч машин...
Edited Date: 2020-04-08 06:57 pm (UTC)

Date: 2020-04-08 08:36 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
Довольно много зависит от объёма данных и места, где они производятся. Если их много и они производятся локально, при этом ещё и с постоянной скоростью все 24 часа в сутки, клауд не имеет никакого смысла вообще.

Date: 2020-04-08 08:42 pm (UTC)
From: [identity profile] oldjackaroo.livejournal.com
Ключевое слово все же распараллеливание, а для него нужен клауд или его приближение, потому что даже 20 машин у себя на столе не поставишь, а уже 100-1000-10000 тем более. Речь шла о чем-то, что считается 12-16 часов, и мне трудно представить, что такую задачу нельзя распараллелить.

Date: 2020-04-08 08:50 pm (UTC)
a_p: (Default)
From: [personal profile] a_p
Да, согласен. Я о своих задачах отвечал, не о Гриновских (а хоть 20, хоть 100 машин у себя поставить намного дешевле выйдет, чем в клауде их же припахать 24/24). А у них, подозреваю, данные из внутренней сети никуда выходить не имеют права, и впн не считается.

Date: 2020-04-08 09:31 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Не имеют права выходить, тут ты прав, хотя лично я считаю это скорее блажью руководства, с трудом понимающего, о чём они говорят :-/

Date: 2020-04-09 03:08 am (UTC)
From: [identity profile] ticklish-frog.livejournal.com
Это, похоже, типичная проблема всех предприятий, боящихся больших структурных инвестиций в IT. Если купить новую более мощную машину взамен старой - это да, заплатить внешнему консультанту, чтобы перепрограммировали процесс в каком-то отделе - без проблем, потому что такие разовые операции кажутся недорогими и локализованными. А создать внутреннее облако, которым будут пользоваться все отделы и систему библиотек распаралеливания - одноразово дорого и нереально всмысле координации отделов и их перевооружения, хотя окупится в долгосрочной перспективе (плюс - такой проект интересен для программиста, у него будет мотивация намного больше, чем ковыряние в VBA скрипте). Но начинать, мне кажется, надо с того, чтобы у каждого работника был свой лаптоп :)

Date: 2020-04-09 04:51 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Мне кажется всё же, что компании разные, и запросы, равно как и возможности, тоже разные :-)
То есть, я могу предположить, что мне за 5 минут пришло в голову решение, которого не видел ли наш IT-директор, ни кто-то из его починённых... Но реалистическим этот сценарий я бы не назвал.

Date: 2020-04-09 03:19 am (UTC)
From: [identity profile] ticklish-frog.livejournal.com
П.С. Ваше руководство все же на головы выше того, что я наблюдал на одном проекте в Голландии: там в страховой компании компьютерные сети были изолированы по этажам, и это преподносилось как усиленная забота о данных клиентов. К сожалению, когда регулятор их припер к стенке и потребовал данные, понадобилось взаимодействие отделов с 2 разных этажей. Это решилось гениальной модификацией инфраструктуры: на каждом этаже в сеть добавили по одному компьютеру с выходом в интернет. Отдел-производитель данных шел к старшему по этажу, который единственный имел пароль, который включал этот компьютер, брал данные и пересылал их на тайный gmail ящик, после чего бежал на другой этаж, давал отмашку, и их старший по этажу заходил в gmail у себя, скачивал данные и отдавал своим получателям.

Date: 2020-04-08 09:34 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Ну вот мы пытаемся как-то распараллелить. Пока что легко разбили задачку на десяток модулей, которые теоретически можно раскидать на разные машины. Но если учесть зависимости этих модулей, то максимально возможный выигрыш получается 4 часа вместо 12. На практике вышло даже 5. Но у нас это получилось достаточно громоздко, поэтому это только для production, а основное считается всё-таки на наших машинах.

Ну и 12 часов - это вполне приемлемое время. Это же обозначает, что можно запустить вечером - и утром у тебя будут результаты. Куда быстрее-то? :-)

Date: 2020-04-08 09:49 pm (UTC)
From: [identity profile] oldjackaroo.livejournal.com
Это означает, что если ты что-то разрабатываешь, то больше одной итерации в день у тебя сделать не получится. Как в студенческие годы - днем принес пакет перфокарт, на следующее утро забрал распечатку. Или если нашли ошибку, то быстро пересчитать тоже нельзя.

Date: 2020-04-08 10:02 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Ну, да. Я некорректно выразился, конечно. Не "чего же лучшего ждать", а скорее "ну так, не смертельно". Мы в итоге и запускаем несколько вариантов на разных машинах. На случай чего-то большого и срочного можем мобилизовать 13 процессов (5 наших машин + два "калькулятора") - более чем достаточно для всего, что нам пока что приходилось посчитать. Понятно, что геморрой - надо распихать данные по разным машинам, потом собирать результаты. Поэтому и пытаемся что-то сделать со скоростью, в том числе и с параллельностью. Но мы те ещё специалисты...

Date: 2020-04-08 09:29 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Я в этом деле полный чайник, но ведь для этого надо, чтобы кто-то умел раскладывать эту задачу на кусочки, которые можно было бы раздать потом этим сотням и тысячам машин, нет разве? Мы этим занимаемся потихонечку, перевели production на распределённые вычисления из трёх машин пока что. Большее пока что бессмысленно, но когда-нибудь, может быть, придём и к чему-то ещё лучшему.

Date: 2020-04-08 09:55 pm (UTC)
From: [identity profile] oldjackaroo.livejournal.com
Надо, конечно.
Ну, я не знаю, что у вас за задачи, но если вы, скажем, обсчитываете данные миллиона клиентов, то это легко разбить на любое количество частей. Или если вы моделируете, как себя будет система вести при миллионе комбинаций параметров, то тоже самое. Или если рассчитываете, что будет через миллисекунду после взрыва, то в каждый момент рассчета пространство можно разбить на миллион кусочков. Я в общем тоже не специалист за пределами своего узкого круга, и вполне допускаю, что есть задачи, которые распараллелить очень сложно, но все же вроде как чаще - можно. :)

Date: 2020-04-08 10:04 pm (UTC)
From: [identity profile] green-fr.livejournal.com
Я хотел сказать, что это не просто "нажми на кнопку cloud, подтверди yes", там достаточно много работы, причём нашей работы. То есть, у нас эти задачи даже в списке, но они настолько не приоритетны... Я ими занимаюсь, когда у меня нет настроения на что-то более нужное :-)

Profile

green_fr: (Default)
green_fr

March 2026

S M T W T F S
1234567
8 91011121314
15161718192021
22232425262728
293031    

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Mar. 10th, 2026 12:59 pm
Powered by Dreamwidth Studios