Оптимизация кода

[green_fr]

Объяснил коллеге, зачем нужно преаллокация памяти. Понимаешь, говорю, если добавлять строчку за строчкой в матрицу, то каждый раз MatLab ищет новое место в памяти, копирует туда уже сделанную матрицу и дописывает новую строчку. А если ты сразу сказал ему, сколько у тебя будет строчек — он сразу столько выделил и ничего никуда не копирует.
Понял? Понял!

Сегодня просматриваю написанный им код. В одном месте ему нужна переменная, которую он запишет в Excel. Размер заранее посчитать нетривиально. Преаллокация на 500000 (пятьсот тысяч) строк, из которых реально заполняется две с чем-то тысячи. Команда записи этой матрицы в Excel рушит мой комп...

Comments

[birdwatcher.livejournal.com]

Я думаю, в следующих версиях матлаба это неудобство исправят и перейдут на ленивую преаллокацию: будут на требование зарезервировать 500000 строк ничего не делать и мгновенно возвращать успех; а потом внутри по мере надобности добавлять по одной строчке.

[green-fr.livejournal.com]

Этого я сам жду недождусь. Не по строчке, конечно, а какими-то разумными блоками, и чтобы в конце аккуратно обрезались неиспользованные строки.

[birdwatcher.livejournal.com]

А у тебя есть объяснение происходящему? В смысле, зачем в 2017 г. использовать для работы связку матлаб/эксел?

[green-fr.livejournal.com]

У нас я знаю зачем - считаем всё в MatLab, а результаты потом рассылаем в Excel.

(проблема аллокации матриц при этом остаётся, даже если вычеркнуть Excel из связки)

[birdwatcher.livejournal.com]

Мрак!

[green-fr.livejournal.com]

А что не так-то? Ты предполагал, что мы будет распечатывать результаты на бумаге и рассылать?

[birdwatcher.livejournal.com]

Это отдельный интересный вопрос, в каком виде распространять таблицы, и зачем. Если для печати - наверно, это должен быть pdf. Если для динамического доступа на экране - наверное, вебсайт. Эксел, по-моему, не относится к полезным способам репрезентации чего бы то ни было.

[muh2.livejournal.com]

Из моего опыта, если в воздухе пахнет деньгами - относится. Более того - становится основным.

[green-fr.livejournal.com]

В данном конкретном случае - для того, чтобы передать этот Excel третьей программе, у которой есть кнопка "Load data from Excel file" :-)
Я думаю, тебе понравится тот факт, что эту программу нам поставила Еврокомиссия в рамках нового закона по контролю страховы компаний :-Р

[birdwatcher.livejournal.com]

Ну вот, так бы и говорил.

[green-fr.livejournal.com]

А если чуть серьёзнее - у нас есть, например, отслеживание в Excel каждой версии программы MatLab. Программа MatLab генерит какое-то невообразимое количество данных, но основные показатели можно вывести на одну страницу. Обычно да, её просто распечатывают. Но для отслеживания версий удобно её сохранять в отдельной закладке Excel, чтобы можно было сразу увидеть эволюцию каждого из отслеживаемых параметров с каждой версией программы. Удобная вещь.

Плюс, есть огромное количество людей, которым проще манипулировать данными именно в Excel - для них мы тоже результаты сводим в один файл и отсылаем. То есть это могут быть промежуточные данные, но продолжение рассчётов находится вне нашего отдела, а Excel - это такая lingua franca при общении на разных языках (у нас есть ещё один актуарный отдел, который считает в SAS, и третий на VB.NET).

[birdwatcher.livejournal.com]

Жуткая кибернетическя антиутопия. Кто-то отправился в прошлое и наступил на бабочку, и теперь надо пользоваться SAS поверх .NET.