4.7: Порівняння сценаріїв

Last updated
Save as PDF

Page ID: 28659

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

У цьому розділі представлена стратегія визначення того, чи дають результати моделювання докази того, що один сценарій кращий за інший. Часто один сценарій представляє поточні системні операції для існуючої системи або базовий проект для запропонованої системи. Запропоновано вдосконалення поточних операцій або базового проектування. Результати моделювання використовуються подивитися, чи є ці поліпшення значними чи ні. Крім того, може знадобитися порівняти одне запропоноване поліпшення з іншим. Це важлива частина кроку 3 Визначте першопричини та оцініть початкові сценарії, а також крок 4 Огляд та розширення попередньої роботи процесу моделювання проекту.

Нерідко проводять попарні порівняння. Це і буде сфера нашої дискусії. Закон (2007) надає короткий виклад методів ранжирування та вибору кращих серед усіх розглянутих сценаріїв.

Робота порівняння сценарію A зі сценарієм B - це спроба знайти докази того, що сценарій А кращий за сценарій Б. Ці докази виявляються спочатку шляхом вивчення спостережень за показниками ефективності, щоб побачити, чи можна побачити будь-які операційно значні відмінності або несподівані відмінності. Якщо такі відмінності помічені, проводиться відповідний статистичний аналіз для їх підтвердження. Підтвердити означає визначити, що відмінності не пов'язані з випадковими варіаціями в експерименті з моделювання.

Багато разів сценарій кращий щодо одного показника ефективності та того ж чи гіршого щодо інших. Оцінка таких компромісів між сценаріями є частиною мистецтва моделювання.

Кожен із способів порівняння сценаріїв буде розглянуто в контексті імітаційного експерименту щодо двох станцій у серійній моделі. Даний експеримент представлений в таблиці 4-2. Основним показником ефективності, що цікавить, буде час виконання суб'єкта господарювання.

4.7.1 Порівняння шляхом експертизи

Далі слідують деякі способи порівняння двох сценаріїв шляхом вивчення спостережень за показниками ефективності.

Наприклад, графік числа в буфері робочої станції A для сценарію для поточної машини, що використовується на робочій станції А, показаний на малюнку 4-3. Це можна порівняти з графіком тієї ж величини для сценарію, коли нова машина використовується на робочій станції А. Якщо останній графік послідовно показував менше об'єктів у буфері, то були б докази того, що використання нової машини на робочій станції A є поліпшенням: менше WIP.
Графічне спостереження за часом виконання зазвичай не проводиться, оскільки час виконання не є змінною стану і не має значення в кожен момент часу моделювання.
Наприклад, можна порівняти гістограми часу виконання. Якщо гістограма для нової машини на робочій станції A сценарій чітко показує більший відсоток об'єктів, що вимагають менше часу на лінії в порівнянні з поточним сценарієм машини, то будуть докази того, що використання нової машини на робочій станції А зменшує час циклу.
Наприклад, середній час виконання для поточного машинного сценарію становить 62,7 секунди, а для нового сценарію машини - 58,5 секунд. Ці значення призначені для всіх реплікацій експерименту. Таким чином, нова машина скорочує час циклу приблизно на 6%, що є експлуатаційно значущим.
Наприклад, діапазон середніх часових циклів над репліками експерименту для поточного машинного сценарію становить (52.5, 71.7), а для нового сценарію машини - (48.8, 68.9). Діапазони перекриваються і, таким чином, не дають жодних доказів того, що нова машина скорочує час циклу порівняно з існуючою машиною на робочій станції А.

4.7.2 Порівняння за допомогою статистичного аналізу

У цьому розділі розглядається використання довірчих інтервалів для підтвердження того, що сприймаються відмінності в результатах моделювання для двох сценаріїв не лише через випадкові зміни в експерименті.

Зверніть увагу, що дизайн експерименту гарантує, що сценарії спільні потоки випадкових чисел. Таким чином, сценарії не є статистично незалежними. Крім того, однакова кількість реплікацій робиться для кожного сценарію. Таким чином, необхідний і корисний підхід, який порівнює результати моделювання на основі тиражування. Такий підхід називається методом paried-t. ¹

У таблиці 4-7 наведено організацію підтримки методу paried-t. Кожному рядку відповідає реплікація. Різниця між значеннями вимірювання продуктивності для кожної реплікації показана в четвертому стовпці. Ці відмінності є самостійними спостереженнями. Розраховано\(\ 1-\alpha\) довірчий інтервал для середньої чисельності населення різниці в четвертому стовпці. Якщо цей довірчий інтервал не містить нуля, то буде зроблено висновок про наявність статистично значущої різниці між сценаріями з упевненістю\(\ 1-\alpha\). Цей довірчий інтервал будується та інтерпретується з використанням тих самих міркувань, що і наведено в розділі 4.6.2.

Для ілюстрації, Таблиця 4-8 порівнює, на основі часу виконання сутності, використання нової машини на робочій станції A проти поточної машини за допомогою методу paried-t. Побудовано 99% довірчий інтервал для середньої різниці: (3,7, 4,7) з достовірністю 99%. Таким чином, з 99% впевненістю нова машина на робочій станції А скорочує середній час циклу в діапазоні (3,7, 4,7) секунди.

Також корисно вивчати дані в таблиці 4-8 на основі реплікації за реплікацією. Зверніть увагу, що у всіх реплікаціях час циклу було менше, використовуючи нову машину на робочій станції А. слід зазначити, однак, що все ще цілком можливо, що в будь-якому конкретному 40-годинному періоді дві станції в рядку серії працюватимуть краще щодо часу циклу, використовуючи поточну машину на робоча станція А замість нової машини. Результати моделювання показують, що в середньому протягом багатьох 40-годинних періодів лінія буде працювати краще по відношенню до часу циклу, використовуючи нову машину на робочій станції А.

Таблиця 4-7: Формат методу парний-Т
Відтворити	Сценарій А	Сценарій B	Різниця (сценарій A - сценарій B)
1
2
3
4
. . .
п
Середній
Стд. Дев.
\(\ 1-\alpha \text { C. I.}\) Нижня межа
\(\ 1-\alpha \text { C. I.}\) Верхня межа

¹ Закон (2007) забезпечує більш глибоке обговорення порівняння альтернатив з використанням довірчих інтервалів, включаючи генерацію довірчих інтервалів, коли загальні випадкові числа не використовуються.

Таблиця 4-8: Порівняння сценаріїв з використанням методу Paired-T\(\ (1-\alpha=99 \%)\)
Відтворити	Поточна машина	Нова машина	Різниця (поточна - нова)
1	61.1	57.3	3.8
2	66.0	62.2	3.9
3	60.6	57.6	3.0
4	52.5	48.8	3.7
5	58.3	55.0	3.3
6	63.4	59,3	4.0
7	59,7	55.0	4.8
8	63.9	59.2	4.7
9	62.7	58.5	4.2
10	61.1	56.7	4.4
11	60.7	56.6	4.1
12	65.2	59,8	5.4
13	64.7	58.3	6.4
14	63.6	59,5	4.1
15	67.3	63.5	3.8
16	61.7	57.2	4.5
17	71.7	68.9	2.8
18	63.3	59,0	4.3
19	62.3	58.1	4.2
20	64.6	59.9	4.7
Середній	62.7	58.5	4.2
Стд. Дев.	3.82	3.8	0.8
99% C. I Нижня межа	60.9	56.7	3.7
99% верхня межа	64.5	60.3	4.7

4.7.2.1 Слово обережності щодо порівняння сценаріїв

При порівнянні сценаріїв може бути побудовано багато довірчих інтервалів. Для кожної пари сценаріїв можна порівняти кілька показників ефективності. Багато сценаріїв можуть бути перевірені, а також.

Виникає питання щодо отриманого\(\ \alpha\) рівня для всіх довірчих інтервалів разом,\(\ \alpha_{overall}\). Цей\(\ \alpha_{overall}\) рівень є ймовірністю того, що всі довірчі інтервали одночасно охоплюють фактичну різницю у значенні між сценаріями системного параметра або характеристикою кожної оцінки.

Нижня межа\(\ \alpha_{overall}\) обчислюється за допомогою нерівності Бонферроні, де проводиться сумарно k довірчих інтервалів:

\ begin {align} P (\ text {всі довірчі інтервали охоплюють фактичне значення}) >=1-\ sum_ {j} ^ {k}\ alpha_ {j}\ tag {4-5} ta\ end {align}

і таким чином:

\ begin {вирівнювання}\ альфа_ {\ текст {загальний}}\ leq\ sum_ {j=1} ^ {k}\ alpha_ {j}\ тег {4-6}\ кінець {вирівнювання}

Припустимо, ми порівняємо два сценарії за допомогою двох показників продуктивності з\(\ \alpha\) = 0,05. Довірчий інтервал різниці між сценаріями обчислюється для кожного показника продуктивності. Нижня межа ймовірності того, що обидва довірчих інтервалу охоплюють фактичну різницю в показниках ефективності, задається рівнянням 4-5:\(\ \alpha_{overall}\) <= 0,05 + 0,05 = 0,10.

Розглянемо порівняння двох сценаріїв з відповідними 10 показниками ефективності. Кожен довірчий інтервал обчислюється за допомогою\(\ \alpha\) = 0,05. Тоді ймовірність того, що всі довірчі інтервали охоплюють фактичну різницю в показниках ефективності, може бути такою ж низькою, як 0,05* 10 = 0,50. Тобто\(\ \alpha\) помилка, пов'язана з усією нашою роботою, буде 0,5. Таким чином, при проведенні багатьох порівнянь необхідно невелике значення\(\ \alpha_{j}\) для кожного довірчого інтервалу. Наприклад, при all\(\ \alpha_{j}\) = 0,01 загальна\(\ \alpha\) похибка, пов'язана з десятьма порівняннями, дорівнює 0,1, що є прийнятно низьким.

На жаль, якщо використовується велика кількість заходів ефективності або порівняння багатьох сценаріїв, завжди\(\ \alpha_{\text {overall }}\) буде великим. Таким чином, цілком ймовірно, що протягом принаймні одного довірчого інтервалу справжня різниця між значеннями міри ефективності не буде покрита. Так що різниця між двома сценаріями не буде виявлена.