Escenarios Multiples

Comparación de Escenarios Múltiples

Profesor: Felipe Baesler

Comparación de Alternativas En simulación generalmente se desea comparar el comportamiento del sistema actual con una o mas alternativas Dado que el comportamiento de cada escenario es representado por intervalos de confianza, la comparación entre escenarios se debe hacer de la misma manera.

Comparación de Alternativas Media

Media

sistema A

sistema B

Respuesta del Sistema

Comparación de Alternativas (Test t para datos pareados) Si el número de réplicas de cada sistema es el mismo Se puede calcular un intervalo de confianza para la diferencia entre los pares de datos de las dos alternativa Si el IC contiene al cero, esto implica que no existe evidencia suficiente para decir que los sistemas son diferentes

Comparación de Alternativas (Test t para datos pareados) x1j = medida de efectividad del sistema 1 para la réplica j x2j = medida de efectividad del sistema 2 para la réplica j entonces zj = x1j - x2j para j=1,...,n n 1 n 1 2 2 Z (n)   z j y S ( z )  [ z j  z (n)]  n j 1 (n  1) j 1

Z (n)  tn1,1 / 2

S ( z) n

Ejemplo Asuma que se están comparando 2 sistemas y queremos calcular un intervalo de confianza de la diferencia con alfa=0.1 Réplica 1 2 3 4 5 Media s^2

Sistema 1 Sistema 2 S1-S2 126.97 118.21 8.76 124.31 120.22 4.09 126.68 122.45 4.23 122.66 122.68 -0.02 127.33 119.40 7.93 4.998 12.34

t4,0.95 = 2.13 CI

= 4.998 +/- 2.13(12.34/5).5 = 4.998 +/- 3.35 = [1.65, 8.31]

Como el intervalo no contiene el 0, concluimos que los sistemas son diferentes

Test Modificado Si por alguna razón no es posible tener el mismo número de observaciones en cada sistema se puede utilizar el test t clásico.

Como alternativa se presenta el test t modificado

Test Modificado X1 (n1 )  X 2 (n2 )  t fˆ ,1

n1

2

 s  n1  s  n2      n2   n1 2 1

fˆ 

s12  n1 

2 2

 s  n1      n1   n1  1 2 1

2

2

 s  n2      n2  n2  1 2 2

2



s22  n2  n2

Ejemplo Considere un IC con un nivel de confianza del 90% Réplica 1 2 3 4 5 Media s^2

Sistema 1 Sistema 2 S1-S2 126.97 118.21 8.76 124.31 120.22 4.09 126.68 122.45 4.23 122.66 122.68 -0.02 127.33 119.40 7.93 125.59 120.592 4.086 3.761

f

Como el intervalo no contiene el 0, concluimos que los sistemas son diferentes

7.98634

t7.99,0.95 ~ 1.86 CI

= (125.59-120.59) +/- 1.86(4.09/5 + 3.76/5).5 = 4.998 +/- 1.86(1.25) = [2.66, 7.30]

Comparación de más de dos sistemas Comparar todos contra todos Seleccionar el mejor entre k sistemas Comparación con un estándar Técnicas de Ranking y selección

Representación de Respuestas Múltiples Respuestas múltiples se refiere a un sistema que genera mas de una variable de salida Ejemplo Tiempo en el sistema Utilización de algún recurso Tiempo en cola, etc.

Representación de Respuestas Múltiples Generalmente la representación del comportamiento de un sistema se realiza en base a una sola variable de salida En la realidad es de interés presentar mas de una variable de salida (respuesta) La representación se realiza utilizando intervalos de confianza La probabilidad que dicho intervalo contenga la verdadera media es 1-

Representación de Respuestas Múltiples Ej 1: El tiempo medio en el sistema de los pacientes en la sala de urgencias se estima con el siguiente IC

25

35

45

1-=.95 (nivel de confianza) Esto significa que la prob. que el verdadero tiempo en el sistema se encuentre dentro del IC es 0.95

Representación de Respuestas Múltiples Ej 2: La utilización del recurso médico en la sala de urgencias se estima con el siguiente IC

.55

.65

.75

1-=.95 (nivel de confianza) Esto significa que la prob. que la verdadera utilización del médico se encuentre dentro del IC es 0.95

Representación de Respuestas Múltiples Ej 3: El tiempo medio en el sistema Y la utilización del médico

25

35

45

.55

.65

.75

 1-=.95 (nivel de confianza) Intervalos individuales  La prob. que la verdadero tiempo en el sistema Y utilización del médico se encuentre dentro de los respectivos IC es 0.95

Representación de Respuestas Múltiples Desigualdad de Bonferroni La probabilidad que todos los k intervalos simultaneamente contengan sus respectivas verdaderas medias satisface la siguiente expresión k

P(  s  I s para todo s  1,2,3...., k )  1    s s 1

Representación de Respuestas Múltiples Ej: Si se construyen 10 intervalos para diferentes medidas de efectividad cada uno a un 90% de confianza, entonces la probabilidad anterior sería mayor a cero La probabilidad de error resultante se estima como k

 s 1

s



Todos los alfa no tienen porque ser iguales. Las medidas de efectividad mas importante pueden considerar mayor confianza

Comparación de Escenarios Múltiples Generalmente se compara la situación actual con una alternativa propuesta Para esto se utiliza las estrategias de prueba de hipótesis tradicionales Prueba t pareada Prueba t modificada etc

Comparación de Escenarios Múltiples Según el objetivo del estudio puede ser importante otro tipo de análisis Comparación entre mas de 2 sistemas Comparación entre todos los pares Seleccionar el mejor de todos Comparar con un estándar Seleccionar un subgrupo que contenga al mejor otros

Comparación de todos los pares (all pairwise comparison)

Podría ser de interés en un estudio comparar todos los posibles escenarios Comparar todas las combinaciones de sistemas de 1,2,3 ....k Existe un total de k(k-1)/2 pares  Para lograr un nivel de confianza general (1-) ,el nivel de confianza de cada diferencia individual entre pares debe ser 1-/((k-1)k/2)

Comparación con un Estándar La idea es comparar el sistema 2, 3,...k con un sistema 1 Se construyen intervalos de confianza para las diferencias 2 - 1, 3 - 1, …, k - 1. Para lograr un nivel de confianza general (1-) ,el nivel de confianza de cada diferencia individual entre pares debe ser 1-/(k-1)

Seleccionar el Mejor de k Sistemas Esta es una técnica de 2 etapas Se define la probabilidad de selección correcta p(cs) P(CS)  P*, donde P* > 1/k También es necesario definir “cantidad de indiferencia” d* donde i2 - i1  d* d* es la mayor diferencia entre las medias de 2 sistemas que no es considerada importante (signficativa)

Etapa I Hacer no corridas de cada sistema, no  2 Calcular la media y varianza para cada uno de los k sistemas a partir de las no corridas (1) i

X (n0 )

Si (n0 )

Etapa I Estimar el número total de corridas necesarias Ni para i=1,...,k

  h12 si2 (no )   N i  max no  1,  * 2   (d )    h1 depende de k, P* y n0 h1 se encuentra en App. 10.B Law & Kelton

Etapa II Haga Ni - no corridas adicionales y calcule Ni

1  no )  X ij  N i  no j no 1 Calcule pesos (Wi1 and Wi2) para cada sistema de la siguiente manera ( 2) X i ( Ni

no  N i  ( N i  no )d *2     Wi1  1  1  1  2 2 N i  no  h1 si (no )   Wi 2  1  Wi1

Etapa final Calcule las nuevas medias muestrales ponderadas:

~ X i ( N i )  Wi1 X (1) (no )  Wi 2 X ( 2) ( N i  no ) Seleccionar el mejor

~ X i ( Ni )

Recomendaciones Usar no20 Elegir P(CS) lo mas pequeño posible Elegir d* lo mas grande posible Esto permite mantener el número de corridas bajo

Ejemplo  Considere 5 sistemas (k=5)  Probabilidad de selección correcta P(CS) = 0.9  Cantidad de indiferencia d* = 1  n0 = 20 para cada sistema  h1 =2.747 de App 10.11

Ejemplo

Sistema 1 2 3 4 5

Media S^2 126.48 14.52 121.92 7.96 127.16 9.45 130.71 8.25 144.07 6.20

Ni 110 61 72 63 47

  h2 s 2 n        Max n0  1,  1 i 20    d *        (2.747) 2 (14.52)    Max  20  1,   2 1       (2.747) 2 (14.52)    Max  21,   12      Max 21, 109.56   110

Ejemplo Después de realizar las corridas Sistema adicionales se tiene: 1 2 3 4 5

Sistema Media1 1 126.48 2 121.92 3 127.16 4 130.71 5 144.07

S^2 Ni 14.52 110 7.96 61 9.45 72 8.25 63 6.20 47

Media2 124.45 121.63 126.11 132.03 144.83

W1 0.206 0.386 0.322 0.368 0.459

W2 0.794 0.614 0.678 0.632 0.541

Media 124.45 121.63 126.11 132.03 144.83

Ejemplo Sistema 1 2 3 4 5

Media1 S^2 Ni 126.48 14.52 110 121.92 7.96 61 127.16 9.45 72 130.71 8.25 63 144.07 6.20 47

Media2 124.45 121.63 126.11 132.03 144.83

W1 0.206 0.386 0.322 0.368 0.459

W2 0.794 0.614 0.678 0.632 0.541

 N  ( N  n )d *2   1  1  i 1  i 2 2 o  n h s ( n )  o  1 i o   20  110  (110  20)(1)   1  1   1    110  20  2.747 2 (14.52)      0.21

n Wi1  o Ni

Wi 2  1  Wi1  1  .21  .79

Sistema 1 2 3 4 5

Media1 S^2 Ni 126.48 14.52 110 121.92 7.96 61 127.16 9.45 72 130.71 8.25 63 144.07 6.20 47

Media2 124.45 121.63 126.11 132.03 144.83

W1 0.206 0.386 0.322 0.368 0.459

W2 0.794 0.614 0.678 0.632 0.541

WA 124.868 121.742 126.448 131.544 144.481