Evaluating the pediatric early warning score (PEWS) system for admitted patients in the pediatric emergency department

Objectives The Pediatric Early Warning Score (PEWS) systems were developed to provide a reproducible assessment of a child's clinical status while hospitalized. Most studies investigating the PEWS evaluate its usefulness in the inpatient setting. Limited studies evaluate the effectiveness and integration of PEWS in the pediatric emergency department (ED). The goal of this study was to explore the test characteristics of an ED-assigned PEWS score for intensive care unit (ICU) admission or clinical deterioration in admitted patients.

Methods This was a prospective 12-month observational study of patients, aged 0 to 21 years, admitted from the ED of an urban, tertiary care children's hospital. ED nurses were instructed in PEWS assignment and electronic medical record (EMR) documentation. Interrater reliability between nurses was evaluated. PEWS scores were measured at initial assessment (P₀) and time of admission (P₁). Patients were stratified into outcome groups: those admitted to the ICU either from the ED or as transfers from the floor and those admitted to the floor only. Clinical deterioration was defined as transfer to the ICU within 6 hours or within 6 to 24 hours of admission. PEWS scores and receiver operating characteristic (ROC) curves were compared for patients admitted to the floor, ICU, and with clinical deterioration.

Conclusions A PEWS system was implemented in this pediatric ED with excellent data capture and nurse interrater reliability. The study found that an elevated PEWS is associated with need for ICU admission directly from the ED and as a transfer, but lacks the necessary test characteristics to be used independently in the ED environment. Resumen Objetivos Las puntuaciones del Pediatric Early Warning Score (PEWS) se desarrollaron para proporcionar una valoraciõn reproductible del estado clínico de un niño a la hora de la hospitalizaciõn. La mayoría de los estudios que investigaron el PEWS evaluaron su utilidad en los pacientes ingresados. Hay pocos estudios que hayan evaluado la efectividad y la integraciõn del PEWS en el servicio de urgencias (SU) pediátrico. El objetivo de este estudio fue explorar las características de la puntuaciõn asignada por el PEWS en el SU para el ingreso en la unidad de cuidados intensivos (UCI) o el deterioro clínico en los pacientes ingresados. Metodología Estudio observacional prospectivo de 12 meses en pacientes entre 0 y 21 años ingresados desde el SU de un hospital infantil terciario urbano. Se formõ a los enfermeros del SU en la asignaciõn del PEWS y la documentaciõn en la historia clínica electrõnica (HCE). Se evaluõ la variabilidad interobservador entre los enfermeros. Se cuantificaron las puntuaciones del PEWS en la valoraciõn inicial (P0) y en el momento del ingreso (P1). Los pacientes se clasificaron en grupos de resultado: aquéllos ingresados en la UCI (bien desde el SU o como trasladados desde la planta); y aquéllos ingresados sõlo en planta. El deterioro clínico se definiõ como el traslado a la UCI en las primeras 6 horas, o entre las primeras 6 a 24 horas del ingreso. Se compararon las puntuaciones del PEWS y las curvas ROC de los pacientes ingresados en planta, UCI y con deterioro clínico. Resultados Se evaluõ a 12.306 pacientes consecutivamente ingresados, de los cuales se obtuvo una puntuaciõn del PEWS en el SU en un 99% de los casos. La variabilidad interobservador fue excelente (coeficiente intraclase [CI] = 0,91). Se ingresaron 1.300 (10,6%) pacientes en la UCI y 11.066 (89,4%) en la planta. Las puntuaciones del PEWS fueron mayores para los pacientes en el grupo de la UCI (P₀ 2,8, DE 2,4; P₁ 3,2, DE 2,4; p < 0,0001) frente a los pacientes de la planta (P₀ 0,7, DE 1,2; P₁ 0,5, DE 0,9; p < 0,0001). Para predecir la necesidad de ingreso en la UCI, los puntos de corte õptimos en la curva ROC fueron P₀ = 1 y P₁ = 2, con unas áreas bajo la curva (ABC) ROC de 0,79 y 0,86, respectivamente. Los coeficientes de probabilidad positivo y negativo (CP) para estos puntos de corte õptimos para P₀ fueron, respectivamente, 2,5 (IC95% = 2,4 a 2,6, p < 0,05) y 0,32 (IC95% = 0,28 a 0,36, p < 0,05); y para P₁ 6,2 (IC95% = 5,8 a 6,6, p < 0,05) y 0,32 (IC95% = 0,29 a 0,35, p < 0,05). Por cada incremento de una unidad de P0 y P1, la razõn de ventajas para el ingreso en la UCI fue 1,9 (IC95% = 1,8 a 1,9, p < 0,0001) y 2,9 veces (IC95% = 2,7 a 3,1, p < 0,0001) mayor que en la planta. Hubo 89 pacientes en el grupo de deterioro clínico, con 36 (0,3%) pacientes trasladados a la UCI en las 6 primeras horas del ingreso y 53 (0,4%) pacientes trasladados entre las primeras 6 y 24 horas. En este grupo, unos P₀ y P₁ elevados se asociaron de forma estadísticamente significativa con un riesgo incrementado de traslado y con puntos de corte similares a los mencionados anteriormente, aunque las características del test y las ABC fueron peores. Conclusiones Una puntuaciõn del PEWS se implementõ en un SU pediátrico con datos excelentes de captura y de variabilidad interobservador en enfermería. El estudio encontrõ que una puntuaciõn de PEWS elevada se asociaba con la necesidad de ingreso en la UCI directamente desde el SU y con el traslado, pero adolece de las características del test necesarias para ser usado de forma independiente en el entorno del SU.

Results The authors evaluated 12,306 consecutively admitted patients, with 99% having a PEWS documented in the EMR. Interrater reliability was excellent (intraclass coefficient = 0.91). A total of 1,300 (10.6%) patients were admitted to the ICU and 11,066 (89.4%) were admitted to the floor. PEWS scores were higher for patients in the ICU group (P₀ = 2.8, SD ± 2.4; P₁ = 3.2, SD ± 2.4; p < 0.0001) versus floor patients (P₀ = 0.7, SD ± 1.2; P₁ = 0.5, SD ± 0.9; p < 0.0001). To predict the need for ICU admission, the optimal cutoff points on the ROC are P₀ = 1 and P₁ = 2, with areas under the ROC curve (AUCs) of 0.79 and 0.86, respectively. The likelihood ratios (LRs) for these optimal cutoff points were as follows: P₀ +LR = 2.5 (95% confidence interval [CI] = 2.4 to 2.6, p < 0.05), -LR = 0.32 (95% CI = 0.28 to 0.36, p < 0.05); and P₁ +LR = 6.2 (95% CI = 5.8 to 6.6, p < 0.05), -LR = 0.32 (95% CI = 0.29 to 0.35, p < 0.05). For every unit increase in P₀ and P₁, the odds of admission to the ICU were 1.9 times greater (95% CI = 1.8 to 1.9, p < 0.0001) and 2.9 times greater (95% CI = 2.7 to 3.1, p < 0.0001) than to the floor. There were 89 patients in the clinical deterioration group, with 36 (0.3%) patients transferred to the ICU within 6 hours of admission and 53 (0.4%) patients transferred within 6 to 24 hours. In this group, an elevated P₀ and P₁ were statistically associated with an increased risk of transfer with optimal cutoff points similar to above; however, there were poorer AUCs and test characteristics.