Process-Oriented Metrics that Assess the Performance of Students Who Are Learning Surgical Procedures: The Percutaneous Dilatational Tracheostomy Case

Abstract

Assessing competency in performing a surgical procedure training is key for instructors to distinguish whether a resident is qualified to perform a surgical procedure. Currently assessment techniques provide a global result and do not provide feedback focused on the procedural stages or on the order in which activities need to be performed. For optimal feedback, it is recommended that it has to be very specific so residents can detect exactly where they are making mistakes in the most objective way possible.

Process Mining is a discipline that generates knowledge from data of the executions of processes registered in information systems, facilitating the analysis of these processes. Since surgical procedures can be understood as a progression of steps, they can be viewed also as a process. In this research, three process-oriented metrics are proposed to generate a more detailed analysis of the variability with which residents carry out their training sessions. This allows obtaining feedback from a global level of the procedure, at a level of stages and finally, at the level of activities.

The research was carried out on the data of a Percutaneous Dilatational Tracheostomy (PDT) surgery training study. Several visualizations were delivered that allow understanding the progress of each resident through their sessions from a process approach. Finally, the behavior of the process-oriented metrics was compared to the classical evaluation methods. In the future, it is expected to be able to validate these metrics for professional use as an evaluation method and as a complement of the current ones.

Alternate abstract:

Evaluar las competencias en la realización de un entrenamiento de procedimientos quirúrgicos es clave para que los instructores puedan distinguir si un residente está califi-cado para realizar un procedimiento quirúrgico. Actualmente, los métodos de evaluación en simulación brindan un resultado global y no brindan un feedback centrado en las etapas del procedimiento o en el orden en que se deben realizar las actividades. Para que el feed-back sea óptimo, se recomienda que este sea específico, para que así los alumnos detecten exactamente donde cometen errores de la forma más objetiva posible.

Process Mining es una disciplina que genera conocimiento a partir de datos de las ejecuciones de procesos registrados en sistemas de información, facilitando el análisis de dichos procesos. Dado que los procedimientos quirúrgicos se pueden entender como una progresión de pasos, estos pueden ser vistos como un proceso. En esta investigación se proponen tres métricas orientadas a procesos para generar un análisis más detallado de la variabilidad con que los residentes realizan sus entrenamientos. Esto permite obtener un feedback a nivel global del procedimiento, al nivel de etapas, y finalmente, al nivel de actividades.

La investigación fue realizada utilizando los datos de un entrenamiento del proced-imiento quirúrgico Traqueostomía Percutánea por Dilatación (PDT), para el cual se entre-garon diversas visualizaciones que permiten entender el progreso de los alumnos a través de sus sesiones en base a un enfoque de proceso. Por último, se estudió el comportamiento de las métricas orientadas a procesos en compración a a los métodos clásicos de eval-uación. A futuro, se espera poder validar estas métricas para su uso profesional cómo método de evaluación y así complementar los actuales.