Método Delphi para identificar materiales educativos sobre alimentación saludable para educadores, escolares y sus padres

Abstract

Delphi method applied to get expert consensus about healthy food topics to include in educational materials for preschool and school-age children, their parents and teachers is described. The questionnaire was developed with the results of surveys and focus groups in children, parents and teachers made previously. The questionnaire was mailed to 54 experts in nutrition, education and communication in a first round. The results were analyzed and forwarded in a second round with the subjects without consensus. The cycle was completed by a validation conducted with teachers and parents and were prioritized by audiovisual educational materials on the writings, favoring participatory activities such as cooking workshops, games, activities over the passive (information at parent meetings, delivery of educational materials and conferences of experts). There was consensus on education in health behaviors such as not giving them money to carry to school, make healthy food choices on family outings and recreational activities associated with healthy eating during weekends; prefer healthy food prepared at home instead of the processed food; restrict eating out candy and prefer family meals without watching TV and food instead of taking a snack in the evening. These results are critical to design educational materials on healthy eating plans to change current eating habits that are contributing significantly to increase the childhood obesity.

Se describe la consulta a expertos mediante la técnica Delphi para consensuar su opinión sobre contenidos del material educativo en alimentación saludable para profesores, alumnos de prebásica, básica y sus familias. El cuestionario se elaboró con los resultados de encuestas y grupos focales con niños, padres y profesores realizados previamente. Este cuestionario fue enviado a 54 expertos en nutrición, educación y comunicación en una primera ronda, cuyos resultados fueron analizados y reenviados en una segunda ronda con las preguntas donde no había consenso. El ciclo se completó con una validación realizada con padres y profesores sobre los principales tópicos consensuados en las dos rondas con los expertos. Los principales consensos fueron priorizar los materiales educativos audiovisuales por sobre los escritos y privilegiar actividades participativas (talleres de cocina, juegos, actividades) por sobre las pasivas (información en reuniones de padres, entrega de material educativo y conferencias de expertos). Existió consenso en educar en conductas saludables, como no dar dinero a los niños para que lleven a la escuela; escoger comida saludable en las salidas familiares y asociar actividades recreativas con alimentación saludable durante fines de semana; preferir la comida saludable preparada en casa en vez de la comida procesada; restringir las golosinas y comer fuera de hora; comer en familia sin ver TV y preferir comida en vez de tomar té o merienda en la noche. Estos resultados son fundamentales para diseñar materiales educativos en alimentación saludable tendientes a cambiar los malos hábitos alimentarios actuales, que contribuyen en forma importante a aumentar el problema de la obesidad infantil.

Introducción

Considerando la actual situación epidemiológica del mundo y de nuestro país, el sobrepeso y la obesidad infantil se consideran uno de los problemas más importantes de salud pública y nutrición (1). Esta situación está asociada en los niños a una insuficiente actividad física y a un elevado consumo de alimentos poco saludables, con una gran cantidad de grasas saturadas, azúcar y sal (2). Ante esto, se ha señalado la necesidad de educar en alimentación saludable a los niños desde la educación prebásica y básica, considerando estrategias innovadoras y apropiadas de intervenciones educativas que involucren a niños, sus padres y profesores, que sirvan para políticas públicas y que consideren las experiencias escolares realizadas en Chile (3). Para ello, es fundamental identificar conocimientos y consumo alimentario en escolares de prekinder, kínder, primero y segundo año de educación básica en escuelas municipales, de los profesores y de sus familias, con el objeto de elaborar una estrategia con materiales educativos que permitan desarrollar hábitos de alimentación saludable en los niños. Se diseñó un estudio para identificar conocimientos, conductas y prácticas alimentarias en alumnos de prebásica y básica, los profesores y sus familias, utilizando varios métodos: encuestas (4), grupos focales y consulta a expertos mediante el uso de la técnica Delphi (5). Este artículo se centra en los resultados de la consulta a expertos realizada mediante la técnica de consenso Delphi, buscando consensuar la opinión de los expertos sobre contenidos del material educativo en educación sobre alimentación saludable para profesores, alumnos de prebásica, básica y sus familias.

Materiales y métodos

La técnica mixta de consenso Delphi, que es un método cualitativo de investigación, consiste en un método para alcanzar consenso entre panelistas expertos, a través de iteraciones o rondas repetidas (usualmente vía correo electrónico) de opiniones anónimas acerca de planteamientos propuestos por el moderador del grupo (6).

Para ello se siguieron las siguientes etapas, en el período comprendido entre octubre 2011 a enero 2012:

La primera etapa consistió en la elaboración del cuestionario, realizada por los investigadores del proyecto en base al resultado de encuestas previamente realizadas a 150 niños de prebásica, básica, sus padres y profesores (4) y a 14 grupos focales realizados a padres y profesores. Con la información recopilada se elaboró un cuestionario en base a preguntas cerradas con repuestas que permitieron establecer una valoración de las mismas en una escala tipo likert (7) de 5 puntos (104 preguntas cerradas y 4 abiertas). Las afirmaciones u opiniones obtenidas de las encuestas y grupos focales fueron agrupadas en cuatro áreas temáticas: a) mensajes de las Guías Alimentarias chilenas (8); b) tipo de materiales educativos que deberían utilizarse; c) dónde y quién debería realizar la metodología educativa, y d) hábitos familiares como el dinero que se le da a los niños, alimentación de fines de semana, en fiestas y cumpleaños y otras.

En la segunda etapa, se elaboró un listado con 74 expertos provenientes de diversas áreas: 38 de nutrición, 24 de educación y 12 de comunicaciones, pertenecientes a diferentes regiones del país. Para la selección de estos expertos se utilizaron los siguientes criterios de inclusión (9): i) trayectoria académica o profesional destacada en su área específica (nutrición, educación y comunicaciones); ii) interés demostrado en el conocimiento, la investigación y la docencia; iii) experiencia en la toma de decisiones y iv) participación en políticas y programas relacionados con temas de educación en alimentación y nutrición. A los expertos seleccionados bajo estos criterios se les envió por correo electrónico una solicitud para que participaran en el proyecto, un resumen del proyecto y el consentimiento informado para que lo devolvieran firmado en el caso de aceptar participar. De los 74 expertos, 54 aceptaron participar en el estudio enviando el consentimiento firmado: 28 expertos en nutrición, 18 de educación y 8 de comunicación, a quienes se les envió la encuesta de la primera ronda, con un plazo de devolución de 15 días. El equipo investigador analizó y resumió los resultados de esta primera ronda, y de acuerdo a ellos, reformuló el cuestionario para la segunda ronda con las preguntas en las que no existía un claro consenso, considerado aquellas que tuviesen menos del 70% de respuestas positivas o de consenso. Luego se solicitó que realizaran una jerarquización y que establecieran prioridades. Para ello se rediseñó un cuestionario incluyendo los porcentajes de acuerdo y muy de acuerdo obtenidos para cada afirmación en el cuestionario de la primera ronda y al lado una columna para establecer prioridades de 1 en adelante, siendo 1 lo más prioritario, para llegar a consenso de los tópicos en que deberán focalizarse los materiales educativos. Así, para calcular los porcentajes, se consideraron aquellos rankeados con prioridad 1 ó 2, conjuntamente.

En la tercera etapa, se envió el cuestionario reformulado a los informantes con los resultados de la primera ronda, con la posibilidad de cambiar su opinión, conociendo las respuestas de los otros informantes del grupo. Esta nueva valoración fue analizada y resumida por el equipo investigador. En esta tercera etapa respondieron 38 expertos, lo que corresponde a un 70% de los que contestaron la primera ronda y a un 51% de los invitados iniciales.

Validación escrita

Una vez realizado el consenso de expertos acerca de los contenidos principales que debería abordar el nuevo material educativo, se procedió a realizar una validación escrita, para lo cual se diseñó una encuesta con 9 preguntas sobre los temas de mayor consenso basada en la metodología de Ziemendorf (10). La validación escrita, se realizó con 2 grupos de padres y 2 grupos de profesores en forma separada. Cada grupo estuvo integrado por 10 personas. Cada uno de sus participantes respondió la encuesta en forma independiente. Este tipo de validación tiene la ventaja de integrar a varias personas en forma simultánea, sin la necesidad de entrevistar a cada uno personalmente. En total, se encuestaron 20 padres y 23 profesores.

Análisis Estadístico

El análisis de las respuestas se realizó mediante estadística descriptiva. Los resultados se expresan en porcentaje (%) para las categorías acuerdo y muy de acuerdo. Para valorar el consenso, se consideró la mediana como el nivel de acuerdo y los percentiles 25 y 75, para valorar la variabilidad. En cada una de las rondas, no hubo afirmaciones sin respuesta, sino que todas fueron consideradas por los expertos.

Los análisis fueron realizados utilizando el paquete estadístico STATA 12 para Windows (11).

Este proyecto fue aprobado por el Comité de Ética del INTA.

Resultados

Guías Alimentarias: En la primera ronda más del 80% de los panelistas estuvo de acuerdo o muy de acuerdo con la inclusión de 6 de los 7 mensajes de las Guías Alimentarias Chilenas para su uso como material educativo y sólo un 72,2% estuvo de acuerdo con el de “prefiera los alimentos con menor contenido de grasas saturadas y colesterol”. Hubo dos preguntas abiertas para sugerencias de mensajes adicionales, cuyas respuestas dieron lugar a estas categorías: i) número y tiempos de comida; ii) preferencias en la elección de alimentos saludables; iii) evitar alimentos no saludables; iv) preparaciones de alimentos y v) considerar al alcohol como alimento para reducir su consumo. En la segunda ronda, la primera prioridad de los mensajes de las guías alimentarias resultó para “come al menos 2 platos de verduras y 3 de frutas de distintos colores cada día”, con un 57, 9 %, seguido por comer pescado 2 veces por semana, con un 34,2%, y reducir consumo de azúcar y sal con un 31,6%.

Materiales Educativos: más del 90% de los entrevistados estuvo de acuerdo o muy de acuerdo con el uso de materiales audiovisuales para niños, padres y educadores, existiendo mucho menor acuerdo en torno a los materiales impresos o escritos (manuales, boletines, folletos, afiches, volantes, juegos) y materiales digitales como los CD o archivos electrónicos (Tabla 1.).

TABLA 1 Preferencias de materiales educativos en alimentación saludable para niños, educadores y padres, recomendados por consenso de expertos mediante Técnica Delphi en primera ronda[Image omitted: See PDF]

En la segunda ronda, el uso de los materiales audiovisuales para niños, padres y educadores tuvo la máxima prioridad, lo que confirma lo encontrado en la primera ronda: un 90% los señaló en prioridad 1 o 2, seguidos muy de lejos por los otros tipos de materiales impresos o escritos, que no llegaron al 30% de prioridad 1 o 2. En esta segunda ronda, se agregó una pregunta específica acerca de los materiales audiovisuales que más se recomendarían, resultando con prioridad 1 o 2 los spots de TV con un 76,3%, seguido por los videos cortos con un 63,2%, con porcentajes muy bajos para las cuñas de radio, juegos electrónicos, canciones y otros (Tabla 2.).

TABLA 2 Prioridades de diferentes materiales educativos que recomiendan los expertos mediante Técnica Delphi en segunda ronda[Image omitted: See PDF]

Metodología Educativa, quién la debe realizar y donde: Más de un 90% de los expertos opinó que los contenidos educativos para niños deben insertarse en las clases, en los talleres de cocina, los juegos, actividades recreativas y mensajes educativos difundidos por los medios de comunicación local o redes sociales (Tabla 3.). Hubo más de un 80% de aprobación en hacer actividades educativas grupales en la escuela, barrio y lugares de compra de alimentos orientadas a los padres (Tabla 4.). Para los educadores, más del 80% de los expertos estuvo de acuerdo o muy de acuerdo en hacer capacitaciones en la escuela con materiales educativos, talleres de autocuidado y vida sana, talleres grupales de cocina y mensajes educativos a través de los medios de comunicación e internet (Tabla 5.).

TABLA 3 Preferencias de metodologías educativas para niños que recomiendan los expertos para fomentar actitudes, conductas y hábitos de alimentación saludable en la familia, en primera ronda y prioridad que asignan en segunda ronda.[Image omitted: See PDF]TABLA 4 Preferencias de metodologías educativas para padres, madres y cuidadores que recomiendan los expertos para fomentar actitudes, conductas y hábitos de alimentación saludable en la familia, en primera ronda y prioridad que asignan en segunda ronda.[Image omitted: See PDF]TABLA 5 Preferencias de metodologías educativas para educadoras de párvulos y profesores de 1º y 2º básico que recomiendan los expertos para fomentar actitudes, conductas y hábitos de alimentación saludable en preescolares y escolares, en primera ronda y prioridad que asignan en segunda ronda.[Image omitted: See PDF]

En la segunda ronda, para los niños un 84%, priorizó la inserción de contenidos educativos en las clases, un 63% en los talleres de cocina, un 55,3% juegos, y un 87% en las actividades extra programáticas como juegos y actividades recreativas, y un 55% en las competencias. En la comunidad se priorizaron los mensajes educativos a través de los medios de comunicación local con un 73,7%, seguidos de las plazas con alimentación saludable con un 60% (Tabla 3.).

No hubo un claro consenso acerca del tipo de metodologías educativas para padres, madres y cuidadoras, destinadas a fomentar actitudes, conductas y hábitos de alimentación saludable en los hijos. Las prioridades estuvieron dispersas, destacando con un 47% los talleres de autocuidado y vida sana. Un 31,6% le dio prioridad 1 o 2 a las capacitaciones grupales en la escuela y mensajes educativo-comunicacionales a través de los medios de comunicación local. Llama especialmente la atención la baja priorización dada a actividades que se utilizan más frecuentemente, como la información en reuniones de padres y apoderados (16%), actividades educativas individuales o por familia tipo consejería (13%), la entrega de material educativo autoadministrable y conferencias de expertos en diferentes temas, ambas con un 3% (Tabla 4.).

En el caso de los educadores, se priorizaron los talleres de autocuidado y vida sana en un 71% y las capacitaciones en la escuela con materiales educativos en un 47,4% y los talleres grupales de cocina con un 34,2% (Tabla 5.). Respecto a donde realizar actividades educativas, se priorizaron el establecimiento educacional en un 95% y la casa con un 89%. En el énfasis en los procesos educativos, se priorizó el carácter saludable en un 76% y las cantidades de alimentos en un 53%, muy por arriba de las otras posibilidades

Más del 80% estimó que eran importantes el número de comidas en el día, tipo y horario de las comidas y saber leer las etiquetas.

En hábitos familiares, en la primera ronda existió consenso en i) no darle dinero a los niños para que lleven a la escuela; ii) en preparar la colación de acuerdo a lo solicitado por la escuela; iii) en escoger comida saludable en las salidas familiares; iv) en asociar actividades recreativas con alimentación saludable durante los fines de semana, e v) incorporar preparaciones saludables especiales y atractivas (juegos, sorpresas) en fiestas y cumpleaños. Al existir más de un 90% de aprobación, se decidió no consultar estos temas en la segunda ronda. También hubo gran consenso en las recomendaciones para la alimentación en familia, tales como preferir la comida saludable preparada en casa en vez de la comida procesada, restringir las golosinas y comer fuera de hora a los niños, comer todos los integrantes del hogar juntos a la misma hora sin ver TV y preferir un plato de comida en la noche en vez de comer una colación. Lo mismo sucedió en relación a los temas que deberían incorporarse para los padres, tales como escoger y preparar alimentos saludables, educar a los hijos frente a la comida que se vende en los centros comerciales, restaurantes y comercio en la vía pública, como comprar alimentos saludables ahorrando al mismo tiempo y como asociar actividades recreativas con la alimentación saludable.

En segunda ronda, el consenso más claro en el tema alimentación en familia, resultó la de preferir la comida saludable preparada en casa, en vez de aquella que se compra semi preparada o procesada lista para servir (76%), seguida en segunda prioridad por comer todos los integrantes del hogar juntos a la misma hora sin ver TV, con un 35% de aprobación. En concordancia con lo anterior, respecto a los temas que deberían incorporarse en los materiales educativos para los padres, se priorizó la preparación de menús saludables (71%), seguido de cómo escoger alimentos saludables (57,9%) y como comprar alimentos saludables ahorrando al mismo tiempo (50%).

Validación escrita

La validación del consenso de expertos permitió confirmar las mayores prioridades establecidas por ellos, junto con conocer las razones dadas por parte de los padres y profesores mediante las preguntas abiertas.

Respecto al conocimiento, el 100% de los padres y profesores contestaron que las frutas, verduras y legumbres eran importantes. Se preguntó la razón en respuestas abiertas que fueron codificadas. Un porcentaje muy alto de padres (65%) y de profesores (74%) respondieron que las frutas y verduras aportan vitaminas, son sanas, saludables y ayudan a la calidad de vida. Donde hubo diferencias, fue en las respuestas relacionadas con su contenido de fibra: sólo un 10% de los padres las mencionó, mientras que un 56% de los profesores lo señaló como una de las razones para incorporar frutas y verduras en la dieta. En cuanto a las legumbres, también los profesores demostraron un mayor conocimiento específico que los padres, al mencionar como una razón para su consumo el aporte proteico (70%), con una frecuencia mayor que los padres (20%).

Un 78% de padres y profesores encontró más útiles los materiales audiovisuales que los impresos. Al dar las razones, la respuesta más frecuente de los padres fue el impacto de lo visual para la retención de contenidos (“lo que se ve se queda”, “los audiovisuales son preferibles ya que mi niño pequeño no sabe leer”). Los profesores fundamentaron su respuesta señalando que lo audiovisual capta mejor la atención del observador por su modo dual (mirando y escuchando), llegan más rápido a la gente, son masivos y los niños están más cercanos a la tecnología, y por lo tanto, más de acuerdo a su realidad. Entre la minoría que respondió que los audiovisuales no eran más útiles que los escritos, destacaron que lo impreso era más permanente, que no todas las personas son visuales y no se motivan igual, que todos son igualmente útiles, que la lectura es mejor porque da más concentración y atención y que los otros medios se asocian más a la diversión.

Discusión

El método Delphi es una consulta a expertos que extrae los beneficios de la interacción directa y elimina sus inconvenientes (12-14) con el objeto de obtener consenso de opiniones en determinados temas. Se utilizó por primera vez a comienzo de los años 50 por la Rand Corporation (15,16). Consiste en la selección de un grupo de expertos a los que se les pregunta su opinión sobre un tema específico que interese para evaluar políticas públicas. Las estimaciones de los expertos se realizan en sucesivas rondas, con el objeto de conseguir consenso, con la máxima autonomía de los participantes, poniendo de manifiesto convergencia de opiniones. La calidad de los resultados de la encuesta depende especialmente del cuidado que se ponga en la elaboración del cuestionario y en la elección de los expertos consultados (17-20). En nuestro caso, la elaboración del cuestionario se basó en los resultados de encuestas realizadas a niños de prekinder, kínder, 1º y 2º año básico, sus padres y profesores (4) y a 14 grupos focales realizados a padres y profesores. Por lo tanto, la formulación de cada pregunta tenía un respaldo en lo encontrado en encuesta y grupos focales como temas más relevantes para ser llevado a consenso de un grupo de expertos. La selección de los expertos participantes fue acuciosa, de acuerdo a los criterios de inclusión descritos, en tres áreas del conocimiento: nutrición, educación y comunicación, con lo cual se puede tener una visión más integral e interdisciplinaria del tema, obteniéndose una buena participación de los expertos, con tasas de respuesta de 73% en la primera ronda y del 51% en la segunda ronda (el panel estuvo conformado por 54 expertos en la primera ronda y 38 en la segunda, del total de 74 invitados)

Los resultados del consenso Delphi fueron interesantes y se sometieron a una validación por parte de los usuarios (padres y profesores) para completar el ciclo de información, que partió con encuestas y grupos focales a niños, padres y profesores, pasó por la consulta a expertos en dos rondas, para terminar en una encuesta a padres y profesores acerca de los temas más relevantes.

Los resultados más interesantes encontrados en con este método son:

1. El consenso de priorizar los materiales educativos audiovisuales por sobre los escritos, especialmente spots de TV y videos cortos. Esto se hace especialmente importante ante la realidad chilena, que muestra que un 55% de los niños entre 6 y 9 años navega en solitario por internet, accediendo de manera preferencial a páginas web; un 50% ve televisión en solitario y el 56% de ese grupo de edad posee teléfono celular propio, cifra que asciende al 78% entre los 10 y 18 años (21).

2. En cuanto a las metodologías, existe una prioridad clara en actividades participativas. En niños se priorizan talleres de cocina, juegos, actividades recreativas y mensajes educativos a través de los medios de comunicación local o redes sociales. En los padres, competencias, ferias, muestras gastronómicas, plazas saludables, celebraciones y actividades grupales en la escuela, barrio o comunidad y lugares de compra de alimentos; y para profesores, talleres de autocuidado y vida sana, talleres grupales de cocina y mensajes educativos a través de los medios de comunicación e internet. En cambio, se le dio baja prioridad a las actividades más pasivas, como la información en reuniones de padres y apoderados, las actividades educativas individuales o por familia tipo consejería, o la entrega de material educativo autoadministrable y conferencias de expertos en diferentes temas.

3. Existió un alto consenso en educar en conductas saludables relacionadas con la alimentación de los niños, tales como no darles dinero para que lleven a la escuela; en preparar la colación de acuerdo a lo que esta solicita; en escoger comida saludable en las salidas familiares y en asociar actividades recreativas con alimentación saludable durante los fines de semana, junto con incorporar preparaciones saludables especiales y atractivas (juegos, sorpresas) en fiestas y cumpleaños.

4. También hubo consenso en las recomendaciones para la alimentación en familia, tales como preferir la comida saludable preparada en casa en vez de la comida procesada, restringir las golosinas y comer fuera de hora, comer todos los integrantes del hogar juntos a la misma hora sin ver TV y preferir un plato de comida en la noche en vez de comer una colación poco saludable.

5. Lo mismo sucedió en relación a los temas que deberían incorporarse para los padres, tales como escoger y preparar alimentos saludables, educar a los hijos frente a la comida que se vende en los centros comerciales, restaurantes y comercio en la vía pública, como comprar alimentos saludables ahorrando al mismo tiempo y como asociar actividades recreativas con la alimentación saludable.

La aplicación del método Delphi como herramienta para la identificación de prioridades de metodologías educativas en alimentación saludable para profesores, escolares y sus familias, permite establecer consenso entre expertos de diferentes disciplinas, en este caso de las áreas de educación, comunicación y nutrición, el que posteriormente es validado con la opinión de la propia población objetivo. Con esta metodología se lograron resultados que son fundamentales para hacer el diseño final de materiales educativos en alimentación saludable para los alumnos de prebásica y básica, sus padres y profesores, tendientes a cambiar los malos hábitos alimentarios actuales, que están contribuyendo en forma importante a aumentar el grave problema de la obesidad infantil en Chile y América Latina.

Este estudio fue financiado por el proyecto FONDECYT Nº 1110044 de Educación del Concurso Regular 2011: Elaboración, aplicación y evaluación de un programa de intervención con materiales educativos en alimentación saludable para profesores, alumnos de prebásica, básica y sus familias. Investigador principal: Fernando Vio del Rio

Coinvestigadora: Judith Salinas Cubillos. Duración: 3 años.

References

1. Albala C, Vio F, Kain J, Uauy R.Nutrition transition in Chile: determinants and consequences. Public Health Nutr 2002; 5(1A):123-128

2. Vio F, Albala C, Kain J. Nutrition transition in Chile revisited: mid-term evaluation of obesity goals for the period 2000-2010. Public Health Nutr 2008; 11:405-412.

3. Salinas J, Vio F. Programas de salud y nutrición sin política de estado: El caso de la promoción de salud escolar en Rev Chil Nutr 2011; 38: 100-116

4. Vio F, Salinas J, González CG, Lera L, Huenchupán C. Conocimientos y consumo alimentario en escolares, sus padres y profesores: un análisis comparativo. Rev Chil Nutr 2012 (en prensa).

5. Landeta J. El método Delphi: una técnica de previsión para la incertidumbre. Madrid: Ediciones Ariel; 1999.

6. Bloor, M., Wood, F. (2006) Keywords in Qualitative Methods. London: Sage Publications (p. 49)

7. Cañadas I Sánchez A. Categorías de respuesta en escalas tipo likert. Psicothema, 1998; 10: 623-631.

8. INTA, Ministerio de Salud, VIDA CHILE. Guía para una Vida Saludable. Guías Alimentarias, Actividad Física y Tabaco. Andros Impresores, Santiago de Chile, 2005.

9. Rodríguez JM, Aldana L, Villalobos N. Método Delphi para la determinación de prioridades de ciencia e innovación tecnológica. Rev Cub Med Mil 2010; 39: 38-46.

10. Ziemendorf S, Krause A. Guía de validación de materiales educativos (con enfoque en materiales de educación sanitaria). Primera Edición. Programa de Agua y Saneamiento PROAGUA/GTP. Chiclayo, Perú 2003; 74 p.

11. STATA. Stata 12. StataCorp 2011. Stata Statistical Software: Release 12. College Station, TX: Stata Corp LP

12. McLlerat C, Keeney S, Mckenna H, McLaughlin D. Benchmarks for effective primary care-based nursing services for adults with depression: a Delphi study. J Adv Nurs 2010; 66: 269-281.

13. Lakeman R. Mental health recovery competencies for mental health workers. a Delphi study. J Mental Health 2010; 19:62-74.

14. Hansen MP, Bjerrun, GahrnHansen B, Barbol DE. Quality indicators for diagnosis and treatment of respiratory tract infections in general practice: a modified Delphi study. Scand Prim Health Care 2010; 28: 4-11.

15. Brown BB. Delphi process: A Methodology used for the Elicitation of Opinion of Experts. The Rand Corporation, Santa Monica, California, February 1968.

16. Sackman H. Delphi assessment: expert opinion, forecasting and group process. Santa Monica: Rand Corporation; 1974. (R-1283-PR).

17. Comet Cortas P, Escobar Aguilar G, González Gil T, de Ornijana Sáenz A, Rich Ruiz M, Vida a Delphi study Thomas C et al. To establish nurse research priorities in Spain: Delphi study. Enferm Clin 2010; 20:88-96.

18. Rabbani F, Jafri SM, Abbas F, Shah M, Azam SI, Shaikh BT. Designing a balanced scorecard for a tertiary care in hospital in Pakistan: a modified Delphi group exercise. Int J Health Plann Manage 2010; 25: 74-90.

19. Liu L, Yuang C. Construction of palliative carte training contents in China: a Delphi study. Cancer Nurs 2009; 32:446-455.

20. Jensen JL, Croskerry P, Travers AH. Paramedic Clinical decision making during high acuity emergency calls: design and methodology of a Delphi study. BMC Emerg Med 2009; 9:17.

21. http://www.generacionesinteractivas.org/upload/libros/La%20Generacion%20Interactiva%20en%20Iberoamerica%202010.pdf. Accedido el 26 de enero 2012.