Child Behavior Checklist, Spanish Adaptation, Taxometry, Epidemiology
(1) La aplicaci�n Epidemiol�gica de este trabajo de investigaci�n ha obtenido el Premio Dr. Escudero Valverde de la Real Academia Nacional de Medicina, 1994.
(*) Doctora en Psicolog�a. Unidad Salud Mental Infantil de Gij�n (SESPA).
(**) Doctor en Psiquiatr�a Infantil. Unidad Salud Mental Infantil de Avil�s (SESPA).
(***) Catedr�tico de Psicometr�a. Facultad de Psicolog�a de la Universidad de Oviedo.
INTRODUCCION
A finales de 1976, la OMS convoc� un Comit� de Expertos para examinar los conocimientos existentes acerca de la Salud Mental y el Desarrollo Psicosocial de la Infancia. Dicho Comit� demostr� que a pesar de la severidad y extensi�n de los trastornos ps�quicos de ni�os y adolescentes en el mundo industrializado, no se les prestaba la suficiente atenci�n. Como consecuencia no se realizaban los esfuerzos precisos para desarrollar actividades tendentes al diagn�stico precoz y al tratamiento de dichos trastornos.
Una de las recomendaciones formuladas por este Comit� de Expertos fue la necesidad de sistematizar t�cnicas aplicables a la evaluaci�n de los problemas de salud mental en la infancia, adecuando los recursos disponibles en los diferentes pa�ses. Para desarrollar esta y otras recomendaciones de forma satisfactoria se propusieron, entre otros, los siguientes objetivos:
— Facilitar informaci�n acerca de las necesidades de salud mental y de los recursos disponibles para hacer frente a esas necesidades de la infancia en los diferentes pa�ses.
— Contribuir a obtener m�todos que permitieran evaluar los problemas de salud mental de la infancia, y desarrollar programas con los que los diferentes pa�ses pudieran recopilar la informaci�n que necesitaran para adoptar las medidas correspondientes.
— Dar a conocerlos problemas de salud mental existentes en la infancia y exponer las posibles soluciones en aquellos pa�ses interesados, facilitando la preparaci�n de programas en este campo.
La mayor�a de los autores consultados afirman la necesidad de una estrategia activa que se dirija hacia una detecci�n temprana de los problemas, a la que debe seguir un tratamiento adecuado como objetivo deseable. Un camino favorable para la detecci�n precoz de los trastornos ps�quicos en la poblaci�n infanto-juvenil es la identificaci�n de casos o screening. Con frecuencia hemos comprobado que este tipo de instrumentos son usados solo en investigaciones epidemiol�gicas. El instrumento mejor estandarizado, seg�n una revisi�n de ellos (PEDREIRA y SANCHEZ, 1992), es el Child Behavior Checklist (CBCL), que puede rellenarse de forma relativamente sencilla y r�pida por los padres. Este m�todo puede ser id�neo para su aplicaci�n en las consultas m�dicas ordinarias y/o en los ex�menes peri�dicos de salud escolar. Est� por demostrar que la introducci�n de este tipo de instrumentos pueda mejorar realmente la detecci�n de trastornos mentales en la infancia y la adolescencia en las consultas pedi�tricas. Hasta el momento actual, los estudios realizados sobre los efectos de la aplicaci�n de este tipo de instrumentos, como el General Health Questionaire (GHQ) de GOLDBERG (1970), comparable al CBCL pero solo para adultos, ha ofrecido resultados contradictorios.
Como antecedente de este tipo de investigaciones en la infancia y la adolescencia podr�an establecerse los estudios realizados en Chile por MONTENEGRO et al. (1983), en los Pa�ses Bajos por VERHULST (1985a) y en Puerto Rico por BIRD et al. (1988) y PEDREIRA y SARDINERO en Espa�a (1994 y 1996) sobre el inicial trabajo de ACHENBACH y EDELBROCK (1983).
MATERIAL Y METODOS
El objetivo general de esta investigaci�n es evaluar la validez diagn�stica del Cuestionario de Comportamiento Infantil (Child Behavior Checklist: CBCL) de ACHENBACH. La investigaci�n se ha programado en dos fases para el per�odo de edad comprendido entre los 6 y 11 a�os.
Los objetivos espec�ficos son los siguientes:
1� Determinar los caracteres psicom�tricos del CBCL en t�rminos de fiabilidad y validez.
2� Evaluar la capacidad de discriminaci�n entre �caso-no caso� en salud mental infanto-juvenil del instrumento de screening elegido.
Marco y unidad de muestreo:
La poblaci�n de estudio corresponde a ni�os y ni�as comprendidos entre 6.0 a�os y 11 a�os y 11 meses de un sector de atenci�n primaria de salud en la Comunidad Aut�noma de Asturias.
1. Muestra de la primera fase: Se consider� la totalidad de la poblaci�n atendida por los Pediatras del Centro de Atenci�n Primaria seleccionado, dentro del rango de edad previamente establecido, durante un per�odo de 3 meses (concepto de preevalencia puntual en estudios epidemiol�gicos de campo en la comunidad). La muestra qued� constituida por 235 casos (123 ni�os y 112 ni�as), cuya distribuci�n por sexos aparecen especificados en la Fig. 1. La tasa global de respuesta obtenida para el CBCL fue de un 85,8%. Similar a las obtenidas por ACHENBACH et al. (1981), de 82,3% para su muestra de poblaci�n general, y por VERHULST (1985) de 85,1%.
2. Muestra de la segunda fase: Para obtener esta segunda submuestra se distribuyeron las puntuaciones obtenidas en el CBCL en tres grupos: Puntuaciones altas, medias y bajas. A su vez se estableci� una segunda divisi�n de acuerdo a las escalas de internalizaci�n y de externalizaci�n,evitando la coincidencia de casos de ambas escalas. Por fin, se dividi� en los dos sexos de ni�os y ni�as buscando que se respetara, en la medida de lo posible, el porcentaje entre ambos, para cada grupo y escalas, con relaci�n a la muestra general. Cuando el n�mero en alguna de las puntuaciones era reducido se consideraba la totalidad de los casos, lo que se detect� en las puntuaciones altas para ambas escalas y para los dos sexos.
El total de la segunda submuestra (Fig. 2), as� obtenida, fue de 103 casos (43,8%), quedando finalmente reducida a 98 casos (41.7%), despu�s de la recapacitaci�n de casos mediante una lista de sustitutos con las mismas caracter�sticas de sexo y puntuaci�n en las escalas para reemplazar los rechazos y no localizaciones. A estos 98 casos (56 ni�os y 42 ni�as) se les realiz� la entrevista cl�nica semiestructurada, corresponde una tasa de respuesta de 95,1%, mayor que la tasa de respuesta al CBCL por la imposibilidad de contar con una lista de reemplazos en las circunstancias en que se realiz� el trabajo de campo. En cuatro casos no se pudo realizar la entrevista familiar por negativa familiar y en el quinto por haber aportado una direcci�n inexacta.
Para an�lisis dicot�micos las puntuaciones altas y medias se corresponder�an a la categor�a de �rango cl�nico� y las puntuaciones bajas a la categor�a de �rango normal�. A�adiendo a esta valoraci�n el diagn�stico CIE-10 (1992), seg�n el criterio establecido con anterioridad.
INSTRUMENTOS:
1. Instrumento de la primera fase: Para esta parte del estudio se emple� el Child Behavior Checklist (CBCL), cuestionario desarrollado por ACHENBACH y EDELBROCK (1983) para padres (Anexo I). El CBCL contiene dos secciones: 20 �tems de competencia social y 118 �tems (5 de ellos se incluyen en el �tem 56 para intentar perfilarlo de forma m�s precisa, por lo tanto la numeraci�n general es de 113) de problemas de comportamiento. El CBCL puede ser completado por los padres u otras personas que conozcan bien al ni�o en un tiempo aproximado de 15-30 min.
Adem�s del CBCL, EDELBROCK y ACHENBACH (1980) han desarrollado el Child Behavior Profile (CBP) con el prop�sito de derivar s�ndromes emp�ricos de problemas de comportamiento que permita una mejor discriminaci�n de los trastornos presentados por los ni�os/as. Cada Listado de Comportamiento Infantil obtiene as� su traducci�n en un Perfil de Comportamiento.
2. Instrumentos de la segunda fase: Se seleccion� una entrevista semiestructurada que fuera sencilla de utilizar y que pudiera informatizarse usando los criterios de caso seg�n los par�metros CIE-10 citados con anterioridad. Previamente se hab�an revisado varias de las que se utilizan en la evaluaci�n cl�nica en Salud Mental Infantil, pero la mayor�a de ellas o se refer�an a problemas concretos o eran muy amplias o no respond�an a los criterios que se planteaban o no estaban estandarizadas para su uso en nuestro pa�s. Por estas razones y por econom�a a la hora de la supervisi�n se opt� por la denominada Entrevista Semiestructurada de Psiquiatr�a Infantil (ESPI) elaborada por PEDREIRA (1991B).
3. Puntuaci�n y codificaci�n del CBCL: La puntuaci�n y codificaci�n de cada cuestionario y su posterior transcripci�n a perfiles fue realizada por un Psic�logo Cl�nico Infantil y un M�dico Residente de Paidopsiquiatr�a, con la supervisi�n de uno de los directores de la investigaci�n. Se siguieron los siguientes criterios:
El sistema de puntuaci�n fue el que nos recomend� el propio ACHENBACH, seg�n los rangos que �l previamente ten�a determinados. seg�n esta puntuaci�n obtenida se clasific�, tanto para la subescala de internalizaci�n como para la de externalizaci�n, en lo siguientes grupos:
— Puntuaci�n alta: Mayor o igual a 61.
— Puntuaci�n media:Entre 33 y 60.
— Puntuaci�n baja: Inferior a 27.
An�lisis de Datos:
Para evaluar las caracter�sticas psicom�tricas del instrumento de medici�n (CBCL) nos ocupamos, dentro de la teor�a cl�sica de los test, de las medidas de fiabilidad y validez (GRAZZIANO & RAULIN, 1984). Como las caracter�sticas y prevalencia del comportamiento podr�a diferir adem�s de por la edad, ya contemplado en la elecci�n de rango, por el sexo, se hicieron an�lisis separados para cada uno de los sexos.
Para estimar la fiabilidad en este caso, se utiliz� uno de los procedimientos de consistencia interna, ya que no dispon�amos de la posibilidad de aplicaci�n de la prueba en una segunda ocasi�n ni de obtener los resultados en una prueba paralela. As� pues, para la obtenci�n de la fiabilidad se utiliz� en la pr�ctica los procedimientos alpha de Cronbach, de uso frecuente.
El an�lisis factorial fue elegido para el estudio de la interdependencia entre variables. Intentando descubrir qu� factores o dimensiones se dibujaban y c�mo y d�nde saturaban las distintas variables implicadas. Despu�s de la preparaci�n de la matriz de correlaciones entre las nueve variables, por separado ambos sexos, la factorizaci�n por el m�todo de componentes principales inform� de la conveniencia de mantener los dos factores, Internalizaci�n-Externalizaci�n, como significativos.
Con los valores calculados hasta el momento se garantizan las propiedades psicom�tricas del instrumento empleado, al mismo tiempo, que se da paso al segundo tipo de an�lisis: la validaci�n del instrumento de medida.
Como parte integral del procedimiento de validaci�n se establecieron datos normativos para la muestra de poblaci�n estudiada. Las normas se diferenciaron en funci�n del esquema empleado con anterioridad para las escalas de Internalizaci�n, Externalizaci�n y Totales de Problemas de Comportamiento, por separado para ambos sexos. Empleando percentiles como sistema de puntuaci�n se buscaba definir el l�mite cr�tico que mejor precisara la categorizaci�n de sujetos en la muestra del estudio, probando con diferentes puntuaciones de corte establecidos de antemano. Para el diagn�stico �caso�-�no caso� se obtuvo de los resultados de la entrevista cl�nica semiestructurada ESPI tras la realizaci�n de un programa inform�tico BASIC seg�n un cuadernillo de claves elaboradas de forma espec�fica al respecto.
A efectos de c�lculo nos ocuparemos de la validez relacionada con un criterio externo o validez de criterio. La validez de criterio o validez emp�rica comprende, a su vez, dos problemas de c�lculo: validez concurrente, cuyo objetivo es la obtenci�n de un diagn�stico y validez predictiva en la que el objetivo es la predicci�n. Para obtener el coeficiente de validez se precisa calcular un coeficiente de correlaci�n entre las puntuaciones en la prueba y en el criterio. Se calcularon los siguientes coeficientes de correlaci�n: �Chi� cuadrado, Coeficiente de contingencia, Coeficiente fi, e �Indice Kappa� a niveles de significancia estad�stica de p<.01 y p<.001, ya que evaluaban diferentes grados de �exigencia� estad�stica. El conjunto del procedimiento estad�stico se realiz� con el Paquete estad�stico informatizado SPSS.
Con fines predictivos son cuatro los resultados posibles: Falsos Positivos: Porcentaje de �no-casos� clasificados como perteneciendo a la categor�a de �casos�. Falsos Negativos: Porcentaje de �casos� clasificados como perteneciendo a la categor�a de �no-casos�.
A su vez, la clasificaci�n con �xito �caso� y �no-caso� del instrumento de medida tiene dos componentes: Sensibilidad y Especificidad:
Sensibilidad de la prueba: Porcentaje de �casos� correctamente identificados como �casos� en una poblaci�n. Precisa un punto de corte bajo:
Especificidad de la prueba: Porcentaje de �no-casos� correctamente identificados como �no -casos� en una poblaci�n. Se aumenta la especificidad subiendo el punto de corte:
En este caso el punto de corte ideal ser�a aqu�l que aportara una clasificaci�n de �casos� y �no casos� lo m�s similar posible a los conseguidos en la entrevista cl�nica semiestructurada.
RESULTADOS
Para mayor facilidad en la exposici�n se plantear�n los resultados en dos grandes apartados: las cualidades psicom�tricas del CBCL y su aplicaci�n como posible instrumento de screening.
1. Cualidades psicom�tricas del CBCL: Corresponde a la primera fase del procedimiento de investigaci�n, es decir, a partir de los datos obtenidos de la totalidad de los 235 sujetos que completaron el CBCL.
La Tabla I muestra los valores obtenidos, siendo altamente consistentes para las escalas de Competencia Social (en las ni�as es de .55 y en los ni�os de .48). Por sexos, en las ni�as los valores �alfa� son m�s altos tanto en Externalizaci�n (.87) como en Internalizaci�n (.81), en relaci�n a los valores obtenidos en los ni�os (.83 y .71, respectivamente).
Con la t�cnica de an�lisis factorial se examin� la estructura de la prueba. Se obtuvieron las matrices de correlaci�n de 9 factores que se correspon-d�an con las subescalas del CBCL y, al igual que en la prueba precedente, los resultados se diferenciaron en los dos sexos (Tabla II). Asimismo, se obtuvieron las matrices de correlaci�n entre las subescalas de internalizaci�n y de externalizaci�n tanto en ni�as (Tabla III) como en ni�os (Tabla IV). En su mayor parte las correlaciones fueron significativas a niveles p<.01 y p<.001.
Con el an�lisis de componentes principales en el interior de la muestra, separada por sexos, se comprob� la agrupaci�n emp�rica de los �tems en las escalas. Las matrices factoriales (Tabla V) dibujaron en ambos sexos la existencia de dos factores definidos que agrupan al conjunto de las 9 subescalas independientes. En 3 de ellas existe una diferencia en ambos sexos, mientras en ni�as aparecen definidas como �Esquizo-Obsesivo�, �Problemas Sexuales� y �Crueldad�, en ni�os figuran como �Esquizo-Ansioso�, �Obsesivo-Compulsivo� e �Incomunicaci�n�, que viene configurada por la agrupaci�n diferenciada de los �tems y las subescalas que el autor realiza para ambos sexos. confirm�ndose la estructura estable del cuestionario CBCL, as� como el mantenimiento definido de dos factores, uno de Internalizaci�n y otro de Externalizaci�n como ya fue adelantado por el propio ACHENBACH en su estudio original.
En las ni�as la matriz factorial de internalizaci�n informa de una saturaci�n m�s significativa en las subescalas de depresi�n y aislamiento social. As� como la matriz factorial de externalizaci�n muestra una saturaci�n m�s significativa en las subescalas de agresividad e hiperactividad. Explicando el factor de internalizaci�n el mayor porcentaje de varianza (63%) en relaci�n al factor de externalizaci�n (51,8%).
En los ni�os ser�an significativas las cargas de las subescalas obsesivo-compulsivas, depresi�n e incomunicaci�n en la matriz factorial de internalizaci�n. De igual manera en la matriz factorial de externalizaci�n las cargas m�s significativas aparecen en las subescalas de agresividad, hiperactividad y delincuencia. En los ni�os, a diferencia de las ni�as, el factor de externalizaci�n explica un mayor porcentaje de varianza (65%) que el factor de internalizaci�n (55,3%).
2. CBCL como instrumento de screening
2.1. Diagn�stico de caso: En la Fig. 3 se observa que la muestra de la segunda fase de la investigaci�n se compuso de 98 sujetos, de los que 56 fueron catalogados como �caso� (57,1%), 34 fueron ni�os (60,7%) y el resto ni�as (el 52,4% de las 42 ni�as entrevistadas).
2.2. Validez del CBCL: Las tablas de conversi�n de las puntuaciones directas a percentiles de nuestra muestra se presentan en el Anexo II, para las ni�as y en el Anexo III, para los ni�os. Corresponden a las escalas de Internalizaci�n y Externalizaci�n y para el CBCL en su conjunto, excluida la escala de Competencia Social.
2.2.1. Sensibilidad y especificidad para las ni�as: La Tabla VI resume los resultados obtenidos para diversos cortes en las puntuaciones totales del CBCL. La mayor sensibilidad obtenida es de 0.863 para puntuaciones directas de 29.8, 31.45 y 35 que se corresponden con los percentiles de 60, 65 y 70, respectivamente, ofreciendo un porcentaje de falsos negativos de 7.14% de los sujetos. La especificidad fue del 0.95 para puntuaciones directas de 35, 37, 39.8, 44.1 y 50.4, que se corresponden respectivamente con percentiles de 70, 75, 80, 85 y 90, ofreciendo un 2.38% para los sujetos que fueron catalogados como falsos positivos. Del conjunto de ambos valores pueden decirse que CBCL se comporta en esta investigaci�n como una prueba m�s espec�fica que sensible. El corte que corresponde a una puntuaci�n directa de 35 o a un percentil de 70 es en el que sensibilidad (0.863) y especificidad (0.95) obtienen los valores m�s adecuados para poder ser considerada dicha prueba como instrumento de screening, obteniendo solo un 9.52 de casos mal clasificados (7.14% como falsos negativos y 2.38% como falsos positivos).
La Tabla VII refleja los valores de sensibilidad y especificidad de la escala internalizaci�n: Los percentiles 65 y 70, se corresponden con puntuaciones directas de 12.45 y 14 respectivamente, son los puntos de corte que maximizan y equilibran las medidas de sensibilidad (0.636) y especificidad (0.85). Obteniendo una tasa de mal clasificados de un 26.16% (7.14% como falsos positivos y 19.05% como falsos negativos). Estas dos medidas de validaci�n en la escala externalizaci�n (Tabla VIII) obtienen su mejor resultado en el percentil 65, correspondiente a puntuaci�n directa 18, con unos valores de sensibilidad de 0.86 y de especificidad de 0.85 y con una tasa de mal clasificados inferior a la escala de internalizaci�n (14.28% siendo para los falsos positivos y falsos negativos una tasa de 7.14%).
La comparaci�n de estos �ltimos resultados a efectos de screening demuestra que la mejor puntuaci�n de corte se sit�a en el percentil 65, donde se sigue manteniendo una alta especificidad y una adecuada sensibilidad de la prueba, apreciablemente m�s baja en internalizaci�n que en externalizaci�n que se corresponde con unos valores de error de clasificaci�n que oscilan entre 26.16%, para la escala internalizaci�n, y menor para la escala externalizaci�n, de 14.28%.
Adem�s de las medidas de validaci�n de tipo epidemiol�gico, expresadas con anterioridad, se realizaron una serie de coeficientes de correlaci�n estad�stica entre las medidas de patolog�a obtenidas seg�n diversos cortes en el CBCL (Tabla IX) y la entrevista cl�nica (ESPI), los resultados son superponibles a los expuestos con anterioridad, es decir: tanto el �chi� cuadrado de 27.80 para p<.001, el coeficiente de contingencia de 0.631 para p<.001, una �fi� de 0.814 para p<.001 como el �ndice Kappa igual a 0.809 para p<.001 nos se�alan el corte en el percentil 70 como el m�s adecuado para el CBCL como prueba total. Tambi�n se realizaron iguales medidas de correlaci�n para las escalas internalizaci�n (Tabla X) (�Chi� Cuadrado=10.29, �C�=0.443, �Fi�=0.494 y �K�=0.481, con niveles de significaci�n estad�stica de p<.01) y escala de externalizaci�n (Tabla XI) (�Chi� Cuadrado=21.38, �C�=0.581, �Fi�=0.734 y �K�=0.695, con una significaci�n estad�stica de p<.001), que confirman al percentil 65 como punto de corte m�s satisfactorio para puntuaciones por escalas, inter y externalizaci�n.
2.2.2. Sensibilidad y especificidad para los ni�os: La Tabla VI muestra los valores de sensibilidad y especificidad para los mismos cortes realizados en puntuaciones totales del CBCL, hallados en los ni�os. Las sensibilidades m�s altas de 0.735, 0.706 se encuentran en puntuaciones directas de 36, 39 y 44.6 que se corresponden con percentiles 60, 65 y 70, respectivamente, obteniendo un porcentaje de falsos negativos de 16.07% (P 60), 17.86% (P 65 y P 70). Los valores m�s altos de especificidad fueron 0.863, 0.954 y 1 que se corresponden con puntuaciones directas de 44.6 (P 70), 47 (P 75) y 56 (P 80) respectivamente, ofreciendo un porcentaje de falsos positivos de 5.36% en el percentil 70, 1.79% en el percentil 75 y 0% en el percentil 80. Tambi�n en el caso de los ni�os el CBCL confirma ser una prueba altamente espec�fica y menos sensible. El corte que corresponde a puntuaci�n directa 44.6 (P 70) es el que ofrece un mejor ajuste entre las medidas de sensibilidad (0.706) y especificidad (0.863) se corresponde con una tasa menor de porcentaje de mal clasificados de 23.22% (5.36% falsos positivos y 17.86% falsos negativos).,
La Tabla VII resume los valores de sensibilidad y especificidad en la escala internalizaci�n para ni�os: El percentil 65, al que corresponde una puntuaci�n directa de 20, le corresponden medidas de sensibilidad y especificidad m�s pr�ximas, por encima del percentil 65 la sensibilidad disminuye y se incrementa la especificidad y viceversa, manteni�ndose el porcentaje de mal clasificados de un 25% (7.14% falsos positivos y 17.86% falsos negativos). Los resultados de estas dos medidas en la escala externalizaci�n aparecen en la Tabla VIII: En la misma l�nea que en la escala internalizaci�n, el mejor corte se sit�a en el percentil 65 por el equilibrio de las medidas de sensibilidad (0.706) y especificidad (0.773), aunque en este caso el porcentaje de mal clasificados de 26.79% (8.93% falsos positivos y 17.86% falsos negativos) no es mantenido a lo largo de las puntuaciones de corte que se muestran en la tabla, la diferencia es insignificante. En resumen: estos hallazgos confirman como mejor puntuaci�n de corte para escalas internalizaci�n y externalizaci�n en los ni�os el percentil 65 dado que ofrece una mejor equiparaci�n entre medidas de sensibilidad y especificidad y unos porcentajes de mal clasificados muy similares, 25% para la escala de internalizaci�n y 26.79% para la escala de externalizaci�n.
Las medidas de correlacion entre distintos puntos de corte del CBCL y el diagn�stico de caso por entrevista cl�nica en ni�os (Tabla IX) confirman el punto de corte en puntuaci�n directa 44.6 (P 70) (�chi� cuadrado=17.40, coeficiente de contingencia=0.486, �fi�=0.556 e �ndice Kappa=0.539) a un nivel de significancia estad�stica de p<.001. La revisi�n de los coeficientes de correlaci�n en la escala de internalizaci�n (Tabla X) y escala de externalizaci�n (Tabla XI) corroboran el mantenimiento de la puntuaci�n directa 20 (p 65) como punto de corte a un nivel de significancia estad�stica de p<.01.
DISCUSION Y COMENTARIOS
La validez del CBCL ha obtenido suficiente comparaci�n con muestras recogidas en diversos paises adem�s de USA, donde originalmente se elabor� y estandariz� el cuestionario con poblaci�n infanto-juvenil no cl�nica. Los datos se han aportado por medio de la realizaci�n de estudios transversales, fundamentalmente fuera de nuestro pa�s. Se quiere resaltar, por la similitud metodol�gica con el presente trabajo, el que corresponde a una muestra holandesa (VERHULST 1985) seleccionada al azar de entre la poblaci�n infantil de los censos municipales y un segundo estudio realizado sobre una muestra de poblaci�n infantil general espa�ola (BONET, 1991). Ambos estudios mostraban similares resultados en la puntuaci�n total de problemas comportamentales comunicadas por ACHENBACH y EDELBROCK (1983) en su estudio original.
Puntuaciones m�s elevadas fueron obtenidas en una muestra escolar de Canad� (SCHWAGER et al., 1982), en una muestra de poblaci�n infantil puertorique�a (BIRD et al., 1988) y en una muestra de poblaci�n escolar de Chile (MONTENEGRO, 1983). En otro estudio americano de valoraci�n de problemas de comportamiento en ni�os/as atendidos en atenci�n primaria de salud, las puntuaciones totales de problemas de comportamiento son significativamente m�s altas que en la muestra no-cl�nica americana del CBCL. Los datos encontrados en el presente estudio confirman lo aportado por los trabajos mencionados anteriormente, es decir: que las puntuaciones del CBCL var�an significativamente de acuerdo a las caracter�sticas demogr�ficas de la muestra investigada, con lo que la escala de puntuaciones para la muestra no-cl�nica americana del CBCL no es universalmente v�lida y necesita ser validada cuidadosamente en cada contexto, cuando el cuestionario CBCL es empleado con muestras que son demogr�ficamente diferentes a la estandarizada americana.
Los an�lisis estad�sticos realizados en este estudio garantizan las cualidades psicom�tricas del cuestionario en su conjunto y por escalas. En consonancia con los estudios que aportan datos de fiabilidad de la prueba del CBCL (BIRD et al., 1988; BONET, 1991; COSTELLO et al., 1988; MONTENEGRO, 1983; SCHWAGER et al., 1982 y VERHULST, 1985).
Se ha aceptado como procedimiento de investigaci�n el estudio en doble fase sobre una prevalencia puntual en Atenci�n Primaria, en primer lugar por el rigor del procedimiento de investigaci�n y, en segundo lugar, por aportar una referencia de tipo epidemiol�gico de tipo temporal y precisa. Para la segunda fase hab�a que seleccionar el criterio de caso y el instrumento para determinarlo. A pesar de todas las cr�ticas que se puedan realizar (PEDREIRA y RINCON, 1989), se ha preferido utilizar un sistema mixto: cl�nico y epidemiol�gico-estad�stico, que incluyera tanto criterios de inclusi�n como criterios de exclusi�n a la hora de determinar los trastornos. Con estas caracter�sticas se opt� por elegir el sistema de la OMS:CIE-10. Como instrumento de evaluaci�n se decidi� una entrevista cl�nica semiestructurada como base y que reuniera algunas caracter�sticas: planteamiento evolutivo y cl�nico, posibilidad de evaluarse seg�n criterios CIE-10 y que tuviera una base emp�rica tanto en la concepci�n como en el desarrollo. Tras una revisi�n adecuada, se comprob� que la ESPI (PEDREIRA, 1990a y 1991b) podr�a reunir estas caracter�sticas, pero adem�s permit�a: evaluar la co-morbilidad en la etapa infanto-juvenil, complementar los criterios CIE-10 eliminando los s�ntomas puramente de la edad adulta manteniendo un nivel de equivalencias a la hora de los criterios de inclusi�n y, sobre todo, la accesibilidad del autor del instrumento de evaluaci�n cl�nica.
Con estas premisas de introducci�n se plantean una serie de preguntas a la hora de discutir: �El CBCL se demustra para la poblaci�n infantil asturiana con adecuadas propiedades psicom�tricas? �El CBCL tiene las suficientes propiedades como para poder ser utilizado como instrumento de screening y en qu� condiciones debe ser utilizado? �Puede ser utilizado el CBCL como un instrumento adecuado a la relaci�n entre la Atenci�n primaria Pedi�trica y la Salud Mental Infantil y c�mo utilizarlo? �Qu� l�neas de investigaci�n y qu� preguntas abre este tipo de trabajos?
1. Escalas y listados de evaluaci�n de la conducta infantil: Existen numerosas escalas y listados que est�n siendo utilizados en diversas investigaciones sobre psicopatolog�a infantil. Los �tems de que constan oscilan entre 10 y 600 y se punt�an en agrupamientos que oscilan entre 1 y 33 subescalas. Los �tems fluct�an entre valoraci�n de comportamientos altamente espec�ficos y cualidades m�s abstractas de funcionamiento personal o social, o constructos muy espec�ficos (p.e. nivel de actividad) o categor�as psicopatol�gicas muy extensas (p.e. comportamientos de externalizaci�n). Var�an en su calidad, en el tipo de investigaci�n desarrollada sobre sus cualidades psicom�tricas y en los objetivos para los que se han dise�ado.
La validez o fiabilidad de estas escalas puede estar comprometida por numerosos problemas de orden conceptual o pr�ctico tanto en su construcci�n como en su uso e interpretaci�n (BEICHTMAN et al., 1985; MU�OZ et al., 1979; OFFORD et al., 1986 y RUTTER et al., 1968). Por ejemplo la puntuaci�n en el orden temporal de una conducta: puntuarla en el momento actual o no; tambi�n influyen en las puntuaciones las caracter�sticas del informante en cuanto a su inteligencia, educaci�n, etc. Otra fuente de variaciones proviene de la manera en que la escala ha sido construida, la especificidad del enunciado de las preguntas, el per�odo de tiempo sobre el que se han de recoger las observaciones, etc. Otro problema es la decisi�n sobre el tipo de medidas que se utilizar�n para valorar la validez del constructo de la escala, p.e. las medidas de observaci�n. Muchas escalas utilizan el an�lisis factorial para desarrollar subescalas que puedan reflejar dimensiones parciales de la psicopatolog�a infantil, pero estos nuevos factores pueden o no representar dimensiones reales del comportamiento infantil.
A pesar de los problemas que se han descrito, el uso e interpretaci�n de este tipo de escalas tienen tambi�n numerosas ventajas: Tienen la capacidad de recoger informaci�n de personas que han convivido con el ni�o/a durante varios a�os y en diversas situaciones. Permiten recoger algunos datos inusuales, que podr�an perderse en la observaci�n directa. Son instrumentos baratos y eficientes referidos al tiempo que se utiliza en rellenarlos. Pueden tener datos normativos para establecer la desviaci�n estad�stica de las puntuaciones obtenidas por el ni�o/a. Existen diversos formatos que abarcan una gran variedad de dimensiones de la psicopatolog�a infantil. Incorporan opiniones de personas significativas en el entorno natural del ni�o/a responsables de su cuidado y tratamiento. Se�alan la variaci�n situacional, recogiendo las caracter�sticas m�s estables del comportamiento infantil. Por �ltimo, permiten cuantificar ciertos aspectos cualitativos del comportamiento que son de dif�cil obtenci�n por otros m�todos de observaci�n directa.
Las escalas tienen diversas funciones (ACHENBACH & EDELBROCK, 1983) tales como: investigaci�n epidemiol�gica, subagrupamiento de ni�os/as en grupos m�s homog�-neos, exploraci�n de hip�tesis etiol�gicas de ciertos trastornos, pron�stico de grupos cl�nicos en seguimiento longitudinal a lo largo de intervalos m�s o menos largos de tiempo. Por estas razones, entre otras, continuar�n teniendo un importante papel para la investigaci�n en temas de psicopatolog�a infantil.
Como fase previa a esta investigaci�n, dentro de un proyecto m�s amplio del que este trabajo representa su fase fundamental de aplicaci�n emp�rica, PEDREIRA & SANCHEZ (1992) han revisado aquellas escalas de utilizaci�n m�s amplias en trabajos epidemiol�gicos siguiendo y actualizando la sistematizaci�n realizada por BARKLEY (1988), las han agrupado en tres apartados atendiendo a quien aportaba la informaci�n sobre las caracter�sticas de la conducta de cada ni�o/a: escalas para padres, escalas para profesores y escalas destinadas a informantes m�ltiples. Posteriormente se agrup� la informaci�n m�s significativa respecto de cada prueba/escala localizada en base a autores, n�mero de �tems, tiempo de cumplimentaci�n, rango de edad, existencia de programa inform�tico, fiabilidad, validez, datos normativos y factores evaluados. La informaci�n aportada por estos autores se pueden resumir de la siguiente forma: existen suficientes escalas para valorar los trastornos psicopatol�gicos m�s comunes en la infancia y que no se precisar�a desarrollar nuevas escalas de tipo general, de banda ancha. Estos autores sugieren que el avance de la investigaci�n vendr�a dado por la profundizaci�n en nuevos estudios de las propiedades y utilidad de las escalas ya existentes, sobre todo de las que est�n bien desarrolladas y estandarizadas como son el CBCL, RPBC y las escalas de CONNERS.
Todo lo contrario ocurre cuando queremos valorar aspectos psicopatol�gicos muy espec�ficos como la ansiedad, depresi�n, quejas psicosom�ticas o habilidades sociales, ya que apenas existen escalas. Aunque se pueden utilizar las subescalas de instrumentos m�s amplios, ser�a interesante poder desarrollar escalas m�s espec�ficas en la l�nea de las formuladas para autocontrol, hiperactividad y miedos en la infancia.
Existen pocos trabajos valorando la utilidad de las escalas en el seguimiento de ni�os/as con trastornos de conducta sometidos/as a tratamiento, bien sea farmacol�gico, conductual, familiar, psicoterap�utico, etc. Las escalas pueden ser de gran utilidad si son capaces de ofrecer subagrupamientos de poblaciones infantiles en categor�as m�s espec�ficas y relacionadas con diferentes pron�sticos al inicio del tratamiento (ACHENBACH & EDELBROCK, 1983), ya que �sto permitir�a a otros investigadores replicar el estudio empleando la misma escala y similares puntos de corte para la clasificaci�n de los sujetos en vez de la utilizaci�n de criterios subjetivos.
Es dif�cil determinar en esta revisi�n cu�l es la �mejor� escala, ya que esta calificaci�n depender� de lo que se quiera investigar. Parece que las escalas de la serie Child Behaviour Checklist de ACHENBACH son las m�s desarrolladas y estandarizadas, permitiendo valorar una amplia gama psicopatol�gica, pero no ser�an �tiles en estudios altamente espec�ficos, en autismo, psicosis infantiles, etc. El CBCL es uno de los instrumentos m�s cuidadosamente validados, sus tres versiones en funci�n de la edad (4-5 a�os, 6-11 a�os y 12-16 a�os) y sexo del ni�o/a, as� como la posibilidad de comparar la informaci�n de diversos informantes (padres, profesores y el propio ni�o/a) lo hacen especialmente apto como instrumento de screening y para la investigaci�n en la psicopatologia infantil. Como inconveniente se podr�a citar su extensi�n, que reduce su utilidad pr�ctica por la necesidad de emplear m�s tiempo en su cumplimentaci�n.
2. Comparaci�n con otros estudios: La media de puntuaci�n total de problemas de comportamiento obtenida en los cuestionarios por los ni�os/as de esta investigaci�n fue de 32.3 con una DS de 19.9. Por sexos, los ni�os obtienen una puntuaci�n media superior (37.3 con una DS de 22.7) y las ni�as bastante inferior que los ni�os (27.2 con una DS de 17.0) (Tabla XII).
Estos resultados coinciden con los ofrecidos por BONET (1991) en una muestra de ni�os/as de 8, 11 y 15 a�os obtenida en poblaci�n infantil general, en la que inform� de una puntuaci�n media de 35.8 con una DS de 20.4 y son sensiblemente superiores a los datos presentados por ACHENBACH & EDELBROCK (1983) y VERHULST (1985). La puntuaci�n media para problemas de comportamiento en la muestra americana
fue de 20.8 con un DS de 14.6 (Media=21.7 con DS=15.0 en ni�os y Media=19.9 con DS=14.2 en ni�as). En la muestra holandesa la puntuaci�n media del CBCL fue de 21.8 con un DS de 16.2 (Media=23.2 con DS=17.3 en ni�os y Media=20.5 con DS=15.2 en ni�as), bastante semejante a la americana. Pero resultan inferiores a las puntuaciones directas obtenidas en el estudio de prevalencia de inadaptaci�n infantil en la comunidad de Puerto Rico (BIRD et al., 1988) y al estudio realizado por MONTENEGRO y cols. (1983) en la poblaci�n infantil chilena.
Las posibles explicaciones para las diferencias encontradas en las puntuaciones de problemas de comportamiento en el CBCL en los ni�os/as asturianos/as pueden responder a dos tipos de razones. En primer lugar porque la muestra de este estudio fue extraida de poblaci�n infantil atendida en dispositivos de atenci�n primaria pedi�trica, a diferencia de las muestras investigadas en los estudios mencionados que fueron seleccionadas de la poblaci�n general. En segundo lugar los efectos sem�nticos de la redacci�n de los �tems del cuestionario, a pesar de los esfuerzos de adaptaci�n realizados, pueden ser tambi�n responsables de algunas peque�as diferencias.
Las diferencias sexuales tambi�n fueron contempladas en esta muestra de poblaci�n infantil atendida en dispositivos de atenci�n primaria por los pediatras, los ni�os obten�an una media m�s alta de puntuaci�n total de problemas que las ni�as (37.3 y 27.2, respectivamente). Estos resultados no apoyan la hip�tesis de que los problemas de comportamiento presentados por las ni�as sean menos importantes que los presentados por los ni�os. La explicaci�n m�s probable para estas diferencias por sexos es que reflejan la diferencia en los patrones de comportamiento entre los ni�os y las ni�as y as� es detectado por el CBCL. Esta interpretaci�n se basa en los resultados del an�lisis factorial de los componentes principales de cada categor�a y que ofrece un resultado en el que los problemas de comportamiento en los ni�os parecen tener una especial tendencia hac�a la expresi�n de externalizaci�n, siendo las conductas relativas a la agresividad, hiperactividad y delincuencia las que obtienen un mayor peso estad�stico; mientras que en las ni�as la expresi�n de internalizaci�n alcanza un mayor peso estad�stico en las conductas agrupadas en las subescalas de la depresi�n y aislamiento social.
Similares resultados fueron tambi�n comunicados por ACHENBACH et al. (1981) y VERHULST (1985) que obtuvieron diferencias significativas sexuales tanto al nivel de puntuaci�n total de problemas de comportamiento como de patrones espec�ficos para ni�os y ni�as. Este hallazgo hizo que ACHENBACH & EDELBROCK (1979) plantearan los an�lisis por grupos separados en edad y sexo, con el f�n de alcanzar una mejor discriminaci�n de los trastornos infantiles. La muestra de este estudio fue demasiado peque�a para extraer conclusiones sobre diferencias etareas por patrones de comportamiento, adem�s de no ser un objetivo directo de la investigaci�n.
La principal conclusi�n que puede extraerse de la comparaci�n de nuestros datos con otros estudios es que los ni�os asturianos tienden a obtener puntuaciones m�s altas en el total de problemas de comportamiento, con una tendencia m�s hacia la externalizaci�n (bajo control, �acting-out� y problemas de conducta) en relaci�n con una tendencia m�s hacia la internalizaci�n en las ni�as (inhibici�n, ansiedad y problemas de personalidad), aunque muchas de ellas tambi�n muestren como modo de expresi�n de conflictos la v�a de la externalizaci�n frente a la internalizaci�n, como lo demuestra el hecho de una media de puntuaci�n total en la categor�a externalizaci�n es mayor que la media de puntuaci�n total en la categoria internalizaci�n.
Es necesario investigar con m�s atenci�n las diferencias culturales en los patrones de comportamiento de los ni�os/as y el papel que juega la actitud parental en estas diferencias, quedando los datos para su explotaci�n en posteriores investigaciones.
3. Poder Discriminativo del CBCL: El CBCL representa un enfoque que est� llegando a ser cada vez m�s popular en la valoraci�n del estado de la salud mental de los ni�os/as, por lo que era importante comprobar su utilidad y validez como una medida de psicopatolog�a infantil para su aplicaci�n cl�nica.
En la segunda fase del estudio se emple� como criterio diagn�stico la presencia de uno o m�s diagn�sticos CIE-10 basados en la entrevista semiestructurada con los padres (ESPI). Por este procedimiento de validaci�n se lleg� a un diagn�stico de caso en un 57.1% de los sujetos entrevistados, con una distribuci�n por sexos mayor para los ni�os (60.7%) que para las ni�as (52.4%) (Fig.3).
Un primer resultado a resaltar es que del CBCL solo utilizamos las puntuaciones relativas a los problemas de comportamiento, dado que la escala de competencia social nos aport� unos datos poco fiables en nuestra muestra, al igual que les ha sucedido a otros grupos de investigadores (VERHULST, 1985) y los propios autores originales intu�an (ACHENBACH & EDELBROCK, 1983). Por lo tanto dicha escala de competencia social se puede utilizar como par�metros descriptivos, pero no con poder de discriminaci�n cl�nica, adem�s de los datos estad�sticos obtenidos hay que fundamentar esta sugerencia con las diferencias socio-culturales de la infancia que son muy distintas en cada territorio y ello imposibilita una puntuaci�n m�s o menos estandarizada.
La capacidad discriminativa del CBCL, separada por sexos, fue valorada en un principio para puntos de corte de puntuaciones totales de problemas de comportamiento y puntuaciones totales de escalas de internalizaci�n y de externalizaci�n, para los que las medidas de sensibilidad y especificidad estuvieran equiparadas. Siguiendo este razonamiento se obtuvo que para una puntuaci�n total de problemas de comportamiento en ni�as (Tabla VI) la tasa de error de clasificaci�n fue de 9.6% y en ni�os (Tabla VI) fue de 23.2%. Para puntuaciones totales de los problemas por escalas de internalizaci�n y de externalizaci�n, se obtuvieron un 26.2% (Tabla VII) y un 14.3% (Tabla VIII) respectivamente en las ni�as, as� como un 25% (Tabla VII) y un 26.8% (Tabla VIII) respectivamente en los ni�os.
Como era de esperar los valores fueron m�s bajos para la sensibilidad y especificidad y m�s altos en el error de clasificaci�n en las puntuaciones totales por escalas de internalizaci�n y externalizaci�n, con respecto a los valores obtenidos para la puntuaci�n total de problemas de comportamiento, lo que muestra que esta �ltima tiene una asociaci�n m�s fuerte con la categor�a cl�nica que cualquiera de las otras dos puntuaciones. Como ya adelantaban ACHENBACH & EDELBROCK (1983), tambi�n se ha comprobado en esta investigaci�n que la puntuaci�n total incluye todos los �tems de las otras dos escalas de comportamiento y, por lo tanto, es un �ndice mejor de diferenciaci�n entre los ni�os/as que presentan problemas de comportamiento en el rango �cl�nico�-�normal�.
Sin embargo, la elecci�n de uno u otro de los procedimientos de an�lisis deber� estar basada en los objetivos del estudio m�s que en la tasa total de error de clasificaci�n en exclusiva. Teniendo siempre presente aquel procedimiento que minimice lo m�s posible los falsos positivos y falsos negativos. All� donde el grado o el tipo de desviaci�n es importante como resultado de la valoraci�n, como es el caso de este estudio, el uso de una primera concentraci�n de problemas en los ni�os/as en combinaci�n con la puntuaci�n total de problemas de comportamiento puede ser preferible al empleo de �sta �ltima en exclusiva. El hecho de que un ni�o/a podr�a presentar alg�n grado de desviaci�n en al menos una de las escalas sin ser lo suficientemente desviado como para justificar preocupaci�n cl�nica refuerza este planteamiento.
En cualquier caso, la elecci�n como demarcaci�n de rango �cl�nico� del P 65 en puntuaci�n total de problemas por escalas de internalizaci�n y de externalizaci�n, a diferencia del P 70 elegido para puntuaci�n total de problemas de comportamiento, responde m�s a prop�sitos de abordaje cl�nico y terap�utico que de diagn�stico cl�nico, puesto que el ni�o/a que puntuaba en el rango cl�nico en al menos una de las puntuaciones por escalas por lo general lo hac�a tambi�n en el rango �cl�nico� en la puntuaci�n total de problemas de comportamiento. Lo que coincide con los resultados comunicados por ACHENBACH & EDELBROCK (1983) en los an�lisis de validaci�n del CBCL, cuando revisaron la combinaci�n de diferentes puntuaciones de corte con el fin de mejorar la capacidad discriminativa del CBCL.
Los valores de sensibilidad y especificidad hallados en este estudio (Tabla VI y VII) se encuentran dentro de los valores encontrados por otros autores que informan de estas medidas de validaci�n, como es el caso de ACHENBACH & EDELBROCK (1981); BONET (1991) y VERHULST (1985). A diferencia del estudio de Puerto Rico (Bird et al., 1988) que comunica una baja especificidad y una alta sensibilidad, en nuestra muestra el CBCL demostr� ser m�s espec�fico que sensible a lo largo de las tres puntuaciones de corte calculadas y en ambos sexos. Este rasgo de especificidad del CBCL es tambi�n subrayado por ACHENBACH & EDELBROCK (1983), COSTELLO et al. (1988) y VERHULST (1985) en sus respectivas investigaciones.
La tasa global de error de clasificaci�n para nuestra muestra en su conjunto (Tabla VI) de 16.4% para puntuaciones de corte 35 en ni�as y 44.6 en ni�os de la escala total de problemas de comportamiento es comparable a la obtenida por VERHULST (1985) de 21.6% para puntos de corte donde sensibilidad y especificidad estaban m�s equiparadas en el conjunto de la muestra estudiada de 4 a 16 a�os. ACHENBACH & EDELBROCK (1981) informaron de una tasa global de error de clasificaci�n de 17.9% usando la puntuaci�n de corte establecida de P 90 como rango �cl�nico� de problemas de comportamiento y BONET (1991) encontr� un porcentaje de mal clasificados de 13.1% en funci�n del punto de corte que mejores medidas de sensibilidad y especifidad ofrec�a. MONTENEGRO et al. (1983) informaron de una tasa global de error de clasificaci�n de 33% por el m�todo de an�lisis discriminante de los �tems de problemas de comportamiento, resultando la tasa m�s alta de error de clasificaci�n de los estudios revisados.
Un comentario pr�ctico de singular relevancia, que no aparece rese�ado en la bibliograf�a consultada, es el comportamiento diferente a la hora de contestar las madres el CBCL seg�n es el sexo de los ni�os/as. En efecto, los resultados anteriormente comentados ponen de manifiesto que las madres muestran mayor sensibilidad con las conductas de las ni�as mientras son m�s espec�ficas con la de los ni�os. En primer lugar decimos las madres, pues ellas fueron las que mayoritariamente cumplimentaron el cuestionario, dato que se confirma porque suele ser la figura materna la que de forma mayoritaria acompa�a a su hijo/a a las consultas pedi�tricas y en dicho encuadre se desarroll� la recogida de informaci�n para este estudio. Un segundo comentario hace referencia a que los resultados hacen ver que las madres punt�an cualquier conducta de las ni�as con mayor precisi�n, por m�nima que esta fuera, y ante pocas diferencias son capaces de discriminar, lo que hace ver algo de interpretaci�n subjetiva de la conducta puntuada hacia una menor tolerancia hacia las conductas de las ni�as, lo que es m�s evidente cuando estas conductas son de acci�n u oposici�n (Anexo IV). Por el contrario las madres resultan ser m�s espec�ficas a la hora de puntuar las conductas de los ni�os, como si existiera un mayor umbral de tolerancia hacia las conductas de los ni�os aunque tambi�n se�alan como m�s prevalentes las conductas de acci�n. Esta situaci�n es clave desde una perspectiva pr�ctica, puesto que es la madre la que acompa�a a su hijo/a a la consulta pedi�trica, es la madre quien narra al pediatra los s�ntomas y ella tambi�n resulta ser quien �filtra� dicha informaci�n, de ah� la importancia de aportar instrumentos de evaluaci�n que tiendan a equilibrar de forma rigurosa ambos par�metros de sensibilidad y especificidad y que, como comentaremos con posterioridad, la recogida de informaci�n se realice a varios informantes que incluyan a diferentes contextos y al mismo ni�o/a.
Se puede concluir entonces: (1) Que siempre que se utilice el CBCL con prop�sitos de screening en investigaci�n epidemiol�gica o cl�nica se impone revisar los puntos de corte establecidos por ACHENBACH & EDELBROCK (1983). (2) Idealmente podr�a ser usado en conjunto con el Teacher Report Form (TFR), versi�n para el profesor de los mismos autores, con la finalidad de examinar si mejora la capacidad de screening y/o detecci�n de ni�os con problemas. Esta posibilidad abre una futura perspectiva de desarrollo de este trabajo en favor de resolver los problemas del empleo de escalas amplias y buscar aproximaciones cada vez m�s sensibles a los problemas de salud mental de los ni�os/as y adolescentes, desde la perspectiva de diferentes informantes (padre, madre, profesor y propio ni�o/a) y en distintos contextos de vida. (3) De cualquier manera a efectos de validez predictiva de la prueba de CBCL es necesaria su calibraci�n con una valoraci�n cl�nica paralela, extendiendose cada vez m�s el empleo de entrevistas estructuradas o semiestructuradas dirigidas a los padres y donde se recoja informaci�n relevante que permita llegar a un diagn�stico seg�n un sistema de clasificaci�n preferiblemente multiaxial, del tipo DSM-IV, CIE-10 u otro sistema m�s adecuado a la etapa infanto-juvenil. (4) La detecci�n de casos en las investigaciones de screening obliga a la existencia de recursos cl�nicos adecuados que puedan dar respuesta y cobertura adecuada a los problemas de salud mental detectados, existiendo una tendencia, cada vez mayor, a desaconsejar la realizaci�n de estudios de este tipo si no existen dichos servicios asistenciales (PEDREIRA & SANCHEZ, 1992).
Merece la pena realizar alg�n comentario m�s acerca de la utilidad de otros posibles cortes en las puntuaciones del CBCL, aunque no sea estrictamente el objetivo de la presente investigaci�n, pero que pueden resultar de especial relevancia. Tanto en ni�os como en ni�as a partir del percentil 80 la especificidad se sit�a por encima de 0.95, por lo que ser�an buenos cortes para ser utilizados por profesionales especializados como instrumento de evaluaci�n cl�nica (p.e. como entrevista estructurada). Si se elevan los percentiles la sensibilidad disminuye, con lo que la especificidad es m�xima, por lo que en cortes superiores a P 90 podr�a ser adecuado para tareas de selecci�n de casos para la investigaci�n, as� ha sido utilizado por DOMENECH & POLAINO (1990) en su investigaci�n sobre depresi�n infantil y por GUITIERREZ BENGOECHEA (1992) para la investigaci�n epidemiol�gica de la hiperactividad infantil. Similar ocurre con las puntuaciones para ambas escalas de internalizaci�n y externalizaci�n, aunque en este caso es m�s espec�fico el CBCL en los ni�os que en las ni�as. En definitiva se puede decir: con cortes superiores a 85 el CBCL puede ser utilizado por profesionales de la salud mental infantil como instrumento de evaluaci�n psicopatol�gica (p.e.como entrevista estructurada) y con cortes superiores al percentil 90 la especificidad es m�xima, por lo que puede utilizarse en investigaciones psicopatol�gicas, pero en este caso deben corresponderse: puntuaciones altas en la subescala que se quiera investigar, en la escala en la que se encuentre integrada dicha subescala y en el conjunto del CBCL.
4. Relaci�n entre medidas: La �nica medida cl�nica de psicopatolog�a empleada en la segunda fase de este estudio, valorada con total independencia al resultado obtenido por los ni�os en el CBCL, fue la valoraci�n cl�nica del ni�o/a a trav�s de la entrevista parental (ESPI). La elecci�n de considerar a los padres como informantes claves en este estudio respond�a, por una parte a los objetivos de la valoraci�n del ni�o, es decir, la detecci�n de problemas de comportamiento y de funcionamiento social que exhibe el ni�o/a, y por otra, en orden a la comparabilidad de la misma fuente de informaci�n, los padres, medida con diferentes instrumentos, CBCL y entrevista cl�nica parental (ESPI).
El nivel de correspondencia entre la entrevista cl�nica parental y la puntuaci�n total de problemas de comportamiento en el CBCL (Tabla IX) estaba influenciada por el sexo, la correlaci�n m�s alta entre ambas medidas se obtuvo en las ni�as. Aunque los coeficientes de correlaci�n oscilan de moderados a altos en ambos sexos por igual, a un nivel de significaci�n estad�stica de p<.001.
La relaci�n encontrada por VERHULST (1985) y VERHULST et al. (1985) entre puntuaci�n total de problemas de comportamiento y examen directo del ni�o/a fue m�s fuerte que entre puntuaci�n total de problemas de comportamiento y entrevista cl�nica a los padres. Considerando que los dos procedimientos de valoraci�n cl�nica en su conjunto son contribuciones importantes al diagn�stico final, en mayor medida que tomados por separado. Este resultado est� en desacuerdo con el estudio realizado por RUTTER et al. (1970), encontrando m�s valiosa la contribuci�n de la entrevista parental al diagn�stico cl�nico final que las otras dos fuentes de informaci�n investigadas, informe del profesor y examen directo del ni�o/a. Estudios como el de EARLS (1980) y RICHMAN et al. (1975) sugieren que las valoraciones cl�nicas que eval�an al ni�o/a en el propio domicilio est�n m�s de acuerdo con los informes de los padres.
Estos resultados se contraponen al encontrado por GARRISON & EARLS (1985) que obtuvieron un acuerdo m�s eficiente entre los informes del profesor (TFR) y la evaluaci�n psicol�gica y conductual del ni�o/a, en parte debido a una mayor carga de las dimensiones cognitivas y conductuales utilizadas por parte de profesores y cl�nicos, a diferencia de los padres, para basar sus observaciones y evaluaciones dentro del contexto escolar.
�Cu�l de las tres fuentes de informaci�n (padres, profesores y ni�os/as) contribuyen en mayor medida al diagn�stico final? La respuesta es algo que necesita ser respondido en base a comparaciones m�s sistematizadas del valor de cada una de ellas (ACHENBACH, 1978a). Desde esta perspectiva, mientras no haya reglas sistem�ticamente investigadas para la ponderaci�n diferencial de informaci�n procedente de varias fuentes, los cl�nicos por su conocimiento y entrenamiento profesional est�n en mejor posici�n de enjuiciar e intergrar la informaci�n procedente de diferentes �ngulos. No bostante, los profesionales del campo de la salud mental necesitan informaci�n de padres y profesores, para formarse un criterio en su conjunto del funcionamiento del ni�o/a y de sus perspectivas de desarrollo mental. As� como una valoraci�n basada en el examen del propio ni�o/a podr�a mejorar la eficacia en el diagn�stico final, dado que en s�ntomas m�s internos de la vida emocional y afectiva los ni�os/as son mejores informantes que los propios padres y profesores, cuyos informes y/o valoraciones no dejan de estar influenciados por percepciones subjetivas, actitudes e interacciones marcadas por su propio contexto de vida.
CONCLUSIONES
Validaci�n del instrumento de screening
1. El presente estudio ha permitido la confirmaci�n de las medidas de fiabilidad y validez del CBCL para una muestra de ni�os/as asturianos de 6 a 11 a�os que puede ser considerada como una importante contribuci�n a la utilidad de este instrumento con prop�sitos de screening en su forma actual.
2. El problema de las relaciones entre las medidas del CBCL y la valoraci�n cl�nica mediante el examen directo del ni�o/a y/o mediante entrevista a los padres, como mejor/peor criterio de validaci�n, deber�a ser contrastado con otro criterio tal como adaptaci�n social y/o funcionamiento escolar del ni�o/a.
3. Cuando el CBCL es usado dentro de un contexto cl�nico, debe tenerse en cuenta que un 20% de los problemas de los ni�os/as son mal clasificados por el CBCL. En servicios sanitarios orientados hacia la prevenci�n y cuidados de salud de ni�os/as, el CBCL puede servir de punto de partida para la entrevista cl�nica en salud mental infantil y como complemento con datos obtenidos de otras fuentes.
4. Se ha confirmado la alta especificidad del cuestionario a costa de una baja sensibilidad. Cuando el objetivo de la evaluaci�n sea el diagn�stico de trastornos l�mites, el CBCL puede ser complementado con el TRF.
Aplicaciones del CBCL
5. El CBCL es un buen instrumento para la evaluaci�n de los perfiles de comportamiento y conducta de la infancia, por lo que puede ser utilizado con �xito tanto en dispositivos sanitarios como sociales.
6.Dependiendo de la puntuaci�n de los cortes permite que el CBCL pueda ser usado tanto para screening en servicios de atenci�n primaria, como entrevista estructurada en servicios de atenci�n especializada o como un instrumento para seleccionar muestras para la investigaci�n epidemiol�gica y psicopatol�gica de la infancia.
AGRADECIMIENTOS
A Paula Fern�ndez Garc�a y Ana Isabel Garc�a Alvarez que materializaron todo el an�lisis de datos con seriedad e inter�s profesionales y calidez humana. A Alfredo Sardinero que realiz� la programaci�n inform�tica pertinente de la segunda fase de la investigaci�n y de la co-morbilidad. A todos los pediatras, enfermeras y auxiliares del Centro de Salud de �La Magdalena� (Avil�s) que con su paciencia y colaboraci�n desinteresada hicieron posible el encuentro con los ni�os/as y sus familias en las salas de espera de las consultas de pediatr�a. A las madres y los padres, a los ni�os/as por haber colaborado eficazmente a la conclusi�n de esta investigaci�n.
1. Se comporta de una manera m�s infantil de lo que se espera para la edad que tiene:........ ................... 0 1 2
2. Padece alergia. Especifique:..........
............................................................
............................... ................... 0 1 2
3. Discute mucho: .. ................... 0 1 2
4. Tiene asma: ....... ................... 0 1 2
5. Siendo ni�o/a tiende a comportarse como los ni�os/as del sexo opuesto: ................. ................... 0 1 2
6. Hace la caca fuera de la taza del retrete (en la ropa, en el suelo, etc.): ............ ...................0 1 2
7. Fanfarronea: ...... ................... 0 1 2
8. No se puede concentrar, no puede estar atento mucho rato: ........... ................... 0 1 2
9. No se puede quitar ciertas ideas de la cabeza, man�as, obsesiones. Especifique:........................................
............................................................
............................... ................... 0 1 2
10. No est� quieto nunca, no para de moverse: ................ ................... 0 1 2
11. Est� muy pendiente de su madre, maestra, etc, no se aparta del lado de las personas adultas, queda pegado a la falda: ... ................... 0 1 2
12. Se queja de que se encuentra
solo: ...................... ................... 0 1 2
13. Est� en las nubes, se mueve en
otro mundo, est� confuso: ................. ................... 0 1 2
14. Llora mucho: ... ................... 0 1 2
15. Maltrata a los animales, los hace
sufrir: ..................... ................... 0 1 2
16. Mete miedo a los dem�s, amenaza,
se mete e intimida a la gente: ................. ................... 0 1 2
17. Se pierde en sus pensamientos,
sue�a con los ojos abiertos: ................. ................... 0 1 2
18. Se hace intencionadamente da�o
ha hecho alg�n intento de suicidio, etc: 0 1 2
19. Reclama mucho la atenci�n: ............ ................... 0 1 2
20. Rompe o destroza sus cosas,
juguetes: ................. ................... 0 1 2
21. Rompe o destroza las cosas o
juguetes de los dem�s: ................... ................... 0 1 2
22. No obedece en casa: ...................... ................... 0 1 2
23. No obedece en la escuela: .................. ................... 0 1 2
24. No come bien: . ................... 0 1 2
25. No se entiende con los dem�s
ni�os/as: ................ ................... 0 1 2
26. No parece tener remordimientos
tras haber hecho algo mal: ................ ................... 0 1 2
27. Tiene celos de cualquier cosa con
mucha facilidad: ..... ................... 0 1 2
28. Come o bebe cosas que no son
para comer (p.e. tierra, piedrecitas,
etc). Especifique: ...............................
............................... ................... 0 1 2
29. Tiene miedo a ciertos animales,
sitios o situaciones (excepto el colegio).
Especifique: ........................................
............................................................
............................... ................... 0 1 2
30. Tiene miedo al colegio: .................. ................... 0 1 2
31. Tiene miedo a hacer o pensar
algo malo: .............. ................... 0 1 2
32. Piensa que tiene que ser
perfecto/a: ............. ................... 0 1 2
33. Siente o se queja de que nadie lo
quiere: .................... ................... 0 1 2
34. Piensa que es perseguido/a por
alguien, que van a por �l/ella: ............. ................... 0 1 2
35. Se siente in�til, inferior a los dem�s: ............................... ................... 0 1 2
36. Suele caerse, tropezar con cosas,
es propenso a tener accidentes: ............. ................... 0 1 2
37. Se pelea mucho: con los
hermanos/as, en la calle, en el colegio: 0 1 2
38. Le/la toman mucho el pelo: ....... ................... 0 1 2
39. Va mucho con ni�os/as que suelen
tener dificultades (malas compa��as): ...................0 1 2
40. Oye cosas que no existen, p.e.
voces. Especifique: . ................... 0 1 2
41. Es muy impulsivo/a, act�a sin
pensar: ................... ................... 0 1 2
42. Le/la gusta estar solo/a: .................... ................... 0 1 2
43. Es mentiroso/a: ................... 0 1 2
44. Se muerde las u�as: ...................... ................... 0 1 2
45. Es nervioso/a, sensible, tenso/a:..... ................... 0 1 2
46. Tiene gestos o movimientos
nerviosos, tics. Describa:......................
............................... ................... 0 1 2
47. Tiene pesadillas: ............................... ................... 0 1 2
48. Los dem�s no le/la quieren no le/la
aceptan, le/la evitan: ............................... ................... 0 1 2
49. Es estre�ido, defeca con dificultad:0 1 2
50. Es demasiado miedoso/a: ............. ...................0 1 2
51. Se marea: ......... ................... 0 1 2
52. Se siente demasiado culpable: ................... 0 1 2
53. Come demasiado: ............. ................... 0 1 2
54. Se siente cansado/a: .............. ................... 0 1 2
55. Tiene demasiado peso para su
edad: ...................... ................... 0 1 2
56. Tiene problemas f�sicos sin causa
m�dica conocida:
a) Dolores (especifique):...............
.......................... .............. 0 1 2
b) Dolor de cabeza: ................... ................... 0 1 2
c) Na�seas y se siente enfermo/a:.... ................... 0 1 2
d) Problemas con la vista (describa):
.......................... .............. 0 1 2
e) Problema con la piel: enrojeci-
miento u otros problemas con la
piel:................... ................... 0 1 2
f) Dolor de est�mago, espasmos: ............................... ................... 0 1 2
g) V�mitos: ....... ................... 0 1 2
h) Otros (describir): .........................
.......................... ................... 0 1 2
57. Ataca f�sicamente a la gente: .................... ................... 0 1 2
58. Se rasca cont�nuamente, se
arranca las costras de la piel: ............... ................... 0 1 2
59. Juega en p�blico con sus genitales: 0 1 2
60. Juega mucho con sus genitales,
se masturba mucho: ................... 0 1 2
61. Trabaja mal en la escuela: .............. ................... 0 1 2
62. Torpe, poca coordinaci�n: ......... ...................0 1 2
63. Prefiere jugar con ni�os/as mayores
que �l/ella: .............. ................... 0 1 2
64. Prefiere jugar con ni�os/as m�s
peque�os que �l/ella: ............................... ................... 0 1 2
65. Se niega a hablar fuera de la
familia: .................. ................... 0 1 2
66. Repite algunos actos de forma
sucesiva, de forma compulsiva
(describa): ..........................................
............................... ................... 0 1 2
67. Se fuga de casa: ................... 0 1 2
68. Grita y chilla mucho: .................. ................... 0 1 2
69. Reservado/a, se guarda las cosas
para s� mismo/a: ..... ................... 0 1 2
70. Ve cosas que no est�n. Describir:.
............................................................
............................... ................... 0 1 2
71. Se aturde con facilidad, sentido
del rid�culo: ............ ................... 0 1 2
72. Quema cosas: ... ................... 0 1 2
73. Tiene problemas sexuales.
Describir: .............................................
............................... ................... 0 1 2
74. Hace payasadas, llama la
atenci�n: ............... ................... 0 1 2
75. Es t�mido/a, retraido/a: .............. ................... 0 1 2
76. Duerme menos que la mayor�a de
los ni�os/as de su edad: ...................... ................... 0 1 2
77. Duerme m�s que la mayor�a de los
ni�os/as de su edad, durante el d�a y/o
la noche. Describir: .............................
............................... ................... 0 1 2
78. Se mancha o juega con su caca: ... ................... 0 1 2
79. Tiene dificultades al hablar.
Describir: .............................................
............................... ................... 0 1 2
80. Se queda en blanco, se bloquea: . ................... 0 1 2
81. Roba en casa: ... ................... 0 1 2
82. Roba fuera de casa: ...................... ................... 0 1 2
83. Almacena cosas que no necesita.
Describir: ............... ................... 0 1 2
84. Comportamiento extra�o.
Describir: .............................................
............................... ................... 0 1 2
85. tiene ideas extra�as. Describir: .....
............................... ................... 0 1 2
86. Es irritable, testarudo/a, repugnante:. 0 1 2
87. Cambia r�pido de humor: .............. ................... 0 1 2
88. Es arisco/a, solitario/a: ............. ...................0 1 2
89. Es suspicaz, desconfiado/a: ........ ................... 0 1 2
90. Dice palabrotas, lenguaje obsceno:0 1 2
91. Habla de suicidio: ................. ................... 0 1 2
92. Habla o se levanta o camina
cuando est� dormido/a. Describir: .....
............................................................
............................... ................... 0 1 2
93. Habla demasiado: ............. ...................0 1 2
94. Molesta mucho: ............................... ................... 0 1 2
95. Tiene muchas rabietas: ................. ................... 0 1 2
96. Piensa mucho en cosas sexuales:0 1 2
97. Amenaza a la gente: .................... ................... 0 1 2
98. Se chupa el dedo: ............................... ................... 0 1 2
99. Est� demasiado preocupado/a por
el aseo o la limpieza: ............................... ................... 0 1 2
100. Duerme con dificultad. Describir:
............................................................
............................... ................... 0 1 2
101. Hace novillos, se fuga de la
escuela: .................. ................... 0 1 2
102. Es poco activo/a, lento/a, le falta
energ�a: .................. ................... 0 1 2
103. Est� infeliz, triste o deprimido/a: ............................... ................... 0 1 2
104. Demasiado alborotador: ........... ...................0 1 2
105. Consume alcohol o drogas.
Describir: ............... ................... 0 1 2
106. Vandalismo, destruye cosas
p�blicas: ................. ................... 0 1 2
107. Se hace pis encima durante
el d�a: ........................................ 0 1 2
108. Se hace pis encima durante la
noche: ................... ................... 0 1 2
109. Lloriquea mucho: .................. ................... 0 1 2
110. Quiere ser del sexo opuesto: ......... ...................0 1 2
111. No se relaciona con los dem�s
ni�os/as, no tiene amigos/as: .............. ................... 0 1 2
112. Est� preocupado/a: ........ ...................0 1 2
113. Por favor, describa cualquier
problema que tenga su hijo/a y que
no aparezca en la lista: ......................
............................................................
............................... ................... 0 1 2
POR FAVOR: no olvide revisar todo el cuestionario una vez que lo haya finalizado. Conteste a todas las preguntas.
GRACIAS POR SU COLABORACION
Achenbach, T. (1978): Psychopathology of Childhood: Research problems and issues. Journal of Consulting and Clinical Psychology, 46, 759-776.
Achenbach, T. & Edelbrock, C. (1979): The Child Behavior Profile: II Boys aged 12-16 and Girls aged 6-11 and 12-16. Journal of Consulting and Clinical Psychology, 47, 223-233.
Achenbach, T. & Edelbrock, C. (1981): Behavioral problems and competencies reported by parents of normal and disturbed children aged four through sixteen. Monogr. Soc. Res. in Child Dev., 188.
Achenbach, T. & Edelbrock, C. (1983): Manual for the Child Behavior Checklist and revised Child Behavior Profile. Ed. Department of Psychiatry, University of Vermont. Burlington.
Barkley, R.A. (1988): Child Behavior Rating Scales and Checklist in Assessment and Diagnosis in Child Psychopathology. En M. Rutter; A.H. tuma & I.S. Lann (Edts.). Ed. David Fulton Publishers Limited. London.
Beichtman, J.H.; Raman, S. & Carlson, J. (1985): The development and validation of Children's Self Report Rating Scale. J.Am. Acad. Child Adolesc. Psychiatry, 24 413-428.
Bird, H.R. & al. (1988): Estimates of the prevalence of Childhood maladjustement in a community survey in Puerto Rico. Arch. Gen Psychiatry, 45, (Dec.), 1120-1126.
Bonet Pla, A. (1990): Estudio epidemiol�gico de la prevalencia de los trastornos psiqui�tricos infantiles en una muestra del ni�o de 8, 11 y 15 a�os del Municipio de Valencia. (Tesis Doctoral.Universidad de Valencia), 1991.
Costello, E.J. & al. (1988): Psychopathology in Pediatric Primary Care: The new hidden morbitdity. Pediatrics, 82, 3, 415-424.
Domenech, E. & Polaino, A. (1990):Epidemiolog�a de la depresi�n infantil. Ed. Espax. Barcelona.
Earls, F. (1980): Prevalence of Behavior problems in 3 years-old children: cross-national replication. Arch. Gen Psychiatry, 37, 1153-1157.
Edelbrock, C.S. & Achenbach, TH. (1980): A typology of Child Behavior Profile Patterns: Distribution and Correlates for disturbed children aged 6-16. Journal of Abnormal Child Psychology, 8, 4, 441-470.
Garrison, W. & Ears. F (1985): The Child Behavior Chekclist as screening instrument in a normal population of young children. J. Am. Acad. Child Adol. Psychiatry, 24, 1, 76-80
Goldberg, D.P. & Blackwell, B. (1970):Psychiatric illness in general practice. A detailed study using a new method of case identification. Br. Med. J., 2, 439-433.
Graziano, A.M. & Raulin, M.L. (1989): Research Methods: A process of inquiry. Ney York: Harper & Row Publishers.
Gutierrez Bengoechea, M. (1992): Hiper-actividad Infantil: Una aproximaci�n a su epidemiolog�a en el Area Sanitaria VII de Asturias. Tesis Doctoral, Universidad de Oviedo.
Montenegro, A. & al. (1983): Salud Mental del Escolar. Estandarizaci�n del inventario de problemas conductuales y destrezas sociales de T. Achenbach en ni�os de 6 a 11 a�os. Ed. UNICEF-CIDE. Santiago de Chile.
Mu�oz, P.E. & al. (1979): Adaptaci�n espa�ola de GHQ de Goldberg. Archivos de Neurobiolog�a, XLII, 2, 139-158.
Offord, D.R. & Boyle, M.H. (1986): Problems in setting up and executing large-scale Psychiatric Epidemiological Studies. Psychiatric Developments, 3, 257-272.
Organizaci�n Mundial de la Salud (OMS, WHO) (1977): Salud Mental y desarrollo psicosocial del ni�o. Informe Comit� Expertos. Serie Informes T�cnicos, n� 613. Ed. OMS. Ginebra, 1983.
Pedreira, J.L. (1988): An�lisis de la demanda en Salud Mental Infanto-juvenil en una asistencia territorializada en Asturias. Tesis Doctoral. Universidad de Sevilla. Microficha, n� 10. Ed. Universidad de Sevilla. Barcelona 1990.
Pedreira, J.L. (1991): Diagnostic problems in Child and Adolescent Psychiatry. En A. Seva (Dir.): The European Handbook of Psychiatry and Mental Health. Ed. ANTRHOPOS-Prensas Universitarias de Zaragoza. Barcelona. Tomo I, p�gs. 497-512.
Pedreira, J.L. & Rincon, F. (1989): La clasificaci�n de los trastornos en Psiquiatr�a Infantil. Comparaci�n de los sistemas m�s frecuentes. Act. Luso-Esp. Neurol. Psiquiatr., 17, 6, 407-416.
Pedreira, J.L. & Sanchez, B. (1992): Primary Care and Screening instruments for Mental Disorders in Children and Adolescents. Eur. J. Psychiatry, 6, 2 (april/june), 109-120.
Pedreira, J.L. & Sardinero, E. (1994): Trastornos mentales en la infancia de 6-11 a�os en atenci�n primaria de salud: estudio de la prevalencia de los trastornos e instrumentos para su detecci�n precoz. Premio Dr. Escudero Valverde de la Real Academia Nacional de Medicina, Madrid.
Pedreira, J.L. & Sardinero, J.L. (1996): Prevalencia de trastornos mentales de la infancia en antenci�n primaria pedi�trica. Act. Luso-Esp. Neurol. Psiquiatr�a, 24, 4, 173-90
Richman, N.; Stevenson, J. & Graham, P.J. (1975): Prevalence of behaviour problems in 3-year-old children: An epidemological study in a London borough. Journal Child Psychology and Psychiatry, 16, 277-287.
Rutther, M. & Graham, P. (1968): The reliabitlity and validity of the psychiatric assessment of the child: Interview with the child. Br. J. Psychiat., 114, 563-579.
Rutter, M., Tizard, J. & Whitmore, K. (Edts.) (1970): Education, Health and Behaviour.Ed. Longmans. London.
Schwager, W.; Denni, E.D. & Smith, M. (1982): Franco-Ontarian Children in Sudbury: A Mental Health Study. Department of Sociology and Anthropology. Laurentian University. Sudbury, Ontario.
Verhulst, F.C. (1985a): Mental Health in Dutch Children. Rotterdam: Proefschrift.
Verhulst, F.C.; Akkerhuis, G.W. & Althaus,
M. (1985b): Mental Health in Dutch Children: (I) A cross cultural comparison. Acta Psychiatrica Scandinavica, 72 (Suppl. 323).
Verhulst, F.C. (1997): Epidemiology in Child Psychiatry. Oxford:Oxford University Press.
© 1997. This work is licensed under https://creativecommons.org/licenses/by-nc-nd/4.0/deed.es_ES (the “License”). Notwithstanding the ProQuest Terms and Conditions, you may use this content in accordance with the terms of the License.