Resumen
Este estudio tuvo como propósito examinar el comportamiento psicométrico de la encuesta ECO IV de Clima Organizacional en varios países del continente Americano. Para el efecto se utilizó una base de datos amplia disponible en el Centro de Investigación en Comportamiento Organizacional -Cincel-. Se contó con información apropiada de Colombia, Venezuela, Ecuador, México, Costa Rica, Perú, Estados Unidos y Canadá. Se llevaron a cabo análisis de ítems, calculo de la confiabilidad y examen de la Validez de Construcción mediante Análisis Factorial Confirmatorio. Se encontró que, en general el instrumento muestra unas características psicométricas muy equivalentes. Solo unos pocos ítems mostraron deficiencias en algunas muestras de países. Los niveles de confiabilidad y de validez de construcción fueron buenos y bastante equivalentes. Se concluyó sobre la conveniencia de estudiar la posibilidad de hacer mejoras a los ítems deficientes de modo que se asegure la comparabilidad de los datos entre países.
Abstract
The purpose of this study was to examine the psychometric characteristics of ECO IV questionnaire on Organizational Climate in various North, Central and South American countries. For this purpose a data base of the Organizational Behavior Research Center -Cincel- was used and data were taken from Colombia, Venezuela, Ecuador, Mexico, Costa Rica, Peru, United States and Canada. Items analysis, study of reliability and validity by means of Confirmatory Factor Analysis were performed. It was found that, in general, this questionnaire shows similar psychometric conditions. Only a few items failed to satisfy quality criteria in the samples o some countries. Reliability and construct validity were good enough and very similar between countries. It was concluded the convenience of looking for improvements of those items in such a way as comparability be preserved.
Palabras Clave: Clima organizacional, psicometría, comparación por países.
Key Words: Organizational climate, psychometrics, international comparison.
El presente estudio se llevó a cabo con el propósito de realizar una primera exploración sistemática del comportamiento psicométrico de la encuesta ECO IV de clima organizacional en varios países de América Latina. En ocasiones precedentes se han llevado a cabo verificaciones aisladas en algunos países (Cincel, 2007 a), con resultados bastante positivos. En este estudio se realizará una exploración sistemática y comparativa con datos obtenidos en 8 países de la región: Colombia, Venezuela, Ecuador, México, Costa Rica, Perú, Estados Unidos y Panamá. Es importante advertir que estos análisis se realizaron a partir de información recopilada por el Centro de Investigación durante los últimos tres años e integrada en una base de datos. Es decir, los datos no fueron recogidos para este propósito y no se contó, por tanto, con la posibilidad de realizar algunos controles que hubieran podido ser útiles. Adicionalmente se debe advertir que las muestras correspondieron en la mayoría de los casos a organizaciones o negocios colombianos adquiridos en el exterior. Sin embargo, la mayoría de ellos están conformados en su gran mayoría por trabajadores y mandos del respectivo país, con excepción de uno o dos directivos oriundos de Colombia. La muestra de mayor tamaño correspondió a Colombia.
Para el propósito se llevaron a cabo varios análisis, con fundamento en la Teoría Psicométrica Clásica.
Se examinó, entonces, el funcionamiento individual de cada uno de los ítems a través de la determinación de su capacidad de discriminación, evaluada mediante cálculo del promedio de las respuestas dadas por la muestra y de su dispersión (Desviación Estándar), considerando que será mejor su discriminación si su promedio se encuentra cerca del punto medio de la escala (2.5) y su dispersión es amplia (superior a 1.0, en este caso) (Toro, 2007; Mercado y Toro, 2008). Esto indicaría que una buena proporción de encuestados elige los diferentes valores de la escala. Por el contrario, una media cercana a uno de los extremos de la escala (1 ó 4) o a su punto medio y/o una pequeña desviación indican que los encuestados se están agrupando sistemáticamente cerca de un valor y, por tanto, hay valores en la escala que no son elegidos por un número suficiente de personas encuestadas, disminuyéndose de esto modo la capacidad de discriminación del ítem. Consideramos que aunque este criterio de calidad del ítem es más aplicable en pruebas de conocimiento o de habilidad, permite apreciar aquí su tendencia a la deseabilidad, en caso de ubicarse el promedio, en valores extremos y/o con una muy reducida desviación.
También se exploró la correlación ítem - test. Esta es una medida adicional de calidad que se obtiene a través del cálculo de un coeficiente de correlación. Existen diversas maneras de obtener este coeficiente, cada una de ellas con su propia interpretación (Nunally y Bernstein, 1995; Guilford, 1978). Para el propósito de este estudio calculamos una correlación de Pearson entre el puntaje de cada ítem y el puntaje total de la variable a la que pertenece el ítem. Esta correlación permite apreciar el grado de afinidad o consistencia existente entre lo que mide el ítem y lo que mide la variable y, por consiguiente, arroja una medida de la calidad del ítem. Se consideran aceptables correlaciones superiores a .30 (Guilford, 1978; Toro, 2007). Para facilitar el reporte de estos resultados se presentan en la tabla No. 3 los rangos de valores máximos y mínimos, de los ítems en cada variable. Realizamos un último examen de la calidad psicométrica de los ítems a través de la comparación de los pesos factoriales obtenidos por cada uno de ellos en cada variable, lo que puede observarse en la tabla No 4. Estos valores constituyen una medida de la cantidad de varianza común existente entre el ítem y el factor (Gruijter y Van der Kamp, 2008), o dicho de otra manera, de la cantidad del contenido de la variable que puede medir el ítem. Se consideran aceptables pesos factoriales superiores a .30 y será mejor su condición entre más alto sea este valor (Child, 1976).
En relación con la confiabilidad de la encuesta se obtuvo su coeficiente por dos métodos, alfa de Crombach y Dos Mitades (Nunally y Bernstein, 1995). Los resultados de estos indicadores de la consistencia de la medida arrojada por la encuesta se presentan en la tabla No. 3, en la que se reporta el valor general de la confiabilidad de la prueba total y de cada una de sus variables e indicadores.
En relación con su validez de construcción se llevó a cabo análisis factorial confirmatorio con rotación varimax (Grimm y Yarnold, 1998). En la tabla No.4 se presentan los pesos factoriales de cada ítem en cada variable por países. Este análisis busca poner en evidencia la existencia y consistencia de cada variable y de sus componentes a través de las muestras de los distintos países.
MÉTODO
Muestra
Tal como se refirió, la muestra estuvo conformada por un conjunto de datos tomados en los países ya mencionados. Correspondió a sucursales u oficinas en el exterior de empresas colombianas y también a empresas del respectivo país adquiridas por organizaciones colombianas. Estos datos pueden verse en la tabla No. 1. Es evidente que la muestra mayoritaria corresponde a Colombia y que las muestras de Ecuador y Estados unidos son las más pequeñas del grupo de países. En el caso de Estados Unidos la muestra correspondió, en una proporción importante, a personal operario y administrativo procedente de Centro América y también de Las Antillas. Se obtuvo, según se mencionó atrás, por disponibilidad y es claro que no se trata de muestras aleatorias representativas de los países ni de las empresas de tales países. No obstante nos han permitido tener una primera aproximación sistemática a la observación del funcionamiento del instrumento con muestras de esas regiones. Es también una característica especial de esta muestra que en varios países fue tomada con personal de una sola o de muy pocas organizaciones locales.
Por lo demás, conviene destacar que en cada empresa de cada país los grupos de la muestra fueron altamente heterogéneos en relación con el género, antigüedad en la empresa, ocupación, nivel jerárquico, área funcional de trabajo y estrato socioeconómico.
Instrumento
La encuesta ECO IV de clima organizációnál está conformada por un conjunto de reactivos que deben responderse en una escala de tipo Likert de 4 puntos, con extremos entre (1) completamente en desacuerdo y (4) completamente de acuerdo. Identifica las percepciones del personal en relación con diez realidades importantes del trabajo en la empresa (Toro, 2001). Se trata de un instrumento psicométrico factorial que, a través de 63 ítems, evalúa diez variables de clima organizacional. El estudio más reciente de validación realizado en Colombia en enero de 2.008 mostró un nivel de confiabilidad de .96, obtenido mediante el método Alfa de Cronbach y de .95 con el método de correlación de dos mitades (Cincel, 2008). Las siguientes son las definiciones de las variables que examina esta encuesta:
* Trato Interpersonal (TRAIN). Percepción del grado en que el personal se ayuda entre sí y sus relaciones son de cooperación y respeto.
* Apoyo del Jefe (APJEF). Percepción del grado en que el jefe respalda, estimula y da participación a sus colaboradores.
* Sentido de Pertenencia (SENPE). Percepción del grado de orgullo derivado de la vinculación a la empresa. Sentido de compromiso y responsabilidad en relación con sus objetivos y programas.
* Retribución (RETRI). Grado de equidad percibida en la remuneración y los beneficios derivados del trabajo.
* Disponibilidad de Recursos (DISRE). Percepción del grado en que el personal cuenta con los equipos, los implementos y el aporte requerido de otras personas y dependencias para la realización de su trabajo.
* Estabilidad (ESTA). Percepción del grado en que los empleados ven claras posibilidades de permanencia de la empresa y estiman que a la gente se la conserva o despide con criterio justo.
* Claridad Organizacional (CLAOR). Grado en que el personal percibe que ha recibido información apropiada sobre su trabajo y sobre el funcionamiento de la empresa.
* Coherencia (COHER). Percepción de la medida en que las actuaciones del personal y de la empresa se ajustan a los principios, objetivos, normas y reglamentos establecidos
* Trabajo en Equipo (TEQUI). Grado en que se percibe que existe en la empresa un modo organizado de trabajar en equipo y que tal modo de trabajo es conveniente para el empleado y para la empresa.
* Valores Colectivos (VALCO). Grado en que se perciben en el medio interno: Cooperación (ayuda mutua), Responsabilidad (esfuerzo adicional, cumplimiento) y Respeto (consideración, buen trato).
* Disposición al Esfuerzo (DESF). Interés de la persona por dedicar tiempo y esfuerzo al trabajo. Medida en que el trabajo constituye un interés central de la vida de la persona (Brown y Leigh, 1986).
* Apoyo Organizational Percibido (AOP). Creencia o estimativo subjetivo acerca del grado de atención personal, interés y apoyo que el empleado obtiene de la empresa y de sus jefes (Eisenberger et al., 1986)
Se incluyeron también unas medidas adicionales adjuntas a ECO IV que permiten evaluar dos constructos adicionales a las categorías de clima, evaluados mediante 19 ítems, y que se definen a continuación.
Procedimiento
Se encuestó al personal, con carácter anónimo, en grupos de 15 a 20 participantes. Las personas encuestadas debieron marcar sus respuestas en una hoja diseñada de tal modo que en la parte inicial se de- bían marcar, además de su consentimiento informado, datos como la dependencia, el proceso, la antigüedad, el nivel jerárquico o el género y, posteriormente, las respuestas a cada uno de los reactivos de la encuesta. Estas sesiones tomaron cerca de una hora cada una. Se explicó a los encuestados que sus respuestas se tratarían como confidenciales y que, por tanto, sólo se reportarían a la institución estadísticas y grupos de datos que no permitían poner en evidencia las respuestas individuales de ninguna persona.
RESULTADOS Y DISCUSIÓN
A continuación se presentan los resultados de los distintos análisis referidos en la parte introductoria de este escrito.
De acuerdo con el criterio establecido para la interpretación de la capacidad de discriminación de los ítems, se puede apreciar en la tabla precedente que su comportamiento tiende a diferir en las distintas muestras. Para apreciar mejor estas diferencias puede verse un compendio de estos resultados en la tabla No. 3.
Puede observarse que la cantidad de ítems con una alta capacidad de discriminación es variable entre los países. La menor proporción se registró en Ecuador y la más alta en México. No se encontraron ítems con nula o muy baja capacidad de discriminación en ninguno de los países. Al examinar las dos columnas de la derecha en la tabla precedente se puede ver que en algunos países el bajo porcentaje de ítems con alta discriminación, como Ecuador y Colombia, se explica por una porción alta de ítems con cierta baja discriminación porque los encuestados tendieron a dar respuestas ubicadas cerca del extremo superior de la escala y la dispersión de sus respuestas tendió a ser pequeña. Esto es, tendieron a percibir positivamente las realidades exploradas y, por tanto, solo unos pocos ítems obtuvieron puntajes cercanos al extremo bajo de la escala o a su punto medio.
Por contraste, las muestras con una más alta discriminación en los ítems exhibieron porcentajes menores de ítems con baja discriminación. Esto obedeció a que una gran dispersión en las percepciones de los encuestados suele manifestarse en resultados totales de la encuesta menos positivos, pero también menos negativos, es decir, menos sesgados hacia uno de los dos extremos de la escala. En tal caso los ítems tendieron a discriminar mejor. Por otra parte, percepciones generales bastante positivas o bastante negativas se reflejan en puntuaciones más altas o más bajas de los ítems respectivamente y, corrientemente, esto se acompaña de dispersiones estrechas. Y estos son los fenómenos que se observan en este conjunto de datos.
En conclusión, si bien la capacidad de discriminación de los ítems se puede calificar, en general, como variando entre satisfactoria y positiva, es claro que en cada muestra tiende a ser distinto el comportamiento de este indicador de calidad, dependiendo de la calidad percibida de la realidad por los encuestados.
Puede apreciarse en esta tabla que todas las correlaciones tienden a ser altas, a juzgar por el límite inferior de cada rango y, aunque se registran diferencias en los rangos por países, estos resultados muestran una alta consistencia entre los ítems que conforman cada variable, a lo largo de toda la muestra del estudio. El indicador de Disposición al Esfuerzo se exceptúa de esta tendencia por cuanto los rangos de las correlaciones son bastante más amplios y su límite inferior alcanzó valores negativos en 7 de los 8 países.
Consideramos que este último hecho obedece a que Disposición al Esfuerzo se mide con un conjunto de ítems independientes de la encuesta de clima y exploran autoevaluaciones del compromiso y de la motivación personal, pero no percepciones de la realidad. Por consiguiente, un encuestado puede expresar aquí una disposición positiva o también negativa a esforzarse en bien del trabajo y de la empresa, lo que admite una amplia dispersión en sus respuestas y, por consiguiente, un rango mayor en los valores de correlaciones entre los ítems.
Se llevó a cabo también un examen de la confiabilidad de la encuesta y de cada una de sus partes. Para el propósito se calcularon, como ya se expresó, coeficientes de confiabilidad por el método Alfa de Crombach y por el método de dos mitades. Puede observarse que, con tan solo una excepción, los coeficientes obtenidos por los dos métodos son bastante positivos. De hecho, la confiabilidad más baja obtenida fue de (.70), que aún es bastante satisfactoria.
Los coeficientes obtenidos por los tres componentes de la variable Valores Colectivos, vistos separadamente, muestran confiabilidades más bajas, en particular, Responsabilidad. Esto ocurre en esencia porque cada uno de estos componentes de la variable está evaluado por solo dos ítems y sabemos que la confiabilidad de una prueba aumenta en proporción directa con el número de ítems que la conforman (Guilford, 1978; Magnusson, 1969; Gruijter y Van Der Kamp, 2008).
La confiabilidad total del instrumento (10 variables) es bastante positiva en todos los grupos comparados y muy similar de un método al otro.
Para una apreciación cuantitativa y objetiva se examinó la validez de construcción de ECO IV mediante análisis factorial confirmatorio (Greemm y Yarnold, 1998). Por facilidad se presenta en la tabla No. 6 para cada variable de clima y para cada país el conjunto de los pesos factoriales obteni- dos, señalando con (·) aquellos caso en los que el ítem alcanzó pesos superiores a .30 en alguna otra variable. Evidencia esta tabla que todos los ítems midieron bien el contenido de su respectiva variable, aunque algunos trataron de puntuar en alguna otra, lo que desmejora su validez. Colombia, Venezuela, Ecuador y Panamá presentan los mejores resultados en este análisis de la validez. En los demás grupos los resultados fueron menos positivos. Consideramos que esto obedece a que se empleó el método de rotación Varimax, cuyos requisitos al parecer no se satisfacen en todas las muestras y, además, este método asume ortogonalidad, es decir, independencia de los factores, hecho que tampoco ocurre dado que se encuentran algunas correlaciones significativas entre varios de ellos.
Llama la atención que en Apoyo Organizacional Percibido y Disposición al Esfuerzo, dos medidas basadas en la autoevaluación y autorreporte, todos los ítems tuvieron el comportamiento correcto en todos los países de la comparación.
Con el ánimo de contar con una visión más sencilla y esquemática, en la tabla No.7 se presenta un compendio de los resultados que contiene la tabla que precede.
El comportamiento de este aspecto de la psicometría de ECO IV es menos positivo en México, Ecuador y particularmente en Estados Unidos. En este último caso resulta evidente que no se logra una validez de construcción positiva de la encuesta. Sin embargo, debe recordarse que en ese país la muestra fue pequeña, correspondiente a una sola empresa y estuvo conformada en una proporción importante por personal de baja escolaridad.
Para tener una visión más sencilla y esquemática de estos datos se elaboró también la tabla No. 7. En ella se pueden apreciar los rangos de los pesos factoriales de los ítems por variable y por país. Es claro allí que todos los valores alcanzan niveles entre aceptables y buenos. No obstante, una cierta proporción de los ítems presentó también pesos ligeramente superiores a .30 en algunas otras variables en los diferentes países. Este hecho sugiere la conveniencia de realizar algunos ajustes locales en los ítems para mejorar la validez del instrumento.
CONCLUSIONES
En relación con el poder de discriminación de los ítems es preciso concluir que, a pesar de tratarse exactamente del mismo instrumento, este comportamiento de los ítems resultó variable de una muestra a otra. Fue claro que cuando los resultados generales de la encuesta tendieron a ser más positivos o más negativos se encontró un mayor número de ítems con bajo poder de discriminación. Por el contrario, cuando el resultado tendió a ser bajo o apenas aceptable se encontró una mejor discriminación, que se explicó por una mayor dispersión o bajo consenso en las respuestas dadas por los encuestados. Por tanto, para una baja capacidad de discriminación de los ítems es posible asumir una de dos explicaciones alternativas: una, que las realidades del trabajo y de la organización, percibidas por la mayoría, son efectivamente positivas o negativas para promover tal grado de consenso. Dos, que los encuestados están preocupados o tienden a dar respuestas para insinuar una realidad distinta de la que pueden reflejar las respuestas veraces a los ítems.
En relación con las correlaciones ítem - test, la información obtenida muestra un comportamiento bastante positivo del indicador en todas las muestras. No se registró ítem alguno con valores inconvenientes y se evidencia, por tanto, que existe una importante afinidad de estructura semántica y contenido de los ítems que integran cada variable, a través de las diferentes muestras nacionales.
En cuanto a la confiabilidad de la encuesta se hizo evidente que en todas las variables, en todos los grupos y el total de la encuesta se alcanzaron niveles muy positivos, por los dos métodos utilizados, lo que constituye una importante garantía de calidad del instrumento.
En lo relativo a los pesos factoriales y a la validez de construcción del instrumento, resulta claro que todos los ítems miden bien el contenido dentro de su respectivo factor o variable. Esto constata la existencia y nitidez de los conceptos o constructos que busca explorar el instrumento, además de dar cumplimiento a este criterio de calidad por parte de los ítems. No obstante, la aparición de ítems con pesos factoriales positivos en más de una variable genera incertidumbre sobre la validez de algunos constructos en algunos países. Dado que el asunto puede explicarse por razón de diferencias culturales entre los países (Londoño, 2007), también podrían entenderse como el efecto del método de rotación utilizado, tal como lo expresamos previamente. En estudios previos del instrumento en Colombia, empleando rotación Oblimin, se ha encontrado un excelente comportamiento factorial de la prueba (Cincel, 2006, 2007).
Este tipo de estudio resulta muy revelador de las fortalezas y limitaciones de ECO IV, en la perspectiva del diagnóstico y el uso profesional en distintos países de la región. Conviene, en próximos estudios, realizar un control más riguroso de las muestras para utilizar datos obtenidos de modo aleatorio y, de ser posible, en organizaciones desvinculadas de las empresas colombianas. También es indispensable utilizar un método de rotación más acorde con las condiciones del instrumento y de sus variables y llevar a cabo un buen control de los aspectos culturales de las muestras, como educación, género, estrato socioeconómico o nivel jerárquico, para detectar qué tanto variables como estas determinan el comportamiento psicométrico del instrumento.
1 Esta investigación se realizó bajo el auspicio económico y científico del Centro de Investigación en Comportamiento Organizacional -Cincel- dentro de la línea de investigación sobre Clima y Cultura Organizacional. El autor agradece los comentarios y sugerencias al manuscrito por el psicólogo Alejandro Sanín.
Puede contactar al autor en: [email protected]
Referencias
Cincel (2007a). Archivos Psicométricos. Inéditos
Cincel (2007). Ficha Técnica de la Encuesta ECO. Documento inédito.
Cincel (2006). Ficha Técnica de la Encuesta ECO. Documento inédito.
Guilford, J. P. (1978). Fundamental Statistics in Psychology and Education. Nueva York: McGraw-Hill.
Greemm, L. y Yarnold, P. (1998). Reading and understanding multivariate statistics.
Washington: American Psycological Association.
Gruijter, D. N. y Van der Kamp, J. J. (2008). Statistical Test Theory for the Behavioral Sciences. New York: Chapman & Hall.
Londoño, M. E. (2007). Diferencias en Apoyo del Jefe e Imagen Gerencial en muestras de
Colombia, Costa Rica, Ecuador, Panamá, Perú y Venezuela. Revista Interamericana de Psicología Ocupacional. Vol. 26, No.2
Mercado, P y Toro, F. (2008). Análisis comparativo del clima organizacional en dos
universidades públicas de Latinoamérica: México y Colombia. Revista Interamericana de Psicología Ocupacional. Vol. 27, No.1
Nunnally, J. C., Berstein, I. J. (1995). Teoría Psicométrica. ja. Edición. México: McGraw Hill.
Toro, F. (1.996). Avances en la medición del clima organizational con la encuesta ECO.
Revista Interamericana de Psicología Ocupacional. Vol. 15, No.1
Toro, F. (2001). Clima Organizacional. Perfil de empresas colombianas. Medellín: Cincel
Toro, F. (2007). Manual para el Diseño de Pruebas Objetivas de Conocimientos. Medellín: Cincel
You have requested "on-the-fly" machine translation of selected content from our databases. This functionality is provided solely for your convenience and is in no way intended to replace human translation. Show full disclaimer
Neither ProQuest nor its licensors make any representations or warranties with respect to the translations. The translations are automatically generated "AS IS" and "AS AVAILABLE" and are not retained in our systems. PROQUEST AND ITS LICENSORS SPECIFICALLY DISCLAIM ANY AND ALL EXPRESS OR IMPLIED WARRANTIES, INCLUDING WITHOUT LIMITATION, ANY WARRANTIES FOR AVAILABILITY, ACCURACY, TIMELINESS, COMPLETENESS, NON-INFRINGMENT, MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE. Your use of the translations is subject to all use restrictions contained in your Electronic Products License Agreement and by using the translation functionality you agree to forgo any and all claims against ProQuest or its licensors for your use of the translation functionality and any output derived there from. Hide full disclaimer
© 2008. This article is published under https://creativecommons.org/licenses/by-nc/4.0/ (the “License”). Notwithstanding the ProQuest Terms and Conditions, you may use this content in accordance with the te
Abstract
Este estudio tuvo como propósito examinar el comportamiento psicométrico de la encuesta ECO IV de Clima Organizacional en varios países del continente Americano. Para el efecto se utilizó una base de datos amplia disponible en el Centro de Investigación en Comportamiento Organizacional -Cincel-. Se contó con información apropiada de Colombia, Venezuela, Ecuador, México, Costa Rica, Perú, Estados Unidos y Canadá. Se llevaron a cabo análisis de ítems, calculo de la confiabilidad y examen de la Validez de Construcción mediante Análisis Factorial Confirmatorio. Se encontró que, en general el instrumento muestra unas características psicométricas muy equivalentes. Solo unos pocos ítems mostraron deficiencias en algunas muestras de países. Los niveles de confiabilidad y de validez de construcción fueron buenos y bastante equivalentes. Se concluyó sobre la conveniencia de estudiar la posibilidad de hacer mejoras a los ítems deficientes de modo que se asegure la comparabilidad de los datos entre países.