El cuestionario estructurado como herramienta básica para la evaluación de las instituciones documentales

Joaquín Ruiz Abellán
Becario de Investigación.
Fundación Caja de Madrid.

Mónica Izquierdo Alonso
Becaria de Investigación.
Fundación Séneca

José Tomás Piñera Lucas
Grupo de Investigación SIMU.
Universidad de Murcia

0. Resumen

La presente comunicación parte de la consideración del cuestionario estructurado como soporte metodológico válido para la evaluación de las instituciones documentales. Se cubren todos aquellos aspectos clave de esta técnica de encuesta y se realiza un examen detallado de todas las etapas que intervienen en su elaboración. Asimismo, se sugieren una serie de directrices para todo aquel investigador que necesite enfrentarse, de un modo riguroso y científico, al diseño de cuestionarios.

Palabras clave: ESTUDIO DE USUARIOS / METODOLOGÍA DE ENCUESTA / CUESTIONARIO ESTRUCTURADO / INSTITUCIONES DOCUMENTALES

 

 

I. Introducción

Durante los últimos años están proliferando los análisis de percepción y actitud aplicados a los usuarios de centros documentales (bibliotecas, archivos, museos y centros de documentación). Este tipo de estudios de evaluación de las instituciones documentales* utiliza, por norma general, la metodología de encuesta y se centra en el empleo de cuestionarios como herramientas base para obtener información sobre los hábitos, necesidades y nivel de satisfacción de los usuarios. El cuestionario se ha convertido pues, para muchos investigadores, en una herramienta de investigación fácil de usar, popular y con unos resultados directos. Sin embargo, hemos de advertir sobre los peligros a los que puede llevar el empleo indiscriminado de esta técnica de recogida de datos, pues no todos los que la usan tienen un conocimiento suficiente para explotarla adecuadamente convirtiéndose entonces en un medio poco fiable para obtener una información representativa.

* El concepto de "estudios de evaluación institucional" engloba a todos aquellos trabajos que comparten el hecho de que en sus investigaciones es necesario conocer la perspectiva de los usuarios -o clientes- respecto a un servicio o producto, fenómeno social, etc. Muchos de sus conocimientos, experiencias y técnicas han sido aplicados con éxito al campo de la Documentación. Así, son frecuentes los estudios de evaluación de bibliotecas, la implantación de los programas de calidad total en los centros de información o el diseño de estudios de mercado en archivos. Todo ello, ha permitido un enriquecimiento de las técnicas empleadas para el estudio de los usuarios y su reconocimiento operativo como herramientas imprescindibles para aproximarnos a la realidad del usuario de información.

Hemos detectado, con relación a los estudios de usuarios basados en esta metodología de encuesta, una serie de deficiencias significativas que afectan directamente al diseño del cuestionario (presuntas con alto grado de ambigüedad, mala estructuración o secuenciación de las mismas, inadecuada elección de muestras de población, etc.) y al desarrollo final de tratamiento y análisis de los datos obtenidos (Vid. Cuadro 1). Por ello, en un intento por cubrir este vacío de rigor metodológico, sugeriremos una serie de directrices para todo aquel investigador que necesite enfrentarse al diseño de cuestionarios.

Problemas más usuales en los cuestionarios

· Preguntas con alto grado de ambigüedad.

· Mala estructuración de las preguntas.

· Mala secuenciación de las preguntas.

· Inadecuada elección de muestras de población.

· Cuestionarios con excesivo número de ítems.

· Cuestionarios elaborados sin pruebas de validación- piloto

· Utilización errónea de escalas de medida.

· Errores en la codificación de las preguntas.

Cuadro 1.- Problemas más usuales detectados en la elaboración de cuestionarios

Es importante cuidar el aspecto formal y metodológico del cuestionario. La metodología de encuesta nos permitirá realizar un diseño sistemático y racionalizado (rigurosidad, precisión, claridad y orden en las preguntas). De este modo, no sólo nos aseguraremos que el encuestado responda de un modo fiable a las preguntas formuladas sino también la validez de la información obtenida y la elección de una muestra representativa de la población a la que vaya destinada la encuesta, evitando los sesgos importantes en la misma.

Por consiguiente, cubriremos todos aquellos aspectos clave de la técnica de encuesta, centrada en el diseño sistemático de cuestionarios estructurados impresos, realizando un examen detallado de todas las etapas que intervienen en su elaboración: definición de fines, objetivos e hipótesis; determinación de variables e indicadores; diseño del cuestionario; selección de la muestra de población; comprobación y validación del cuestionario y tratamiento y análisis de los datos obtenidos.

Somos conscientes de que no es posible crear una simple receta que indique los pasos sucesivos para elaborar un cuestionario. El mundo del usuario es tan complejo y multifacético que un instrumento para medirlo no lo sería menos. Además, el modelo metodológico que se va a presentar parte de una serie de medidas fundamentadas en criterios que poseen una gran carga "subjetiva", debido a que este tipo de estudios analizan las percepciones y actitudes de los sujetos, en lugar de aspectos más concretos y objetivos. Con frecuencia, es necesario utilizar estas medidas, porque los índices objetivos no son aplicables a la hora conocer y medir la percepción de los usuarios. Pero, y tal como se señaló anteriormente, sí podemos dar algunos consejos útiles. Hemos de tener presente que un cuestionario es algo más que una simple lista de preguntas. Su diseño es más complicado de lo que puede parecer a primera vista. Debe estar cuidadosamente elaborado en forma y contenido, y han de valorarse toda una serie de elementos que lo doten de rigurosidad y sistematicidad.

II. Fases de la metodología de encuesta y del diseño de preguntas en un cuestionario

Para todo estudio de usuarios basado en la metodología de encuesta, consideramos necesario el cumplimiento de las siguientes etapas (Vid. Cuadro 2):

Cuadro 2. Fases de la metodología de encuesta

 

Nos centraremos, con especial atención, en la fase de diseño del cuestionario, y concretamente en los aspectos referidos al diseño de preguntas (qué y cómo preguntar, determinación de las escalas de medida de actitudes y respuestas, formatos de presentación, etc.), ya que éstas constituyen el elemento básico del cuestionario y de su diseño adecuado dependerá el éxito de una información representativa para nuestras investigaciones. Las preguntas en los cuestionarios nos suministrarán una amplia información alusiva a las opiniones, intenciones, juicios, motivos, hábitos y expectativas de los usuarios. Asimismo, nos servirán para recoger datos sobre los servicios, fondos o colecciones de que disponen los usuarios en el centro estudiado, sobre el funcionamiento de éste; el estado de las instalaciones, etc. El fin último es poder aportar soluciones y pautas para el diseño de una política de mejoras, en función de los datos objetivos recogidos tras la evaluación de las preguntas. El principal valor de la encuesta reside, pues, en que los datos ofrecidos para su evaluación (y, en consecuencia, el diseño de esa política de cambios) proceden de los mismos usuarios, cuya visión o percepción del centro/servicio, informa y asesora a los profesionales de este campo sobre cómo deben ser sus actividades futuras y qué productos o servicios son los que realmente solicitan y/o necesitan estos sujetos.

Presentaremos casos prácticos aplicados a la descripción del diseño y elaboración de las preguntas que sirvan de herramienta de trabajo para los profesionales de la información-documentación a la hora de evaluar la eficiencia de los servicios y la eficacia de los resultados a través de un cuestionario estructurado.

 

II. 1. Definición del estudio

Lo primero que hay que hacer a la hora de diseñar un cuestionario centrado en el estudio del usuario de información es establecer cuáles son sus finalidades, es decir, para qué ha de servir la información que generará el estudio. En todo análisis de esta índole se debe tener claro: qué se quiere saber exactamente, para qué se quiere hacer el estudio, de qué decisiones concretas no se está seguro y si es necesario obtener más información. Además, se han de precisar los objetivos específicos del trabajo de la forma más concreta posible para conseguir las finalidades previamente definidas.

En el caso de los estudios que prevean conocer relaciones entre variables (como es el caso de los estudios inferenciales) es necesario plantear previamente las hipótesis que queramos verificar. Estas hipótesis, fundamentadas en algún razonamiento, representan los objetivos informativos de los estudios de relaciones de variables. Buena parte de los estudios centrados en los usuarios suelen ser descriptivos, pero simultáneamente pretenden probar algunas hipótesis de asociación entre variables estudiadas. Se ha de precisar, que las hipótesis tienen que estar mínimamente fundamentadas, teniendo claro desde el principio qué es lo que queremos demostrar.

II.2. Selección y definición de las variables

Hemos de conocer cuáles son las variables que queremos incluir en nuestro estudio y saber de forma explícita y unívoca qué representan. Esto facilitará enormemente la construcción del cuestionario y el posterior análisis e interpretación de los datos. El primer paso es seleccionar las variables. Con los objetivos y las hipótesis concretas delante de la mesa de trabajo, hay que elaborar una lista de las variables que queremos medir, explicitando la denominación y definición de cada una de ellas de la forma más clara posible. Una vez que sabemos cuáles son las variables que intervendrán en nuestro estudio, habrá que establecer su tipo y definir para cada una de ellas los valores, escalas de medida y categorías que pueden tomar. Por último, es preciso señalar que puede ser interesante utilizar una plantilla para facilitar esta tarea de definición de variables. En ella se registrarán los siguientes datos: el nombre de la variable, una explicitación de lo que mide la variable, los objetivos perseguidos, el tipo de variable (cuantitativa continua, discreta, cualitativa), los valores que puede tener la variable (categorías para las cualitativas; escala y límites para las cuantitativas).

II.3. Diseño del cuestionario

Ya hemos señalado anteriormente que no es posible crear una receta para diseñar o elaborar un cuestionario. Sin embargo, sí es posible dar algunos consejos prácticos para evitar grandes errores. En el momento del diseño del cuestionario hemos de plantearnos una serie de cuestiones: definición del tipo de cuestionario que vamos a utilizar; valoración del tipo de preguntas que debemos incluir; adopción de un criterio adecuado de codificación de las preguntas para el posterior tratamiento de éstas; elección de un tamaño representativo de la muestra sobre la que se pasará el cuestionario, etc.

II.3.1. Tipología de cuestionarios

La variedad de cuestionarios que se pueden elaborar es muy amplia. Una clasificación muy interesante es la que parte del grado de concreción de las preguntas. En este sentido se puede hablar de cuestionarios estructurados, semiestructurados y no estructurados. Nosotros nos vamos a centrar en el primero, por ser el más utilizado dentro de los estudios de evaluación.

II.3.2. Las preguntas en el cuestionario

A la hora de desarrollar las preguntas del cuestionario que estemos diseñando, se plantean dos problemas: cómo preguntar y qué tipo de preguntas se han de elegir para el estudio. Como respuesta al primer interrogante podemos afirmar, de modo general, que la calidad de una investigación se encuentra condicionada en gran medida por lo acertado que sea el diseño de las preguntas del cuestionario. Si éstas están mal definidas, son ambiguas, o no responden a la naturaleza del análisis, los resultados obtenidos serán estériles. Como se puede observar, preparar un cuestionario resulta más difícil de lo que parece a simple vista. En líneas generales, podemos formular unas reglas básicas para su confección, que serán ampliadas a lo largo de este apartado dedicado al diseño:

· Si se quieren respuestas concretas las preguntas deben ser concretas.

· No deben hacerse preguntas que contengan potencialmente las respuestas.

· Las preguntas que admiten varias respuestas deben ser definidas cuidadosamente.

· El número de categorías de las respuestas es también muy importante. Raramente son necesarias más de 5 ó 7 categorías en preguntas de actitud o de opinión. Cuando sean necesarias más categorías, es preferible desglosar la pregunta en varias con menos categorías cada una.

· Las preguntas deben ser neutrales. No deben incorporar juicios, opiniones o valoraciones.

· El encuestado no debe esforzarse en recordar ante lo que conviene facilitar su memoria.

· El orden del cuestionario deberá ser lógico. Las preguntas deben hacerse por temas afines y en orden de dificultad creciente. Las preguntas más sencillas han de ir al principio del cuestionario.

· El orden de las preguntas no debe afectar a las respuestas.

· Los identificadores del encuestado deben ir al final del cuestionario.

Se ha de explicitar el recorrido del cuestionario, que ha de depender del tipo preguntas, de las respuestas a las preguntas, etc.; teniendo como finalidad indicar cuándo se deben efectuar las preguntas, en qué orden, y otra información semejante.

 

Decálogo para la confección de preguntas

Respecto a los tipos de preguntas a formular, podemos afirmar que, básicamente, sólo hay dos tipos de preguntas: abiertas y cerradas. No obstante, existen muchas variaciones de éstos tipos elementales. Describimos a continuación algunos de los tipos más utilizados (Vid. Cuadro 3):

Preguntas Abiertas

Preguntas Cerradas

· Preguntas abiertas básicas.

· Preguntas de seguimiento:

-Preguntas de profundización

-Preguntas de clarificación

· Preguntas de respuesta dicotómica y múltiples.

· Preguntas de escalas de medición de actitudes y respuestas.

Cuadro 3. Tipos de preguntas en un cuestionario

 

a) Preguntas abiertas (no estructuradas).

En este tipo de preguntas abiertas es el usuario encuestado quien responde con sus propias palabras a la pregunta formulada. Son esenciales para conocer el marco de referencia del encuestado y para redactar después las alternativas a ofrecer en las preguntas cerradas. Por ello resultan oportunas y adecuadas en el caso de estudios exploratorios o pre-encuestas (encuestas-piloto o sondeos previos)

Existen dos tipos fundamentales para esta categoría de preguntas: las básicas, usadas para recoger información con un mínimo de indicaciones para el encuestado (Vid. Ejemplo1) y las de seguimiento, en las que distinguimos entre preguntas de profundización (Vid. Ejemplo 2) y de clarificación (Vid. Ejemplo 3).

¿Qué opinión le merece la biblioteca?...................................................................................................

¿Posee carné de biblioteca?o No o

En caso afirmativo, indique el nombre de dicha biblioteca(s) ............................................................................

Ejemplo 1.

¿Qué otros servicios de la biblioteca utiliza?..........................................................................................

¿Qué más le gusta de la Biblioteca?........................................................................................................

Ejemplo 2.

¿Qué quiere decir exactamente cuando afirma que era difícil de manejar la base de datos? ...

¿Puede explicar qué quiere decir con eso?............................................................................................

Ejemplo 3.

b) Preguntas cerradas (estructuradas).

Se trata de un tipo que sólo contiene la pregunta y no establece previamente ninguna clase de respuesta, dejando ésta, por tanto, al libre arbitrio del encuestado. Para esta categoría presentamos dos modelos básicos de preguntas, cada uno con sus variaciones: preguntas dicotómicas-múltiples y preguntas de escalas.

Preguntas de respuestas dicotómicas y múltiples: Las primeras constituyen uno de los tipos más básicos de preguntas, al ser éstas fáciles de formular, contestar y tabular. En ellas, la información se subdivide dicotómicamente en dos categorías (Vid Ejemplo 4). Las preguntas de respuestas múltiples se emplean cuando la alternativa de respuesta para la pregunta es superior a dos. Este último tipo de preguntas aseguran que todos los encuestados respondan en la misma dimensión (Vid. Ejemplo 5).

¿Utiliza la biblioteca de su centro como lugar de trabajo, es decir, para trabajar con sus propios apuntes, libros, etc., al margen de los servicios que en ella se prestan?. (Utilice una sola respuesta).

o No o

Ejemplo 4.

¿Cuáles de los siguientes servicios que existen en la Biblioteca ha utilizado en su visita de hoy a la Biblioteca?: ( Marque todas las posibles respuestas)

Servicio de lectura en sala o Servicio de préstamo a domicilio o

Servicio de información bibliográfica o Servicio de fotocopias de la biblioteca o

Servicio de préstamo interbibliotecario o Servicio de atención al usuario o

Servicio de microfilm o microfichas o Servicio de formación de usuarios o

Servicio de acceso a bases de datos o

Ejemplo 5.

Preguntas de escalas de medición de actitudes y respuestas: Las escalas son instrumentos de medida que se basan en la idea de clasificación, aprovechando a la par las propiedades semánticas de las palabras y las características de los números. Existen diferentes tipos que reflejan distintos niveles de medida. No obstante, para medir la percepción de los usuarios de información contamos con escalas de variables cuantitativas (escalas métricas numéricas y de intervalos (Vid. Ejemplo 6) y escalas de variables cualitativas (distinguimos varios tipos de escalas cualitativas: escalas de categorías detalladas (Vid. Ejemplo 7), escalas de valores (Vid. Ejemplo 8), escalas de jerárquicas (Vid. Ejemplo 9), escalas de importancia (Vid. Ejemplo 10), escalas de suma constante (Vid. Ejemplo 11), escala Likert (Vid. Ejemplo 12), y escala de diferenciales semánticos (Vid. Ejemplo 13)

¿Cuánto tiempo hace que visita la biblioteca?: Más de diez años ( ); de cinco a diez años ( ); de uno a cuatro años ( ); menos de un año ( ); hoy es la primera vez ( ).

Ejemplo 6.

El trato que recibo del personal de la biblioteca:

Me gusta [ ] [ ] [ ] [ ] [ ] No me gusta

2 1 0 -1 -2

 

Ejemplo 7.

El servicio de préstamo es: Pésimo (1); Malo (2); Normal (3); Bueno (4); Excelente (5); NS/NC (6).

Ejemplo 8.

Ordene la siguiente lista de bibliotecas de 1 a 8 según el grado de utilización, siendo 1 la que más utiliza y 8 la que menos. Deje, por favor, sin numerar las bibliotecas que no utiliza.

Biblioteca de mi centro ¨

Bibliotecas de otras Facultades o Escuelas universitarias ¨

Biblioteca General Universitaria ¨

Biblioteca de Departamentos ¨

Bibliotecas de Institutos o Seminarios de estudios Univ. ¨

Bibliotecas de otras universidades ¨

Bibliotecas Públicas ¨

Bibliotecas especializadas ¨

Ejemplo 9.

El servicio que prestan las bibliotecas públicas a la sociedad es: Nada importante (1); Poco importante (2); Indiferente (3); Importante (4); Muy importante (5).

Ejemplo 9.

El servicio que prestan las bibliotecas públicas a la sociedad es: Nada importante (1); Poco importante (2); Indiferente (3); Importante (4); Muy importante (5).

Ejemplo 10.

Consiste en distribuir una puntuación entre unos determinados atributos. Por ejemplo se podrían repartir 100 puntos entre tres atributos del servicio de referencia de una biblioteca especializada. La pertinencia de los resultados de una consulta podría tener 60 puntos, 30 puntos la exhaustividad y 10 puntos la rapidez en obtener los resultados de la consulta.

Ejemplo 11.

Para cada proposición indicar si está: muy de acuerdo (1), algo de acuerdo (2), apenas de acuerdo (3), no está de acuerdo ni en desacuerdo (4), apenas desacuerdo (5), algo en desacuerdo (6), fuertemente en desacuerdo (7) o NS/NC (8):

             1  2 3   4  5   6   7  8

Horario de la biblioteca   ¨ ¨ ¨ ¨ ¨ ¨ ¨ ¨

La cantidad de fondos               ¨ ¨ ¨ ¨ ¨ ¨ ¨ ¨

La variedad de la colección ¨ ¨ ¨ ¨ ¨ ¨ ¨ ¨

Etc....

Ejemplo 12.

Coloque una cruz en el espacio que mejor represente su opinión al respecto de la colección de la biblioteca.

Anticuada ¨ ¨ ¨ ¨ ¨ ¨ ¨ Moderna

Deteriorada ¨ ¨ ¨ ¨ ¨ ¨ ¨ Bien conservada

Ejemplo 13.

 

 

II.3.3. La codificación en el cuestionario

La finalidad de la codificación es facilitar la operación de contar y analizar las respuestas dadas por la muestra que ha sido encuestada. Un cuestionario bien codificado debe contener la información exacta con respecto a las variables. Por tanto, la codificación permite saber, una vez recogidos los datos, el número total de variables a analizar y su ubicación exacta en la matriz de datos. Por consiguiente, la formalización del cuestionario es fundamental para garantizar la calidad de las respuestas y del proceso de codificación. En los cuestionarios que rellena directamente el encuestado (no hay entrevista) hay que adoptar un formato claro que facilite su cumplimentación al máximo. En estos casos es mejor no complicar la respuesta haciendo que el encuestado codifique directamente cada respuesta en una casilla aparte; poner una cruz al lado de la opción seleccionada para las preguntas cerradas y dejar unas líneas para contestar es la mejor solución. Un cuestionario complejo de responder, que requiere muchas explicaciones para su cumplimentación, repercute negativamente sobre el nivel de respuesta.

Respecto a los métodos de codificación señalamos dos alternativas, en función de si las preguntas son cerradas o abiertas. Para las preguntas cerradas hemos de asignar un valor numérico a cada posible categoría de respuesta. Cada pregunta o variable ocupa un espacio físico (columnas) en la matriz de datos. En el caso de las preguntas abiertas, hay que hacer la codificación después del trabajo de campo a través de un análisis de contenido. No obstante, hay que prever el espacio físico que ocupa la variable en la matriz de datos (generalmente dos columnas y, por tanto, más de 9 categorías posibles de respuesta). La matriz de datos viene determinada por: N sujetos (filas) x P variables (columnas).

II.3.4. Corrección del cuestionario

Al diseñar un cuestionario hemos de asegurarnos la máxima exactitud de los datos. Ello dependerá de dos aspectos que se han de optimizar: la precisión o fiabilidad y la validez de la información.

La validez, definida como la ausencia de sesgos, representa la relación entre lo que medimos y aquello que realmente queremos medir. Existen tres métodos para garantizarnos dicha evidencia. Los señalamos a continuación:

El método relacionado con el contenido se centra en la muestra de las preguntas de un cuestionario (establecer el grado de representatividad de los contenidos recogidos en las preguntas del cuestionario) y lo que representa el completo dominio del contenido de las preguntas, por parte de los usuarios encuestados.

El método relacionado con los criterios se centra en las relaciones estadísticas existentes entre las mediciones, para poder saber si los cuestionarios pronostican lo que deben pronosticar.

El método relacionado con los factores está compuesto por los dos métodos anteriores y es un método guiado por la teoría, pues especifica aquello con que la medición debe o no relacionarse.

La precisión, definida como la ausencia de error aleatorio, representa la influencia del azar en nuestra medida; es decir, es el grado en el que las mediciones están libres de la desviación producida por los errores causales. Además, la precisión de una medida es lo que asegura su repetibilidad (si la repetimos, siempre da el mismo resultado). Existen diversos factores que afectan a la fiabilidad de los cuestionarios. Dos de ellos son el número de preguntas de los cuestionarios (debemos asegurarnos que contamos con un cuestionario que tiene múltiples preguntas que traten cada una de las categorías que estamos midiendo), y la muestra de usuarios sobre la que se calcula la estimación de la fiabilidad.

II.3.5. Selección de la muestra

El diseño de la muestra es una etapa esencial en toda investigación, que no estudia globalmente a la población objeto del análisis. Para seleccionar a los individuos que han de formar parte de una muestra podemos considerar básicamente dos grandes grupos de técnicas los métodos de muestreo aleatorio y los de muestreo empírico(Vid. Cuadro 4). Los primeros, los de muestreo aleatorio, se basan en el principio de la elección de los individuos al azar. Es decir, este tipo de muestreo tiene la posibilidad de que cada elemento de la población tenga la probabilidad de ser elegido como parte de la muestra. Por consiguiente, es el único que realmente puede garantizar la representatividad de la muestra, al asegurar la ausencia de sesgos. En el muestreo empírico, la selección de los elementos de la muestra se realiza a partir de los criterios fijados por el propio encuestador o investigador. De esta forma, este tipo presenta serios problemas de validez, y en él la presencia de sesgos incontrolados es un riesgo constante.

Una vez que se ha elegido el tipo de muestreo que vamos a utilizar en la investigación, es necesario determinar el tamaño de la muestra. Habremos de determinar un número suficiente de individuos para garantizarnos la fiabilidad y validez de los resultados. De lo contrario, nuestra investigación se asentaría en una muestra sesgada, no representativa y no estaríamos en condiciones de hacer inferencias. Este problema se puede resolver utilizando un tipo de muestreo adecuado.

Por último, creemos preciso señalar que no siempre es necesario hacer una muestra. En muchos casos resulta estéril porque la población objeto es pequeña y la muestra necesaria es casi tan grande como la propia población de referencia. No obstante, existen situaciones en las que es mejor trabajar sobre una muestra, como en los siguientes casos: 1.- la población objeto es muy grande; 2.- el periodo de estudio es muy largo; 3.- a pesar, de que la población no es muy grande, nuestras necesidades de precisión no son muy exigentes; 4.- los recursos son insuficientes para hacer un estudio a toda la población, siempre es mejor tener una aproximación que no tener nada.

II.4. Comprobación y prueba del cuestionario

Cuando tenemos ya diseñado el cuestionario con todas las garantías, estamos en condiciones de comenzar a encuestar a la población. Pero, nadie nos asegura que el cuestionario funcione en la práctica. No debemos olvidar que el cuestionario se ha diseñado en un despacho y no se ha demostrado su eficacia en condiciones reales. Por ello, antes de iniciar el trabajo de campo, es imprescindible probar el cuestionario sobre un pequeño grupo de población. Esta prueba piloto ha de garantizar las mismas condiciones de realización que el trabajo de campo real. Su misión radica en contrastar hasta qué punto funciona el cuestionario como se pretendía en un primer momento, y verificar si las preguntas provocan el tipo de reacción deseada. Por ello, sí es necesario, se han de eliminar ambigüedades y preguntas superfluas, se pueden añadir al cuestionario preguntas relevantes o cambiar el orden de éstas para agilizar el flujo de respuestas. Es frecuente hacer una primera prueba piloto con algunas preguntas abiertas para tratar de obtener las respuestas más frecuentes, y construir preguntas cerradas en el cuestionario definitivo. En este caso, más que de una prueba piloto hablaremos de un sondeo previo. Este tipo de técnica es muy recomendable en los casos en los que hay un gran desconocimiento de las posibles respuestas, para intentar cerrar la mayor cantidad posible de preguntas del cuestionario. La prueba piloto habrá de valorar los siguientes aspectos:

Verificación de si el cuestionario responde a los objetivos del estudio.

Comprobación de si el cuestionario es fluido. Es decir, el cuestionario debe tener lógica y consistencia interna.

Comprensión de las preguntas y aceptabilidad por parte del encuestado.

Idoneidad en la secuencia de las preguntas.

Idoneidad de las respuestas cerradas preestablecidas.

Discriminación de las preguntas.

Valoración de los casos en que nos encontremos que los encuestados no responden al cuestionario.

Idoneidad de todos los aspectos del protocolo de procedimientos.

Proceso de codificación en cuestionarios autocodificables.

Idoneidad y nivel de preparación de los encuestadores.

Aspectos logísticos: disponibilidad, recogida y entrada de cuestionarios, la propia supervisión, etc.

II.5. Tratamiento y análisis de la información

Se han descrito las distintas técnicas de obtención de información. Ahora bien, es necesario analizar esta información, generalmente abundante, y convertirla en conclusiones. Presentamos, pues, una serie de etapas a seguir a la hora de codificar, analizar, tratar e interpretar la información recogida a través de los cuestionarios:

Revisión de los cuestionarios. En esta fase se trata de identificar y corregir las posibles fuentes de error. Para ello se revisan los cuestionarios buscando ambigüedades, como respuestas no legibles o en las que no se sabe qué cuadro se ha marcado, omisiones o incoherencias.

Codificación, clasificación, recopilación de cuestionarios y preparación de la base de datos. Una vez depurados los cuestionarios se procede a la codificación de las preguntas para posibilitar el tratamiento informático. La codificación tiene por objeto sistematizar y simplificar la información procedente de los cuestionarios. En otras palabras, consiste en el establecimiento de grupos que permitan clasificar las respuestas. Conviene recordar que la codificación ha de ser los más simple e intuitiva posible, siempre claramente unívoca, preferentemente numérica y lo más estandarizada posible. Con los códigos de respuesta asignados a cada variable, construiremos la base de datos que reflejará toda la información obtenida.

Análisis de las preguntas. Una vez organizados los datos en un fichero, comienza el análisis propiamente dicho. El primer paso es estudiar cada pregunta aislada, luego las preguntas por subgrupos y las relaciones entre pares de preguntas, y por último, se estudiarán las relaciones entre todas las preguntas.

Conocer la evolución del estudio. Como la percepción de los problemas cambia pareja a como evoluciona la satisfacción de los usuarios de un servicio de información-documentación, hay que establecer un sistema de vigilancia de los principales parámetros de percepción, que nos avise cuando haya un nuevo problema sentido, cuando las cosas no van bien desde el punto de vista de los usuarios, etc. En consencuencia, es necesario desarrollar sondeos y estimaciones durante distintos momentos del análisis.

Anticipación del estudio de predicción. No es suficiente con conocer la evolución del estudio o análisis, hemos de saber además hacia dónde nos lleva. Para ello, hemos de hacer proyecciones de futuro sobre los problemas, las necesidades, las demandas y la satisfacción de los usuarios objeto del estudio. El análisis ha de permitir asociar probabilidades y formular predicciones a corto plazo. En definitiva, ha de permitir anticiparnos y modificar nuestras actuaciones.

Presentación final de la información. La información que se presente ha de ser muy clara, incluyéndose únicamente aquella que sea relevante para las decisiones que hay que tomar. A continuación, exponemos algunas recomendaciones útiles que pueden ayudar en presentación final:

Proporcionar la menor cantidad posible de datos. Eso sí, los que expongamos en el análisis deben de ser los más relevantes.

Hacer los comentarios e interpretaciones al final de cada grupo de resultados, diferenciando muy claramente lo que es un resultado de lo que es una interpretación personal.

Utilizar un lenguaje sencillo, sin posibilidad de mal interpretaciones.

La información sobre la metodología y los criterios de análisis para el estudio han de estar bien diferenciados del resto de la información.

En general, no se deben desagregar resultados, excepto que se haya demostrado una relación significativa con la variable de estratificación.

En estudios efectuados sobre muestras representativas hay que proporcionar las estimaciones por intervalo.

No se han de proporcionar fracciones decimales irrelevantes. En la mayoría de los casos con un decimal es más que suficiente.

No debemos dar información redundante.

Siempre que sea posible, se han de proporcionar los datos en forma gráfica. Además, en todas las tablas y gráficos presentados han de incluirse los nombres de las variables y las unidades de medida.

Al final del estudio se ha de incluir un breve resumen de los resultados y de las conclusiones. En algunos casos es conveniente platear recomendaciones operativas.

Si existen niveles diferentes de usuarios, se debe seleccionar y segmentar la información.

3. Conclusiones

Para concluir con la presentación de esta comunicación, resumiremos una serie puntos sobre los aspectos más relevantes a considerar a la hora poner en práctica una metodología de encuesta, de una forma coherente y rigurosa:

En primer lugar, se han de formular los fines y los objetivos de la investigación. En los estudios inferenciales se han de plantear también previamente las hipótesis. Además, han de conocerse cuáles son las variables a considerar en el análisis.

El cuestionario debe ser breve y concreto, ajustado a la cantidad de información que se necesita, y accesible para el entrevistado. Asimismo, hemos de intentar evitar la ocasión de que éste pueda sesgar o falsear las respuestas.

Una pregunta válida debe parecer importante, ser concisa e inequívoca, contener sólo un pensamiento, y no presentar dobles negativas. De esta forma, se obtendrán respuestas claras y sencillas y se dispondrá de un cuestionario fácil de leer y completar.

Por lo que se refiere a la secuenciación de preguntas, es aconsejable comenzar el cuestionario con preguntas iniciales no conflictivas que susciten interés al encuestado. Seguir con preguntas abiertas con respuestas que recojan la espontaneidad de los usuarios. Después vendrá un grupo de preguntas cerradas. Concluiremos el cuestionario con una serie de preguntas finales más conflictivas y rutinarias.

Debe medirse en su justa medida la extensión del cuestionario, de modo que obtengamos la información buscada, pero sin cansar al entrevistado.

Debe de elegirse la manera de llevar a cabo la encuesta: por correo, telefónica, con entrevista pero sin cuestionario, entrevista con cuestionario, con cuestionario en el mismo lugar donde se presta el servicio, etc.

Hay que tener claros los criterios de codificación.

En la fase de diseño, hemos de tener en cuenta si vamos a estudiar a toda la población o si por el contrario estudiaremos tan sólo una parte (una muestra) que la represente. Si se elige la segunda opción, hemos de seleccionar el tipo de muestreo a emplear, y definir el tamaño y el nivel de error.

Al diseñar un cuestionario, hemos de asegurarnos la validez y fiabilidad de los resultados, y antes de iniciar el trabajo de campo, con el fin de mejorar la efectividad del cuestionario, hemos de someterlo a algún tipo de filtro o depuración (simulaciones de laboratorio, pretest, pruebas piloto, etc.)