Resumen
La validación a juicio de expertos se fundamenta en comprobar si existe una concordancia y claridad en los ítems presentados en el instrumento, es decir, si en realidad se está evaluando la variable objeto en estudio. Es de notar que para la presente investigación se tomó como referencia el proyecto Canaima Educativo, el cual se ha convertido en unos de los pilares fundamentales para promover el uso de las tecnologías de información y comunicación en las instituciones educativas; es por ello destacar la importancia que tiene evaluar estos recursos, para ello se partió de la construcción de un modelo de instrumento de evaluación tomando como referencia las Normas ISO 9126, dicha norma identifica los propiedades claves de calidad para el software; así mismo se especifica que el atributo tomado en cuenta para esta validación es la Usabilidad del sistema operativo Canaima, la cual representa el grado en que el software es fácil de usar; dicho instrumento fue sometido a la validación por tres expertos en el área, los cuales destacaron y dedujeron si realmente se está midiendo la variable en estudio, para que posteriormente sea evaluado. Los resultados se evidenciaron al realizar el análisis e interpretación de las respuestas arrojadas en cada uno de los ítems formulado en el instrumento de manera cuantitativa.
Palabras clave: instrumento de evaluación, validación a juicio de expertos, sistema operativo Canaima, usabilidad, estándar de calidad.
Abstract
The expert judgment validation is to check whether there is a match and clarity of items presented in the instrument, that is, if you are actually evaluating the object variable understudy. It is not worthy that for the present investigation the Canaima Education project, which has become one of the key to promoting the use of information technologies and communication in educational institutions pillars waste ken as reference , it is there fore emphasis size the importance having to evaluate these resources , for it came from the construction of a model instrument of assessment by reference to ISO 9126 standards , this stand are identify the key quality attributes for the software, like wise specific that taken into account attribute for this study is the usability of the educational Canaima software , which represents the degree to which the software is easy to use , the instrument was objected to validation by three experts in the area, which highlighted and deducted if you are really me assuring the study variable to be evaluated later . There salts were evident during the analysis and interpretation of the responses dropped in each of the items on the instrument made quality very.
Keywords: assessment instrument validation expert judgment, Canaima educational software, usability items.
Introducción
Canaima educativo es un proyecto que incrementa la motivación estudiantil de los estudiantes y enriquece el proceso de transformación académica, asimismo fortalece el papel educativo de los docentes en el aula de clases gracias a su amplio contenido pedagógico.
En tal sentido es de gran importancia que a la hora de que los docentes quieran evaluar este recurso tecnológico en cualquier aspecto tengan claridad de que en realidad se está evaluando lo que se desea estudiar; en concordancia Sabino (1992), reafirma que la validez “indica la capacidad de la escala para medir las cualidades para las cuales ha sido construida…”,”…Una escala tiene validez cuando verdaderamente mide lo que afirma medir”.
Por tanto se requirió contar con la validación de tres (3) expertos en el área de informática que han adquirido a lo largo del ejercicio de la profesión una experticia tal que les permite detectar si los ítems que se encuentran especificados en el instrumento están midiendo la variable en estudio.
Tratándose de un instrumento de elaboración propia, necesariamente debe ser validado mediante algún procedimiento metodológicamente adecuado.
Para el desarrollo de esta investigación se tomó como referencia las Normas ISO 9126, la cual identifica los atributos claves de calidad para el software; así mismo se especifica que el atributo tomado en cuenta para esta validación es la Usabilidad del software Canaima educativo, la cual representa el grado en que el software es fácil de usar.
Cabe destacar que para un docente en cualquier nivel educativo que se apoya en software educativos para el desarrollo de sus clases, tal como es el caso del proyecto educativo Canaima el cual está concebido para incorporar las tecnologías de información libres en las instituciones públicas de educación primaria y secundaria, es necesario aplicar instrumentos de evaluación que valoren que tan fácil es para el estudiante comprender y aprender sobre el funcionamiento del sistema.
Para llegar a los resultados se utilizó el Cálculo de Coeficiente de Concordancia el cual determino que existe una correlación entre los ítems descritos ante la variable estudiada.
Objetivo General
Realizar una validación a juicio de expertos sobre un instrumento que evalúe la Usabilidad de Canaima educativo considerando que los ítems que se encuentran especificados en él, estén midiendo la variable en estudio.
Métodos
Participantes
El presente estudio fue realizado en la “Escuela Técnica Industrial Robinsoniana Manuel Antonio Pulido Méndez” donde se seleccionó tres (3) docentes especialistas en el área de Informática y expertos en el uso del software educativo Canaima, los cuales se describen a continuación:
- Profesor en informática Experto 1
- Profesor en informática Experto 2
- Ingeniero en Sistemas Experto 3
Cabe mencionar que la elección de los expertos mencionados se realizó tomando en cuenta su perfil académico, y la experiencia que han tenido en el uso y manejo del sistema operativo Canaima dentro de la institución que laboran. La administración de los instrumentos se llevó a cabo personalmente en la institución educativa asegurando en todo momento la confidencialidad.
Así mismo es de notar, que los expertos evalúan de manera independiente la relevancia, relación, competencia y claridad; con la que están redactados cada uno de los ítems expuestos en el instrumento.
Diseño
Para esta investigación inicialmente se diseñó un instrumento para medir la usabilidad del sistema operativo Canaima, este indicador se encuentra establecido en los estándares internacionales de las normas ISO 9126, que representa que tan fácil es el uso del sistema operativo Canaima, dicha variable viene acompañada por unos sub atributos claves los cuales se mencionan a continuación:
- Facilidad de Comprensión: Evalúa que tan fácil es para el usuario comprender el funcionamiento del sistema.
- Facilidad de Aprendizaje: Determina que tan fácil es para el usuario aprender a utilizar el sistema.
- Operatividad: Determina si el usuario puede utilizar el sistema sin mucho esfuerzo
Por otra parte al grupo de expertos se les solicito que estimaran los diferentes aspectos sobre la escala de medida y los ítems del instrumento propuesto. Tras el estudio y validación por parte de este grupo de expertos previamente se realizaron las modificaciones de los ítems.
Procedimiento
Los ítems del instrumento se redactaron tomando en cuanto cada uno de los subatributos especificados dentro de la variable usabilidad del estándar de calidad ISO 9126, el diseño partió de la revisión bibliográfica sobre aspectos relacionados con la temática objeto de estudio (Pelegrín, 2005; Cruz, 1997; Gimeno, 1995, 2003).
Por otra parte, la escala de respuesta del instrumento fue diseñada tomando en cuenta tres opciones de respuesta 1: Eliminar, 2: Modificar, 3: Mantener, esto permitió a los expertos tener una visión clara y concisa a la hora de responder el instrumento de evaluación.
Análisis de los datos
Para medir la concordancia entre diferentes jueces acerca de un determinado número de objetos, ítems o categorías, se ha utilizado el método de juicios de expertos, se propone un nuevo algoritmo para obtener un nuevo coeficiente que permita calcular la validez de contenido de cada ítem, la validez de contenido de todo el instrumento y el nivel de concordancia entre jueces: el coeficiente de validez de contenido (Fleis, 1981; Dawson-Saunders and Trapp, 1990)
Análisis de la evaluación
Tabla 1. Validación de los Expertos
Cálculo de Coeficiente de Concordancia
Items(i) Jueces(j) ∑xij Mx Cvci Pei Cvctc
1 2 3
1 2 2 2 6 2.00 0.67 0.035 0.63
2 3 2 3 8 2.67 0.89 0.035 0.85
3 3 3 3 9 3.00 1.00 0.035 0.97
4 3 3 3 9 3.00 1.00 0.035 0.97
5 3 3 3 9 3.00 1.00 0.035 0.97
6 3 3 3 9 3.00 1.00 0.035 0.97
7 3 2 3 8 2.67 0.89 0.035 0.85
8 3 3 3 9 3.00 1.00 0.035 0.97
9 3 3 3 9 3.00 1.00 0.035 0.97
10 3 2 3 8 2.67 0.89 0.035 0.85
11 2 3 3 8 2.67 0.89 0.035 0.85
12 3 3 2 8 2.67 0.89 0.035 0.85
13 3 1 3 7 2.33 0.78 0.035 0.74
14 3 2 3 8 2.67 0.89 0.035 0.85
15 2 2 2 6 2.00 0.67 0.035 0.63
16 3 2 1 6 2.00 0.67 0.035 0.63
17 3 3 3 9 3.00 1.00 0.035 0.97
18 3 3 3 9 3.00 1.00 0.035 0.97
19 3 3 2 8 2.67 0.89 0.035 0.85
20 3 3 2 8 2.67 0.89 0.035 0.85
Análisis cuantitativo por ítem
Los resultados se evidencian al realizar el análisis e interpretación de las respuestas arrojadas en cada uno de los ítems formulado en el instrumento de manera cuantitativa.
ÍTEMS 1.
Según los expertos se debe de modificar la pregunta ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 2.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia satisfactoria de 0.85 de acuerdo a la escala del Cvc.
ÍTEMS 3.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia excelente de 0.97 de acuerdo a la escala del Cvc.
ÍTEMS 4.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia excelente de 0.97 de acuerdo a la escala del Cvc.
ÍTEMS 5.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia excelente de 0.97 de acuerdo a la escala del Cvc.
ÍTEMS 6.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia excelente de 0.97 de acuerdo a la escala del Cvc.
ÍTEMS 7.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia satisfactoria de 0.85 de acuerdo a la escala del Cvc.
ÍTEMS 8.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia excelente de 0.97 de acuerdo a la escala del Cvc.
ÍTEMS 9.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia excelente de 0.97 de acuerdo a la escala del Cvc.
ÍTEMS 10.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia satisfactoria de 0.85 de acuerdo a la escala del Cvc.
ÍTEMS 11.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia satisfactoria de 0.85 de acuerdo a la escala del Cvc.
ÍTEMS 12.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia satisfactoria de 0.85 de acuerdo a la escala del Cvc.
ÍTEMS 13.
Según los expertos se debe de modificar la pregunta ya que existe una validez y concordancia inaceptable de 0.74 de acuerdo a la escala del Cvc.
ÍTEMS 14.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia satisfactoria de 0.85 de acuerdo a la escala del Cvc.
ÍTEMS 15.
Según los expertos se debe de modificar la pregunta ya que existe una validez y concordancia inaceptable 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 16.
Según los expertos se debe de modificar la pregunta ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 17.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia excelente de 0.97 de acuerdo a la escala del Cvc.
ÍTEMS 18.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia excelente de 0.97 de acuerdo a la escala del Cvc.
ÍTEMS 19.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia satisfactoria de 0.85 de acuerdo a la escala del Cvc.
ÍTEMS 20.
Según los expertos se debe de mantener la pregunta ya que existe una validez y concordancia satisfactoria de 0.85 de acuerdo a la escala del Cvc
Evaluación del sistema operativo Canaima
Participantes
El presente estudio fue realizado en la “Escuela Técnica Industrial Robinsoniana Manuel Antonio Pulido Méndez” donde se seleccionó tres (3) docentes especialistas en el área de Informática y expertos en el uso del software educativo Canaima, los cuales se describen a continuación:
Profesor en informática Encuestado 1
Profesor en informática Ingeniero en Sistemas Encuestado 2
Lic. En educación Ingeniero en Sistemas Encuestado 3
Tabla 2. Instrumento Validado
Categoría a Evaluar: Usabilidad Indicadores
TA MA TD
- El diseño de la interfaz de usuario permite flexibilidad de acomodación del acceso y navegación en función de diferentes estilos de aprendizaje.
- El formato elegido para el diseño de los contenidos permite la interactividad a través de una navegación autónoma, pudiendo elegir el menú de navegación, así como imprimir los contenidos seleccionados.
- Los elementos presentes en el software se encuentran etiquetados de forma clara y precisa (Tooltips).
- La interfaz de usuario se caracteriza por la claridad, facilidad de comprensión y coherencia con los objetivos y Contenidos del programa.
- Los nombres presentados en los botones del software tienen relación con la acción que realiza cada uno de ellos.
- El botón de salir se presenta en todas las pantallas del software.
- La interfaz presenta una estructura en la que los elementos se encuentran organizados de una forma consistente. Por ejemplo, cada unidad cuenta con las siguientes secciones: introducción, contenidos, recursos, tareas y evaluación.
- El botón de ayuda se presenta en todas las pantallas del software
- El estilo de presentación de los contenidos promueve la reflexión, el diálogo, y no son meramente informativos.
- El fondo de pantalla le permite leer sin problemas el texto
- Hace un buen uso de la gama del color en cada uno de los módulos del software
- Las imágenes, audio y videos utilizados son de calidad y coherentes con el contenido textual y sirven para facilitar su comprensión.
- Los contenidos y materiales del programa se pueden imprimir sin dificultad.
- Las imágenes, audios y videos del programa están bien insertados no existiendo dificultad para su correcta audición y/o visualización.
- Se proporciona al profesorado unas orientaciones generales, a partir de las que puede obtener información sobre los objetivos, metodología, contenidos del programa, así como la forma en la que se le va a evaluar.
- Las imágenes, audios y videos del programa están bien insertados no existiendo dificultad para su correcta audición y/o visualización.
- El contenido textual, gráfico y multimedia no provoca discriminación en relación a edad, sexo, cultura, religión o etnia.
- Permite avanzar y retroceder entre pantallas.
- Existe variedad de pantallas por cada módulo.
- El diseño de la interfaz gráfica evita distracción o pérdida de tiempo.
Tabla 3. Evaluación del sistema Canaima
Items(i) Encuestado(j) ∑xij Mx Cvci Pei Cvctc
1 2 3
1 2 2 2 6 2.00 0.67 0.035 0.63
2 2 2 2 6 2.00 0.67 0.035 0.63
3 2 2 2 6 2.00 0.67 0.035 0.63
4 2 2 2 6 2.00 0.67 0.035 0.63
5 2 2 2 6 2.00 0.67 0.035 0.63
6 3 2 3 8 2.67 0.89 0.035 0.85
7 2 2 2 6 2.00 0.67 0.035 0.63
8 2 2 3 7 2.33 0.78 0.035 0.74
9 1 2 3 6 2.00 0.67 0.035 0.63
10 2 2 3 7 2.33 0.78 0.035 0.74
11 1 2 1 4 1.33 0.44 0.035 0.41
12 1 2 2 5 1.67 0.56 0.035 0.52
13 2 2 2 6 2.00 0.67 0.035 0.63
14 2 2 2 6 2.00 0.67 0.035 0.63
15 1 2 1 4 1.33 0.44 0.035 0.41
16 1 2 2 5 1.67 0.56 0.035 0.52
17 3 2 2 7 2.33 0.78 0.035 0.74
18 2 2 2 6 2.00 0.67 0.035 0.63
19 3 2 2 7 2.33 0.78 0.035 0.74
20 1 2 1 4 1.33 0.44 0.035 0.41
Análisis por ítem
ÍTEMS 1.
Según los encuestados “El diseño de la interfaz de usuario permite flexibilidad de acomodación del acceso y navegación en función de diferentes estilos de aprendizaje.” Indican que se debe de modificar la interfaz de usuario permite flexibilidad en el sistema ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 2.
Según los encuestados “El formato elegido para el diseño de los contenidos permite la interactividad a través de una navegación autónoma, pudiendo elegir el menú de navegación, así como imprimir los contenidos seleccionados.” Indican que se debe de modificar el formato elegido para el diseño de los contenidos en el sistema ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 3.
Según los evaluadores “Los elementos presentes en el software se encuentran etiquetados de forma clara y precisa (Tooltips).” Indican que se debe de modificar los elementos en el sistema ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 4.
Según los encuestados “La interfaz de usuario se caracteriza por la claridad, facilidad de comprensión y coherencia con los objetivos y Contenidos del programa.” Indican que se debe de modificar la interfaz de usuario en el sistema ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 5.
Según los encuestados “Los nombres presentados en los botones del software tienen relación con la acción que realiza cada uno de ellos.” Indican que se debe de modificar los nombres presentados en el sistema ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 6.
Según los encuestados “El botón de salir se presenta en todas las pantallas del software.” Indican que se debe de mantener el botón de salir en el sistema ya que existe una validez y concordancia satisfactoria de 0.85 de acuerdo a la escala del Cvc.
ÍTEMS 7.
Según los encuestados “La interfaz presenta una estructura en la que los elementos se encuentran organizados de una forma consistente. Por ejemplo, cada unidad cuenta con las siguientes secciones: introducción, contenidos, recursos, tareas y evaluación.” Indican que se debe de modificar la presentación de los elementos en el sistema ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 8.
Según los encuestados “El botón de ayuda se presenta en todas las pantallas del software.” Indican que se debe de modificar el botón de ayuda en el sistema ya que existe una validez y concordancia inaceptable de 0.74 de acuerdo a la escala del Cvc.
ÍTEMS 9.
Según los encuestados “El estilo de presentación de los contenidos promueve la reflexión, el diálogo, y no son meramente informativos.” Indican que se debe de modificar el estilo de la presentación de los contenidos ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 10.
Según los encuestados “El fondo de pantalla le permite leer sin problemas el texto.” Indican que se debe de modificar el fondo de pantalla en el sistema ya que existe una validez y concordancia inaceptable de 0.74 de acuerdo a la escala del Cvc.
ÍTEMS 11.
Según los encuestados “Hace un buen uso de la gama del color en cada uno de los módulos del software.” Indican que se debe de modificar la gama del color en el sistema ya que existe una validez y concordancia inaceptable de 0.41 de acuerdo a la escala del Cvc.
ÍTEMS 12.
Según los encuestados “Las imágenes, audio y videos utilizados son de calidad y coherentes con el contenido textual y sirven para facilitar su comprensión.” Indican que se debe de modificar las imágenes, audios y videos en el sistema ya que existe una validez y concordancia inaceptable de 0.52 de acuerdo a la escala del Cvc.
ÍTEMS 13.
Según los encuestados “Los contenidos y materiales del programa se pueden imprimir sin dificultad.” Indican que se debe de modificar los contenidos y materiales para imprimir en el sistema ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 14.
Según los encuestados “Las imágenes, audios y videos del programa están bien insertados no existiendo dificultad para su correcta audición y/o visualización.” Indican que se debe de modificar Las imágenes, audios y videos en el sistema ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 15.
Según los encuestados “Se proporciona al profesorado unas orientaciones generales, a partir de las que puede obtener información sobre los objetivos, metodología, contenidos del programa, así como la forma en la que se le va a evaluar.” Indican que se debe de modificar las orientaciones generales al profesorado en el sistema ya que existe una validez y concordancia inaceptable 0.41 de acuerdo a la escala del Cvc.
ÍTEMS 16.
Según los encuestados “Las imágenes, audios y videos del programa están bien insertados no existiendo dificultad para su correcta audición y/o visualización.” Indican que se debe de modificar Las imágenes, audios y videos en el sistema ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 17.
Según los encuestados “El contenido textual, gráfico y multimedia no provoca discriminación en relación a edad, sexo, cultura, religión o etnia.” Indican que se debe de modificar el contenido textual, gráfico y multimedia en el sistema ya que existe una validez y concordancia inaceptable de 0.74 de acuerdo a la escala del Cvc.
ÍTEMS 18.
Según los encuestados “Permite avanzar y retroceder entre pantallas.” Indican que se debe de modificar la opción de permitir avanzar y retroceder entre pantallas en el sistema ya que existe una validez y concordancia inaceptable de 0.63 de acuerdo a la escala del Cvc.
ÍTEMS 19.
Según los encuestados “Existe variedad de pantallas por cada módulo.” Indican que se debe de modificar ya que no existe la variedad de pantallas en cada módulo en el sistema ya que existe una validez y concordancia inaceptable de 0.74 de acuerdo a la escala del Cvc.
ÍTEMS 20.
Según los encuestados “El diseño de la interfaz gráfica evita distracción o pérdida de tiempo.” Indican que se debe de modificar el diseño de la interfaz gráfica ya que existe una validez y concordancia inaceptable de 0.41 de acuerdo a la escala del Cvc.
Conclusiones
Una vez analizados los datos del instrumento podemos decir que el mismo puede usarse en el proceso de evaluación de cualquier software educativo para la medición de la usabilidad de estos programas.
Es de gran importancia conocer que tan funcionales son los software educativo, por lo tanto la creación de los instrumentos de evaluación deben ser de calidad para detectar y demostrar que tan eficaces son en el desarrollo de su implementación.
Cabe resaltar que todas las respuestas y sugerencias fueron procesadas, analizadas y consideradas para la construcción de la versión final de un cuestionario útil para su propósito y con validez certificada.
En tal sentido, el estudio realizado sobre el instrumento de evaluación permitió demostrar la validez de los ítems, a través de tres (3) expertos en el área, tomando como referencia las normas ISO 9126 específicamente enfocada en el atributo Usabilidad.
Referencias Bibliográficas
- [1] Esther García, Julio Cabero. (2011) Diseño y Validación de un cuestionario dirigido a describir la evaluación en procesos de educación a distancia. Revista electrónica de Tecnología educativaNumero 35, ISSN 1135-9250.
- [2] Antonia López, Lola Díaz. (2012) Validación de una escala observacional para el análisis de los documentos de planificación. Revista de Investigación educativa,Volumen 25, número 2, paginas 267-285.
- [3] Alberto Nuviala, Javier Tamayo, Javier Iranzo, David Falcón.(2012) Creación, diseño, validación y puesta en práctica de un instrumento de medición de la satisfacción de usuarios de organizaciones que prestan servicios deportivos. Revista Dialnet,número 14,ISSN 1579-1726.
- [4] María Garrido, María Zagalaz, Gema Torres, Santiago Romero (2010) Diseño y validación de un cuestionario para técnicos deportivos acerca de su opinión sobre las actitudes de padres y madres en el deporte. Revista Dialnet, número 2.7-21, ISSN 1578-8423.
Sobre los autores:
Araque Adriana, Universidad de los Andes- Mérida- Venezuela: Profesora en Educación Informática egresada de UPEL, Estudiante de la Maestría en Educación mención Informática y Diseño Instruccional de la Universidad de Los Andes, Instructor de la Universidad de Los Andes.
Arismendi Elvis, Universidad de los Andes- Mérida- Venezuela: Profesor en Educación Informática egresado de la UPEL, Estudiante de la Maestría en Educación mención Informática y Diseño Instruccional de la Universidad de Los Andes, Docente en la Técnica Industrial Robinsoniana Manuel Antonio Pulido Méndez.
Datos para citar este artículo:
Adriana Carolina Araque Ranjel. (2017). Instrumento para la evaluación del sistema operativo Canaima. Revista Vinculando, 15(1). https://vinculando.org/beta/instrumento-la-evaluacion-del-sistema-operativo-canaima.html