¿Qué es una rúbrica? Bueno, es complicado

Una rúbrica es un conjunto de pautas escritas para distinguir entre actuaciones o productos de diferente calidad.

(Usaríamos una lista de verificación si solo buscamos algo o su ausencia, por ejemplo, sí, hay una bibliografía). Una rúbrica se compone de descriptores para los criterios en cada nivel de desempeño, típicamente en una escala de cuatro o seis puntos. A veces, los indicadores con viñetas se usan debajo de cada descriptor general para proporcionar ejemplos concretos o signos reveladores sobre qué buscar debajo de cada descriptor. Una buena rúbrica hace posible un juicio válido y confiable basado en criterios sobre el desempeño.

La palabra ‘rúbrica’ deriva de la palabra latina para ‘rojo’. En la antigüedad, una rúbrica era el conjunto de instrucciones o glosa de una ley o servicio litúrgico, y generalmente estaba escrito en rojo. Por lo tanto, una rúbrica instruye a las personas, en este caso, sobre cómo proceder para juzgar una actuación ‘legalmente’.

Dijiste que las rúbricas se basan en criterios. Pero algunas rúbricas usan palabras como “rasgos” o “dimensiones”. ¿Es un rasgo lo mismo que un criterio?

Estrictamente hablando, son diferentes. Considere escribir: ‘coherencia’ es un rasgo; ‘coherente’ es el criterio para ese rasgo. Aquí hay otro par: miramos a través de la lente de ‘organización’ para determinar si el documento está ‘organizado y desarrollado lógicamente’. ¿Ves la diferencia? Un rasgo es un lugar para buscar; el criterio es lo que buscamos, lo que necesitamos ver para juzgar el trabajo exitoso (o no) en ese rasgo.

¿Por qué debería preocuparme por los diferentes rasgos de rendimiento o criterios para ellos? ¿Por qué no usar una simple rúbrica holística y terminar con ella?

Porque la equidad y la retroalimentación pueden verse comprometidas en nombre de la eficiencia. En el desempeño complejo, los criterios a menudo son independientes entre sí: el sabor de la comida tiene poca conexión con su apariencia , y la apariencia tiene poca relación con su valor nutricional . Estos criterios son independientes entre sí. Lo que esto significa en la práctica es que fácilmente podría imaginarse otorgando una puntuación alta para el sabor y una puntuación baja para la apariencia en una comida y viceversa en otra. Sin embargo, en un esquema holístico, tendría que dar a las dos (diferentes) actuaciones la misma puntuación. Sin embargo, no es útil decir que ambas comidas son de la misma calidad general.

Otra razón para usar dimensiones separadas de rendimiento puntuadas por separado es el problema de aterrizar en un puntaje holístico con indicadores variados. Considere la rúbrica de evaluación oral a continuación. ¿Qué deberíamos hacer si el estudiante hace un gran contacto visual pero no logra explicar claramente la importancia de su materia? ¿No podemos imaginar fácilmente que en las dimensiones de desempeño separadas de ‘contacto con la audiencia’ y ‘importancia discutida del tema’ que un estudiante podría ser bueno en uno y pobre en el otro? La rúbrica nos haría creer que estos logros secundarios siempre irían juntos.

Pero la lógica y la experiencia sugieren lo contrario.

Rúbrica de evaluación oral

- 5 – Excelente: el estudiante describe claramente la pregunta estudiada y proporciona razones sólidas para su importancia. Se brinda información específica para respaldar las conclusiones que se extraen y describen. La entrega es atractiva y la estructura de la oración es consistentemente correcta. El contacto visual se hace y se mantiene durante toda la presentación. Hay una fuerte evidencia de preparación, organización y entusiasmo por el tema. La ayuda visual se utiliza para hacer que la presentación sea más efectiva. Las preguntas de la audiencia se responden claramente con información específica y apropiada.
- 4 – Muy bien: el alumno describió la pregunta estudiada y explica los motivos de su importancia. Se proporciona una cantidad adecuada de información para respaldar las conclusiones que se extraen y describen. La entrega y la estructura de la oración son generalmente correctas. Hay evidencia de preparación, organización y entusiasmo por el tema. La ayuda visual es mencionada y utilizada. Las preguntas de la audiencia se responden claramente.
- 3 – Bueno: el alumno describe la pregunta estudiada y se exponen las conclusiones, pero la información de apoyo no es tan sólida como un 4 o 5. La estructura de entrega y oración es generalmente correcta. Hay alguna indicación de preparación y organización. Se menciona la ayuda visual. Las preguntas de la audiencia son respondidas.
- 2 – Limitado: el alumno declara la pregunta estudiada, pero no la describe completamente. No se dan conclusiones para responder la pregunta. La estructura de entrega y oración es comprensible, pero con algunos errores. Falta evidencia de preparación y organización. La ayuda visual puede o no ser mencionada. Las preguntas de la audiencia se responden solo con la respuesta más básica.
- 1 – Malo: el alumno realiza una presentación sin indicar la pregunta o su importancia. El tema no está claro y no se establecen conclusiones adecuadas. La entrega es difícil de seguir. No hay indicación de preparación u organización. Las preguntas de la audiencia reciben solo la respuesta más básica, o ninguna.
- 0 – No se intenta una presentación oral.

¿No podría simplemente encerrar en un círculo las oraciones relevantes de cada nivel para hacer que los comentarios sean más precisos?

Claro, pero luego lo has convertido en una rúbrica de rasgo analítico, ya que cada oración se refiere a un criterio diferente en todos los niveles. (Trace cada oración en el párrafo superior en los niveles inferiores para ver su versión paralela, para ver cómo cada párrafo realmente está compuesto de rasgos separados). No importa cómo lo formatee, en 1 rúbrica o en muchas, como siempre y cuando mantengas criterios verdaderamente diferentes por separado.

Dado ese tipo de desglose útil del rendimiento en dimensiones independientes, ¿por qué los maestros y los evaluadores estatales a menudo hacen una puntuación holística con una rúbrica?

Debido a que la calificación holística es más rápida, fácil y, a menudo, lo suficientemente confiable cuando evaluamos una habilidad genérica rápidamente, como escribir en una prueba estatal (en oposición, por ejemplo, a evaluar el control de géneros específicos de escritura). Es una compensación, un dilema de eficiencia y efectividad.

¿Qué quiso decir cuando dijo anteriormente que las rúbricas podrían afectar la validez? ¿Por qué no es solo una función de la tarea o pregunta?

La validez se refiere a inferencias permisibles de puntajes. Las pruebas o tareas no son válidas o inválidas; Las inferencias sobre la capacidad general basadas en resultados específicos son válidas o inválidas. En otras palabras, a partir de este mensaje de escritura específico, estoy tratando de inferir, en general, a su capacidad como escritor.

Supongamos, entonces, que una rúbrica para juzgar la escritura de historias pone énfasis exclusivo en la ortografía y la precisión gramatical. Es probable que los puntajes sean altamente confiables, ya que es fácil contar ese tipo de errores, pero seguramente generará inferencias inválidas sobre quién puede realmente escribir historias maravillosas. En otras palabras, no es probable que la precisión de la ortografía se correlacione con la capacidad de escribir de una manera atractiva, vívida y coherente sobre una historia (los elementos presumiblemente en el corazón de la escritura de la historia). Muchos escritores finos no pueden construir narraciones interesantes, y muchos cuentacuentos maravillosos obtuvieron malos resultados en las pruebas de gramática y ortografía de la escuela.

Por lo tanto, debe considerar no solo la idoneidad de una tarea de desempeño sino también de una rúbrica y sus criterios. En las rúbricas de mayo, por ejemplo, el estudiante solo necesita producir una escritura ‘organizada’ y ‘mecánicamente sólida’. Seguramente esa no es una descripción suficiente de una buena escritura. (Más sobre esto, a continuación).

Se trata del propósito de la actuación: ¿cuál es el objetivo de la escritura? de consulta? ¿de hablar? de proyectos de feria de ciencias? Dadas las metas que se evalúan, ¿nos estamos enfocando en los criterios más reveladores? ¿Hemos identificado las dimensiones de desempeño más importantes y reveladoras, dados los criterios más apropiados para tal resultado? ¿La rúbrica proporciona una forma auténtica y efectiva de discriminar entre actuaciones? ¿Los descriptores para cada nivel de desempeño están suficientemente fundamentados en muestras reales de desempeño de diferente calidad? Estas y otras preguntas se encuentran en el corazón de la construcción de la rúbrica.

¿Cómo aborda adecuadamente estas preguntas de diseño?

Al centrarse en el propósito del rendimiento, es decir, el impacto deseado, no solo en las características más obvias de los artistas o las actuaciones. Demasiadas rúbricas se centran en las características de la superficie que pueden ser incidentales si se logró el resultado general o el propósito. Los jueces de resolución de problemas matemáticos, por ejemplo, tienden a centrarse demasiado en errores computacionales obvios; Los jueces de escritura tienden a centrarse demasiado en los errores sintácticos o mecánicos. Debemos destacar los criterios que se relacionan más directamente con el impacto deseado en función del propósito de la tarea.

Necesito un ejemplo

Considera contar chistes. La broma podría haber involucrado contenido relevante para la audiencia, podría haberse contado con buena dicción y ritmo, y el momento de la frase podría haber sido sólido. Pero esas son solo características superficiales. La pregunta final se relaciona con el propósito: ¿fue divertido el chiste? Es decir, ¿la gente realmente se rió?

Pero, ¿cómo se relaciona esto con lo académico?

Considere las siguientes preguntas centradas en el impacto:

La solución matemática puede haber sido precisa y exhaustiva, pero ¿se resolvió el problema?
El documento de historia puede haber sido bien documentado y claramente escrito, sin errores mecánicos, pero ¿fue convincente el argumento? ¿Se abordaron eficazmente los contraargumentos y las pruebas contrarias?
El poema ha rimado, pero ¿evoca imágenes y sentimientos vibrantes?
El experimento puede haber sido redactado a fondo, pero ¿fue válida la conclusión?

Es crucial que los estudiantes aprendan que el punto de rendimiento son los resultados efectivos / exitosos, no solo el esfuerzo de buena fe y / o la imitación del formato y los ejemplos.

Por lo tanto, es útil considerar cuatro tipos diferentes de criterios: impacto, proceso, contenido, pulido. Los criterios de impacto deben ser primarios. El proceso se refiere a métodos o técnicas. El contenido se refiere a la adecuación y precisión del contenido. El polaco se refiere a qué tan bien elaborado está el producto. Tómese la palabra: muchos buenos oradores hacen contacto visual y varían su tono, de manera pulida, mientras hablan sobre el contenido correcto. Pero esos no son los criterios básicos para hablar bien, son meramente técnicas útiles para tratar de lograr el impacto deseado (por ejemplo, mantener a la audiencia comprometida). Los criterios de impacto se relacionan con el propósito de hablar, es decir, los efectos deseados de mi discurso: ¿me entendieron? ¿Me estaba comprometiendo? ¿Fui persuasivo? ¿Moviente? – sea cual sea mi intención, ¿se realizó?

¡Eso parece difícil para el niño y sospechoso de desarrollo!

De ningún modo. Debe aprender temprano y, a menudo, que hay un propósito y una audiencia en todo desempeño genuino. Cuanto antes aprenda a pensar sobre el propósito clave de las preguntas de la audiencia: ¿Cuál es mi objetivo? ¿Qué cuenta como éxito aquí? ¿Qué exige esta audiencia y esta situación? ¿Qué estoy tratando de causar al final? cuanto más efectivo y autodirigido seas como aprendiz. No es un accidente en la investigación de Hattie que este tipo de trabajo metacognitivo produzca algunos de los mayores logros educativos.

¿Existen reglas simples para distinguir mejor entre criterios válidos y no válidos?

Una prueba simple es negativa: ¿Te imaginas a alguien que cumpla con todos los criterios propuestos en tu borrador de rúbrica, pero que no pueda desempeñarse bien en la tarea, dado su verdadero propósito o naturaleza? Entonces tienes los criterios equivocados. Por ejemplo, muchas rúbricas de escritura evalúan la organización, la mecánica, la precisión y la adecuación al tema al juzgar ensayos analíticos. Estos son necesarios pero no suficientes; no llegan al corazón del propósito de la escritura, logrando algún efecto o impacto en el lector. Estos criterios más relacionados con la superficie se pueden cumplir, pero aún así producen una escritura suave y poco interesante, por lo que no pueden ser la mejor base para una rúbrica.

¡Pero seguramente los aspectos formales y mecánicos del rendimiento son importantes!

Por supuesto que lo hacen. Pero no llegan al momento de escribir, simplemente los medios para lograr el propósito, y no necesariamente el único medio. ¿Cuál es la intención del escritor? ¿Cuál es el propósito de cualquier escrito? Debería ‘funcionar’ o producir un cierto efecto en el lector. Huck Finn ‘funciona’ a pesar de que el discurso escrito de los personajes no es gramatical. La escritura apunta a algún resultado; los escritores apuntan a lograr alguna respuesta, eso es lo que debemos evaluar mejor. Si estamos evaluando la escritura analítica, presumiblemente deberíamos evaluar algo como la perspicacia, la novedad, la claridad y la naturaleza convincente del análisis. Los criterios reales se encontrarán a partir de un análisis de las respuestas a las preguntas sobre el propósito del desempeño.

Tenga en cuenta que estas últimas cuatro dimensiones contienen implícitamente las dimensiones mecánicas más formales que le preocupan: un documento no es probable que sea convincente y completo si carece de organización y claridad. De hecho, esperaríamos ver el descriptor de los niveles más bajos de rendimiento que aborde esos asuntos en términos de las deficiencias que impiden la claridad o la persuasión. Por lo tanto, no queremos que los alumnos se obsesionen con las características de la superficie o los comportamientos específicos; más bien, queremos que se obsesionen con los buenos resultados relacionados con el propósito.

¿Eh? ¿Qué quiere decir con distinguir entre comportamientos y criterios específicos?

La mayoría de las rúbricas actuales tienden a sobrevalorar el pulido, el contenido y el proceso al infravalorar el impacto del resultado, como se señaló anteriormente. Eso equivale a hacer que el estudiante se obsesione con las características de la superficie en lugar del propósito. Sin darse cuenta, le dice al estudiante que obedecer las instrucciones es más importante que tener éxito (y lleva a algunas personas a pensar erróneamente que todas las rúbricas inhiben la creatividad y la excelencia genuina).

Tome el tema del contacto visual, mencionado anteriormente. Podemos imaginar o encontrar fácilmente ejemplos de buenas conversaciones en las que no se hizo contacto visual: ¡piense en la radio! Mira algunas de las charlas de TED. Y podemos encontrar ejemplos de hablar triste con mucho contacto visual. Cualquier técnica se usa mejor como ‘indicadores’ bajo el descriptor principal en una rúbrica, es decir, hay algunos ejemplos o técnicas diferentes que PUEDEN usarse que tienden a ayudar con la ‘entrega’, pero no deberían ser obligatorios porque no son criterios infalibles o la única forma de hacerlo bien.

¿Es por eso que algunas personas piensan que las rúbricas matan la creatividad?

Exactamente correcto. Las malas rúbricas matan la creatividad porque exigen una respuesta formulada. Las buenas rúbricas exigen grandes resultados y les dan a los estudiantes la libertad de causarlas. En pocas palabras: si señala en sus rúbricas que un resultado poderoso es el objetivo, libera creatividad e iniciativa. Si ordena el formato, el contenido y el proceso e ignora el impacto, inhibe la creatividad y recompensa el trabajo seguro y sin creatividad.

¡Pero es tan subjetivo juzgar el impacto!

De ningún modo. ‘Organización’ es en realidad una cualidad mucho más subjetiva e intangible en una presentación que ‘me mantuvo ocupado todo el tiempo’ si lo piensas. Y cuando vas a una librería, ¿qué estás buscando en un libro? No principalmente “organización” o “mecánica”, sino algún impacto deseado en usted. De hecho, creo que les hacemos una grave injusticia a los estudiantes al permitirles que presenten continuamente (¡y obtengan altas calificaciones!) Documentos aburridos, tristes, presentaciones y proyectos. Enseña una mala lección: mientras pongas los datos correctos, no me importa lo bien que te hayas comunicado.

El mejor maestro que vi fue el maestro de Portland HS, Portland Maine, que hizo que sus hijos hicieran las presentaciones orales más fascinantes que jamás haya escuchado. ¿Cómo lo hiciste? Yo pregunté. Simple, dijo. Obtuviste 1 de 2 calificaciones: SÍ = nos mantuvo al borde de nuestros asientos. NO = perdimos interés o nos aburrimos.

¿No deberíamos evaluar técnicas, formas o comportamientos útiles, entonces?

No quise sugerir que fue un error. Es útil dar retroalimentación sobre todos los tipos de criterios. Por ejemplo, en el tiro con arco, uno puede desear acertar con la postura, la técnica con el arco y la precisión. La postura importa. Por otro lado, el valor final del rendimiento seguramente se relaciona con su precisión. En la práctica, eso significa que podemos calificar de manera justificada un proceso o enfoque, pero no debemos sobrevalorarlo para que parezca que los resultados realmente no importan demasiado.

¿Qué debe hacer, entonces, cuando usa diferentes tipos de criterios, para indicarle al alumno qué atender y por qué?

Debe sopesar los criterios de forma válida y no arbitraria. A menudo, por ejemplo, sopesamos los criterios variados por igual que estamos usando (por ejemplo, persuasión, organización, desarrollo de ideas, mecánica): 25% cada uno. ¿Por qué? Hábito o pereza. La validez exige que nos preguntemos: dado el propósito y la audiencia, ¿cómo deben ponderarse los criterios? Un documento bien escrito con poco que sea interesante o esclarecedor no debería obtener calificaciones realmente altas; sin embargo, utilizando muchas rúbricas de escritura actuales, el documento lo haría porque los criterios se ponderan por igual y el impacto generalmente no se califica.

Más allá de este punto básico sobre la asignación de ponderaciones válidas a los criterios variados, la ponderación puede variar con el tiempo, para indicar que sus expectativas como maestro cambian adecuadamente una vez que los niños entienden que escribir, hablar o resolver problemas tiene que ver con efectos intencionales. Por ejemplo, la precisión en el tiro con arco puede valer apropiadamente solo el 25% al anotar a un novato, pero el 100% al anotar el rendimiento de tiro con arco en la competencia.

Dado lo complejo que es esto, ¿por qué no decir que la diferencia entre los niveles de rendimiento es que si un 6 es completo o claro o preciso, etc., entonces un 5 es menos completo, menos claro o menos preciso que un 6? La mayoría de las rúbricas parecen hacer eso: se basan en una gran cantidad de lenguaje comparativo (y evaluativo).

Por desgracia, tienes razón. Esta es una evasión, totalmente inútil para los alumnos. En última instancia, es perezoso usar un lenguaje comparativo; se deriva de una falla en proporcionar una descripción clara y precisa de las características únicas del desempeño en cada nivel. Y el alumno se queda con comentarios bastante débiles cuando las rúbricas dependen en gran medida de palabras como ‘menos de un 5’ o ‘un rendimiento bastante completo’, no muy diferente a recuperar un papel con una calificación de letra.

Idealmente, una rúbrica se enfoca en diferencias empíricas discernibles y útiles en el desempeño; de esa manera la evaluación es educativa, no solo de medición. Demasiadas rúbricas de este tipo terminan siendo pruebas con referencia a las normas disfrazadas, en otras palabras, donde los jueces no observan de cerca las características más sutiles pero vitales del desempeño. La mera fiabilidad no es suficiente: queremos un sistema que pueda mejorar el rendimiento a través de la retroalimentación.

Compare el siguiente extracto de las pautas de ACTFL con una rúbrica de estudios sociales debajo para ver el punto: la rúbrica de ACTFL es rica en lenguaje descriptivo que proporciona información sobre cada nivel y su singularidad. La rúbrica de estudios sociales nunca va mucho más allá del lenguaje comparativo en referencia a las dimensiones que se evaluarán (observe cómo la única diferencia entre cada punto de puntuación es un cambio en un adjetivo o un comparativo):

Principiante-alto: Capaz de satisfacer necesidades inmediatas utilizando expresiones aprendidas … puede hacer preguntas o hacer declaraciones con una precisión razonable solo cuando esto implica frases o frases cortas memorizadas. La mayoría de los enunciados son telegráficos, y los errores ocurren a menudo cuando se omiten o confunden las terminaciones de las palabras y los verbos … El habla se caracteriza por la enumeración, en lugar de por las oraciones. Existe algún concepto de las formas en tiempo presente de los verbos regulares, verbos particulares -ar , y algunos verbos irregulares comunes … Se utilizan artículos que indican un concepto de género, aunque los errores son constantes y numerosos …
Intermedio-Alto: Capaz de satisfacer la mayoría de las necesidades de supervivencia y demandas sociales limitadas. Desarrollar flexibilidad en la producción del lenguaje, aunque la fluidez sigue siendo desigual. Puede iniciar y mantener una conversación general sobre temas de hecho más allá de las necesidades básicas de supervivencia. Puede proporcionar información autobiográfica … Puede proporcionar instrucciones y narraciones esporádicas, aunque no consistentes, simples de eventos presentes, pasados y futuros, aunque el rango de vocabulario limitado y el control insuficiente de la gramática conducen a muchas dudas e inexactitudes … Tiene conocimiento básico de las diferencias entre ser y estar, aunque los errores son frecuentes … Puede controlar el tiempo presente de la mayoría de los verbos regulares e irregulares … Comprensible para los hablantes nativos acostumbrados a tratar con extranjeros, pero todavía tiene que repetir los enunciados con frecuencia para ser entendido por el público en general.

Compare esos descriptores ricos y su especificidad con esta vaguedad en la rúbrica de estudios sociales de un examen provincial canadiense:

PUNTUACIÓN	DESCRIPTORES DE PUNTUACIÓN
(5) EXCEPCIONAL	Los ejemplos o estudios de caso seleccionados son relevantes, precisos y desarrollados de manera integral, revelando una comprensión madura y perspicaz del contenido de los estudios sociales.
(4) COMPETENTE	Los ejemplos o estudios de caso seleccionados son relevantes, precisos y claramente desarrollados, revelando una sólida comprensión del contenido de los estudios sociales.
(3) SATISFACTORIO	Los ejemplos o estudios de caso seleccionados son relevantes y están adecuadamente desarrollados, pero pueden contener algunos errores de hecho. El desarrollo de los estudios de caso / ejemplos revela una comprensión adecuada del contenido de los estudios sociales.
(2) LIMITADO	Los ejemplos o casos seleccionados, aunque relevantes, se desarrollan de manera vaga o incompleta, y / o contienen imprecisiones. Se revela una comprensión restringida de los estudios sociales.
(1) POBRE	Los ejemplos son relevantes, pero se ha hecho un intento mínimo para desarrollarlos, y / o los ejemplos contienen errores importantes que revelan una falta de comprensión del contenido.

¿Cuál es la diferencia entre comprensión perspicaz, sólida y adecuada? No tenemos idea de la rúbrica (que se remonta a la publicación anterior: la única forma de averiguarlo es mirar los documentos de muestra que anclan las rúbricas).

Aún peor, sin embargo, es cuando las rúbricas convierten las diferencias cualitativas en diferencias cuantitativas arbitrarias.

¿Qué quieres decir?

Un documento ‘menos claro’ es obviamente menos deseable que un documento ‘claro’ (aunque eso no nos dice mucho sobre cómo se ve la claridad o su ausencia), pero casi nunca es válido decir que un buen papel tiene más hechos o más notas al pie o más argumentos que un artículo peor. Un artículo nunca es peor porque tiene menos notas al pie; es peor porque las fuentes citadas son de alguna manera menos apropiadas o esclarecedoras. Un artículo no es bueno porque es largo sino porque tiene algo que decir. Hay una mala tentación de construir descriptores basados en cantidades fáciles de contar en lugar de cualidades válidas.

Por lo tanto, la rúbrica siempre debe describir ‘mejor’ y ‘peor’ en términos cualitativos tangibles en cada descriptor: ¿qué hace específicamente este argumento o prueba mejor que otro? Por lo tanto, cuando utilice un lenguaje comparativo para diferenciar la calidad, asegúrese de que al menos lo que se compara sea la calidad relativa, no la cantidad arbitraria relativa.

Open this in UX Builder to add and edit content