Kwaliteit

Als docent is het belangrijk om de waarde en kwaliteit van leermaterialen van een ander in te kunnen schatten. Om kwaliteit te waarborgen en zichtbaar te maken is in het boegbeeldproject een kwaliteitsmodel ontwikkeld (het LOOV kwaliteitsmodel). Dit model geeft docenten een handvat om zelf de kwaliteit van hun leermateriaal te optimaliseren alvorens het te delen. 

Het kwaliteitsmodel bestaat uit een aantal criteria met per criterium de eisen waaraan het moet voldoen. De eisen zijn in twee categorieën ingedeeld:

  • Must have: het materiaal moet aan de eis voldoen om het predicaat "goede kwaliteit" te krijgen
  • Nice to have: het is niet verplicht om aan deze eis te voldoen om het predicaat "goede kwaliteit" te krijgen, maar er zou wel naar gestreefd moeten worden

Opstellen model
De eerste operationele versie is opgesteld binnen het boegbeeldproject. Bij het opstellen van de eerste operationele versie van het model is de volgende procedure gevolgd:

  1. Een werkgroep heeft een eerste conceptversie opgesteld. Deze eerste versie startte vanuit een generiek minimaal kwaliteitsmodel.
  2. De eerste conceptversie is van feedback voorzien door de projectgroep. De werkgroep heeft de feedback verwerkt tot een tweede conceptversie
  3. De tweede conceptversie is binnen de vijf instellingen aan de achterban van docenten voorgelegd voor feedback
  4. De feedback is verwerkt tot een eerste operationele versie van het model (met versienummer 2.1)

Het kwaliteitsmodel heeft topics die het leermateriaal toetsen op:

  • Inhoud
  • Vorm
  • Metadata
  • Copyright

Op basis van ervaringen met de eerste operationele versie is in de eerste maanden van het project Samen een nieuwe versie van het model geformuleerd door de projectgroep. De wijzigingen zijn aangebracht na discussies in het kernteam, met de twee keurmeesters (zie op het tabblad organisatie wat een keurmeester is) en deels terugkoppeling met de achterban van docenten.

Wijzigingen betroffen onder meer:

  • Enkelvoudige formulering van eisen
  • Eis over aanwezigheid leerdoelen uitgebreid naar aanwezigheid leerdoelen/lesdoelen/leeruitkomsten
  • Aanvulling aan eis over open licentie: de gebruikte open licentie moet waar mogelijk zichtbaar zijn in het leermateriaal

Aan het einde van het project is, geïnitieerd door de keurmeesters, gewerkt aan een nieuwe versie van het kwaliteitsmodel.

De belangrijkste wijzigingen betroffen nu:

  • Het kwaliteitsmodel wordt alleen gebruikt voor materiaal dat dekkend is voor een les of een serie van lessen. Veel van de inhoudelijke eisen uit het model zijn niet van toepassing op andere soorten leermaterialen, maar het door de grote variëteit aan leermaterialen (zowel qua inhoud als qua vorm) bijna onmogelijk om in het model die nuances aan te geven zonder het model ingewikkeld te maken. Voor het andere materiaal moet een cultuur ontstaan dat gebruikers deze gaan beoordelen (via een sterrenbeoordeling of via reviews). 
  • Het specificeren van enkele begrippen
  • Toevoegen van de eis dat afbeeldingen naast een bronvermelding ook de afkomst moeten bevatten en de beschrijving of het gedeeld/hergebruikt mag worden.

Versie 4.0 is de laatst beschikbare versie waarmee de kwaliteit wordt getoetst.

Keurmerk
Binnen Wikiwijs bestaat er de mogelijkheid om zichtbaar te krijgen welke leermaterialen aan de must have eisen van het kwaliteitsmodel voldoen. Dit gebeurt door het plaatsen van een keurmerk bij dergelijk leermateriaal: het LOOV-keurmerk 

Gedurende dit project is een functietypering opgesteld voor degene die de leermaterialen kan keuren, een keurmeester. Een keurmeester kan op basis van het kwaliteitsmodel de kwaliteit van gedeeld leermateriaal toetsen en, indien het aan alle must have eisen voldoet, het keurmerk toekennen.

Wanneer leermateriaal niet aan alle eisen voldoet verwittigt de keurmeester de uploader van het desbetreffende instituut van het materiaal daarvan, met de reden waarom. Het is dan aan de auteur om te bepalen wat er met het leermateriaal gebeurt: aanpassen, ongewijzigd laten of verwijderen. 


Ervaringen

De eerste ervaringen leren dat toepassing van het model tot vragen leidt over belang van sommige criteria, de moeilijkheid om sommige criteria te kunnen beoordelen en de status van leermateriaal dat niet aan alle must have eisen kan voldoen, maar wel als erg bruikbaar wordt ervaren. Het kwaliteitsmodel wordt daarom regelmatig aangepast en verbeterd. Ook doordat het onderwijs zal veranderen is voorspelbaar dat het kwaliteitsmodel regelmatig zal moeten worden herzien: het is een dynamisch document.



Tijdens het project hebben we gemerkt dat niet iedere hbo docent alle expertise bezit om op alle fronten het leermaterialen te beoordelen. Zo is het vrij lastig om alle wet- en regelgeving te beheersen m.b.t. copyright. Een samenwerking met experts uit de bibliotheek/mediatheek is dan ook een logische keuze. Alle instellingen hebben dergelijke experts betrokken in het beoordelings- en uploadproces (zie voor meer details onder "proces").

Door hun rol hebben de keurmeesters goed inzicht gekregen in hoe kwaliteitscriteria in de praktijk uitwerken. Dat verklaart dat ze het voortouw namen bij herzieningen van het kwaliteitsmodel.

Omdat het kwaliteitsmodel nu alleen geldt voor leermateriaal dat een les of een serie lessen omvat kan ander leermateriaal geen keurmerk krijgen omdat toekennen van een keurmerk gekoppeld is aan het kwaliteitsmodel. De kwaliteit van die andere leermaterialen moet door gebruikers via reviews of toekennen van sterren zichtbaar worden gemaakt. Dit moet in de vakcommunity worden gestimuleerd; een aandachtspunt voor het vervolgproject.

Door inzicht te krijgen op welke criteria niet meteen goed wordt gescoord was het mogelijk docenten daar gericht op te scholen. Workshops zijn ontwikkeld die door instituut te gebruiken waren. 
Abonneren op: Posts (Atom)