BLOG
„Při zajišťování přijímacích testů v online prostředí je pro nás důležité, aby úroveň obtížnosti zůstala stejná jako u papírových variant. Podle některých studií může rozhraní (papír vs. online) mít na obtížnost testů vliv – například na papíře mohou lidé číst rychleji než na obrazovce. Chtěli jsme zjistit, jak na tom jsou konkrétně naše testy administrované v rámci Národních....</p></div></div>Při zajišťování přijímacích testů v online prostředí je pro nás důležité, aby úroveň obtížnosti zůstala stejná jako u papírových variant. Podle některých studií může rozhraní (papír vs. online) mít na obtížnost testů vliv – například na papíře mohou lidé číst rychleji než na obrazovce. Chtěli jsme zjistit, jak na tom jsou konkrétně naše testy administrované v rámci Národních srovnávacích zkoušek. Ve školním roce 2019/2020 jsme se proto rozhodli porovnat obtížnost testů na papíře a v online rozhraní. Data jsme získali díky tomu, že několik testů bylo pořádáno souběžně na papíře a online. Jednalo se o předměty Obecné studijní předpoklady (OSP), Základy společenských věd (ZSV), Angličtina (ANG) a Biologie (BIO).
Analýza odlišného fungování úloh
Postup spočívá v porovnání obtížnosti jednotlivých úloh na papíře oproti online rozhraní. Srovnání celkových skóre v testu na papíře oproti online prostředí nestačí, jelikož skupiny uchazečů skládajících test na papíře nemusí mít stejnou úroveň dovedností jako skupiny skládající test online (vliv může mít např. socioekonomické zázemí a dostupnost počítače nebo vzdálenost bydliště od testovacího centra). Jedná se o pouhé hypotézy, nicméně nelze automaticky předpokládat, že obě skupiny mají stejné dovednosti. Proto jsme provedli analýzu odlišného fungování jednotlivých úloh (differential item functioning, zkráceně DIF). Odlišně fungující úloha je taková úloha, kterou určitá skupina řeší odlišně oproti jiné skupině, i když jejich celková úroveň testované dovednosti je stejná. Například kdybychom měli v testu text o fotbale, je možné, že pro chlapce bude úloha snazší než pro dívky. Takovým úlohám se snažíme vyhýbat.
5 % úloh vykazovalo výraznější odlišné fungování
Přibližně čtvrtina úloh v testu vykazovala odlišné fungování (DIF) na papíře oproti online rozhraní, rozdíly ale byly většinou mírné. Výraznější DIF vykazovalo jen okolo 5 % úloh.
Dlouhé texty jsou obtížnější v online prostředí
U testů OSP jsme vypozorovali vyšší obtížnost úloh s dlouhými texty pro online rozhraní než pro papírovou podobu. To je v souladu s výsledky studií, které se zabývají rychlostí čtení v různých rozhraních.
Krátké texty a matematické úlohy jsou obtížnější na papíře
Naopak kratší texty a kratší matematické úlohy vycházely obtížnější v papírové podobě. U zbylých předmětů (ZSV, BIO, AJ) nebylo možné vysledovat jednoznačnou příčinu rozdílů.
Rozdíly se navzájem kompenzují
Zajímavým a klíčovým jevem však bylo, že mezi úlohami vykazujícími DIF byla přibližně polovina obtížnější na papíře, ale polovina byla naopak obtížnější v online rozhraní. Celkově se tedy rozdíly kompenzovaly.
Jak to vidí uchazeči?
Za akademický rok 2020/2021 jsme nasbírali celkem 17699 vyplněných dotazníků od uchazečů.
Tabulky ukazují, kolikrát byla daná možnost zvolena a její podíl na všech dotaznících. Součet dává dohromady kolem 95 %, protože ne všichni uchazeči na danou otázku odpověděli.
Bylo pro vás obtížné zajistit odpovídající technické vybavení pro řešení online zkoušky?
Bylo pro vás obtížné zajistit odpovídající klidné a tiché prostředí, ve kterém budete řešit online zkoušku?
Pokud by některá vámi preferovaná fakulta uznávala pouze online variantu zkoušky a tato informace by byla uvedena ještě před termínem pro podání přihlášky, jakým způsobem by byl ovlivněn váš záměr přihlásit se na tuto fakultu?
Z výsledku dotazníků jsme zjistili, že nadpoloviční většina uchazečů (56,3 %) neměla žádný problém se zajištěním techniky. Nejobtížněji se uchazečům sháněla webkamera. Co se týče vhodného prostředí pro konání zkoušky, pro třetinu uchazečů nebylo obtížné zajistit klidné a tiché prostředí. Většina uchazečů (63,2 %) však nějaké problémy zaznamenala. Ve výsledku tedy bylo pro více uchazečů obtížnější zajistit vhodné prostředí než techniku. Z dalších otázek dotazníku vyplývá, že drtivá většina uchazečů (85,3 %) používá počítač prakticky denně, avšak 56,2 % mělo určité obavy ohledně technických problémů při zkoušce. Zároveň jsme ale zjistili, že pro většinu uchazečů (77,5 %) by forma zkoušky nehrála roli při výběru fakulty.
Jak předcházíme rozdílům mezi rozhraními
Pokud by probíhaly testy paralelně na papíře a online a uchazeči by si mohli sami dobrovolně zvolit formu skládání testu (tak jako tomu bylo v roce 2020), pak bychom drobné rozdíly mezi obtížností skládání testu v papírovém a online prostředí nevnímali jako znevýhodňující, protože by si každý mohl sám vybrat formu, která mu nejlépe vyhovuje. Nicméně, přesto se snažíme tyto dvě formy co nejvíce přiblížit. Zde je několik příkladů, jak toho dosáhnout.
Funkce označování úloh
U papírových testů si mohou uchazeči označovat úlohy, ke kterým se chtějí vrátit. Proto jsme funkci označování implementovali i do online rozhraní. Uchazeči v online rozhraní tak přehledně vidí, které úlohy již zodpověděli, které ne a ke kterým se plánují vrátit.
Funkce podtrhávání
Naši programátoři pracují i na funkcionalitě „podtrhávání“, která umožní vyznačovat si na obrazovce části textu stejným způsobem, jakým si uchazeč může podtrhovat text na papíře. To by mělo usnadnit čtení delších textů i na obrazovce.
Automatický přehrávač
Součástí testů z jazyků jsou poslechové úlohy. U papírového testu je poslech puštěn administrátorem v učebně a přehrán bez zastavení právě dvakrát za sebou. Proto jsme i u online testů implementovali přehrávač, který zabraňuje poslechovou nahrávku po spuštění pozastavit, automaticky ji přehraje dvakrát za sebou a pak ji už neumožní znovu spustit.
Z dat z roku 2020 vyplývá, že nejsou výraznější rozdíly v obtížnosti našich testů řešených v online rozhraní a na papíře. Menší rozdíly v obtížnosti jednotlivých úloh se v rámci různých rozhraní navzájem kompenzují. I přesto je dobré snažit se online a papírové rozhraní navzájem přiblížit a zajistit tak, aby online zkoušky představovaly ekvivalentní způsob přijímacího řízení. Obzvláště pak, když se fakulta rozhodne organizovat přijímací testy hybridní formou.
