BLOG
Na začátek otázka z kategorie „Co by, kdyby” – měli bychom podle vás online přijímačky bez zkušenosti s covidem?
Asi ne a určitě by pro studenty nebylo tak přirozené, že významnou zkoušku, jako je přijímací test na vysokou školu, můžou skládat online. Ve Scio jsme už dlouho z různých důvodů přemýšleli nad digitalizací Národních srovnávacích zkoušek (NSZ) – přineslo by nám to úspory, uchazečům by se zvýšil komfort a digitální test zároveň umožňuje i mnohem širší spektrum úloh. Ale v úvahách jsme rozhodně nebyli tak daleko. Proctoring, jak ho dnes známe, neexistoval, a nebyla po něm ani poptávka. Univerzity jsou totiž z povahy věci spíše konzervativní instituce a na témata jako ochrana a bezpečnost dat nebo rovný přístup ke vzdělání jsou velmi citlivé.
Zjistěte, jak ScioLink zajišťuje bezpečnost osobních údajů. >>
Covid tedy otevřel cestu k digitalizaci?
Najednou musely školy, firmy i úřady po celém světě vyřešit novou situaci. A velmi rychle. Když to vztáhnu na Česko, tak jsme v prosinci 2019 zaregistrovali, že se v Číně šíří nějaký virus. Na přelomu ledna a února se objevily první případy v Evropě a v březnu jsme ve slabších chvílích přemýšleli, jestli nezanikne civilizace tak, jak ji známe. Byl to divoký vývoj, během kterého jsme ve Scio chystali další termíny NSZ jako obvykle.
Asi to nebyla úplně standardní příprava.
To rozhodně ne. Některé termíny zkoušek už proběhly v běžném režimu před covidovou pandemií a blížil se březnový termín, který se měl uskutečnit také ještě standardně naživo. Jenže opatření se začala přijímat velmi živelně. Neustále jsme komunikovali s hygieniky ze všech krajských měst a zjišťovali, jestli se vůbec může sejít několik stovek lidí na různých místech po republice kvůli přijímačkám.
Martin Drnek vystudoval pedagogiku a sociologii na Masarykově univerzitě v Brně. Ve Scio pracuje od roku 2010. Dnes je součástí managementu firmy a od prosince 2021 vede tým, který rozvíjí online testovací platformu ScioLink. |  |
Povolili vám to?
Za přísných podmínek ano. Březnový termín proběhl klasicky v učebnách, ale vzhledem k vývoji bylo pravděpodobné, že další termíny čekají změny.
Co tedy Scio dělalo?
Uprostřed nejisté sezóny, během které se změnila veškerá pravidla, jsme měli závazky vůči uchazečům i fakultám. Měli jsme spoustu let zkušeností s organizováním zkoušek, ale přemýšleli jsme, jak je v té nové situaci překlopit do online světa, abychom je zachovali v rovnocenné variantě. Propracovali jsme se až k zahraničním firmám Janison a Proctortrack a vymysleli kombinaci jejich řešení. Ale mělo to limity.
V čem konkrétně byly nedostatky?
Na začátku března 2020 jsme netušili, že takové řešení vůbec existuje, a v dubnu jsme už museli mít všechno nastavené – připravit testy, upravit interní procesy, abychom dokázali vše vyhodnotit, proškolit tým, vysvětlit uchazečům, jak NSZ proběhnou, a být neustále připravení na změnu. Zvládli jsme to, ale uvědomovali jsme si, že závisíme na řešení od třetích stran. Bavili jsme se v týmu o garanci kvality a přemýšleli nad slabinou modelu, kdy technologické řešení dodává někdo z druhé strany zeměkoule.
Jak studenti vnímají online a offline testy? Zeptali jsme se jich. >>
Takže jste se rozhodli postavit vlastní technické řešení?
NSZ v roce 2020 jsme zvládli, ale covid nezmizel. Tušili jsme, že se musíme připravit i na další období, ve kterém aspoň část zkoušek může být stále online. Dnes máme vlastní řešení hotové, takže se to zdá jako jasná volba, ale tehdy to pro nás bylo trochu sci-fi – vyvinout si vlastní software. Ale nezalekli jsme se, podařilo se a hodně nás to jako firmu posunulo.
Měli jste po zkušenosti se zahraničními dodavateli jasné zadání, co od vlastní platformy požadujete?
Hodně nám ta spolupráce napověděla. Ujasnili jsme si, co chceme, co ne, jak má aplikace fungovat z pohledu hodnotitelů nebo jak ji mají uchazeči ovládat. Bylo nám ale jasné, že potřebujeme partnery na zapojení umělé inteligence, protože to je oblast, která vyžaduje unikátní know-how. Oslovili jsme několik firem a nakonec se domluvili na spolupráci s českým startupem Born Digital, který využíval AI na detekci zvukových jevů.
Obrazem, který pro vyhodnocení zkoušky potřebujete, se tedy původně nezabývali?
Vyvíjeli chatboty a voiceboty. Velmi dobře ovládali technologii umělé inteligence, ale neměli zkušenosti s videem. Naše poptávka jim přišla zajímavá, protože se díky ní spoustu věcí mohli naučit. Spolupracujeme už tři roky a je to ukázkové partnerství. Scio zodpovídá za část softwaru, ve které je test a administrace zkoušek, Born Digital má na starosti proctoringovou aplikaci využívající strojové učení.
Jak se dnešní ScioLink liší od první verze, kterou jste s Born Digital připravili?
Máme za sebou druhou sezonu. Od začátku jsme měli velká očekávání, ale přiznávám, že jsem cítil velké napětí, jestli bude ScioLink fungovat správně. Všechno jsme testovali, ale přece jen, když nastane hodina H a vy máte zajistit férovou zkoušku pro několik tisícovek uchazečů, jsou to nervy – zvládne systém počet účastníků, bude umělá inteligence správně detekovat to, co má? Podařilo se to už napoprvé, ale ScioLink se hodně posunul v několika aspektech. Zejména v oblasti detekce nežádoucího chování uchazečů, kdy jsme ladili citlivost umělé inteligence. Pak v rychlosti zpracování výsledků a uživatelském rozhraní pro studenty – tady se ScioLink nejvíc promění v nadcházejícím roce, kdy bude ovládání více intuitivní i pro lidi s handicapem.
ScioLink si při testu poradí i s výpadky internetu. Udělejte si jasno, jak funguje. >>
Používá někdo v Česku online proctoring v takovém rozsahu jako Scio?
S proctoringem pracuje třeba Česká národní banka při testech nezbytných k různým bankovním certifikacím. Občas vzdálený dohled pomáhá při univerzitních zkouškách, které mají víc termínů nebo se opakují. Přijímací zkoušky ale patří mezi tzv. high-stake zkoušky, a to je jiné kafe. Nemůžete je restartovat, protože se deseti uchazečům nenačetl systém nebo došlo k nějakému výpadku, už by to nebylo férové pro ostatní.
A co ve světě, jak si stojí vaše řešení v globální konkurenci?
Myslím si, že máme unikátní postavení i celosvětově. Právě díky vlastnímu technickému řešení a zkušenosti. Během covidu se o nějakou formu vzdáleného dohledu na online přijímací zkoušku pokoušela spousta univerzit. Ale zjistily, že je to náročné, nemají zkušenosti a hlavně – není to gró jejich činnosti. Testování je pro ně jen nutnost, předpoklad, aby mohly vybrané studenty vzdělávat. Bohužel pak některé z nich při využívání proctoringu udělaly dost chyb, které poškodily reputaci celého proctoringu jako nástroje.
Otestovali jsme na dálku prostorovou představivost budoucích architektů. >>
Co se přihodilo?
V Nizozemsku nebo Velké Británii dokonce vznikly petice, ve kterých se uchazeči domáhali zrušení online zkoušek. Nástroje, které univerzity využívaly, například příliš zasahovaly do soukromí uchazečů, vyžadovaly citlivé údaje, stížnosti se týkaly i netransparentního hodnocení zkoušek. Podle mě se jednalo o legitimní námitky, které jdou na vrub špatně zvolenému nástroji nebo procesům. Online proctoring potřebuje definovat standardy.
V posledních měsících se hodně diskutuje o regulaci umělé inteligence a mantinelech jejího používání nejen ve vzdělávání. Jaký je na to váš názor?
Diskuzi vítám. Legislativu, tzv. AI Act, připravuje EU už více než tři roky a za Scio jsme v kontaktu s některými českými zástupci v Evropském parlamentu. Současná vlna zájmu je spojená se zpřístupněním velkých jazykových modelů od OpenAI a Googlu. Odborníci i laici si po právu kladou otázky, jestli AI regulovat, čím a případně v jakém rozsahu. I s ohledem na zkušenosti s online proctoringem je regulace správný směr – technologie je totiž v principu velmi užitečná, ale dá se zneužívat nebo jen špatně využívat. Jasně stanovené hranice pomohou všem. Kam chodím, tam se ale ohrazuji vůči tomu, aby byla umělá inteligence označovaná jako ultimátní zlo, a proto by její používání ve vzdělávání mělo být tabu.
S tím se setkáváte často?
Ano. Považuji to za asi největší problém té chystané legislativy. Snad kvůli přehnané opatrnosti vůči novinkám nebo špatným zkušenostem s určitými nástroji sílí názor, aby úřady vymezily odvětví, ve kterých je AI riziková. Dává to smysl, pokud by se umělá inteligence měla používat k nějakému typu hodnocení spolehlivosti občanů (tzv. social scoring). Ale považovat AI za riziko v souvislosti se vzděláváním mi přijde hodně přehnané. Bohužel k tomu hodně příspívají negativní zkušenosti z nesprávného používání online proctoringu.
Podvádět při přijímacích zkouškách chtějí pouze jednotky studentů. >>
Jak byste tedy obavy lidí z příliš silné role umělé inteligence vyvrátil?
Definujme standardy, které zajistí, že role umělé inteligence je jen poradní a nápomocná. Vrátím se k online proctoringu, AI bude šetřit čas a upozorňovat na možná provinění proti pravidlům. Dám vám dva příklady. Nebude to umělá inteligence, kdo rozhodne o vyloučení uchazeče, protože používal zakázané pomůcky nebo mu u počítače radil starší sourozenec. Umělá inteligence jen označí podezřelou pasáž záznamu a verdikt udělá člověk, klidně dva nezávislí lidé.
A druhý příklad?
Proč potřebujete biometrické údaje uchazečů? Technologie umožňuje identifikaci s pomocí biometrického pasu, ale pro ujištění, že zkoušku skládá správný člověk, to vůbec není potřeba. Dejme uchazeči volbu, jaké osobní údaje na kameru ukáže – jméno, příjmení a datum narození se dozvíte, ale číslo dokladu vám neukáže. Pojďme vytvořit obecně platná pravidla. Ve Scio jsme si je stanovili už na začátku.
Máte data, ze kterých by vyplývalo, jaká forma zkoušek vyhovuje studentům nejvíce?
Během covidu nebyla alternativa a online testy museli absolvovat všichni. Pak jsme v NSZ přešli do období, kdy si studenti mohli vybrat – vycházelo to zhruba 40:60 ve prospěch klasické zkoušky naživo. Trend návratu od počítačů k offline světu lehce zesílil i letos na jaře. Jsou ale situace, kdy online varianta naprosto dominuje, například přijímací zkoušky pro zahraniční uchazeče. Důležité mi přijde, aby škola dala uchazečům možnost volby. Sami si vyhodnotí, co je pro ně v tak důležitý moment příjemnější varianta.
Jakou máte se ScioLinkem vizi?
Jsem technologický optimista. Online testování umožňuje nepřeberné množství příležitostí, velkou šanci vidím třeba v proměně testů z ověřování hard skills na ověřování dovedností. Reálně ale v kontextu dramatických změn poslední doby nemá moc smysl plánovat na víc než tři roky dopředu. Uvažujeme v menších krocích. Rádi bychom službu online proctoringu rozšířili na různé české a slovenské fakulty, které připravují vlastní přijímací zkoušky. Online řešení jim ušetří spoustu času i energie a uchazeči z daleka se nebudou muset trmácet x hodin přes půl republiky jen kvůli přijímačkám. Obecným cílem ScioLinku je ale zajištění bezpečných přijímacích zkoušek a stát se etalonem, jak se má online testování dělat.
