BLOG
Pojďme rovnou k věci. Scio je při online zkouškách na vysoké školy ve výjimečném postavení. Jako jedni z mála v Evropě totiž testování:
Obvykle se totiž firmy zabývají jen jednou částí. Protože máme ve svých rukou oba dílky, máme pod 100% kontrolou i pravidla a rozhodujeme, do jaké role obsadíme umělou inteligenci. A jí přisouzená role je taková, že má upozorňovat na potenciálně problémové momenty v průběhu zkoušky, ale nikdy nemá činit rozhodnutí, zda takový moment byl či nebyl skutečně porušením pravidel. Umělé inteligenci uniká kontext lidského jednání. Identifikuje podezřelou situaci, avšak není vždy schopna přesně určit, proč se daná situace odehrála a neumí rozhodovat v okrajových situacích. Z toho důvodu dohlížejí nad kontrolou zkušení lidští hodnotitelé, kteří mají v konečném rozhodování o zkoušce poslední slovo.
Uchazeč se před zahájením testu legitimuje s pomocí webkamery – ukáže průkaz totožnosti a pak sebe. Fotografii průkazu stejně jako u prezenční zkoušky kontroluje hodnotitel. Díky tomu víme, že zkoušku skládá správná osoba. Poté uchazeč webkamerou natočí okolí svého pracovního místa, tzn. stůl a pokoj, ve kterém zkoušku skládá. „Tím doloží, že nemá nikde připravené nepovolené pomůcky a nablízku není kamarád, který by mu napovídal,“ vysvětluje Jáchym Vintr, vedoucí vývoje testovací aplikace ScioLink.
Než zkouška začne, ScioLink zajistí sdílení pracovní plochy, dění na monitoru a připojení externích obrazovek, kterým ověřuje, co se děje na monitoru nebo jestli vedle není připojena externí obrazovka s nápovědou. A pak se rozběhne čas a uchazeč ve ScioLinku odpovídá na otázky. „Webkamera i mikrofon běží po celou dobu testování. Po skončení testu se ve ScioLinku uloží jednak odpovědi, jednak veškeré obrazové a zvukové záznamy. A trackování tím končí,“ popisuje Vintr.
Detailně jsme online proctoring popsali v samostatném článku >>
Asistuje. Pomáhá. Prakticky to znamená, že AI označuje podezřelé momenty z průběhu zkoušky. Pokud se například uchazeč při testu vzdálí z pracovního místa, vytáhne si mobil, na kterém hledá nápovědu, nebo se proviní proti pravidlům jiným způsobem, označí umělá inteligence danou pasáž záznamu „vlaječkou“.
„Záměrně jsme umělou inteligenci „vycvičili“ tak, aby byla citlivější. Označí sebemenší náznak toho, že se stalo něco podezřelého. Třeba i samomluvu, když si uchazeč sám pro sebe říká, co počítá,“ dává příklad Vintr. Máme citlivost nastavenou tímto způsobem, protože po umělé inteligenci všechno kontroluje člověk.
Řekněme, že zkouška trvá i s úvodní přípravou hodinu a zúčastní se jí 500 uchazečů. Tím vznikne 500 hodin záznamu z webkamery a mikrofonu a zároveň i 500 hodin záznamu dění na monitorech jednotlivých uchazečů. Ale třeba každoroční realita našich Národních srovnávacích zkoušek představuje ještě mnohonásobně větší objem dat a je prakticky nemožné, aby kontrola stála pouze na lidech, kteří by od začátku do konce procházeli jednotlivé záznamy.
Umělá inteligence označí podezřelá místa a teprve poté se do kontroly pustí lidští hodnotitelé. „Máme na to tým více než 100 lidí, mezi které se jednotlivé záznamy rozdělují. Sledují je převážně ve zrychleném režimu, aby se mohli naplno soustředit na označená podezřelá místa. Hodnotitele školíme, dáváme jim feedback a algoritmus jim záznamy ke kontrole rozděluje podle klíče, který zajistí nahodilost a zároveň i předejde tomu, aby stejný hodnotitel prověřoval záznamy stejného uchazeče,“ podotýká Vintr.
Na rozdíl od velké části zahraničních řešení vůbec nepouštíme AI k úvodní identifikační části zkoušky. „Uchazeči často mají občanku s fotkou ze svých patnácti let. Teď jim táhne na dvacet a umělá inteligence až příliš často vidí problém tam, kde není,“ prozrazuje Vintr. Platnost dokladu, shodu fotografie s uchazečem a také záznam okolí pracovního místa vždy ve ScioLinku kontroluje člověk.
Lidské hodnocení probíhá v několika úrovních. Pokud hodnotitel zjistí, že umělá inteligence použila vlaječku špatně, jedním kliknutím ji odstraní. Pokud dá člověk AI za pravdu a usoudí, že opravdu došlo k porušení pravidel, přejde záznam ke komisaři, který verdikt hodnotitele buď potvrdí, nebo ho opraví (u online Národních srovnávacích zkoušek existuje dokonce i třetí instance, tzv. odvolací komisař).
Po zkontrolování všech záznamů odešleme výsledky fakultě, ta stanoví čáru – přijat/nepřijat. A u uchazečů, u kterých jsme odhalili provinění proti pravidlům, je poznámka s popisem, kde pochybili. Konečný verdikt je však opět na zástupcích fakulty.
Během posledních tří let se přes ScioLink uskutečnilo přes 60 tisíc online zkoušek na vysoké školy. „Umožnili jsme spoustě studentů v důležitém momentu jejich života skládat zkoušku z domova. Vyhnuli se tím komplikovanému cestování a zbytečnému stresu. ScioLink také usnadnil situaci spoustě fakult, proto jsem přesvědčený, že je online proctoring správný směr,“ shrnuje Vintr a dodává: „Transparentní pravidla tomu jenom pomohou.”
Pokud vás zajímá, jak online testy hodnotí studenti, máme samostatný článek >>
Aktuální debatu o regulaci umělé inteligence ve vzdělávání vítáme a bedlivě sledujeme. Souzníme s názory, že:
Nesouhlasíme však s tím, aby bylo využívání AI ve školství univerzálně vnímané jako škodlivé. Pokud umělá inteligence sama nerozhoduje, ale slouží jen jako pomocník, přináší do školství spoustu pozitiv pro studenty i vysoké školy.
