Pogreške u državnom natjecanju srednjoškolaca

Štovani organizatori Državnog natjecanja iz informatike - INFOKUP 2011,

Pišem vam ovo pismo kako bi ukazao na ozbiljne pogreške i propuste u natjecanju srednjoškolaca u kategoriji ‘Algoritmi’, a sa ciljem da vas potaknem da sljedeće godine toj kategoriji natjecanja pristupite ozbiljnije te natjecanje organizirate i provedete kvalitetnije.

Naime, čak dva zadatka koja su se pojavila na državnom natjecanju su pogrešna. Točnije, potpuno su pogrešna njihova službena rješenja te test podaci na temelju kojih je vršeno bodovanje. Radi se o zadacima Jurtek (prva podskupina) te Amtel (druga podskupina). Ovdje neću ulaziti u tehničke detalje te zainteresirane referiram na same sastavljače zadataka. Samo želim naglasiti da se ne radi se o sitnim ‘bugovima’ u implementaciji ili o previdima prilikom izrade test podataka -- radi se o tome da su algoritmi službenih rješenja suštinski neispravni.

O ovom problemu sam prije par tjedana kontaktirao sastavljače zadataka. Oni su prepoznali problem te pokušali popraviti stvari traženjem ispravnih rješenja ovih zadatka i ponovnom evaluacijom, ali ispravna rješenja ta dva zadatka nisu uspjeli naći. Ne radi se o tome da sastavljači zadataka nisu dovoljno sposobni da ih riješe, nego o tome da su navedeni zadaci vrlo teški, te čak (meni osobno) nije jasno da li dovoljno efikasno i ispravno rješenje za ta dva zadatka uopće postoji.

U daljnoj diskusiji, u koju se uključila i predsjednica Državnog povjerenstva, rečeno mi je da će, usprkos grešci, bodovi, rezultati i poredak ostati isti jer je sada jednostavno ‘prekasno’ da se bilo što mijenja, te mi kao dodatnu ‘utjehu’ ponudili da se poredak poništavanjem zadataka ionako nebi nešto bitno promjenilo. Ja sam tu odluku prihvatio iako mi je žao što nisu barem obavjestili natjecatelje o pogrešci i eventualno se ispričali, jer sam mišljenja da su greškom oštećeni svi natjecatelji bez obzira na njihov krajnji plasman.

Mogli bi reći ‘greške se događaju’ i tako krivnju ostaviti na samim sastavljačima zadataka, ali mislim da to ne bi bilo pošteno. Naime, tijekom diskusije, sastavljači zadataka i predsjednica Državnog povjerenstva su u svoju ‘obranu’ iznjeli niz činjenica o organizaciji natjecanja u toj kategoriji te načinu angažmana sastavljača zadataka na temelju kojih se nameće zaključak da i nije iznanađujuće da se ovakva greška dogodila te da je moglo biti i puno gore.

Njihove konkretne argumente ne želim ovom prilikom iznositi i tako ih vaditi iz konteksta, prvenstveno zato što želim da ovo pismo shvatite kao konstruktivnu kritiku, a ne kao upiranje prstom i prozivanje zbog propusta.

Umjesto toga, dopustite kratku ‘lekciju’ o sastavljanu zadataka i provođenju natjecanja za srednjoškolce u kategoriji ‘Algoritmi’. Ovo nije ‘sveto pismo’, nego samo moje skromno mišljenje, ali molim da ga svejedno razmotrite. Ako se neke od stvari koje dolje navodim čine očite, molim da razmislite da li trenutna organizacija stvarno uzima te ‘očite’ činjenice u obzir.
U natjecanju u kategoriji ‘Algoritmi’, zadaci, rješenja, test podaci te evaluacija koja rezultira konačnim rezultatima je najvažniji dio organizacije natjecanja. Ostali popratni sadržaji su lijepi i nužni za cjelokupno iskustvo učenika i mentora, ali su samo popratni te, nemogu popraviti gorak okus ako primarni dio nije dobro napravljen. Samo natjecanje se može kvalitetno provesti čak i bez hrpe računala, smještaja u hotelu, ceremonija otvaranja i zatvaranja, nagrada te svega ostaloga. Na primjer, putem interneta kao što to rade neke druge, puno bogatije, države. Dakle, potrebno je ovom aspektu natjecanja, organizacijski pokloniti više pažnje.

Naši srednjoškolci - natjecatelji u kategoriji ‘Algoritmi’ su vrlo dobri te su svake godine sve bolji (o tome nešto kasnije, molim da za sada prihvatite kao aksiom), te vjerojatno fenomen da ‘učenik prestigne učitelja’ u niti jednom drugom školskom predmetu nije tako čest i očit kao u informatici. Kako bi se za takve učenike organiziralo dovoljno interesantno i izazovno natjecanje te odabrali najbolji, sastavljači zadataka moraju biti uvijek barem ‘korak ispred’ natjecatelja. Vjerovali ili ne, u ovom konkretnom slučaju, sveučilišne diplome i dugogodišnje radno ili znanstveno iskustvo nisu garancija za dovoljnu razinu stručnosti te je jako teško pronaći dovoljno motivirane i sposobne ljude izvan kruga bivših natjecatelja koji se ‘algoritamskim’ programiranjem i dalje aktivno bave. To jednako vrijedi kod nas, kao i drugdje u svijetu.

Greške se događaju, kako natjecateljima tako i sastavljačima zadataka. Za razliku od drugih školskih natjecanja i drugih kategorija, priroda kategorije ‘Algoritmi’ je takva da nema (ili ima vrlo malo) bodova za ‘dobre pokušaje’, nepotpuna rješenja ili za ‘umjetnički dojam’. Evaluator ne prašta, te naoko sitna pogreška natjecatelju može biti razlika između vrlo dobrog i vrlo lošeg rezultata. Sa druge strane, sastavljačima zadataka još manja pogreška može biti razlika imeđu ‘dobro odrađenog posla’ i katastrofalno lošeg natjecanja upitne regularnosti. Stoga sastavljači zadataka moraju svaki zadatak nezavisno riješiti na nekoliko različitih načina te svaki test podatak provjeriti nekoliko puta. Kako bi se to sve skupa napravilo, potrebno je angažirati dovoljan broj sposobnih ljudi i dati im dovoljno vremena.

Iako se danas ekipa za međunarodna natjecanja bira drugačije, državno natjecanje bi, kao centralno i najveće natjecanje u kategoriji ‘Algoritmi’, trebalo biti primjer ostalim natjecanjima i iskakati po besprijekornoj provedbi natjecanja te po kvaliteti i originalnosti zadataka. Čak i da se ove dvije ozbiljne greške nisu dogodile, ovogodišnje državno natjecanje niti približno ne zadovoljava ovaj kriterij.
Na kraju, još samo par rečenica kako bi objasnio što je moja primarna motivacija, bez koje mi se ne bi dalo pisati ovako nešto.

Naime, do ovog svega skupa mi je primarno stalo zato što su naši natjecatelji iz ‘algoritamskog’ programiranja vrlo dobri i uspješni. Ne dobri u šablonskom smislu ‘svi ste vi najbolji i na mladima svijet ostaje’ nego izmjerljivo dobri, te njihovi rezultati na raznim međunarodnim natjecanjima debelo odskaču od prosjeka. Nisu najbolji u Europi, niti su najbolji na svijetu, kako im se ponekad senzacionalistički tepa, ali su nesrazmjerno dobri u odnosu na veličinu naše zemlje, ulaganja u obrazovanje i znanost te odnos prema znanju općenito. Nisu uvijek bili tako dobri, ali sada jesu, i,  što je jednako bitno, sve su bolji i bolji. Kako i zašto je do toga došlo trenutno ne bi želio diskutirati, ali ću ustvrditi da su priprema zadataka i provedba državnog i ostalih službenih natjecanja u tome morala imati bitnu ulogu.

Čini se da se ovogodišnjem državnom natjecanju srednjoškolaca u kategoriji ‘Algoritmi’ pristupilo sa ciljem da se samo ‘odradi posao’. Ako se takav pristup ne promijeni, bojim se da će se uzlazna putanja uspjeha naših natjecatelja lagano pretvoriti u silaznu te se će ti uspjesi polako, ali sigurno, nestati.

Srdačan pozdrav,
Ante Đerek