📚 Moodle bank pytań – losowanie i sprawiedliwy test zgodny z celami

Jak zaprojektować strukturę kategorii i tagów w banku pytań Moodle, żeby dało się losować sensownie?

Najważniejsza zasada jest prosta: kategorie służą do budowania puli do losowania, a tagi do opisu pytań. Jeśli te role się mieszają, losowanie szybko staje się przypadkowe albo trudne do kontrolowania. Kategorię warto więc traktować jako techniczny pojemnik, z którego test ma pobrać pytania, natomiast tag jako metadane pomagające utrzymać porządek i filtrować zasób podczas pracy redakcyjnej.

Dobra struktura kategorii powinna odzwierciedlać to, co ma być losowane razem. W praktyce najlepiej sprawdza się podział według modułu, tematu albo celu sprawdzania, a niżej według typu zadania lub poziomu trudności tylko wtedy, gdy rzeczywiście ma to znaczenie przy doborze pytań. Przykładowo, jeśli w teście ma się pojawić jedno pytanie z każdego obszaru materiału, to każdy obszar powinien mieć własną kategorię. Jeżeli dodatkowo chcesz losować osobno pytania łatwe i trudniejsze, wtedy sens ma kolejny poziom podziału wewnątrz tych kategorii. Struktura ma wspierać logikę doboru, a nie być tylko katalogiem tematów.

Żeby losowanie było sensowne, kategorie muszą być porównywalne liczebnie i jakościowo. Jeśli jedna kategoria zawiera 5 pytań, a druga 80, to formalnie losowanie działa, ale praktycznie prowadzi do nadmiernego powtarzania w jednej części testu i dużej zmienności w drugiej. Podobnie problemem jest wrzucanie do jednej kategorii pytań o zupełnie różnym zakresie, formacie lub trudności, jeśli później mają być losowane jako równoważne. Kategoria powinna zawierać pytania, które da się uznać za rozsądnych zamienników.

Tagi warto projektować jako drugą warstwę opisu, nie jako substytut kategorii. Dobrze nadają się do oznaczania efektu uczenia się, poziomu trudności, umiejętności poznawczej, źródła pytania, wersji językowej albo statusu redakcyjnego. Dzięki temu można wyszukiwać i kontrolować bank pytań bez rozbijania go na dziesiątki drobnych kategorii. Jeśli każda cecha dostaje osobną kategorię, struktura staje się sztywna i nieczytelna, a losowanie trudniejsze do utrzymania.

W praktyce najlepiej działa model, w którym kategorie są nieliczne, stabilne i powiązane z blueprintem testu, a tagi są wielowymiarowe. Oznacza to, że przed tworzeniem banku warto najpierw ustalić, z jakich obszarów test ma losować pytania i w jakich proporcjach. Dopiero potem projektuje się kategorie odpowiadające tym pulom. Tagi dodaje się po to, by dało się sprawdzić, czy w każdej puli są pytania reprezentujące właściwe cele, poziomy trudności i zakres treści.

Trzeba też unikać dwóch częstych błędów. Pierwszy to zbyt głęboka hierarchia kategorii, w której pytania są rozproszone po wielu małych podkategoriach i żadna nie daje sensownej puli do losowania. Drugi to wrzucanie wszystkich pytań do jednej dużej kategorii i próba opanowania całości wyłącznie tagami. Wtedy trudno zagwarantować, że losowanie zachowa odpowiednie proporcje treści.

Jeśli bank ma być używany długoterminowo, warto trzymać się stałego nazewnictwa. Nazwa kategorii powinna od razu mówić, z jakiej puli losuje test, a tag powinien opisywać jedną konkretną cechę według jednolitej konwencji. Dzięki temu łatwiej rozbudowywać bank bez psucia logiki losowania. Dobrze zaprojektowana struktura to taka, w której po samych kategoriach da się odtworzyć plan losowania, a po tagach ocenić, czy zawartość każdej puli jest merytorycznie zbilansowana.

💡 Projektuj kategorie tak, by odpowiadały dokładnie pulom losowania z blueprintu testu, a tagi zostaw do opisu cech pytań, takich jak trudność, efekt uczenia się czy status redakcyjny. Jeśli po nazwach kategorii nie da się odtworzyć planu losowania, struktura najpewniej jest zbyt chaotyczna albo zbyt szczegółowa.

Jak zapewnić równy poziom trudności testu, gdy każdy dostaje inny zestaw pytań?

Równy poziom trudności nie oznacza, że wszyscy muszą dostać identyczne pytania. Oznacza to, że każdy test powinien mieć porównywalną strukturę, ten sam zakres efektów uczenia się i zbliżony ciężar pytań łatwych, średnich i trudnych. W praktyce osiąga się to nie przez losowanie „z całego banku”, ale przez losowanie z wcześniej zaprojektowanych kategorii lub pul pytań o określonych parametrach.

Najważniejsze jest przygotowanie banku pytań według wspólnego planu testu. Jeśli egzamin ma sprawdzać kilka obszarów wiedzy, to dla każdego z nich warto zbudować osobną pulę i określić, ile pytań ma być losowanych z każdej części. Podobnie z poziomem trudności: zamiast jednej mieszanej puli lepiej mieć pytania oznaczone jako łatwe, średnie i trudne, a następnie ustawić stały schemat, na przykład tę samą liczbę pytań z każdego poziomu. Dzięki temu różne wersje testu będą inne treściowo, ale zbliżone pod względem wymagań.

Warunkiem jest też wyrównana jakość samych pytań. Pytania w tej samej puli powinny sprawdzać podobny efekt uczenia się, wymagać zbliżonego poziomu operacji poznawczej i mieć podobną wartość punktową. Jeśli do jednej kategorii trafią jednocześnie pytania czysto pamięciowe i pytania złożone, analityczne, to losowanie nie będzie sprawiedliwe, nawet przy poprawnych ustawieniach technicznych.

Warto również analizować wyniki po przeprowadzeniu testu. Jeśli niektóre pytania regularnie okazują się wyraźnie łatwiejsze lub trudniejsze od pozostałych w tej samej puli, należy je poprawić, przenieść do innej kategorii albo wycofać. Dopiero taka kalibracja sprawia, że losowanie jest nie tylko losowe, ale też porównywalne między uczestnikami.

Krótko mówiąc: sprawiedliwość zapewnia projekt testu oparty na matrycy, a nie samo losowanie. Losować należy z kontrolowanych, równoważnych pul pytań, a nie z przypadkowego zbioru całego banku.

💡 Aby różne wersje testu były porównywalne, losuj pytania z równoważnych pul z ustaloną proporcją tematów i poziomów trudności, zamiast z całego banku naraz. Po każdej edycji sprawdzaj statystyki pytań i koryguj te, które zaburzają balans między wersjami.

Jak skonfigurować losowe pytania, żeby zachować balans tematów i celów nauki?

Najbezpieczniejsza metoda to nie losować z całego banku naraz, tylko podzielić pytania na kategorie odpowiadające temu, co ma być reprezentowane w teście: tematom, efektom uczenia się albo poziomom trudności. Następnie w quizie dodaje się określoną liczbę pytań losowych z każdej kategorii. Dzięki temu każdy student dostaje inny zestaw, ale struktura sprawdzania pozostaje porównywalna.

W praktyce trzeba najpierw ustalić plan doboru pytań, czyli ile pozycji ma mierzyć każdy obszar. Przykładowo: 4 pytania z tematu A, 3 z tematu B i 3 z tematu C albo 5 pytań sprawdzających rozumienie, 3 zastosowanie i 2 analizę. Taki podział powinien wynikać z wagi celów nauki, a nie z liczby pytań dostępnych w banku. Dopiero potem buduje się kategorie i przypisuje do nich pytania.

Utwórz kategorie zgodne z logiką testu, np. według tematów lub efektów uczenia się; jeśli potrzeba, stosuj układ wielopoziomowy, np. temat → poziom trudności.
Oznacz każde pytanie jednoznacznie i przypisz je do właściwej kategorii, tak aby nie mieszać różnych celów w jednym worku losowania.
Dodaj do quizu osobne bloki pytań losowych z każdej kategorii, wskazując dokładnie liczbę pytań do pobrania.
Sprawdź liczebność puli: w każdej kategorii powinno być wyraźnie więcej pytań niż jest losowanych, inaczej różnorodność będzie pozorna i pytania zaczną się często powtarzać.

Jeżeli test ma zachować balans jednocześnie między tematami i celami nauki, warto zastosować bardziej szczegółowy podział kategorii, np. osobne pule dla kombinacji: „Temat 1 – rozumienie”, „Temat 1 – zastosowanie”, „Temat 2 – rozumienie”. Wtedy losowanie odbywa się z małych, kontrolowanych grup, a nie z szerokich kategorii, które mogłyby zaburzyć proporcje.

Trzeba też uważać na dwie typowe pułapki. Po pierwsze, jeśli jedna kategoria zawiera pytania bardzo łatwe, a inna bardzo trudne, to sam losowy dobór zachowa tematykę, ale niekoniecznie porównywalny poziom testu. Po drugie, jeśli pytania w danej kategorii są do siebie zbyt podobne, test będzie formalnie losowy, ale merytorycznie powtarzalny. Dlatego balans oznacza nie tylko proporcje kategorii, lecz także rozsądną jakość i zróżnicowanie pytań wewnątrz każdej puli.

W skrócie: aby zachować sprawiedliwy balans, należy zdefiniować matrycę testu, odzwierciedlić ją w strukturze kategorii banku pytań i losować oddzielnie z każdej zaplanowanej puli, zamiast polegać na jednym wspólnym losowaniu.

Jak unikać powtarzania tych samych pytań u tego samego uczestnika przy wielu podejściach?

W Moodle nie da się zagwarantować całkowitego braku powtórek między kolejnymi podejściami, jeśli test losuje pytania z tej samej puli. Mechanizm losowania działa na podstawie dostępnych pytań w kategorii lub w zestawie i przy wielu próbach zawsze istnieje ryzyko, że część pozycji trafi do tego samego uczestnika ponownie. Można jednak to ryzyko wyraźnie ograniczyć.

Najważniejsze jest przygotowanie wystarczająco dużego banku pytań w każdej kategorii, z której losuje test. Jeżeli quiz pobiera na przykład 10 pytań, a w puli są tylko 12 lub 15, powtórki przy następnym podejściu są bardzo prawdopodobne. Im większa nadwyżka liczby pytań względem liczby losowanych pozycji, tym mniejsza szansa na ponowne trafienie tych samych pytań.

Pomaga też podział banku na kategorie odpowiadające celom nauki i losowanie określonej liczby pytań z każdej z nich. Dzięki temu uczestnik nie tylko rzadziej widzi identyczny zestaw, ale też przy kolejnych podejściach nadal otrzymuje porównywalny zakres treści. To ważne, bo samo zwiększenie puli bez kontroli struktury może obniżyć spójność pomiaru.

W praktyce warto również tworzyć warianty pytań sprawdzających ten sam efekt uczenia się, ale sformułowane inaczej lub oparte na innym przykładzie. Wtedy nawet jeśli uczestnik nie dostanie dokładnie tego samego pytania, test nadal mierzy tę samą umiejętność. To lepsze rozwiązanie niż opieranie wielu podejść na małej liczbie identycznych pozycji.

Jeśli zależy Ci na ograniczeniu zapamiętywania odpowiedzi, a nie tylko treści pytania, dodatkowo można stosować tasowanie odpowiedzi oraz pytania z parametryzacją, jeśli dany typ zadania to umożliwia. Nie eliminuje to powtórki pytania jako takiego, ale zmniejsza efekt „nauczenia się testu”.

Krótko mówiąc: w Moodle unikanie powtórek osiąga się głównie przez odpowiednio duży i dobrze uporządkowany bank pytań oraz przez budowanie równoważnych wariantów, a nie przez ustawienie, które całkowicie blokuje ponowne wylosowanie tej samej pozycji w kolejnych próbach.

Jak wykorzystać analizę wyników, żeby wykryć zbyt łatwe, zbyt trudne i mylące pytania?

Najważniejsze są trzy wskaźniki: trudność pytania, moc różnicująca i rozkład odpowiedzi. Trudność pokazuje, jaki odsetek osób odpowiedział poprawnie. Jeśli poprawnych odpowiedzi jest bardzo dużo, pytanie może być zbyt łatwe; jeśli bardzo mało, może być zbyt trudne. Sama trudność nie wystarcza, bo pytanie może być trudne, ale dobrze odróżniać osoby przygotowane od nieprzygotowanych.

Dlatego trzeba sprawdzić moc różnicującą, czyli czy osoby z wysokim wynikiem ogólnym częściej odpowiadają poprawnie niż osoby z niskim wynikiem. Dobre pytanie zwykle ma dodatnią i wyraźną zdolność różnicowania. Jeśli pytanie ma niski lub ujemny wskaźnik, to jest sygnał ostrzegawczy: może być niejednoznaczne, źle zakodowane, sprawdzać coś innego niż reszta testu albo zawierać odpowiedź, którą dobrze przygotowani uczestnicy odrzucają częściej niż słabsi.

Zbyt łatwe pytania rozpoznaje się po bardzo wysokim odsetku poprawnych odpowiedzi i małej wartości diagnostycznej. Takie pozycje nie pomagają odróżnić poziomu wiedzy, chyba że celowo sprawdzają absolutne minimum kompetencji. Zbyt trudne pytania mają bardzo niski odsetek poprawnych odpowiedzi; jeśli dodatkowo słabo różnicują, zwykle wymagają poprawy lub usunięcia. Pytania mylące często widać po tym, że mają słabą moc różnicującą mimo pozornie „rozsądnej” trudności, a odpowiedzi błędne rozkładają się w sposób nietypowy, na przykład bardzo wiele osób wybiera ten sam distractor.

W pytaniach zamkniętych warto przeanalizować, które odpowiedzi błędne są wybierane i przez kogo. Jeśli jedna błędna opcja dominuje także wśród osób z wysokimi wynikami, problemem może być nieprecyzyjne sformułowanie, dwie pozornie poprawne odpowiedzi albo niezgodność między treścią pytania a kluczem. Jeśli jakaś błędna odpowiedź nie jest wybierana prawie nigdy, distractor jest zbyt słaby i nie spełnia swojej funkcji.

Analiza ma sens tylko wtedy, gdy opiera się na odpowiednio dużej liczbie prób i jest interpretowana w kontekście celu pytania. Po wykryciu podejrzanych pozycji nie należy opierać się wyłącznie na liczbach: trzeba jeszcze przeczytać treść pytania, sprawdzić klucz, przejrzeć odpowiedzi uczestników i ocenić, czy problem wynika z poziomu trudności, konstrukcji językowej czy błędu merytorycznego. Dopiero po takim przeglądzie warto pytanie poprawić, przenieść do innej kategorii trudności albo wycofać z użycia.

💡 Nie oceniaj pytania tylko po tym, czy było trudne lub łatwe — kluczowe jest też to, czy dobrze odróżnia osoby mocniejsze od słabszych. Jeśli pytanie ma słabą moc różnicującą albo jeden distractor przyciąga nawet najlepszych uczestników, najpierw sprawdź treść i klucz, zanim zostawisz je w banku.

Jak zabezpieczyć pytania przed przeciekami i „uczeniem się na pamięć” odpowiedzi?

Najskuteczniejsze zabezpieczenie polega nie na ukrywaniu pojedynczych pytań, ale na takim zaprojektowaniu banku, aby sam przeciek nie dawał dużej przewagi. W praktyce oznacza to tworzenie większej puli równoważnych zadań, losowanie pytań z kategorii oraz przygotowywanie wielu wariantów sprawdzających ten sam efekt uczenia się. Jeśli każdy uczestnik dostaje inny zestaw, a kolejność pytań i odpowiedzi jest zmienna, wartość „gotowej listy odpowiedzi” wyraźnie spada.

Drugim filarem jest konstruowanie pytań, które wymagają rozumienia, a nie rozpoznania zapamiętanej formułki. Lepiej sprawdzają się zadania oparte na krótkich scenariuszach, danych, przykładach do interpretacji lub zastosowaniu zasady w nowym kontekście niż pytania, w których wystarczy odtworzyć definicję. Warto też unikać powtarzalnych schematów odpowiedzi, łatwych wskazówek językowych i zbyt oczywistych dystraktorów, bo to właśnie one sprzyjają uczeniu się testu zamiast materiału.

Znaczenie mają również ustawienia samego podejścia do testu. Ograniczenie czasu, wyświetlanie jednej strony lub jednego pytania naraz, blokowanie cofania tam, gdzie ma to uzasadnienie, oraz odroczenie szczegółowej informacji zwrotnej do momentu zamknięcia podejścia zmniejszają ryzyko kopiowania i wynoszenia treści. Jeśli uczestnik od razu widzi poprawne odpowiedzi, komentarze do każdego wariantu i pełną punktację po pytaniu, bank bardzo szybko staje się materiałem do pamięciowego odtwarzania.

W środowiskach o podwyższonym ryzyku warto dodatkowo ograniczyć dostęp organizacyjnie: stosować okna czasowe, hasło dostępu, przypisanie do konkretnych grup, nadzór oraz regularną wymianę i przegląd pozycji w banku. Kluczowe jest też monitorowanie wyników: gdy konkretne pytania zaczynają mieć nienaturalnie wysoką zdawalność albo pojawiają się charakterystyczne wzorce odpowiedzi, to sygnał, że zadanie mogło zostać ujawnione i wymaga modyfikacji lub wycofania. Innymi słowy, bezpieczeństwo banku pytań opiera się na połączeniu dobrej konstrukcji zadań, losowania, ograniczeń w prezentacji treści i bieżącej kontroli jakości.

Jak wersjonować i poprawiać pytania, żeby zmiany nie psuły porównywalności wyników?

Podstawowa zasada jest prosta: nie nadpisuj pytania, które było już używane do oceniania lub analizy wyników, jeśli zmiana wpływa na to, co i jak jest mierzone. Gdy poprawka zmienia treść merytoryczną, poziom trudności, liczbę poprawnych odpowiedzi, punktację, sposób oceniania albo wskazówkę ukrytą w sformułowaniu, należy utworzyć nową wersję pytania. Dzięki temu stare podejścia studentów pozostają przypisane do starej wersji, a nowe wyniki dotyczą już nowego wariantu.

Nie każda zmiana wymaga nowej wersji. Drobne korekty techniczne, które nie zmieniają konstruktu pomiarowego, zwykle można wprowadzać bez ryzyka dla porównywalności. Chodzi przede wszystkim o poprawki literówek, formatowania, jednoznaczności zapisu jednostek czy usunięcie oczywistego błędu edytorskiego, o ile odpowiedź poprawna i poziom trudności pozostają w praktyce takie same. Granica jest jednak praktyczna, nie formalna: jeśli po zmianie student może rozwiązywać pytanie inaczej niż wcześniej, traktuj to jako nową wersję.

Aby zachować porównywalność w czasie, warto rozdzielać dwa poziomy identyfikacji. Stały identyfikator powinien oznaczać ten sam cel nauki lub ten sam „slot” pomiarowy, natomiast numer wersji powinien odróżniać kolejne redakcje pytania. Wtedy można analizować zarówno rodzinę pytań mierzących ten sam efekt uczenia się, jak i konkretną wersję używaną w danym terminie. W praktyce pomaga też zapisywanie daty zmiany, autora zmiany i krótkiego uzasadnienia, co dokładnie zostało poprawione i czy oczekiwany wpływ na trudność był zerowy, mały czy istotny.

Jeżeli zależy Ci na porównywaniu wyników między edycjami kursu, nie mieszaj w jednej analizie wersji, które nie są równoważne. Najbezpieczniej raportować statystyki osobno dla każdej wersji, a dopiero potem porównywać je na poziomie celu nauki, kategorii pytań albo całego testu. Jeśli pytanie zostało istotnie przebudowane, wcześniejsze wskaźniki trudności i mocy różnicującej nie powinny być automatycznie przenoszone na nową wersję, bo dotyczą innego bodźca pomiarowego.

Dobrym rozwiązaniem jest też okres przejściowy: nową wersję wprowadza się stopniowo i zbiera dla niej własne dane statystyczne, zamiast od razu zastępować nią wszystkie użycia w analizach historycznych. Pozwala to sprawdzić, czy pytanie nadal zachowuje oczekiwany poziom trudności i czy mierzy ten sam zakres umiejętności. Jeśli nie ma takiej pewności, nową wersję należy traktować jako nowe pytanie powiązane z tym samym celem nauki, ale nie jako w pełni porównywalną kontynuację starego.

W skrócie: porównywalności nie chroni samo „poprawianie” pytań, tylko kontrola zmian. Zachowuj stare wersje, twórz nowe przy każdej zmianie istotnej dla pomiaru i analizuj wyniki z uwzględnieniem wersji, a nie tylko nazwy pytania. To jedyny rzetelny sposób, by poprawiać bank pytań bez zniekształcania interpretacji wyników w czasie.

Majczęściej zadawane pytania i odpowiedzi odnośnie Moodle: bank pytań, który losuje sprawiedliwie i naprawdę mierzy cele nauki

Od czego zacząć budowę banku pytań w Moodle, żeby losowanie było sprawiedliwe?

Zacznij od przygotowania matrycy testu, a dopiero potem twórz kategorie i pytania. Najpierw ustal, jakie obszary wiedzy, cele nauki i poziomy trudności mają być reprezentowane oraz w jakich proporcjach. Następnie odwzoruj ten plan w kategoriach, z których quiz będzie losował pytania. Dzięki temu losowanie nie będzie przypadkowe, tylko zgodne z logiką pomiaru.

Jak rozpoznać, że struktura kategorii w banku pytań Moodle jest źle zaprojektowana?

Źle zaprojektowaną strukturę poznasz po tym, że nie da się po nazwach kategorii odtworzyć planu losowania. Typowe sygnały problemu to zbyt głęboka hierarchia, wiele bardzo małych podkategorii albo jedna duża kategoria obejmująca wszystko. Kłopotem jest też mieszanie w jednej puli pytań, które różnią się zakresem, trudnością lub celem sprawdzania.

Kiedy warto używać tagów w Moodle, a kiedy lepiej oprzeć się na kategoriach?

Kategorii używaj do budowania pul losowania, a tagów do opisu cech pytań. Kategorie powinny odpowiadać temu, co ma być losowane razem w quizie. Tagi sprawdzają się wtedy, gdy chcesz kontrolować bank redakcyjnie i filtrować pytania według dodatkowych właściwości, takich jak trudność, efekt uczenia się czy status opracowania.

Jakie błędy najczęściej psują porównywalność różnych wersji testu w Moodle?

Porównywalność psuje przede wszystkim losowanie z niekontrolowanych lub nierównoważnych pul pytań. Najczęstsze błędy to:

mieszanie pytań o różnej trudności w jednej kategorii,
nierówna liczebność pul,
brak stałych proporcji tematów i celów nauki,
używanie pytań o różnej wartości diagnostycznej jako zamienników.

Wtedy test jest formalnie losowy, ale nie daje porównywalnych wyników.

Czy losowanie pytań z całego banku w Moodle ma sens?

Losowanie z całego banku naraz zwykle nie ma sensu, jeśli test ma mierzyć określone cele nauki. Taki model utrudnia utrzymanie proporcji tematów, poziomów trudności i zakresu materiału. Bezpieczniej jest losować osobno z wcześniej zaprojektowanych kategorii odpowiadających konkretnym obszarom sprawdzania, bo wtedy każda wersja testu zachowuje podobną strukturę.

Jak sprawdzić, czy pytania w jednej kategorii naprawdę nadają się do wspólnego losowania?

Pytania nadają się do wspólnego losowania wtedy, gdy można uznać je za rozsądne zamienniki. Powinny sprawdzać podobny efekt uczenia się, wymagać zbliżonego poziomu operacji poznawczej i mieć porównywalną trudność oraz punktację. Jeśli jedna pula łączy pytania pamięciowe z analitycznymi albo bardzo łatwe z bardzo trudnymi, losowanie przestaje być sprawiedliwe.

Jak w praktyce ograniczyć powtarzanie tych samych pytań przy wielu podejściach do quizu?

Powtórki ogranicza przede wszystkim duża i dobrze zorganizowana pula pytań. W praktyce najlepiej działa połączenie kilku działań:

zwiększenie liczby pytań w każdej kategorii,
tworzenie wariantów sprawdzających ten sam efekt uczenia się,
losowanie z kilku zaplanowanych pul zamiast z jednej małej kategorii,
tasowanie odpowiedzi i stosowanie parametryzacji tam, gdzie to możliwe.

Jak bezpiecznie poprawiać pytania w Moodle, żeby nie zaburzyć analizy wyników?

Bezpiecznie poprawiasz pytania wtedy, gdy istotne zmiany zapisujesz jako nowe wersje, a nie nadpisujesz starych. Jeśli korekta zmienia treść merytoryczną, poziom trudności, punktację albo sposób oceniania, nowa wersja powinna być analizowana osobno. Tylko drobne poprawki techniczne, które nie wpływają na sposób rozwiązania, można wprowadzać bez ryzyka dla porównywalności wyników.