Kurs Fine-tuning i trenowanie modeli LLM – praktyczne dostrajanie dużych modeli językowych

Doświadczenie w trenowaniu modeli nie jest niezbędnym punktem wyjścia, ale przyda Ci się podstawowa znajomość Pythona. Ze względu na zakres techniczny kurs najlepiej odpowiada osobom na poziomie średniozaawansowanym w programowaniu lub analizie danych. Program wprowadza w architekturę LLM i przygotowanie środowiska, a następnie przechodzi do dostrajania. Jeśli dopiero zaczynasz programować, wcześniej opanuj pracę z bibliotekami, plikami i zbiorami danych.

Nie musisz mieć za sobą trenowania modeli, ale podstawy Pythona i uczenia maszynowego ułatwią Ci udział w kursie. Program zaczyna się od działania LLM i przygotowania środowiska, następnie przechodzi do technicznych warsztatów. Ze względu na pracę z kodem, danymi i parametrami treningu najlepiej odpowiada osobom na poziomie średniozaawansowanym. Jeśli zaczynasz od zera również w programowaniu, najpierw opanuj podstawy Pythona.

Nauczysz się dostrajać istniejący model językowy do wybranego zadania i oceniać efekty treningu. Praktyczny warsztat obejmuje kolejne etapy pracy:

• wybór modelu bazowego i przygotowanie danych,
• konfigurację LoRA lub QLoRA oraz uruchomienie fine-tuningu,
• porównanie odpowiedzi przed dostrojeniem i po nim,
• zapisanie oraz uruchomienie własnej wersji modelu.

Poznasz również podstawy udostępniania modelu przez API. Głównym celem jest adaptacja gotowego LLM, nie budowa dużego modelu od zera.

Nauczysz się dostrajać istniejący model językowy do wybranego zadania i sprawdzać efekty treningu. Praktyczny warsztat obejmuje kolejne etapy pracy:

• wybór modelu bazowego i przygotowanie danych,
• konfigurację LoRA lub QLoRA i przeprowadzenie fine-tuningu,
• porównanie jakości odpowiedzi przed dostrojeniem i po nim,
• zapisanie oraz uruchomienie własnej wersji modelu.

Poznasz też podstawy udostępniania modelu przez API oraz monitorowania jego działania.

Do ćwiczeń potrzebne będzie środowisko Python oraz dostęp do zasobów obliczeniowych odpowiednich dla wybranego modelu. Program obejmuje:

• PyTorch i Hugging Face Transformers,
• Hugging Face Datasets do pracy z danymi,
• środowiska lokalne i chmurowe oraz pracę z GPU.

LoRA, QLoRA i kwantyzacja pomagają ograniczać wymagania pamięciowe. Nie oznacza to konieczności zakupu własnej karty graficznej. Specyfikację sprzętu oraz zasady dostępu do chmury trzeba potwierdzić w Cognity przed udziałem.

Ćwiczenia obejmują środowisko Python i pracę z GPU, ale własna karta graficzna nie jest jedyną możliwością. Program uwzględnia środowiska lokalne oraz chmurowe. Poznasz:

• PyTorch do pracy z modelami,
• Hugging Face Transformers do ich pobierania i uruchamiania,
• Hugging Face Datasets do obsługi danych.

LoRA, QLoRA i kwantyzacja pomagają ograniczać wymagania pamięciowe. Program nie określa jednak, czy organizator zapewnia zasoby obliczeniowe — sprawdź to przed zapisem.

Tak, program uczy rozpoznawać, kiedy zastosować fine-tuning, a kiedy wystarczy prompting lub RAG. Dostrajanie pomaga kształtować sposób wykonywania zadań, format odpowiedzi i użycie terminologii. RAG dostarcza modelowi informacje z zewnętrznych źródeł, co jest przydatne przy pracy z aktualizowaną wiedzą organizacji. Poznasz również możliwość łączenia tych metod, aby nie uruchamiać kosztownego treningu tam, gdzie problem można rozwiązać prościej.

Tak, nauczysz się rozpoznawać, kiedy dostrajanie modelu ma sens, a kiedy lepiej wykorzystać prompting lub RAG. Prompting pozwala sterować odpowiedzią przez instrukcje, RAG dostarcza modelowi informacje z zewnętrznych źródeł, a fine-tuning zmienia jego parametry na podstawie przykładów. Program obejmuje również łączenie tych metod. Dzięki temu łatwiej unikniesz niepotrzebnego treningu, gdy zadanie można rozwiązać prościej i niższym kosztem.

Umiejętności z kursu wykorzystasz do dostosowywania modeli do klasyfikacji, generowania tekstów i ekstrakcji informacji z dokumentów. To zakres szczególnie przydatny programistom, specjalistom AI, analitykom danych i osobom rozwijającym automatyzację procesów. Nauczysz się pracować z terminologią organizacji oraz oceniać jakość odpowiedzi. Program obejmuje także anonimizację, ochronę informacji poufnych i ryzyko zapamiętywania danych, istotne przy wykorzystaniu materiałów firmowych.

Umiejętności z kursu wykorzystasz do dostosowywania modeli do zadań i terminologii organizacji. Program obejmuje klasyfikację tekstów, generowanie treści, ekstrakcję informacji oraz pracę z dokumentami. To zastosowania przydatne szczególnie programistom, specjalistom AI i osobom rozwijającym automatyzację procesów. Przykładowo możesz wykorzystać poznane metody do kategoryzowania zgłoszeń lub wydobywania danych z korespondencji, a skuteczność rozwiązania ocenić na przygotowanym zbiorze testowym.

Program obejmuje współcześnie stosowane metody PEFT, LoRA i QLoRA oraz ocenę jakości dostrojonego modelu. Poznasz przygotowanie zestawu testowego, metryki automatyczne, sprawdzanie zgodności z instrukcjami i ocenę halucynacji. Nauczysz się również wykrywać overfitting oraz regresję jakości. Dzięki porównaniu z modelem bazowym sprawdzisz, czy trening przyniósł rzeczywistą poprawę. Sam opis programu nie określa wersji bibliotek ani konkretnych modeli używanych podczas zajęć.

Program obejmuje współcześnie stosowane metody dostrajania oraz ocenę jakości modelu po treningu. Poznasz PEFT, LoRA, QLoRA i kwantyzację, a także porównywanie modelu bazowego z dostrojonym. Nauczysz się analizować odpowiedzi, zgodność z instrukcjami, halucynacje i regresje jakości. Przećwiczysz również rozpoznawanie overfittingu oraz poprawę danych i hiperparametrów, zamiast zakładać, że każdy zakończony trening automatycznie poprawia działanie modelu.

Możliwość udziału zdalnego wymaga potwierdzenia w Cognity — podany program nie określa formy zajęć. Uwzględnia natomiast pracę w środowiskach lokalnych i chmurowych, więc wykonywanie ćwiczeń nie musi opierać się wyłącznie na mocy własnego komputera. Przed zapisem ustal sposób dostępu do środowiska, wymagane instalacje oraz organizację warsztatów. Pozwoli Ci to przygotować stanowisko do praktycznej pracy z modelem.

Dostępność udziału online i możliwość dopasowania zajęć do pracy wymagają potwierdzenia w Cognity. Przekazany program opisuje zakres merytoryczny oraz warsztat praktyczny, ale nie podaje trybu zajęć ani harmonogramu. Przed zapisem sprawdź godziny spotkań, sposób udziału w ćwiczeniach i wymagania dotyczące konfiguracji środowiska. Praca w chmurze wymieniona w programie dotyczy infrastruktury obliczeniowej, nie stanowi potwierdzenia zdalnej formy szkolenia.

Informację o wydawaniu certyfikatu i warunkach jego uzyskania trzeba potwierdzić w Cognity. Dostarczony program nie zawiera takich ustaleń. Certyfikat ukończenia szkolenia może dokumentować rozwój kompetencji, ale nie zastępuje prezentacji umiejętności. W rozmowie rekrutacyjnej lub wewnętrznym projekcie AI przydatnym uzupełnieniem będzie opis przeprowadzonego dostrajania: celu, przygotowania danych, konfiguracji treningu i wyników ewaluacji. Takie etapy pracy obejmuje warsztat przewidziany w programie.

Wydanie certyfikatu po kursie wymaga potwierdzenia w Cognity, ponieważ program nie zawiera takiej informacji. Jeśli dokument jest wydawany, może potwierdzać ukończenie szkolenia, ale nie zastępuje dowodów umiejętności technicznych. W rozmowie z pracodawcą przydatne będzie omówienie projektu: sposobu przygotowania danych, wyboru metody dostrajania oraz porównania wyników modelu przed treningiem i po nim. Właśnie takie działania obejmuje warsztat praktyczny.