icon icon

Kurs Fine-tuning i trenowanie modeli LLM – praktyczne dostrajanie dużych modeli językowych

icon

Proces szkoleniowy

Analiza potrzeb szkoleniowych

Jeśli masz życzenie dotyczące programu szkolenia, przeprowadzimy dla Ciebie analizę potrzeb szkoleniowych, która będzie wskazówką dla nas, na jakie aspekty programu położyć większy nacisk – tak, by program szkolenia spełniał konkretne potrzeby.

Co zyskujesz?

icon

Dobierzesz właściwe podejście - Nauczysz się rozpoznawać, kiedy warto uruchomić fine-tuning, a kiedy lepiej postawić na prompting lub RAG, dzięki czemu unikniesz kosztownych i niepotrzebnych eksperymentów.

icon

Zrozumiesz działanie LLM - Uporządkujesz w praktyce pojęcia takie jak tokenizacja, embeddingi, attention i okno kontekstowe, więc łatwiej ocenisz ograniczenia modeli i ich zachowanie w realnych zadaniach.

icon

Przygotujesz środowisko pracy - Skonfigurujesz narzędzia używane przy pracy z LLM, w tym Python, PyTorch oraz biblioteki Hugging Face, aby samodzielnie uruchamiać modele lokalnie lub w chmurze.

icon

Wybierzesz model bazowy - Dowiesz się, jak dobrać model do języka, zadania, licencji i dostępnego sprzętu, dzięki czemu szybciej uruchomisz sensowny punkt startowy do dalszego dostrajania.

icon

Przygotujesz dane do treningu - Nauczysz się projektować i czyścić dataset, usuwać duplikaty, dzielić dane na zbiory oraz formatować instrukcje i odpowiedzi tak, by model uczył się na spójnym materiale.

icon

Przeprowadzisz fine-tuning oszczędnie - Opanujesz LoRA, QLoRA, kwantyzację i konfigurację treningu pod ograniczone GPU, więc będziesz w stanie dostrajać duże modele bez rozbudowanej infrastruktury.

icon

Rzetelnie ocenisz model - Poznasz sposób porównywania modelu bazowego i dostrojonego, przygotujesz testy, wykryjesz regresje jakości oraz sprawdzisz zgodność odpowiedzi z instrukcjami i ryzyko halucynacji.

icon

Wdrożysz własną wersję modelu - Dowiesz się, jak zapisać adaptery i checkpointy, udostępnić model przez API, uruchomić inference server oraz monitorować działanie rozwiązania po wdrożeniu.

Program szkolenia

1. Wprowadzenie do trenowania i dostrajania modeli LLM

Na początku trzeba rozróżnić trenowanie, fine-tuning, instruction tuning i alignment, ponieważ każdy z tych procesów odpowiada na inny problem. Sekcja porządkuje też relacje między promptingiem, RAG, modelami zamkniętymi i open-source oraz wskazuje, kiedy dostrajanie ma sens.

  • czym różni się trenowanie modelu od fine-tuningu,
  • pre-training, fine-tuning, instruction tuning i alignment,
  • kiedy warto dostrajać model, a kiedy wykorzystać prompting lub RAG,
  • modele zamknięte i modele open-source,
  • przegląd popularnych rodzin modeli LLM.

2. Architektura i działanie dużych modeli językowych

Transformer stanowi podstawę działania dużych modeli językowych, dlatego trzeba rozumieć, jak przetwarzają tekst i budują kontekst. Sekcja łączy tokenizację, reprezentację tekstu, embeddingi, mechanizm attention, długość okna kontekstowego oraz wpływ parametrów na wymagania sprzętowe.

  • architektura Transformer,
  • tokenizacja i reprezentacja tekstu,
  • embeddingi,
  • mechanizm attention,
  • kontekst i długość okna kontekstowego,
  • parametry modelu i ich wpływ na wymagania sprzętowe.

3. Przygotowanie środowiska do pracy z LLM

Środowisko pracy z LLM opiera się na Pythonie i zestawie bibliotek, które determinują sposób trenowania, przetwarzania danych i użycia GPU. Sekcja obejmuje Hugging Face Transformers, Hugging Face Datasets, PyTorch oraz wybór między środowiskami lokalnymi i chmurowymi.

  • Python i biblioteki wykorzystywane przy pracy z modelami,
  • Hugging Face Transformers,
  • Hugging Face Datasets,
  • PyTorch,
  • praca z GPU,
  • wykorzystanie środowisk lokalnych i chmurowych.

4. Wybór modelu bazowego

Dobór modelu bazowego wymaga powiązania celu zastosowania z klasą modelu, ograniczeniami sprzętowymi i warunkami licencyjnymi. W tej części porównywane są modele instruct i base, warianty wielojęzyczne oraz sposób pobierania i uruchamiania modeli z Hugging Face.

  • dobór modelu do konkretnego zastosowania,
  • wielkość modelu i wymagania sprzętowe,
  • modele instruct i base,
  • modele wielojęzyczne,
  • licencje i ograniczenia wykorzystania modeli,
  • pobieranie i uruchamianie modeli z Hugging Face.

5. Przygotowanie danych treningowych

Jakość treningu zależy przede wszystkim od tego, jak zostanie zaprojektowany i przygotowany dataset przed rozpoczęciem uczenia. Sekcja dotyczy formatu instrukcja–odpowiedź, czyszczenia danych, usuwania duplikatów i błędów, przygotowania danych domenowych, podziału zbiorów oraz tokenizacji.

  • projektowanie datasetu,
  • formatowanie danych instrukcja–odpowiedź,
  • czyszczenie danych,
  • usuwanie duplikatów i błędnych rekordów,
  • przygotowanie danych domenowych,
  • podział na zbiory treningowe, walidacyjne i testowe,
  • tokenizacja datasetu.

6. Fine-tuning modelu LLM

Uruchomienie procesu fine-tuningu wymaga świadomej konfiguracji parametrów i kontroli przebiegu uczenia. Ta część obejmuje learning rate, batch size, liczbę epok, gradient accumulation, checkpointy i monitoring treningu, a następnie prowadzi do uruchomienia własnego procesu dostrajania.

  • konfiguracja procesu treningowego,
  • dobór learning rate,
  • batch size,
  • liczba epok,
  • gradient accumulation,
  • checkpointy,
  • monitoring przebiegu treningu,
  • uruchomienie własnego procesu fine-tuningu.

7. Parameter-Efficient Fine-Tuning

Gdy pełny fine-tuning okazuje się zbyt kosztowny, podejścia parameter-efficient pozwalają dostrajać model przy mniejszych zasobach. Sekcja wyjaśnia PEFT, LoRA, QLoRA, rolę adapterów oraz dobór parametrów LoRA w treningu realizowanym na ograniczonych zasobach GPU.

  • ograniczenia pełnego fine-tuningu,
  • PEFT,
  • LoRA,
  • QLoRA,
  • dobór parametrów LoRA,
  • adaptery,
  • trenowanie modelu przy ograniczonych zasobach GPU.

8. Kwantyzacja modeli

Kwantyzacja zmienia reprezentację numeryczną modelu, aby ograniczyć zużycie pamięci i obniżyć wymagania infrastrukturalne. Omawiane są formaty FP16, BF16, INT8 i INT4, wpływ na szybkość działania oraz quantization-aware fine-tuning przy pracy na mniejszych zasobach.

  • podstawy kwantyzacji,
  • FP16, BF16, INT8 i INT4,
  • wpływ kwantyzacji na pamięć i szybkość działania,
  • quantization-aware fine-tuning,
  • przygotowanie modelu do pracy na mniejszej infrastrukturze.

9. Instruction tuning i dostrajanie modelu do konkretnych zadań

Instruction tuning pozwala dopasować LLM do konkretnych zadań poprzez odpowiednie przygotowanie danych i oczekiwanego sposobu odpowiedzi. Sekcja obejmuje tworzenie danych instruktażowych oraz dostrajanie do klasyfikacji, generowania tekstu, ekstrakcji informacji, pracy z dokumentami i języka organizacji.

  • tworzenie danych instruktażowych,
  • dostrajanie modelu do klasyfikacji,
  • dostrajanie do generowania tekstów,
  • dostrajanie do ekstrakcji informacji,
  • dostrajanie do pracy z dokumentami,
  • dostrajanie modelu do języka i terminologii organizacji.

10. Ewaluacja dostrojonego modelu

Rzetelna ocena efektów dostrajania zaczyna się od przygotowania odpowiedniego zestawu testowego i punktu odniesienia. W tej części łączone są metryki automatyczne z oceną jakości odpowiedzi, zgodności z instrukcjami, wykrywaniem regresji oraz analizą halucynacji modelu.

  • porównanie modelu bazowego i dostrojonego,
  • przygotowanie zestawu testowego,
  • metryki automatyczne,
  • ewaluacja jakości odpowiedzi,
  • testowanie zgodności z instrukcjami,
  • wykrywanie regresji jakości,
  • ocena halucynacji.

11. Optymalizacja procesu fine-tuningu

Doskonalenie modelu po pierwszym fine-tuningu opiera się na iteracji i analizie wyników, a nie wyłącznie na zmianie jednego parametru. Sekcja obejmuje identyfikowanie overfittingu, dobór hiperparametrów, eksperymenty z datasetem, analizę błędów oraz poprawę jakości danych treningowych.

  • identyfikowanie overfittingu,
  • dobór hiperparametrów,
  • eksperymentowanie z datasetem,
  • analiza błędów modelu,
  • poprawa jakości danych treningowych,
  • iteracyjne doskonalenie modelu.

12. Fine-tuning a RAG

Wybór między fine-tuningiem a RAG zależy od tego, czy trzeba zmienić zachowanie modelu, czy raczej oprzeć odpowiedzi na zewnętrznej wiedzy. Część porównuje oba podejścia, wskazuje sytuacje ich użycia i pokazuje, jak łączyć je w modelach domenowych pracujących na wiedzy organizacji.

  • różnice pomiędzy fine-tuningiem i RAG,
  • kiedy zastosować RAG,
  • kiedy zastosować fine-tuning,
  • łączenie fine-tuningu z RAG,
  • modele domenowe pracujące na wiedzy organizacji.

13. Bezpieczeństwo i jakość danych

Dane wrażliwe w zbiorach treningowych tworzą ryzyko techniczne i prawne, jeśli trafią do procesu bez odpowiednich zabezpieczeń. Ta sekcja dotyczy anonimizacji, ochrony informacji poufnych, ryzyka zapamiętywania danych przez model, praw autorskich oraz bezpieczeństwa modeli open-source.

  • dane wrażliwe w zbiorach treningowych,
  • anonimizacja danych,
  • ryzyko zapamiętywania danych przez model,
  • ochrona informacji poufnych,
  • prawa autorskie do danych treningowych,
  • bezpieczeństwo modeli open-source.

14. Zapisywanie i wersjonowanie modeli

Checkpointy, adaptery LoRA i modele po scaleniu wymagają spójnego podejścia do zapisu, aby zachować odtwarzalność pracy. Tematyka obejmuje wersjonowanie modeli i datasetów oraz dokumentowanie eksperymentów tak, by każdą iterację treningu i jej wynik dało się jednoznacznie prześledzić.

  • zapisywanie checkpointów,
  • adaptery LoRA,
  • scalanie adaptera z modelem,
  • wersjonowanie modeli,
  • wersjonowanie datasetów,
  • dokumentowanie eksperymentów.

15. Wdrażanie dostrojonego modelu

Przeniesienie dostrojonego modelu do użycia nie kończy się na zapisaniu wag. Sekcja pokazuje przygotowanie modelu do inference, uruchamianie lokalne, udostępnienie przez API lub inference server, a także podstawy konteneryzacji, wdrożenia produkcyjnego i monitoringu działania.

  • przygotowanie modelu do inference,
  • uruchamianie modelu lokalnie,
  • udostępnienie modelu przez API,
  • inference server,
  • konteneryzacja,
  • podstawy wdrażania modelu w środowisku produkcyjnym,
  • monitoring działania modelu.

16. Optymalizacja kosztów i wydajności

Koszty pracy z LLM wynikają z zależności między wielkością modelu, wymaganiami GPU, zużyciem pamięci i sposobem realizacji inference. W tej części omawiany jest batch inference, koszty trenowania i uruchamiania modeli oraz dobór między środowiskiem lokalnym a usługami chmurowymi.

  • wymagania GPU dla różnych modeli,
  • optymalizacja wykorzystania pamięci,
  • batch inference,
  • dobór wielkości modelu do zastosowania,
  • koszty trenowania i inference,
  • modele lokalne a usługi chmurowe.

17. Warsztat praktyczny – własny model LLM

Uczestnicy przechodzą pełny proces budowy własnej wersji LLM: od wyboru modelu bazowego i przygotowania datasetu po konfigurację LoRA lub QLoRA. Warsztat obejmuje także wykonanie fine-tuningu, ocenę wyników, porównanie stanu przed i po dostrojeniu oraz uruchomienie zapisanej wersji modelu.

  • wybór modelu bazowego,
  • przygotowanie własnego datasetu,
  • konfiguracja LoRA lub QLoRA,
  • przeprowadzenie fine-tuningu,
  • ewaluacja wyników,
  • porównanie modelu przed i po dostrojeniu,
  • zapisanie i uruchomienie własnej wersji modelu.

18. Dobre praktyki pracy z modelami LLM

Praca operacyjna z modelami LLM wymaga oceny, kiedy własne trenowanie ma uzasadnienie, a kiedy tylko zwiększa złożoność rozwiązania. Sekcja obejmuje zarządzanie eksperymentami, dokumentowanie zmian, kontrolę jakości oraz utrzymanie, aktualizację i rozwój modelu po wdrożeniu.

  • kiedy nie warto trenować własnego modelu,
  • zarządzanie eksperymentami,
  • dokumentowanie zmian,
  • kontrola jakości,
  • utrzymywanie i aktualizacja modeli,
  • dalszy rozwój modelu po wdrożeniu.

Jakie są wymagania wstępne do udziału w szkoleniu?

icon

Podstawy Pythona - Powinieneś swobodnie czytać i modyfikować prosty kod w Pythonie, uruchamiać skrypty oraz pracować z bibliotekami, aby samodzielnie wykonywać ćwiczenia podczas szkolenia.

icon

Znajomość uczenia maszynowego - Powinieneś rozumieć podstawowe pojęcia uczenia maszynowego, takie jak model, trening, walidacja, overfitting i hiperparametry, aby sprawnie wejść w temat dostrajania LLM.

icon

Praca z danymi tekstowymi - Powinieneś mieć doświadczenie w przygotowywaniu lub analizie danych tekstowych, bo podczas szkolenia będziesz pracować z datasetami, formatowaniem rekordów i oceną jakości danych.

icon

Obsługa terminala i środowiska - Powinieneś umieć korzystać z terminala, instalować pakiety i uruchamiać środowisko programistyczne, aby bez problemu konfigurować narzędzia i pracować z modelami oraz GPU.