1. Wprowadzenie do trenowania i dostrajania modeli LLM
Na początku trzeba rozróżnić trenowanie, fine-tuning, instruction tuning i alignment, ponieważ każdy z tych procesów odpowiada na inny problem. Sekcja porządkuje też relacje między promptingiem, RAG, modelami zamkniętymi i open-source oraz wskazuje, kiedy dostrajanie ma sens.
- czym różni się trenowanie modelu od fine-tuningu,
- pre-training, fine-tuning, instruction tuning i alignment,
- kiedy warto dostrajać model, a kiedy wykorzystać prompting lub RAG,
- modele zamknięte i modele open-source,
- przegląd popularnych rodzin modeli LLM.
2. Architektura i działanie dużych modeli językowych
Transformer stanowi podstawę działania dużych modeli językowych, dlatego trzeba rozumieć, jak przetwarzają tekst i budują kontekst. Sekcja łączy tokenizację, reprezentację tekstu, embeddingi, mechanizm attention, długość okna kontekstowego oraz wpływ parametrów na wymagania sprzętowe.
- architektura Transformer,
- tokenizacja i reprezentacja tekstu,
- embeddingi,
- mechanizm attention,
- kontekst i długość okna kontekstowego,
- parametry modelu i ich wpływ na wymagania sprzętowe.
3. Przygotowanie środowiska do pracy z LLM
Środowisko pracy z LLM opiera się na Pythonie i zestawie bibliotek, które determinują sposób trenowania, przetwarzania danych i użycia GPU. Sekcja obejmuje Hugging Face Transformers, Hugging Face Datasets, PyTorch oraz wybór między środowiskami lokalnymi i chmurowymi.
- Python i biblioteki wykorzystywane przy pracy z modelami,
- Hugging Face Transformers,
- Hugging Face Datasets,
- PyTorch,
- praca z GPU,
- wykorzystanie środowisk lokalnych i chmurowych.
4. Wybór modelu bazowego
Dobór modelu bazowego wymaga powiązania celu zastosowania z klasą modelu, ograniczeniami sprzętowymi i warunkami licencyjnymi. W tej części porównywane są modele instruct i base, warianty wielojęzyczne oraz sposób pobierania i uruchamiania modeli z Hugging Face.
- dobór modelu do konkretnego zastosowania,
- wielkość modelu i wymagania sprzętowe,
- modele instruct i base,
- modele wielojęzyczne,
- licencje i ograniczenia wykorzystania modeli,
- pobieranie i uruchamianie modeli z Hugging Face.
5. Przygotowanie danych treningowych
Jakość treningu zależy przede wszystkim od tego, jak zostanie zaprojektowany i przygotowany dataset przed rozpoczęciem uczenia. Sekcja dotyczy formatu instrukcja–odpowiedź, czyszczenia danych, usuwania duplikatów i błędów, przygotowania danych domenowych, podziału zbiorów oraz tokenizacji.
- projektowanie datasetu,
- formatowanie danych instrukcja–odpowiedź,
- czyszczenie danych,
- usuwanie duplikatów i błędnych rekordów,
- przygotowanie danych domenowych,
- podział na zbiory treningowe, walidacyjne i testowe,
- tokenizacja datasetu.
6. Fine-tuning modelu LLM
Uruchomienie procesu fine-tuningu wymaga świadomej konfiguracji parametrów i kontroli przebiegu uczenia. Ta część obejmuje learning rate, batch size, liczbę epok, gradient accumulation, checkpointy i monitoring treningu, a następnie prowadzi do uruchomienia własnego procesu dostrajania.
- konfiguracja procesu treningowego,
- dobór learning rate,
- batch size,
- liczba epok,
- gradient accumulation,
- checkpointy,
- monitoring przebiegu treningu,
- uruchomienie własnego procesu fine-tuningu.
7. Parameter-Efficient Fine-Tuning
Gdy pełny fine-tuning okazuje się zbyt kosztowny, podejścia parameter-efficient pozwalają dostrajać model przy mniejszych zasobach. Sekcja wyjaśnia PEFT, LoRA, QLoRA, rolę adapterów oraz dobór parametrów LoRA w treningu realizowanym na ograniczonych zasobach GPU.
- ograniczenia pełnego fine-tuningu,
- PEFT,
- LoRA,
- QLoRA,
- dobór parametrów LoRA,
- adaptery,
- trenowanie modelu przy ograniczonych zasobach GPU.
8. Kwantyzacja modeli
Kwantyzacja zmienia reprezentację numeryczną modelu, aby ograniczyć zużycie pamięci i obniżyć wymagania infrastrukturalne. Omawiane są formaty FP16, BF16, INT8 i INT4, wpływ na szybkość działania oraz quantization-aware fine-tuning przy pracy na mniejszych zasobach.
- podstawy kwantyzacji,
- FP16, BF16, INT8 i INT4,
- wpływ kwantyzacji na pamięć i szybkość działania,
- quantization-aware fine-tuning,
- przygotowanie modelu do pracy na mniejszej infrastrukturze.
9. Instruction tuning i dostrajanie modelu do konkretnych zadań
Instruction tuning pozwala dopasować LLM do konkretnych zadań poprzez odpowiednie przygotowanie danych i oczekiwanego sposobu odpowiedzi. Sekcja obejmuje tworzenie danych instruktażowych oraz dostrajanie do klasyfikacji, generowania tekstu, ekstrakcji informacji, pracy z dokumentami i języka organizacji.
- tworzenie danych instruktażowych,
- dostrajanie modelu do klasyfikacji,
- dostrajanie do generowania tekstów,
- dostrajanie do ekstrakcji informacji,
- dostrajanie do pracy z dokumentami,
- dostrajanie modelu do języka i terminologii organizacji.
10. Ewaluacja dostrojonego modelu
Rzetelna ocena efektów dostrajania zaczyna się od przygotowania odpowiedniego zestawu testowego i punktu odniesienia. W tej części łączone są metryki automatyczne z oceną jakości odpowiedzi, zgodności z instrukcjami, wykrywaniem regresji oraz analizą halucynacji modelu.
- porównanie modelu bazowego i dostrojonego,
- przygotowanie zestawu testowego,
- metryki automatyczne,
- ewaluacja jakości odpowiedzi,
- testowanie zgodności z instrukcjami,
- wykrywanie regresji jakości,
- ocena halucynacji.
11. Optymalizacja procesu fine-tuningu
Doskonalenie modelu po pierwszym fine-tuningu opiera się na iteracji i analizie wyników, a nie wyłącznie na zmianie jednego parametru. Sekcja obejmuje identyfikowanie overfittingu, dobór hiperparametrów, eksperymenty z datasetem, analizę błędów oraz poprawę jakości danych treningowych.
- identyfikowanie overfittingu,
- dobór hiperparametrów,
- eksperymentowanie z datasetem,
- analiza błędów modelu,
- poprawa jakości danych treningowych,
- iteracyjne doskonalenie modelu.
12. Fine-tuning a RAG
Wybór między fine-tuningiem a RAG zależy od tego, czy trzeba zmienić zachowanie modelu, czy raczej oprzeć odpowiedzi na zewnętrznej wiedzy. Część porównuje oba podejścia, wskazuje sytuacje ich użycia i pokazuje, jak łączyć je w modelach domenowych pracujących na wiedzy organizacji.
- różnice pomiędzy fine-tuningiem i RAG,
- kiedy zastosować RAG,
- kiedy zastosować fine-tuning,
- łączenie fine-tuningu z RAG,
- modele domenowe pracujące na wiedzy organizacji.
13. Bezpieczeństwo i jakość danych
Dane wrażliwe w zbiorach treningowych tworzą ryzyko techniczne i prawne, jeśli trafią do procesu bez odpowiednich zabezpieczeń. Ta sekcja dotyczy anonimizacji, ochrony informacji poufnych, ryzyka zapamiętywania danych przez model, praw autorskich oraz bezpieczeństwa modeli open-source.
- dane wrażliwe w zbiorach treningowych,
- anonimizacja danych,
- ryzyko zapamiętywania danych przez model,
- ochrona informacji poufnych,
- prawa autorskie do danych treningowych,
- bezpieczeństwo modeli open-source.
14. Zapisywanie i wersjonowanie modeli
Checkpointy, adaptery LoRA i modele po scaleniu wymagają spójnego podejścia do zapisu, aby zachować odtwarzalność pracy. Tematyka obejmuje wersjonowanie modeli i datasetów oraz dokumentowanie eksperymentów tak, by każdą iterację treningu i jej wynik dało się jednoznacznie prześledzić.
- zapisywanie checkpointów,
- adaptery LoRA,
- scalanie adaptera z modelem,
- wersjonowanie modeli,
- wersjonowanie datasetów,
- dokumentowanie eksperymentów.
15. Wdrażanie dostrojonego modelu
Przeniesienie dostrojonego modelu do użycia nie kończy się na zapisaniu wag. Sekcja pokazuje przygotowanie modelu do inference, uruchamianie lokalne, udostępnienie przez API lub inference server, a także podstawy konteneryzacji, wdrożenia produkcyjnego i monitoringu działania.
- przygotowanie modelu do inference,
- uruchamianie modelu lokalnie,
- udostępnienie modelu przez API,
- inference server,
- konteneryzacja,
- podstawy wdrażania modelu w środowisku produkcyjnym,
- monitoring działania modelu.
16. Optymalizacja kosztów i wydajności
Koszty pracy z LLM wynikają z zależności między wielkością modelu, wymaganiami GPU, zużyciem pamięci i sposobem realizacji inference. W tej części omawiany jest batch inference, koszty trenowania i uruchamiania modeli oraz dobór między środowiskiem lokalnym a usługami chmurowymi.
- wymagania GPU dla różnych modeli,
- optymalizacja wykorzystania pamięci,
- batch inference,
- dobór wielkości modelu do zastosowania,
- koszty trenowania i inference,
- modele lokalne a usługi chmurowe.
17. Warsztat praktyczny – własny model LLM
Uczestnicy przechodzą pełny proces budowy własnej wersji LLM: od wyboru modelu bazowego i przygotowania datasetu po konfigurację LoRA lub QLoRA. Warsztat obejmuje także wykonanie fine-tuningu, ocenę wyników, porównanie stanu przed i po dostrojeniu oraz uruchomienie zapisanej wersji modelu.
- wybór modelu bazowego,
- przygotowanie własnego datasetu,
- konfiguracja LoRA lub QLoRA,
- przeprowadzenie fine-tuningu,
- ewaluacja wyników,
- porównanie modelu przed i po dostrojeniu,
- zapisanie i uruchomienie własnej wersji modelu.
18. Dobre praktyki pracy z modelami LLM
Praca operacyjna z modelami LLM wymaga oceny, kiedy własne trenowanie ma uzasadnienie, a kiedy tylko zwiększa złożoność rozwiązania. Sekcja obejmuje zarządzanie eksperymentami, dokumentowanie zmian, kontrolę jakości oraz utrzymanie, aktualizację i rozwój modelu po wdrożeniu.
- kiedy nie warto trenować własnego modelu,
- zarządzanie eksperymentami,
- dokumentowanie zmian,
- kontrola jakości,
- utrzymywanie i aktualizacja modeli,
- dalszy rozwój modelu po wdrożeniu.