Kurs Fine-tuning i trenowanie modeli LLM – praktyczne dostrajanie dużych modeli językowych

1. Wprowadzenie do trenowania i dostrajania modeli LLM

• czym różni się trenowanie modelu od fine-tuningu,
• pre-training, fine-tuning, instruction tuning i alignment,
• kiedy warto dostrajać model, a kiedy wykorzystać prompting lub RAG,
• modele zamknięte i modele open-source,
• przegląd popularnych rodzin modeli LLM.

2. Architektura i działanie dużych modeli językowych

• architektura Transformer,
• tokenizacja i reprezentacja tekstu,
• embeddingi,
• mechanizm attention,
• kontekst i długość okna kontekstowego,
• parametry modelu i ich wpływ na wymagania sprzętowe.

3. Przygotowanie środowiska do pracy z LLM

• Python i biblioteki wykorzystywane przy pracy z modelami,
• Hugging Face Transformers,
• Hugging Face Datasets,
• PyTorch,
• praca z GPU,
• wykorzystanie środowisk lokalnych i chmurowych.

4. Wybór modelu bazowego

• dobór modelu do konkretnego zastosowania,
• wielkość modelu i wymagania sprzętowe,
• modele instruct i base,
• modele wielojęzyczne,
• licencje i ograniczenia wykorzystania modeli,
• pobieranie i uruchamianie modeli z Hugging Face.

5. Przygotowanie danych treningowych

• projektowanie datasetu,
• formatowanie danych instrukcja–odpowiedź,
• czyszczenie danych,
• usuwanie duplikatów i błędnych rekordów,
• przygotowanie danych domenowych,
• podział na zbiory treningowe, walidacyjne i testowe,
• tokenizacja datasetu.

6. Fine-tuning modelu LLM

• konfiguracja procesu treningowego,
• dobór learning rate,
• batch size,
• liczba epok,
• gradient accumulation,
• checkpointy,
• monitoring przebiegu treningu,
• uruchomienie własnego procesu fine-tuningu.

7. Parameter-Efficient Fine-Tuning

• ograniczenia pełnego fine-tuningu,
• PEFT,
• LoRA,
• QLoRA,
• dobór parametrów LoRA,
• adaptery,
• trenowanie modelu przy ograniczonych zasobach GPU.

8. Kwantyzacja modeli

• podstawy kwantyzacji,
• FP16, BF16, INT8 i INT4,
• wpływ kwantyzacji na pamięć i szybkość działania,
• quantization-aware fine-tuning,
• przygotowanie modelu do pracy na mniejszej infrastrukturze.

9. Instruction tuning i dostrajanie modelu do konkretnych zadań

• tworzenie danych instruktażowych,
• dostrajanie modelu do klasyfikacji,
• dostrajanie do generowania tekstów,
• dostrajanie do ekstrakcji informacji,
• dostrajanie do pracy z dokumentami,
• dostrajanie modelu do języka i terminologii organizacji.

10. Ewaluacja dostrojonego modelu

• porównanie modelu bazowego i dostrojonego,
• przygotowanie zestawu testowego,
• metryki automatyczne,
• ewaluacja jakości odpowiedzi,
• testowanie zgodności z instrukcjami,
• wykrywanie regresji jakości,
• ocena halucynacji.

11. Optymalizacja procesu fine-tuningu

• identyfikowanie overfittingu,
• dobór hiperparametrów,
• eksperymentowanie z datasetem,
• analiza błędów modelu,
• poprawa jakości danych treningowych,
• iteracyjne doskonalenie modelu.

12. Fine-tuning a RAG

• różnice pomiędzy fine-tuningiem i RAG,
• kiedy zastosować RAG,
• kiedy zastosować fine-tuning,
• łączenie fine-tuningu z RAG,
• modele domenowe pracujące na wiedzy organizacji.

13. Bezpieczeństwo i jakość danych

• dane wrażliwe w zbiorach treningowych,
• anonimizacja danych,
• ryzyko zapamiętywania danych przez model,
• ochrona informacji poufnych,
• prawa autorskie do danych treningowych,
• bezpieczeństwo modeli open-source.

14. Zapisywanie i wersjonowanie modeli

• zapisywanie checkpointów,
• adaptery LoRA,
• scalanie adaptera z modelem,
• wersjonowanie modeli,
• wersjonowanie datasetów,
• dokumentowanie eksperymentów.

15. Wdrażanie dostrojonego modelu

• przygotowanie modelu do inference,
• uruchamianie modelu lokalnie,
• udostępnienie modelu przez API,
• inference server,
• konteneryzacja,
• podstawy wdrażania modelu w środowisku produkcyjnym,
• monitoring działania modelu.

16. Optymalizacja kosztów i wydajności

• wymagania GPU dla różnych modeli,
• optymalizacja wykorzystania pamięci,
• batch inference,
• dobór wielkości modelu do zastosowania,
• koszty trenowania i inference,
• modele lokalne a usługi chmurowe.

17. Warsztat praktyczny – własny model LLM

• wybór modelu bazowego,
• przygotowanie własnego datasetu,
• konfiguracja LoRA lub QLoRA,
• przeprowadzenie fine-tuningu,
• ewaluacja wyników,
• porównanie modelu przed i po dostrojeniu,
• zapisanie i uruchomienie własnej wersji modelu.

18. Dobre praktyki pracy z modelami LLM

• kiedy nie warto trenować własnego modelu,
• zarządzanie eksperymentami,
• dokumentowanie zmian,
• kontrola jakości,
• utrzymywanie i aktualizacja modeli,
• dalszy rozwój modelu po wdrożeniu.