Kurs Klasyfikacja tekstu end-to-end – modele, ewaluacja i produkcja

1. Wprowadzenie do klasyfikacji tekstu

• czym jest klasyfikacja tekstu,
• typowe problemy i zastosowania (sentiment, spam, kategoryzacja),
• pipeline NLP,
• dane treningowe i etykiety.

2. Przetwarzanie tekstu (NLP preprocessing)

• czyszczenie danych tekstowych,
• tokenizacja,
• normalizacja tekstu (lowercase, usuwanie znaków specjalnych),
• usuwanie stop words,
• lematyzacja i stemming,
• przygotowanie korpusu tekstowego.

3. Reprezentacja tekstu

• Bag of Words,
• TF-IDF,
• wprowadzenie do embeddingów,
• wybór reprezentacji a jakość modelu.

4. Algorytmy klasyfikacji tekstu

• regresja logistyczna,
• Naive Bayes,
• drzewa decyzyjne i Random Forest,
• SVM (wprowadzenie),
• porównanie algorytmów.

5. Ewaluacja modeli klasyfikacji

• Accuracy, Precision, Recall, F1-score,
• macierz pomyłek,
• walidacja krzyżowa,
• dobór metryk do problemu,
• analiza błędów modelu.

6. Pełen proces klasyfikacji tekstu

• budowa pipeline (preprocessing + model),
• podział danych (train/test/validation),
• strojenie hiperparametrów,
• automatyzacja procesu (pipeline w scikit-learn).

7. Praca z danymi rzeczywistymi

• przygotowanie datasetu,
• czyszczenie i eksploracja danych,
• problemy jakości danych,
• balansowanie klas (imbalanced data).

8. Analiza use case’ów biznesowych

• klasyfikacja opinii klientów,
• analiza zgłoszeń i ticketów,
• automatyczne tagowanie dokumentów,
• monitoring mediów i treści.

9. Wdrożenie modelu na produkcję

• serializacja modelu (pickle, joblib),
• integracja z API,
• monitorowanie działania modelu,
• aktualizacja i retraining modeli,
• dobre praktyki wdrożeniowe.