Mechanizmy wyszukiwania w przestrzeni wektorowej (cosine similarity, dot product)

Wprowadzenie do przestrzeni embeddingów

Współczesne systemy przetwarzania danych – w tym tekstu, obrazów czy dźwięku – coraz częściej opierają się na reprezentacji informacji w postaci wektorów osadzonych w przestrzeni wielowymiarowej. Takie reprezentacje nazywamy embeddingami. Embedding to sposób kodowania złożonych danych w postaci liczb, które można analizować i porównywać za pomocą metod matematycznych.

Embeddingi pozwalają zamieniać różnorodne typy danych – takie jak słowa, dokumenty, obrazy czy elementy rekomendacji – na wektory liczbowe, które odzwierciedlają semantyczne lub kontekstowe podobieństwo pomiędzy obiektami. Na przykład dwa słowa o podobnym znaczeniu (np. „pies” i „kot”) będą miały wektory położone blisko siebie w przestrzeni embeddingów.

Przestrzeń embeddingów jest więc narzędziem, które umożliwia komputerom „rozumienie” danych w sposób bardziej zbliżony do ludzkiej percepcji. Kluczowym zagadnieniem staje się tutaj porównywanie wektorów – czyli określanie, jak bardzo dwa wektory są do siebie podobne. W tym celu stosuje się różne metryki, które mierzą odległość lub kąt pomiędzy wektorami.

W praktyce embeddingi wykorzystywane są w wielu dziedzinach, takich jak wyszukiwarki semantyczne, systemy rekomendacyjne, analiza sentymentu, rozpoznawanie obrazów czy tłumaczenie maszynowe. Umożliwiają one nie tylko lepsze zrozumienie danych, ale także bardziej efektywne ich przeszukiwanie i porównywanie.

Dlaczego porównujemy wektory embeddingów

Wektory embeddingów to numeryczne reprezentacje danych takich jak słowa, obrazy, dźwięki czy całe dokumenty, które zostały osadzone w wielowymiarowej przestrzeni wektorowej. Dzięki temu różnorodne dane mogą być analizowane i porównywane w sposób matematyczny. Porównywanie wektorów embeddingów pozwala nam na ocenę stopnia podobieństwa pomiędzy obiektami, co ma kluczowe znaczenie w wielu zastosowaniach związanych z uczeniem maszynowym i przetwarzaniem danych.

Ten artykuł powstał jako rozwinięcie jednego z najczęstszych tematów poruszanych podczas szkoleń Cognity.

Główne powody, dla których porównujemy embeddingi, obejmują:

• Wyszukiwanie podobnych obiektów – na przykład znajdowanie dokumentów o podobnej treści, obrazów przedstawiających podobne sceny lub produktów polecanych na podstawie historii zakupów.
• Grupowanie danych – analiza podobieństw między wektorami umożliwia tworzenie klastrów, co pomaga w organizowaniu danych i wykrywaniu wzorców.
• Rekomendacje – systemy rekomendacyjne często opierają się na porównywaniu embeddingów użytkowników i obiektów, aby proponować najbardziej trafne sugestie.
• Rozumienie kontekstu – w języku naturalnym embeddingi pozwalają uchwycić znaczenie słów w zależności od ich kontekstu, a ich porównywanie umożliwia rozróżnianie niuansów semantycznych.

Porównywanie wektorów jest zatem podstawą wielu nowoczesnych systemów inteligentnych, od wyszukiwarek po chatboty czy narzędzia do analizy obrazów. Aby skutecznie mierzyć podobieństwo, stosuje się różne metody, z których najbardziej popularne to cosine similarity oraz iloczyn skalarny.

Cosine similarity – zasada działania i zastosowania

Cosine similarity to jedna z najczęściej stosowanych metod porównywania wektorów w przestrzeniach embeddingowych, szczególnie w zadaniach związanych z przetwarzaniem języka naturalnego, wyszukiwaniem informacji oraz systemami rekomendacyjnymi. Jej głównym celem jest określenie, jak bardzo dwa wektory są do siebie kierunkowo podobne, niezależnie od ich długości.

Miara ta opiera się na koncepcji kąta między dwoma wektorami w przestrzeni n-wymiarowej. Im mniejszy kąt między wektorami, tym większe jest ich podobieństwo. Wartość cosine similarity zawiera się w przedziale od -1 do 1:

• 1 – wektory skierowane w dokładnie tym samym kierunku (identyczne pod względem kierunku),
• 0 – wektory ortogonalne, czyli zupełnie niepowiązane semantycznie,
• -1 – wektory skierowane w przeciwnych kierunkach (maksymalnie różne).

W praktyce, przy analizie embeddingów tekstowych (np. reprezentujących słowa, zdania lub dokumenty), najczęściej spotykamy się z dodatnimi wartościami, ponieważ embeddingi są zwykle trenowane tak, by miały dodatnie korelacje semantyczne.

Formuła cosine similarity:

cos_sim(A, B) = (A · B) / (||A|| * ||B||)

Gdzie:

• A · B to iloczyn skalarny wektorów,
• ||A|| i ||B|| to długości (normy) wektorów.

Przykład w Pythonie (z użyciem biblioteki NumPy):

import numpy as np

def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

vec1 = np.array([1, 2, 3])
vec2 = np.array([2, 4, 6])

similarity = cosine_similarity(vec1, vec2)
print(f"Cosine similarity: {similarity:.2f}")

Zastosowania cosine similarity:

• Wyszukiwanie semantyczne: odnajdywanie dokumentów najbardziej podobnych do zapytania użytkownika.
• Detekcja duplikatów: identyfikacja podobnych treści w różnych źródłach.
• Systemy rekomendacyjne: porównywanie wektorów użytkowników i produktów na podstawie preferencji.
• Klasyfikacja tekstu: przypisywanie etykiet na podstawie podobieństwa do reprezentantów klas.

Porównanie cosine similarity z dot product:

Cosine similarity jest szczególnie przydatna, gdy interesuje nas relacja semantyczna między obiektami reprezentowanymi przez embeddingi, a nie ich bezwzględna wielkość. Jeśli chcesz lepiej zrozumieć wykorzystanie takich technik w praktyce, zachęcamy do zapoznania się z Kursem Machine Learning i Deep Learning w języku Python – modelowanie, optymalizacja, analiza danych.

Iloczyn skalarny (dot product) – charakterystyka i przykłady

Iloczyn skalarny (ang. dot product) to jedno z podstawowych narzędzi matematycznych wykorzystywanych w analizie wektorów w kontekście przestrzeni embeddingów. Jest to operacja algebraiczna, która przyjmuje dwa wektory i zwraca jedną wartość liczbową, będącą miarą ich zgodności kierunkowej i wielkości. W zastosowaniach związanych z przetwarzaniem języka naturalnego, rekomendacjami czy wizją komputerową, iloczyn skalarny pełni istotną rolę w porównywaniu reprezentacji wektorowych danych. Na warsztatach Cognity wiele osób dopiero pierwszy raz zauważa, jak bardzo to zagadnienie wpływa na ich efektywność.

Iloczyn skalarny dwóch wektorów A i B definiowany jest jako:

dot(A, B) = A₁×B₁ + A₂×B₂ + ... + Aₙ×Bₙ

W kontekście przestrzeni embeddingów, wynik tej operacji zależy zarówno od kierunku, jak i długości (normy) porównywanych wektorów. Oznacza to, że dwie reprezentacje o podobnej semantyce, ale różnej skali, mogą dać różne wartości dot productu. Z tego powodu metoda ta jest szczególnie przydatna w scenariuszach, gdzie zarówno kierunek, jak i intensywność podobieństwa ma znaczenie — np. przy ocenie trafności odpowiedzi w systemach rankingowych.

Przykład obliczenia

import numpy as np

A = np.array([1, 2, 3])
B = np.array([4, 5, 6])

result = np.dot(A, B)
print(result)  # Wynik: 32

W tym przykładzie iloczyn skalarny wektorów A i B wynosi 32, co może być interpretowane jako miara ich podobieństwa w danej przestrzeni.

Porównanie: iloczyn skalarny a cosine similarity

W zależności od celu analizy, wybór iloczynu skalarnego może okazać się bardziej odpowiedni niż innych metod, szczególnie tam, gdzie istotne są zarówno kierunek, jak i skala reprezentacji wektorowych.

Inne metody porównywania wektorów (np. odległość euklidesowa, Manhattan distance)

Oprócz miar takich jak cosine similarity czy dot product, w przestrzeni wektorowej istotną rolę odgrywają również inne metody porównywania wektorów, które bazują na ich wzajemnej odległości. Wśród najczęściej stosowanych znajdują się odległość euklidesowa oraz odległość Manhattan. Choć mają one wspólny cel — określić, jak bardzo dwa wektory się od siebie różnią — ich sposób działania i zastosowania mogą się znacząco różnić.

Odległość euklidesowa (ang. Euclidean distance) to klasyczna miara odległości w przestrzeni kartezjańskiej. Intuicyjnie odpowiada ona długości najkrótszej możliwej linii między dwoma punktami. Stosuje się ją głównie w przypadkach, gdy istotna jest absolutna różnica wartości między wektorami, np. w systemach rekomendacyjnych czy w klasteryzacji danych.

Odległość Manhattan (ang. Manhattan distance, znana też jako L1 distance) to suma bezwzględnych różnic między odpowiadającymi sobie wartościami wektorów. Kojarzy się z ruchem po siatce prostokątnej — podobnie jak samochód poruszający się po ulicach przecinających się pod kątem prostym. Znajduje zastosowanie w sytuacjach, gdy bardziej liczy się zmiana w poszczególnych wymiarach niż rzeczywista odległość geometryczna.

Oto prosty przykład porównania dwóch wektorów przy użyciu obu metod:

import numpy as np

# Dwa przykładowe wektory
v1 = np.array([1, 2, 3])
v2 = np.array([4, 0, 3])

# Odległość euklidesowa
euclidean = np.linalg.norm(v1 - v2)

# Odległość Manhattan
manhattan = np.sum(np.abs(v1 - v2))

print("Euclidean distance:", euclidean)
print("Manhattan distance:", manhattan)

Wybór odpowiedniej metody porównywania wektorów zależy od charakterystyki danych oraz celu analizy. W kontekście embeddingów warto rozważyć ich właściwości geometryczne i semantyczne, by dobrać najbardziej adekwatną miarę. Jeśli chcesz lepiej zrozumieć sposoby reprezentacji danych wektorowych i ich zastosowanie w praktyce, sprawdź nasz Kurs Deep learning.

Porównanie skuteczności różnych metod

Wybór odpowiedniej metody porównywania wektorów embeddingów zależy od konkretnego zastosowania, rodzaju danych oraz pożądanej metryki podobieństwa. Poniżej znajduje się zestawienie najpopularniejszych technik wraz z ich podstawowymi właściwościami i typowymi scenariuszami użycia.

W praktyce wybór metryki zależy nie tylko od właściwości danych, ale również od wymagań obliczeniowych oraz interpretacji wyników. Na przykład cosine similarity jest odporna na różnice długości wektorów, co czyni ją szczególnie przydatną w analizie tekstów lub wyników modeli językowych, gdzie interesuje nas głównie zgodność semantyczna, a nie intensywność cech.

Poniższy przykład pokazuje różnicę między cosine similarity a dot product w Pythonie:

import numpy as np
from numpy.linalg import norm

v1 = np.array([1, 2, 3])
v2 = np.array([4, 5, 6])

# Cosine similarity
cos_sim = np.dot(v1, v2) / (norm(v1) * norm(v2))

# Dot product
dot = np.dot(v1, v2)

print(f"Cosine similarity: {cos_sim:.4f}")
print(f"Dot product: {dot}")

Jak widać, dot product może wskazywać wyższe wartości dla dłuższych wektorów, natomiast cosine similarity skupia się na względnej orientacji wektorów w przestrzeni.

Zastosowania technik porównywania embeddingów w praktyce

Techniki porównywania embeddingów, takie jak cosine similarity czy dot product, znajdują szerokie zastosowanie w nowoczesnych systemach przetwarzania informacji, analizy danych oraz sztucznej inteligencji. Dzięki nim możliwe jest efektywne operowanie na danych reprezentowanych w formie wektorowej, co pozwala na rozwiązywanie złożonych problemów z różnych dziedzin.

• Wyszukiwanie semantyczne: Porównywanie embeddingów jest kluczowe w systemach wyszukiwania informacji, gdzie zamiast dopasowania dokładnych słów kluczowych, analizowana jest semantyczna bliskość zapytań i dokumentów. To podejście znajduje zastosowanie m.in. w wyszukiwarkach internetowych i systemach rekomendacyjnych.
• Rekomendacje produktów: W e-commerce embeddingi użytkowników i produktów mogą być porównywane, aby sugerować przedmioty podobne do tych, które użytkownik wcześniej oglądał lub kupił.
• Detekcja podobnych obrazów lub dźwięków: W systemach rozpoznawania obrazów lub przetwarzania sygnałów audio, embeddingi służą do identyfikacji podobnych treści, co ma zastosowanie np. w porządkowaniu kolekcji multimedialnych czy wyszukiwaniu obrazem.
• Identyfikacja podobnych dokumentów: W aplikacjach takich jak klasyfikacja dokumentów, wykrywanie plagiatów czy tworzenie streszczeń, porównywanie embeddingów tekstów pozwala określić ich stopień podobieństwa semantycznego.
• Analiza zachowań użytkowników: Systemy personalizacji treści często opierają się na embeddingach reprezentujących preferencje użytkowników, które porównywane są z embeddingami dostępnych treści w celu ich dopasowania.

Techniki te umożliwiają nie tylko zwiększenie dokładności i trafności analiz, ale także redukcję kosztów obliczeniowych dzięki pracy w przestrzeni niższych wymiarów. Ich uniwersalność sprawia, że są wykorzystywane zarówno w zadaniach klasyfikacyjnych, jak i wyszukiwawczych oraz w analizie zachowań i preferencji użytkowników.

Podsumowanie i rekomendacje

Współczesne systemy wyszukiwania i porównywania danych coraz częściej opierają się na reprezentacjach wektorowych, znanych jako embeddingi. Dzięki nim możliwe jest odwzorowanie złożonych obiektów, takich jak tekst, obrazy czy dźwięki, w przestrzeni numerycznej, co otwiera drogę do efektywnych metod porównywania.

Wśród najpopularniejszych technik mierzenia podobieństwa między wektorami znajdują się cosine similarity oraz dot product. Chociaż obie operują na wektorach i są szeroko stosowane w zadaniach takich jak wyszukiwanie semantyczne czy rekomendacje, różnią się zarówno interpretacją, jak i wpływem na wyniki porównań. Cosine similarity koncentruje się na kącie między wektorami, ignorując ich długość, co sprawia, że jest odporna na skalowanie. Z kolei dot product uwzględnia zarówno kierunek, jak i długość, dzięki czemu nadaje się do zastosowań, gdzie istotna jest intensywność reprezentowanej cechy.

Dobór odpowiedniego mechanizmu porównywania zależy od specyfiki problemu, rodzaju danych oraz oczekiwanej precyzji i wydajności systemu. W praktyce często stosuje się różne metody w zależności od konkretnego przypadku użycia, a ich skuteczność może być weryfikowana empirycznie. Warto też rozważyć inne metryki, zależnie od charakterystyki danych i wymagań aplikacji końcowej.

Rekomenduje się, aby przy projektowaniu systemów bazujących na embeddingach, dokładnie przeanalizować właściwości danych wejściowych oraz cele aplikacji, a następnie dobrać odpowiednią metodę porównywania. Elastyczność i modularność implementacji pozwala w przyszłości łatwo testować alternatywne podejścia i optymalizować efektywność rozwiązania. W Cognity łączymy teorię z praktyką – dlatego ten temat rozwijamy także w formie ćwiczeń na szkoleniach.

Jakie przepływy oferuje Power Automate i kiedy który stosować 28 lutego 2026

Jak zbudować skalowalne i bezpieczne automatyzacje w Power Automate 26 lutego 2026