Jak najlepiej przetestować silnik rekomendacji w badaniu użytkownika?

1. Jak sprawdzić dokładność silnika rekomendacji?
2. Jak testować system rekomendatora?
3. Jak ocenić kod systemowy oparty na treściach?

Jak sprawdzić dokładność silnika rekomendacji?

Szybkość kliknięcia (CTR) to wskaźnik, który mierzy, ile osób kliknie zalecenia. Podstawowym pojęciem jest to, że jeśli więcej osób kliknie zalecane rzeczy, zalecenia są dla nich bardziej odpowiednie. W zaleceń informacyjnych CTR jest szeroko stosowanym miarą.

Jak testować system rekomendatora?

W przypadku systemów rekomendujących rozwiązanie jest ocena offline, w której dane historyczne są wykorzystywane do oszacowania, w jaki sposób użytkownik mógł zareagować na inny zestaw zaleceń umieszczonych przed nimi w pewnym momencie, wykorzystując wiedzę na temat tego, co naprawdę zrobili reaguj na później.

Jak ocenić kod systemowy oparty na treściach?

Dokumenty górne z najwyższymi wynikami podobieństwa to zalecana lista dla użytkownika na podstawie konkretnego zapytania. Następnie możesz zidentyfikować wartość dla każdego dokumentu na liście rekomendacji odpowiedni lub nieistotny w oparciu o podobieństwo z treścią zapytania i zalecanego dokumentu.