Glossar

Sehr ähnlich (Jaccard-Ähnlichkeit)

Automatische Markierung für einen Prompt, der auf Basis der Jaccard-Ähnlichkeit über Tokens (normalisierte Wörter) als Fast-Duplikat eines anderen bereits im Batch gilt. Typischer Schwellwert: > 0,85.

Konkretes Beispiel

«Welche sind die besten mobilen Klimageräte für ein Studio?» und «Bestes mobiles Klimagerät für kleine Wohnung?» teilen die meisten Tokens: Der zweite wird als «Sehr ähnlich» zum ersten markiert.

Warum es zählt

Ohne diese Sicherung würde ein enger Pool künstlich aufgeblähte Batches erzeugen. Die Markierung erlaubt das Aufräumen ohne Credit-Verlust und weist darauf hin, dass der Pool erweitert werden sollte.

Verwandte Begriffe