Spacy Word to Vec
Verfasst: Samstag 25. Januar 2020, 11:55
Guten Tag liebe Mitglieder,
ich bin Momentan dabei ein Klassifizierungsmodell technisch ähnlicher Wörter zu entwickeln. Dabei bin ich auf die Lösung des Word to Vec gestoßen.
Ziel ist es zu erkennen, dass zb. Batterie und Akku und Akkumulator ähnlich sind.
Eigentlich funktioniert genau diese Problemstellung mit Spacy ganz gut. Mit Beispielwörtern wie Apfel Banane und Auto sind sehr gut die ähnlichen Wörter zu identifiziere (auch wenn der Rechenprozess lange dauert).
Bei technischeren Wörtern hingegen werden Nullvektoren ausgegeben. Das heißt, dass diese Wörter nicht zugeordnet werden können, die Bibliothek also keine Informationen über die Wörter hat.
Kennt Ihr andere Bibliotheken, die vielleicht mehr Wörter beinhalten oder habt Ihr andere Ideen?
Vielen Dank für Eure Hilfe
Johannes
ich bin Momentan dabei ein Klassifizierungsmodell technisch ähnlicher Wörter zu entwickeln. Dabei bin ich auf die Lösung des Word to Vec gestoßen.
Ziel ist es zu erkennen, dass zb. Batterie und Akku und Akkumulator ähnlich sind.
Eigentlich funktioniert genau diese Problemstellung mit Spacy ganz gut. Mit Beispielwörtern wie Apfel Banane und Auto sind sehr gut die ähnlichen Wörter zu identifiziere (auch wenn der Rechenprozess lange dauert).
Bei technischeren Wörtern hingegen werden Nullvektoren ausgegeben. Das heißt, dass diese Wörter nicht zugeordnet werden können, die Bibliothek also keine Informationen über die Wörter hat.
Kennt Ihr andere Bibliotheken, die vielleicht mehr Wörter beinhalten oder habt Ihr andere Ideen?
Vielen Dank für Eure Hilfe
Johannes