Der Korantext liegt nun in einer Datei vor, in welcher jedem Satz die Nummer der Sure und der Ayat, also von Kapitel und Vers, vorangestellt ist. Ein Ausschnitt:
Die Firma TextWise bietet sogenannte "Semantic Signatures" an.
Auf ihrer Webseite kann man Text eingeben,
der dann durch quantitative Methoden analysiert wird,
so daß dessen Ähnlichkeit mit bereits bestehenden Texten ermittelt werden kann:
Für englische Passagen aus dem Qur'an bekam ich gute Ergebnisse.
Nun handelt es sich um kommerzielle Software;
aber vielleicht gibt es im Umfeld von Python bereits Entwicklungen,
mit denen Texte in Vektorräumen abgebildet werden?
Ich weiss nicht so recht ob dieses Forum die richtige Anlaufstelle ist. Die Aufgabe erfordert wesentlich mehr Fachwissen, sowohl was die Religionswissenschaft, als auch spezielle Datenstrukturen und Algorithmen für die "sematische" Aufbereitung und Speicherung von Texten betrifft, als spezielles Python-Wissen.
Unabhaengig vom Eingabetext, geht es hier allgemeinen um die Transformation eines morphologisch getaggten Textes (hier konkret der Koran, laut einem Projekt der Uni Haifa: http://cl.haifa.ac.il/projects/quran/) in ein semantisches Netzwerk.
An sich, ist es als Teilgebiet des NLP (natural language processing) aeusserst interessant, unabaengig vom Eingabetext. Es eroeffnet den Weg zur automatischen Uebersetzung aber auch Verstaendnis von Texten, auch wenn es noch bis dahin ein sehr weiter Weg ist.
@Kai: Was die Auswahl des Eingabetextes angeht (hier der Koran), da bezweifle ich aber, dass dies irgendwelche sinnvollen Ergebnisse produzieren wird. Religioese Skripturen sind in sich leider nicht abgeschlossen, d.h. sie enthalten nicht alle Informationen, die man benoetigt, um ein kohaerentes semantisches Netz zu erzeugen. Es fehlen dafuer entscheidende Teile des historischen und psychosozialen Kontexts ihrer Entstehungszeit und -umgebung. Ohne diese zusaetzlichen Informationen wird man vermutlich nicht viel daraus gewinnen koennen (trotzdem waere es interessant zu sehen, was dabei rauskommt, egal wie bruchstueckhaft es ist).
Anders ware es z.B. bei formal kodifizierten Gesetzestexten. Ich koennte mir vorstellen, dass der gesamte Korpus der deutschen Gesetze zu einem durchaus kohaerenten semantischen Netz transformiert werden koennte, was interessante Anwendungen im Bereich der Experten-Systeme eroeffnen wuerde (so eine Art "Rechtsanwalt-o-mat"). Vielleicht kommt man auch da nicht ohne bestimmte externe Zusatzinformationen aus, aber mein Bauchgefuehl(tm) verraet mir, dass es wesentlich weniger Kontextinformationen sein wuerden als bei Bibel, Koran & Co. noetig waeren.
Sorry fuer die nicht direkt auf Python bezogene Antwort.
@farid: Bei Gesetzen bin ich mir da auch nicht sicher. Mal davon abgesehen, dass es bestimmt Widersprüche geben wird, muss man ja auch Urteile mit einbeziehen, und da gibt's auf jeden Fall Widersprüche. Verschiedene Gerichte interpretieren verschiedene Paragraphen anders, was dann wieder in die Bedeutung der Paragrapgen einfliesst, weil sich andere Gerichte teilweise auf voran gegangene Urteile beziehen, andererseits aber nicht an vorangegangene Urtiele gebunden sind. Und dann beziehen sich die Gesetze immer auf Objekte von ausserhalb. Die Gesetze bestehen ja nicht zum Selbstzweck. Und die Abbildung von "realen Objekten" auf "formale Parameter" von Gesetzen ist wieder Interpretationssache.
BlackJack hat geschrieben:@farid: Bei Gesetzen bin ich mir da auch nicht sicher.
Auch wieder wahr! Wenn's so einfach waere, haetten wir laengst entsprechende Experten-Systeme.
Aber bei Gesetzen werden die Begriffe schon ziemlich genau definiert, oft in eigens dafuer geschriebenen Paragraphen. Ausserdem werden diese Begriffe (meistens) auch genau in dem Sinne verwendet, in dem sie definiert wurden. Das ist jetzt nicht so streng wie Mathematik, aber im Vergleich zu normalen (und erst recht religioesen) Texten, sind solche juristischen Texte von einer kaum zu uebertreffenden begrifflichen Strenge.
Es stimmt aber auch, dass auch hier externer Kontext noetig ist; sei es die Rechtsprechung oder gar allgemeine philosophische Grundlagen, die bis in die griechische Antike zurueckreichen.
farid hat geschrieben:Aber bei Gesetzen werden die Begriffe schon ziemlich genau definiert, oft in eigens dafuer geschriebenen Paragraphen. Ausserdem werden diese Begriffe (meistens) auch genau in dem Sinne verwendet, in dem sie definiert wurden.
Gegenbeispiel Hackerparagraph. Der enthält zwar eine Definition der verbotenen Programme, die ist allerdings so schwammig, dass sie kaum zu generalisieren und somit immer abhängig vom Kontext ist.
lunar hat geschrieben:Gegenbeispiel Hackerparagraph. Der enthält zwar eine Definition der verbotenen Programme, die ist allerdings so schwammig, dass sie kaum zu generalisieren und somit immer abhängig vom Kontext ist.
Das stimmt wiederrum! Gegen absichtlich schwammig formulierte Gummiparagraphen ist kein Kraut gewachsen...
Du hältst große Stücke auf die Intelligenz unserer Volksvertreter, wenn du ihnen eine absichtliche Formulierung eines derart schwammigen Paragraphen zutraust. Ich persönlich halte es ja nicht für ausgeschlossen, dass die geschätzten Herren und Damen Parlamentarier schlichtweg nur absolut gar keine Ahnung von der Materie haben, so dass ihnen nicht in den Sinn kommt, dass jedes "böse" Tool auch eine nützliche Seite hat.
Nachdem im Juli 2008 eine erste funktionsfähige Webseite veröffentlicht wurde, auf der durch das Anklicken des Textes der Koran nach beliebigen Wörtern durchsucht werden kann, bietet die Arbeitsgruppe „Qibla“ nun ein kostenloses Softwarepaket an, welches zahlreiche Verbesserungen enthält.
Wesentlich sind dies:
- unter den zahlreichen Koranübersetzungen befindet sich mit „qoraan“ eine Transkription, des weiteren eine Reduktion des Textes auf die arabischen Wurzeln sowie selbstverständlich auch das arabische Original selbst. Hierdurch potenzieren sich die Kombinationsmöglichkeiten der Suche, da bei dieser ja jeweils zwei Texte miteinander kombiniert werden können. Bitte beachten Sie, daß nur bei den bereits auf der Webseite veröffentlichten Texten die Fragen des Copyright eindeutig geklärt sind; im Zweifelsfalle schlagen wir vor, sich mit dem Übersetzer in Verbindung zu setzen.
- Nach der Eingabe eines Suchwortes wird eine Liste der Fundstellen ausgegeben. Darunter erscheint eine Graphik, welche die Verteilung der Wörter über das Textganze hinweg veranschaulicht. Neben der Gliederung des Textes in Suren können auch andere Gliederungselemente ausgewählt werden, wahlweise sind dies „Manzil“, Sure“ „Juz“ oder „ruku'“. Hierdurch ändert sich auch entscheidend die Granulariät der Darstellung.
- Hält man während des Suchvorganges im Firefox-Browser die STRING-Taste gedrückt, so wird jedes Ergebnis mit einem Tab versehen. Somit kann man anschließend bequem zwischen verschiedenen Ergebnissen, und damit Textebenen, hin- und herklicken.
Es ist zu beachten, dass für die (neue) Verteilungsdiagrammfunktion auch die Python Image Library (PIL) installiert werden muss. Wo man diese erhält, ist jetzt auch auf der Installationsseite angegeben.
Mit der kürzlich herausgegebenen (und absichtlich NICHT rückwärtskompatiblen) Version 3(000) von Python wird das Programm übrigens nicht funktionieren.
In dem Softwarepacket befindet sich auch eine Datei namens "Rootquran", die es erlaubt,
nach Bedeutungsfeldern zu suchen, die an eine arabische Konsonantenwurzel geknüpft sind.
Hier mal eine Auswahl von sozial relevanten Schlüsselwörtern:
