Tokens for LLMs

[snafu]

Hier wird erklärt wie ein Sprachmodell aufgrund von Trainingsdaten typischerweise die Tokens für sein Vokabular ermittelt:

https://eli.thegreenplace.net/2024/toke ... ing-in-go/

Fand ich als jemand, der Sprachmodelle eigentlich nur aus der Anwendersicht kennt, mal ganz interessant zu sehen.

[noisefloor]

Passend dazu: https://blog.miguelgrinberg.com/post/ho ... thout-math. Da wird das auch IMHO ziemlich anschaulich und (fast) ohne Mathe erklärt.

Gruß, noisefloor

[snafu]

Und dabei wird mal wieder deutlich, dass Künstliche Intelligenz eigentlich nur sehr gut gemachte Wahrscheinlichkeitsrechnung ist.

Möglicherweise ist sehr gut gemachte Wahrscheinlichkeitsrechnung am Ende aber auch das Wesen von Intelligenz. Nur dass die Recheneinheiten in unseren Köpfen ein paar Millionen Jahre mehr Zeit und mehr Trainingsdaten zur Verfügung hatten.

Wobei ich eher glaube, dass die Wahrscheinlichkeitsrechnung nur den Teil von Intelligenz ausmacht, der stark auf unseren Erfahrungen beruht, z. B. das Sozialverhalten. Und gerade das können die Sprachmodelle ja besonders gut: Nett mit uns plaudern und dabei hier und da auch mal dummes Zeug erzählen.

[__blackjack__]

Dann hätte die KI eigentlich keinen IQ sondern einen EQ?

[nezzcarth]

Möglicherweise ist sehr gut gemachte Wahrscheinlichkeitsrechnung am Ende aber auch das Wesen von Intelligenz. Nur dass die Recheneinheiten in unseren Köpfen ein paar Millionen Jahre mehr Zeit und mehr Trainingsdaten zur Verfügung hatten.

Nach meinem Kenntnisstand haben KIs und Sprachmodelle sehr wenig mit dem wissenschaftlichen Forschungsstand zu Sprache, Denken usw. gemein. Sie sind ein rein mathematischer/informatischer Ansatz, der Forschung aus anderen Gebieten wie der Linguistik oder Psychologie weitestgehend ausklammert. Und das Ergebnis ist ja schon recht beeindruckend und sie sind ja offensichtlich praktische Werkzeuge für sehr viele Dinge. Aber ich glaube, dass viele der Missverständnisse bzgl. der Fähigkeiten, die in Bezug auf KIs und LLMs bestehen, u.a. eben genau da eine Ursache haben. Spachmodelle ahmen menschliche Kommunikation so überzeugend nach, dass dadurch teilweise Erwartungen geweckt werden, die nicht erfüllt werden. Und ich glaube, dass diese Systeme uns daher auch keinerlei Einblick in das Wesen von Intelligenz geben (s.a. dazu bei Interesse auch: https://de.wikipedia.org/wiki/Chinesisches_Zimmer)

[snafu]

Und das Ergebnis ist ja schon recht beeindruckend und sie sind ja offensichtlich praktische Werkzeuge für sehr viele Dinge.

Hier hat der gleiche Blogger mithilfe von ChatGPT-4o eine kleine Webapp erstellen lassen, die einem mit Slidern den Schatten für eine Box konfigurieren lässt und das verwendete CSS als Ergebnis liefert:

https://eli.thegreenplace.net/2024/aski ... -web-tool/

Es brauchte ein paar korrigierende Prompts, damit die App einigermaßen gut aussieht, aber das schien letztlich effizienter zu sein als den benötigten Code für die Logik und Darstellung der App selber zu schreiben.