Tokens for LLMs

Alles, was nicht direkt mit Python-Problemen zu tun hat. Dies ist auch der perfekte Platz für Jobangebote.
Antworten
Benutzeravatar
snafu
User
Beiträge: 6781
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Hier wird erklärt wie ein Sprachmodell aufgrund von Trainingsdaten typischerweise die Tokens für sein Vokabular ermittelt:

https://eli.thegreenplace.net/2024/toke ... ing-in-go/

Fand ich als jemand, der Sprachmodelle eigentlich nur aus der Anwendersicht kennt, mal ganz interessant zu sehen.
Benutzeravatar
noisefloor
User
Beiträge: 3955
Registriert: Mittwoch 17. Oktober 2007, 21:40
Wohnort: WW
Kontaktdaten:

Passend dazu: https://blog.miguelgrinberg.com/post/ho ... thout-math. Da wird das auch IMHO ziemlich anschaulich und (fast) ohne Mathe erklärt.

Gruß, noisefloor
Benutzeravatar
snafu
User
Beiträge: 6781
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Und dabei wird mal wieder deutlich, dass Künstliche Intelligenz eigentlich nur sehr gut gemachte Wahrscheinlichkeitsrechnung ist. ;)

Möglicherweise ist sehr gut gemachte Wahrscheinlichkeitsrechnung am Ende aber auch das Wesen von Intelligenz. Nur dass die Recheneinheiten in unseren Köpfen ein paar Millionen Jahre mehr Zeit und mehr Trainingsdaten zur Verfügung hatten.

Wobei ich eher glaube, dass die Wahrscheinlichkeitsrechnung nur den Teil von Intelligenz ausmacht, der stark auf unseren Erfahrungen beruht, z. B. das Sozialverhalten. Und gerade das können die Sprachmodelle ja besonders gut: Nett mit uns plaudern und dabei hier und da auch mal dummes Zeug erzählen. :)
Benutzeravatar
__blackjack__
User
Beiträge: 13682
Registriert: Samstag 2. Juni 2018, 10:21
Wohnort: 127.0.0.1
Kontaktdaten:

Dann hätte die KI eigentlich keinen IQ sondern einen EQ? 🤔
„Incorrect documentation is often worse than no documentation.“ — Bertrand Meyer
nezzcarth
User
Beiträge: 1699
Registriert: Samstag 16. April 2011, 12:47

snafu hat geschrieben: Mittwoch 29. Mai 2024, 05:08 Möglicherweise ist sehr gut gemachte Wahrscheinlichkeitsrechnung am Ende aber auch das Wesen von Intelligenz. Nur dass die Recheneinheiten in unseren Köpfen ein paar Millionen Jahre mehr Zeit und mehr Trainingsdaten zur Verfügung hatten.
Nach meinem Kenntnisstand haben KIs und Sprachmodelle sehr wenig mit dem wissenschaftlichen Forschungsstand zu Sprache, Denken usw. gemein. Sie sind ein rein mathematischer/informatischer Ansatz, der Forschung aus anderen Gebieten wie der Linguistik oder Psychologie weitestgehend ausklammert. Und das Ergebnis ist ja schon recht beeindruckend und sie sind ja offensichtlich praktische Werkzeuge für sehr viele Dinge. Aber ich glaube, dass viele der Missverständnisse bzgl. der Fähigkeiten, die in Bezug auf KIs und LLMs bestehen, u.a. eben genau da eine Ursache haben. Spachmodelle ahmen menschliche Kommunikation so überzeugend nach, dass dadurch teilweise Erwartungen geweckt werden, die nicht erfüllt werden. Und ich glaube, dass diese Systeme uns daher auch keinerlei Einblick in das Wesen von Intelligenz geben (s.a. dazu bei Interesse auch: https://de.wikipedia.org/wiki/Chinesisches_Zimmer)
Benutzeravatar
snafu
User
Beiträge: 6781
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

nezzcarth hat geschrieben: Donnerstag 30. Mai 2024, 09:34 Und das Ergebnis ist ja schon recht beeindruckend und sie sind ja offensichtlich praktische Werkzeuge für sehr viele Dinge.
Hier hat der gleiche Blogger mithilfe von ChatGPT-4o eine kleine Webapp erstellen lassen, die einem mit Slidern den Schatten für eine Box konfigurieren lässt und das verwendete CSS als Ergebnis liefert:

https://eli.thegreenplace.net/2024/aski ... -web-tool/

Es brauchte ein paar korrigierende Prompts, damit die App einigermaßen gut aussieht, aber das schien letztlich effizienter zu sein als den benötigten Code für die Logik und Darstellung der App selber zu schreiben.
Antworten