Tokens for LLMs

Alles, was nicht direkt mit Python-Problemen zu tun hat. Dies ist auch der perfekte Platz für Jobangebote.
Antworten
Benutzeravatar
snafu
User
Beiträge: 6754
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Hier wird erklärt wie ein Sprachmodell aufgrund von Trainingsdaten typischerweise die Tokens für sein Vokabular ermittelt:

https://eli.thegreenplace.net/2024/toke ... ing-in-go/

Fand ich als jemand, der Sprachmodelle eigentlich nur aus der Anwendersicht kennt, mal ganz interessant zu sehen.
Benutzeravatar
noisefloor
User
Beiträge: 3882
Registriert: Mittwoch 17. Oktober 2007, 21:40
Wohnort: WW
Kontaktdaten:

Passend dazu: https://blog.miguelgrinberg.com/post/ho ... thout-math. Da wird das auch IMHO ziemlich anschaulich und (fast) ohne Mathe erklärt.

Gruß, noisefloor
Benutzeravatar
snafu
User
Beiträge: 6754
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Und dabei wird mal wieder deutlich, dass Künstliche Intelligenz eigentlich nur sehr gut gemachte Wahrscheinlichkeitsrechnung ist. ;)

Möglicherweise ist sehr gut gemachte Wahrscheinlichkeitsrechnung am Ende aber auch das Wesen von Intelligenz. Nur dass die Recheneinheiten in unseren Köpfen ein paar Millionen Jahre mehr Zeit und mehr Trainingsdaten zur Verfügung hatten.

Wobei ich eher glaube, dass die Wahrscheinlichkeitsrechnung nur den Teil von Intelligenz ausmacht, der stark auf unseren Erfahrungen beruht, z. B. das Sozialverhalten. Und gerade das können die Sprachmodelle ja besonders gut: Nett mit uns plaudern und dabei hier und da auch mal dummes Zeug erzählen. :)
Benutzeravatar
__blackjack__
User
Beiträge: 13270
Registriert: Samstag 2. Juni 2018, 10:21
Wohnort: 127.0.0.1
Kontaktdaten:

Dann hätte die KI eigentlich keinen IQ sondern einen EQ? 🤔
Please call it what it is: copyright infringement, not piracy. Piracy takes place in international waters, and involves one or more of theft, murder, rape and kidnapping. Making an unauthorized copy of a piece of software is not piracy, it is an infringement of a government-granted monopoly.
nezzcarth
User
Beiträge: 1651
Registriert: Samstag 16. April 2011, 12:47

snafu hat geschrieben: Mittwoch 29. Mai 2024, 05:08 Möglicherweise ist sehr gut gemachte Wahrscheinlichkeitsrechnung am Ende aber auch das Wesen von Intelligenz. Nur dass die Recheneinheiten in unseren Köpfen ein paar Millionen Jahre mehr Zeit und mehr Trainingsdaten zur Verfügung hatten.
Nach meinem Kenntnisstand haben KIs und Sprachmodelle sehr wenig mit dem wissenschaftlichen Forschungsstand zu Sprache, Denken usw. gemein. Sie sind ein rein mathematischer/informatischer Ansatz, der Forschung aus anderen Gebieten wie der Linguistik oder Psychologie weitestgehend ausklammert. Und das Ergebnis ist ja schon recht beeindruckend und sie sind ja offensichtlich praktische Werkzeuge für sehr viele Dinge. Aber ich glaube, dass viele der Missverständnisse bzgl. der Fähigkeiten, die in Bezug auf KIs und LLMs bestehen, u.a. eben genau da eine Ursache haben. Spachmodelle ahmen menschliche Kommunikation so überzeugend nach, dass dadurch teilweise Erwartungen geweckt werden, die nicht erfüllt werden. Und ich glaube, dass diese Systeme uns daher auch keinerlei Einblick in das Wesen von Intelligenz geben (s.a. dazu bei Interesse auch: https://de.wikipedia.org/wiki/Chinesisches_Zimmer)
Antworten