Code ausführen mittels ChatBot

[Patrick1990]

Hallo,

ist es möglich einen ChatBot aufzusetzen, dem ich sagen kann: "Starte Programm xyz" oder "Öffne Datei xyz" und das dann auch umgesetzt wird? Ich habe schon einige Beiträge gelesen, aber bisher leider noch nicht das passende gefunden.
Vielleicht hat ja jemand eine Idee oder ein paar Schlagwörter.

[sparrow]

Was ist denn für dich ein "ChatBot"?

Die Wikpedia zeigt, dass die Geschichte des Namens schon ~60 Jahre alt ist. Deshalb musst du das schon spezifizieren.

Die einfachste Antwort:
Du hast eine Funktion, die einen Text bekommt (woher auch immer) und diesen verarbeitet.
Beispiel mit recht hoher Verbreitung: Streamer verwenden oft Chatbots um die Zuschauer interagieren zu lassen. Meistens werden dann "Befehle" mit einem '!' eingeleitet. Das heißt die Funktion bekommt jede Textnachricht wie jeder andere Benutzer auch und prüft dann, ob das erste Zeichen ein '!' ist. Falls ja, wird versucht die Nachricht zu interpretieren. Dabei gibt es für Kommandos ein bestimmten Syntax um das parsen zu vereinfachen. zum Beispiel "!command paramete1 parameter2 ...".

Das wäre die simpelste Umstzung eines ChatBots.
Die Frage, deren Antwort sich aus deinem Beitrag für mich nicht ergibt: Was genau möchtest du?

Theoretisch (oder philosophisch) ist auch der interaktive Interpreter eine Art Chatbot. Der kann nämlich genau das, was du möchtest, wenn man die korrekte Syntax verwendet und kommuniziert auch per Meldungen mit dir.

[Patrick1990]

Vielen Dank für die Nachricht. Ich möchte keine genauen Befehle eingeben sondern alle Vorteile eines LLMs in einem Chat nutzen können und dazu bspw. noch sagen können: "berechne mir xyz mit Programm A" (oder "Bitte Programm A öffnen" und dann interaktiv mit dem geöffneten Programm (soweit es das Programm zulässt) interagieren. Dabei kann die Formulierung immer eine andere sein. Sie muss also irgendwie übersetzt werden und dann eine Aktion gestartet werden.

[grubenfox]

Gerade vorhin bei heise.de gelesen:
Google Gemini 2.5 Pro gratis für die Kommandozeile: Gemini CLI

Zwei Punkte aus dem Text die mir wichtig erscheinen:

Google veröffentlicht Versionen für Linux, macOS und Windows, der Assistent läuft aber auch in Containern und über Code Assist in Visual Studio Code, Slack, Teams und weiteren Tools. Einen Einsatz im Container empfiehlt Google aus Sicherheitsgründen, da die KI stark ins System eingreifen kann.

Eine lokal laufende Variante hat der Hersteller nicht vorgesehen, das Modell Gemini 2.5 Pro an sich arbeitet vollständig in der Cloud.

[noisefloor]

Theoretisch ja - wenn du einen "Chatbot" findest, der genau darauf trainiert ist. Ich weiß es nicht, aber ich bezweifle, dass es so was gibt. Selbst für vermeintlich triviale Sachen wie "öffne die Datei foo.jpg und ändere die Bildgröße auf 800x600 Pixel" müsste der Chatbot a) alle möglichen Programme dafür kennen, b) dein OS kennen, weil davon u.a. das infrage kommende Programm abhängt und c) müsste der Chatbot wissen, was überhaupt auf deinem Rechner von den infrage kommende Programmen verfügbar ist.
Plus der Chatbot müsste vollen Zugriff auf das System haben, um Programme starten und mit ihnen interagieren zu können. Was man i.d.R. nicht will.

Gruß, noisefloor

[imonbln]

Grundsätzlich ja es ist möglich, sowas zu machen, das konnte IBM schon 1995 für Windows 95. Amazon mit seiner Alexa kann das richtig gut, und es gibt einige Bücher & Howtos die erklären wie man sowas mit AI, mal besser und mal schlechter, selber macht. Zum Beispiel auf der Basis von TensorFlow. Ich bin mir auch sicher das man Alexa Skill bekommt, oder ein Entwickeln kann der da hilft. Siri auf Mac würde ich auch zutrauen da was zu haben.
Aber da du eigentlich nur fragst, ob es Möglich ist, lautet die Antwort ja es ist möglich! Aber für bessere Antworten brauchen wir bessere Informationen, zum Beispiel welches Betriebssystem, bist du bereit was Fertiges zu kaufen, was genau meinst du mit Chatbot (für die älteren Semester ist das eine Text Anwendung, die bei geschrieben Schlüsselwörtern etwas macht) und wie Fit bist du in Python und AI. Denn "speech recognition" ist eigentlich etwas das man beim Lernen zum Thema AI, zwangsläufig findet.

[DeaD_EyE]

Du könntest lokal einen KI-Agenten betreiben, der dann Aktionen ausführt.

Mensch: Computer, bitte führe Programm xy.py aus.
Computer: Zu Befehl, Meister.

Aber der Stromverbrauch steigt durch die Nutzung der GPU an und man kann nicht alle Modelle lokal ausführen, da viele Modelle nicht in den RAM der Grafikkarte passen.
Vor der KI gab es aber auch schon die Möglichkeit Sprachbefehle bzw. Text mittels NLTK zu analysieren und Aktionen auszuführen.

[nezzcarth]

ist es möglich einen ChatBot aufzusetzen, dem ich sagen kann: "Starte Programm xyz" oder "Öffne Datei xyz" und das dann auch umgesetzt wird?

Unter Gnome drücke ich die Super-Taste, tippe einen Programmnamen, drücke Enter und dann startet das. (Ohne "Bitte" und "Danke" sagen zu müssen ) Wenn entsprechend konfiguriert, geht das auch mit Keywords; "xlsx" oder "Excel" starten LibreOffice Calc, weil das in der .desktop-Datei hinterlegt wurde. Das ist m.M.n. die effizientere Variante von dem, was du zuerst gefragt hattest.

Was du dann in späteren Posts anführst, würde meiner Meinung nach letztendlich darauf hinauslaufen, dass man z.B. unter Linux einen Window-Manager hat, der für die Verwendung durch einen AI-Agent optimiert ist, d.h. auch auf die automatisierte Interaktion mit GUI-Elementen und Shelltools auf Basis von Prompts. Das kommt mir persönlich extrem ineffizient vor und ich weiß nicht, wer für so etwas die Zielgruppe wäre. Wer seinen Rechner per Text kontrollieren will, kann das mit einer ordentlichen Shell deutlich schneller erledigen. Daher: Ich verstehe den Ansatz/Wunsch, aber ich sehe wenig Nutzen.

[DeaD_EyE]

ALT + F2 bei KDE Plasma
Der Schnellstarter kennen viele nicht und wird unterschätzt.

Ich liebe diesen Desktop. Mittlerweile hat der Desktop Windows 10 mehrfach überholt und über Windows 11 braucht man gar nachzudenken. Im Vergleich zu Windows 11 ist jeder andere Desktop besser. Egal ob unter MacOS oder Linux.
Da ich jeden Tag auf der Arbeit mit Windows 11 arbeiten muss, kann ich das gut beurteilen.

Der Gnome-Desktop ist auch schön, wenn man eher auf Minimalismus steht.

[grubenfox]

ALT + F2 bei KDE Plasma
Der Schnellstarter kennen viele nicht und wird unterschätzt.

oder ALT+Leertaste [jedenfalls bei mir, keine Ahnung ob ich da was konfigurieren musste]

[DeaD_EyE]

ALT + F2 bei KDE Plasma
Der Schnellstarter kennen viele nicht und wird unterschätzt.

oder ALT+Leertaste [jedenfalls bei mir, keine Ahnung ob ich da was konfigurieren musste]

Es gibt fast nichts, dass man bei KDE Plasma nicht einstellen kann. ALT+Leertaste ist die einfachere alternative Belegung.