Alle Tests, die ich oben beschrieben habe, habe ich jedesmal mit chatpdf und dem gleichen PDF gemacht.
Interessant. Bei mir kommt das Inhaltsverzeichnis ja korrekt heraus (bis auf den Index).
Gruß Dee
Hatte ich beim zweiten Test dann ja auch - ist also nicht konsistent.
Nur, um es nochmal klarzustellen, weil mit unpräziser Sprache auch falsche Bilder im Kopf entstehen: "Verstehen" tut der Bot gar nichts! Er bildet nur eine Art Sprachnetz, welches ihm ermöglicht, Sätze zu produzieren, die sprachliche Eigenschaften nachahmen und die mit einer gewissen (recht hohen) Wahrscheinlichkeit, die Begriffe so wieder in einen Kontext einbauen, wie sie "normalerweise" und zusätzlich nach den in der Quelle verwendeten Strukturen entsprechend vorkommen.
Dabei ist das aber alles nur Baukastenprinzip ohne Sinnerkenntnis des Bots.
Gute Klarstellung. Wenn man jetzt eine zweite Fakten-Check-KI darauf ansetzt, die Ergebnisse der ersten Sprachnetz-Bots einzelnd zu prüfen und die Erkenntnisse wieder zurückspielt, könnte man dann nicht besserer Ergebnisse bekommen?
Wenn (!) die Faktencheck KI korrekt arbeitet. Da semantisches Verständnis von Informationen aber nicht trivial (und zudem kontextabhängig unterschiedlich) ist, dürfte auch diese in bestimmten Situationen Probleme bekommen.
Wie soll sie zum Beispiel mit solchen "Fakten," umgehen, die sie von Seiten, wie dem Postillon hat - für die KI wäre das erstmal alles gleichwertig (nur dass die "echten" Fakten häufiger vorkommen und daher eine höhere Wahrscheinlichkeit haben, reproduziert zu werden...
Spätestens, wenn die Informationen im Internet zu einem immer größeren Teil aus von KIs produzierten Inhalten besteht, wird es mit der Faktensuche noch schwieriger... da füttern die KIs sich dann ggf. gegenseitig.
Alle Tests, die ich oben beschrieben habe, habe ich jedesmal mit chatpdf und dem gleichen PDF gemacht.
Der Bot hat übrigens, nachdem er das Spiel nun "Alchemist" nennt (und das begründet hat mit: "das steht in der ersten Zeile des PDF" - sehen tut man da nichts... vielleicht Meta-Informationen?), bei nochmaliger Nachfrage das Inhaltsverzeichnis diesmal vollständig und korrekt ausgegeben (nur den Index hat er weggelassen). Auch bei Nachfrage nach einzelnen Regelschritten zitiert er oft vollständig und korrekt.
Allerdings fehlen ebenfalls oft ein paar Schritte, die er dann auch auf explizite Nachfrage nicht wiedergeben kann (Er behauptet z.B. zu wissen, dass es noch mehr Setup-Schritte gibt, er aber keinen Zugriff darauf hat). Bei der Search-Aktion zum Beispiel zitiert er die ersten beiden Schritte korrekt, lässt aber danach folgende Schritte weg. Darauf hingewiesen, denkt er sich dann Dinge aus, die manchmal korrekt, manchmal falsch sind, auf jeden Fall aber KEIN Zitat der Regeln mehr sind.
Dieses Erratische und dies Willkür sind eben das Problematische, da man aus ein oder zwei richtigen Antworten nicht darauf schließen kann, dass weitere Antworten auch richtig sein werden oder konsistent bleiben.
Habe ein paar weitere Tests gemacht. Die ersten Schritte vom Setup gibt er korrekt wieder, wenn man ihn danach fragt. Seltsamerweise (ohne Suggestion von mir) nennt er das Spiel aber plötzlich "Alchemist".
Springe ich aber direkt zu Setup-Schritt 15 (den es gibt) behauptet er, dass es nur 7 Setup-Schritte gäbe. Frage ich nach Step 9, behauptet er nur eine Frage später plötzlich, es gebe nur drei Setup-Schritte und bleibt auch dabei, wenn ich ihn nach Schritt vier befrage.
Andererseits gibt er mir das Verhalten des "Round markers" richtig wieder und ergänzt das Ganze sogar durch eine sinnvoll und korrekte Erklärung mit Beispiel, die so nicht in den Regeln steht. Da konnte ich ihn auch mit fiesen Nachfragen nicht aufs Glatteis führen und er hat falsche Aussagen von mir korrigiert oder klargestellt.
Für Wissensvermittlung oder Recherche sind die System aber noch viel zu fehleranfällig und auch wenn die Wahrscheinlichkeit für korrekte Antworten sicherlich steigt, weiß man nie, wann wieder mal eine falsche dabei ist... und um das zu bewerten, muss man sich in dem Bereich über den man fragt, so gut auskennen, dass man die Informationen selbst überprüfen kann, was das System dann wieder überflüssig macht.
Habe es gerade mit "Oath" versucht, weil ich die Anleitung gerade da hatte und die klein genug ist, um sie zu verarbeiten.
Meine einfache Frage: "List the table of contents" - er soll also einfach das Inhaltsverzeichnis wiedergeben, welches auf dem Deckblatt unter genau dieser Überschrift aufgelistet ist. Einfacher geht es wirklich nicht.
Seine Antwort:
ZitatAlles anzeigenHere is the table of contents for Chronicles of Empire & Exile 2:
Index ............................................................12
CHRONICLES OF EMPIRE & EXILE
1. Introduction
2. Components
3. Setup
4. Gameplay
5. Victory
6. Powers
7. Technical Rules
8. Chronicle Writing Guide
9. Glossary
Das echte Inhaltsverzeichnis sieht aber so aus:
Das Tool würfelt also die Begriffe neu zusammen und formatiert / formuliert die so, wie aus Millionen Daten das Muster gespeichert wurde, was man üblicherweise im Zusammenhang mit "Table of Contents" findet. Es hat auch schonmal Glück, dass etwas stimmt, aber insgesamt ist es totaler Unsinn und hat nur noch rudimentär etwas mit dem echten Inhaltsverzeichnis zu tun.
Nicht mal den Namen des Spiels hat das Tool richtig wiedergegeben (oder wo kommt die "2" zu Beginn der Antwort her? Das das Spiel auch noch Oath heißt, muss man dem Tool nachsehen, da das nur als Grafik und nicht als Text auf dem Deckblatt hinterlegt ist).
Nur, um es nochmal klarzustellen, weil mit unpräziser Sprache auch falsche Bilder im Kopf entstehen: "Verstehen" tut der Bot gar nichts! Er bildet nur eine Art Sprachnetz, welches ihm ermöglicht, Sätze zu produzieren, die sprachliche Eigenschaften nachahmen und die mit einer gewissen (recht hohen) Wahrscheinlichkeit, die Begriffe so wieder in einen Kontext einbauen, wie sie "normalerweise" und zusätzlich nach den in der Quelle verwendeten Strukturen entsprechend vorkommen.
Dabei ist das aber alles nur Baukastenprinzip ohne Sinnerkenntnis des Bots.
Kann man vermutlich recht schnell überprüfen, wenn man ihm simpelste Reproduktionsfragen stellt, die klar in der Anleitung stehen, wie: Was muss ich zuerst aufbauen? Wer ist Startspieler, etc.
Selbst davon dürften viele Fragen den Bot überfordern.
Genau das ist mein größtes Problem mit der Einführung der KI: viele schreiben ihr viel zu hohe Kompetenzen zu und glauben dann, was sie ausspuckt.
Solange man nicht sicher sein kann, dass die Antworten auf jeden Fall korrekt sind, macht eine solche Unterstützung in meinen Augen wenig Sinn, denn solange die Antworten falsch sein könnten, muss man sie ja doch nochmal selbst nachlesen.
