Stellt euch vor: Ein Studierender aus dem beschaulichen Wedel in Deutschland bringt einen KI-Detektor auf den Markt, der mit einer Präzision von sagenhaften 98% glänzt und somit auch die größten Player auf der ganzen Welt schlägt. Klingt fast zu gut, um wahr zu sein, oder?
Diese beeindruckende Genauigkeit ist kein leeres Versprechen, wenn auch mit einem großen ABER versehen. Ich habe das Tool selbst auf die Probe gestellt und war von seiner Fähigkeit, KI-erzeugte Texte zu identifizieren, doch etwas beeindruckt. Es hat sowohl einfache, mit Standard-Prompts erstellte KI-Texte als auch menschliche Schreibweisen mit einer Trefferquote von ungefähr 98 bis 99% erkannt.👌
Bloß nicht den KI-generierten Text verändern…
Aber – und hier wird es interessant – sobald man selbst kreativ wird und den Text ein wenig verfeinert, lässt sich der Detektor wie imer austricksen. Ein Text von mir, nur leicht bearbeitet, wurde mit einer Wahrscheinlichkeit von 98,74 % als menschengeschrieben klassifiziert. Dabei hatte ich nur an ein paar Stellen Hand angelegt, genau dort, wo mein geschultes Auge Verbesserungspotenzial sah.
Ehrlich gesagt, hätte es mich auch überrascht, wenn es anders gewesen wäre. Selbst die Giganten der Branche haben es nicht geschafft, einen fehlerfreien Detektor zu entwickeln. Sogar OpenAI hat sein eigenes Tool vom Markt genommen. Tom Tlok, der kreative Student hinter diesem Projekt, hat sein Tool mit ‚nur‚ 140.000 Texten trainiert – im Vergleich zu anderen Anbietern, die auf Millionen von Texten setzen, eine bescheidene Menge.
Die großen KI-Detectoren Konkurrenten kommen auf höchstens 90 % Genauigkeit
Nach aktuellen Standards gilt Binoculars als das Maß aller Dinge unter den KI-Detektoren, mit einer Genauigkeitsrate von über 90%. Toms Arbeit hätte also alles Bisherige in den Schatten gestellt.
Versteht mich nicht falsch, ich bin begeistert von Toms Errungenschaft. Doch wie mein kleines Experiment zeigt, ist auch dieses Tool nicht unfehlbar.
Die Zukunft der Bildung wird uns also vor Herausforderungen stellen, die wir nicht allein mit der Technologie bewältigen können. Das simple Überprüfen von Schülerarbeiten mit einem Tool, um Echtheit zu garantieren, wird nicht ausreichen. Vor allem nicht, wenn KI-generierte Texte immer besser und besser werden.
Wer einen Blick auf das Tool werfen möchte, findet es hier: https://ki.fh-wedel.de/
Und hier geht’s zum Artikel vom NDR: https://lnkd.in/dwdkdSKi
Schreibe einen Kommentar