ChatGPT und Google Bard – Eine Analyse

Intro

Welcome! Wer das erste mal bei mir auf das Thema stösst liesst am besten den dazugehörigen vorgängigen Post durch in welchem ich beschrieben habe, wie ich ein und den selben Prompt in der Rolle “Beauty-Blogger” bei ChatGPT und Google Bard abgesetzt und publiziert habe.

Basis für Analyse

Jede noch so simple Analyse bedarf zumindest einer simplen struktur zur Auswertung. Für den Vergleich habe ich darum folgende Parameter definiert:

  1. Anforderungen: Wie gut erfüllt die Antwort die im Prompt definierten Anforderungen?
  2. Lesbarkeit: Wie gut liest sich der Artikel respektive wie einfach kann ich diesen, in der fiktiven Rolle, mittels “Copy & Paste” veröffentlichen?
  3. Aktualität: Sind die erwähnten Referenzen aktuell und gültig?
  4. Generelle Beobachtungen: Was fällt generell positiv oder negativ auf?

Analyse

Anforderungen

KriteriumChatGPTGoogle Bard
Mindestens 500 Wörter1.0 – Erfüllt, 5401.0 – Erfüllt, 509
5 Marken präsentiert1.0 – Erfüllt1.0 – Erfüllt
Marken sind “luxuriös” und natürlich *0.5 – Teilw. Erfüllt0.5 – Teilw. Erfüllt
Heute noch relativ unbekannt1.0 – Erfüllt0.5 – Teilw. Erfüllt
Marke aus Europa1.0 – Erfüllt1.0 – Erfüllt
Links zu Webseiten1.0 – Erfüllt0 – Nicht erfüllt
Artikelstruktur gemäss Prompt1.0 – Erfüllt1.0 – Erfüllt
Fazit am Schluss mit Empfehlung1.0 – Erfüllt1.0 – Erfüllt

*”luxuriös und natürlich” sind sicherlich nicht exakt zu definieren / beurteilen und in diesem Sinne nicht sehr gut messbare Kriterien.

Grundsätzlich werden die Anforderungen von beiden erfüllt. Ob die genannten Marken / Brands wirklich luxuriös und natürlich sind wage ich z. T. zu bezweifeln, bin aber fernab eines Kenners. Betreffend “unbekannte Marke” muss ich Google Bard nur ein “Teilweise Erfüllt” geben im Vergleich – Die dort erwähnten Marken sind z. T. (bspw. Weleda) doch schon bekannter und ChatGPT hat wirklich “unbekannte Perlen” herausgefischt.

  • ChatGPT 7.5 von 8.0
  • Google Bard 6.0 von 8.0

Lesbarkeit

KriteriumChatGPTGoogle Bard
Ist der Artikel gut lesbar?1.0 – Erfüllt1.0 – Erfüllt
Muss nahezu nichts angepasst werden?1.0 – Erfüllt0.5 – Teilw. Erfüllt
Sind Hyperlinks vorhanden respektive im Text integriert?1.0 – Erfüllt0.0 – Nicht erfüllt

Grundsätzlich sind beide Texte gut lesbar. Was auffällt, ist dass sich vor allem bei Google Bard in der Beschreibung viele Wiederholungen finden, was zu einem Abzug führt (z. B. im Punkt “Empfehlungen” wird nahezu bei allen 5 Marken “hochwertig und natürliche Inhaltsstoffe” 1:1 erwähnt).

  • ChatGPT 3.0 von 3.0 Punkten
  • Google Bard 1.5 von 3.0 Punkten

Aktualität

KriteriumChatGPTGoogle Bard
Existieren die genannten Brands?0.0 – Nicht erfüllt1.0 – Erfüllt
Gibt es widersprüche im Text, die heute nicht (mehr) stimmig sind?0.0 – Nicht erfüllt1.0 – Erfüllt
Führen die genannten Hyperlinks auch zu den aktuellen Ressourcen?0.0 – Nicht erfüllt0.0 – Nicht erfüllt

Interessanterweise scheinen die von ChatGPT genannten Brands allesamt nicht (mehr) zu exisiteren. Die Hyperlinks sind zwar da, führen aber ins leer. Google Bard ist da schon wesentlich besser und aktueller aber eben leider ohne Hyperlinks.

  • ChatGPT 0.0 von 3.0 Punkten
  • Google Bard 2.0 von 3.0 Punkten

Generelle Beobachtungen

Interessant ist noch, dass ChatGPT den Text mit “Als Beauty-Bloggerin” beginnt. ChatGPT geht also davon aus, dass nicht ein Herr den Blogeintrag präsenterieren soll sondern verwendet bewuswst die weibliche Form.

Beide Texte lesen sich recht anderst und hinterlassen einen jeweils “prägenden” Eindruck von der jeweiligen Plattform generiert worden zu sein.

Fazit der Analyse

Zusammenfassung Punkte, total 14 Punkte möglich:

  • ChatGPT > 10.5
  • Google Bard > 9.5

ChatGPT ist also leicht vorne aber, offen gestanden, nutzlos wenn die genannten Brands so nicht existieren. In der Realität hätte der Text von Google Bard wohl gepostet werden können; mit dem Text von ChatGPT hätte sich ein potentieller Blogger wohl in die Nesseln gesetzt!

Leave a Reply

Your email address will not be published. Required fields are marked *