Forscher der Universität Namur entwickeln „AI Score“ für Chatbots

Das System orientiert sich an bekannten Bewertungssystemen wie dem Nutri-Score für Lebensmittel oder dem Energiezertifikat für Gebäude. Jede künstliche Intelligenz erhält eine Punktzahl und eine Buchstabenbewertung, die anzeigen soll, wie zuverlässig ihre Antworten sind. Laut der Universität gab es bisher kein standardisiertes Instrument, mit dem sich die Verlässlichkeit generativer künstlicher Intelligenz messen lässt.

Um das System zu entwickeln, stellten die Forscher den Chatbots gezielt ausgewählte Fragen. Dabei untersuchten sie unter anderem, wie gut ein System eine Frage bereits beim ersten Versuch beantwortet, ob die Antworten auch bei wiederholten oder ähnlichen Fragen stabil bleiben. Ebenfalls, ob der Chatbot eigene Fehler erkennt und korrigiert und ob er im Verlauf eines Gesprächs widersprüchliche oder ungenaue Aussagen macht. Der sogenannte „AI Score“ steht laut der Universität kostenlos im Internet zur Verfügung und soll auch der breiten Öffentlichkeit helfen, die Zuverlässigkeit von Chatbots besser einzuschätzen. (belga/rt)