Wat gebeurt er als je 2 GPT's (AI) met elkaar laat Debatteren?

Een uitdagend experiment

In de zomer van 2024 werd Devin benaderd door Julius Moorman met de vraag of hij meewilde werken aan een AI experiment. Julius is economie redacteur bij de NOS en oprichter van het Youtube kanaal now we know. Devin is naast mede-oprichter van To the Point ook mede-oprichter van de AI speechschrijver Verble.app en zag zo'n experiment dus wel zitten. Hieronder vind je het eindresultaat. Geen zin in een video? Geen probleem, we hebben ook een korte samenvatting voor je gemaakt.

Het expirement

Voor dit experiment gaf Jullius beide GPT's een set specifieke instructies mee waarna GPT A en GPT B het tegen elkaar opnamen in een debat. Je hoort Julius tijdens de video af en toe hummen. Dit is om ervoor te zorgen dat de AI's weten wanneer 'de ander' klaar is met praten. Net als bij debatwedstrijden werd er een specifiek format aangehouden. Het doel van dit experiment was dan ook niet om een alledaagse discussie na te bootsen maar de gpt's te testen binnen deze specifieke context.

Wat opviel

Er waren een aantal zaken die de AI's erg goed wisten uit te voeren. Aanzienlijk beter dan de meeste mensen die ongetraind een debat inlopen. Denk hierbij aan zaken als:

• Duidelijkheid en logica: De AI's waren er goed in het helder en gestructureerd uit leggen van hun standpunten. Elk argument had een duidelijke opbouw, wat het debat lekker overzichtelijk maakte. Die structuur zorgde er ook voor dat veel basisvoorwaarden voor een goed argument netjes werden afgetikt

• Snel reageren: Waar mensen in debatten soms blijven hangen in hun eigen verhaal, reageerden de AI's inhoudelijk op de argumenten van de ander. Die reacties gingen verder dan het enkel herhalen van het eigen argument. In plaats daarvan werd er direct gereageerd op de logica van de ander.

• Leren van de kritiek van de ander: Het mooiste? De AI’s verbeterden zichzelf tijdens het debat. Ze pasten hun argumenten aan op basis van wat de ander zei. Zo werden de argumenten scherper gedurende het debat.

Wat beter kon:

• Meer nuance: Soms waren de argumenten te zwart-wit. Dit werd minder naarmate het debat vorderde en de kritiek van de andere kant werd meegenomen, maar de eerste versie van de argumenten waren wat kort door de bocht. Dit kan verholpen worden door de AI's duidelijke argumentatiemodellen mee te geven.

• Heldere Definities: Wat in meerdere debatten bleek is dat naarmate het debat vorderde de AI's kritischere vragen gingen stellen over wat de stelling precies betekent. De debatten waren helderder geweest als ze dit vooraf duidelijk hadden afgkaderd. Daar moet wel bijgezegd worden dat dit kwam doordat deze taak niet helder in de instructies (prompts) waren meegegeven. Dit is dan dus ook niet zozeer kritiek op de AI's, maar een helder voorbeeld van het feit dat duidelijkheid van je instructies een grote impact heeft op de kwaliteit van het eind resultaat.

Al met al was het een leuk experiment dat laat zien dat je dit soort AI's heel nuttig kunnen zijn als brainstormpartners, maar dat jet belangrijk blijft om uiteindelijk zelf de definitieve keuzes te maken.