ChatGPT hoort, spreekt en luistert

Door: Jaap

26 september 2023

Nieuws

OpenAI heeft ChatGPT uitgebreid met een paar leuke opties! In het kort, je kunt nu in gesprek gaat met ChatGPT en je kunt beeld laten zien om je verder te helpen!

Praten met ChatGPT

Door de nieuwe functies van ChatGPT komt de tool steeds dichter bij dagelijks gebruik. Nu hoef je alleen nog maar je vraag te stellen en je krijgt antwoord. Het is, of lijkt ontzettend veel, op de assistenten van je smartphone. Google Assistant en Siri van Apple hebben er een serieuze tegenspeler bij gekregen. OpenAI zegt hierover het volgende:

Je kunt nu je stem gebruiken om een gesprek met je assistent te voeren. Spreek ermee onderweg, vraag om een verhaaltje voor het slapengaan voor je gezin of beslecht een debat aan de eettafel.

De nieuwe stemmogelijkheid wordt mogelijk gemaakt door een nieuw tekst-naar-spraakmodel dat menselijke audio kan genereren op basis van alleen tekst en een paar seconden voorbeeldspraak. We hebben samengewerkt met professionele stemacteurs om elk van de stemmen te creƫren. We gebruiken ook Whisper, ons open-source spraakherkenningssysteem, om je gesproken woorden om te zetten in tekst.

Deze functie om met ChatGPT te spreken komt eerst naar de apps voor iOS en Android en wordt de komende twee weken uitgerold. Voor nu zijn ze alleen beschikbaar voor betalende gebruikers.

Afbeeldingen delen met ChatGPT

Naast praten met ChatGPT, kun je ook beelden tonen aan de chatbot. Zo kan ChatGPT je helpen met het oplossen van een probleem, zoals het verhogen van je fietszadel (wat schijnbaar een moeilijk op te lossen probleem is voor Amerikanen) of het starten van je grill.

OpenAI komt ook met een ander voorbeeld: je maakt een foto van de inhoud van je koelkast en vraagt om een recept te geven met die inhoud. Of een beeld met veel data dat moet worden geanalyseerd.

Beeldbegrip wordt mogelijk gemaakt door multimodaal GPT-3.5 en GPT-4. Deze modellen passen hun taalredeneervaardigheden toe op een breed scala aan afbeeldingen, zoals foto’s, screenshots en documenten met zowel tekst als afbeeldingen.

De optie om beelden te delen met ChatGPT komt in de app en in de webbased tool en zal binnen twee weken beschikbaar zijn voor betalende gebruikers.

Wat is de impact van deze functies?

OpenAI zegt zich bewust te zijn van de mogelijke risico’s van deze nieuwe mogelijkheden, zoals het misbruik van de stemtechnologie voor spoofing of het gebruik van de beeldtechnologie voor discriminatie. Daarom worden de nieuwe mogelijkheden geleidelijk uitgerold en worden er technische maatregelen genomen om de risico’s te beperken. Welke technische maatregelen dat zijn is nog niet duidelijk.