GPTZero - Disegnato per smascherare
ChatGPT ha popolato le testate di tutti i giornali e blog del settore, ed è stato messo alla prova in diversi modi da persone professioniste e non per valutarne il funzionamento. C’è chi ha detto che non sa riconoscere un errore quando lo vede, chi parla di una possibile acquisizione da parte di Microsoft e chi parla di se e quando diventerà a pagamento
GPTZero
GPTZero è diventato virale su Twitter il 3 gennaio 2023 con oltre 7 milioni di visualizzazioni:
Edward Tian, la persona che ha sviluppato in meno di tre giorni GPTZero durante il periodo di Natale, ha scelto come motto “gli esseri umani meritano la verità”. Il suo scopo, in quanto studioso di giornalismo e informatica, è quello di mettere a disposizione di insegnanti, educatori e non solo, uno strumento che permetta di riconoscere un testo generato artificialmente da uno scritto a mano.
Non solo: Tian si impegna a mantenere una versione di GPTZero classic permanentemente gratuita e accessibile a qualsiasi essere umano, senza renderla mai a pagamento.
“C’è stato così tanto clamore ed entusiasmo attorno a ChatGPT, che come con qualsiasi nuova tecnologia, dobbiamo pensare di adottarla in modo responsabile, e questa è stata la motivazione principale a creare GPTZero”, dice lo sviluppatore: in effetti, ChatGPT ha guadagnato un milione di utenti in appena 6 giorni.
Come funziona
L’applicazione è stata scritta in Python, come visibile da un errore generato casualmente durante i test a causa di un testo troppo lungo:
Il suo funzionamento è semplice: basta accedere alla demo disponibile sul sito ufficiale e inserire il testo di cui vogliamo controllare la sorgente, incollarlo e richiedere la valutazione. Il sistema misura la qualità del testo e discrimina l’autore sulla base di una metrica che chiama perplessità: questa rappresenta la misura di quanto bene un modello linguistico come ChatGPT può prevedere un testo, a fronte di un input.
Come viene specificato nell’output, testi particolarmente lunghi sono comunque classificabili come human-like visto che quelli generati al momento si attestano su una lunghezza media standard.
Più il punteggio è alto, più il testo sarà stato verosimilmente scritto da un essere umano.
in poche parole, misura quanto piace il testo al modello di computer. la tua perplessità del testo valutata su gpt2 (345 milioni di parametri) è 28 i testi con perplessità inferiori hanno maggiori probabilità di essere generati da modelli linguistici
In questo caso, per fare un test e contro-test, ho chiesto a ChatGPT di generare un articolo su ChatBCG, di cui abbiamo parlato la settimana scorsa. Parte del risultato è il seguente testo:
Il tema non è esattamente quello scelto, ma si riferisce ad un ipotetico sistema di generazione di chatbot, per cui proviamo a cambiare testo e scegliamo “Black Mirror”, la serie prodotta da Netflix. Questo il testo generato da ChatGPT:
Black Mirror is a British science fiction anthology television series created by Charlie Brooker. The show is produced by Brooker and Annabel Jones, and originally premiered on Channel 4 in the United Kingdom before being picked up by Netflix for international distribution. Each episode of Black Mirror presents a standalone story that explores the darker aspects of technology and its impact on society and individuals. The series covers a wide range of themes, including the effects of social media, surveillance, artificial intelligence, and virtual reality on human behavior and relationships. …
Il risultato di GPTZero è ottimo, e riconosce che il testo è stato generato da un’intelligenza artificiale:
Per fare un contro-test, utilizziamo una recensione presa da Quora.com sulla serie TV che è abbastanza lunga da essere un testo plausibile.
Inserendo questo testo in GPTZero, il risultato è che la perplessità del sistema è pari a zero -più o meno: la recensione è stata scritta da un essere umano, e il punteggio è molto alto.
Dietro le quinte
Edward Tian ha utilizzato un modello piuttosto semplice di machine learning per costruire GPTZero, basato sulla regressione logistica, dove utilizza metriche come la perplessità per valutare la bontà dell’input ricevuto. Come dataset, ha utilizzato gli articoli pubblicati sul sito della BBC più degli input generati artificialmente, di modo da ridurre il numero di falsi positivi, che attualmente si attesta sullo 2%.
Questo modello non è stato sviluppato con l’idea di andare contro tecnologie come quelle di ChatGPT: lo stesso sviluppatore chiarisce che “ci sono delle bellissime qualità nella letturatura prodotta dagli essere umani di cui i computer non possono e non dovrebbero appropriarsi”.
Sembra che a breve uscirà un nuovo modello, GPTZeroX, con molte più funzionalità, tra cui l’upload di documenti in formato Word o PDF, come le evidenze che hanno portato il sistema a classificare il testo come generato artificialmente o meno fornendo dei testi chiave.
