Irlanda del Nord, funerali Samantha Willis: neonata segue la bara della mamma morta di CovidScambiata nella culla chiede 3 milioni di euro: i veri genitori vivono a 500 metri da leiUragano Henri, in Tennessee decine di morti e dispersi: tra le vittime anche gemellini di 7 mesi
Sardegna, arrestato l'ex presidente catalano Carles PuigdemontNegli ultimi giorni,trading a breve termine più fonti riportano notizie relative a una generica perdita di lucidità di ChatGPT, o, per essere più precisi, a un relativo indebolimento delle sue performance e capacità di risoluzione dei problemi; alcuni, addirittura, lo definiscono ‘stupido’.In effetti, chi utilizza il tool di OpenAI con continuità ha potuto constatare nei mesi una parziale modifica nella sua capacità di interazione, in particolare nella versione 4, divenuta per certi versi più veloce, ma allo stesso tempo più imprecisa.I temi trattati all’interno dell’articoloLe teorie degli utentiLo studio universitarioLe conclusioniLe teorie degli utentiil 21 maggio, l’esperto di intelligenza artificiale e product lead di RobloxUno, Peter Yang, è stato uno dei primi a presentare pubblicamente il problema con un tweet, trovando riscontri anche da parte di altri utenti.GPT4's output has changed recently.It generates faster, but the quality seems worse.Perhaps OpenAI is trying to save costs.Has anyone else noticed this?— Peter Yang (@petergyang) May 21, 2023“L’output di GPT4 è cambiato di recente. Genera più velocemente, ma la qualità sembra peggiore. Forse OpenAI sta cercando di risparmiare sui costi. Qualcun altro ha notato questo problema?“Le teorie si sono sprecate fin da subito e anche il forum ufficiale di OpenAI si è animato attorno a questo tema. Secondo molti utenti, non si può escludere un’azione deliberata di OpenAI, che avrebbe messo opportuni filtri per aumentare un approccio politicamente corretto del chatbot, diminuendone le capacità. Altri sostengono invece che sarebbe stato modificato il funzionamento stesso del tool, suddividendolo in 16 micro-aree tematiche (un’operazione che si chiama Mixture of Experts; ne ha parlato Sharon Zhou, CEO di Lamini, in un’intervista a Insider), che si starebbero dunque rivelando più affaticate del previsto a interagire tra loro.Lo studio universitarioNegli ultimi giorni, è emerso che qualcuno stava già indagando da un punto di vista scientifico i fondamenti di queste impressioni e, a fine luglio, è arrivato uno studio realizzato da tre ricercatori delle università di Stanford e Berkeley.Obiettivo originale del paper, 8 pagine, era di valutare come il comportamento dei grandi modelli linguistici LLM (nello specifico ChatGPT, nelle versioni 3.5 e 4) cambi nel tempo e, per farlo, hanno confrontato le performance dei tool tra marzo e giugno.La tenuta dell’intelligenza artificiale è stata testata in quattro campi distinti:Risoluzione di problemi matematici Risposta a domande sensibili Generazione di codice Ragionamento visivoIn effetti, lo studio ha dimostrato che il comportamento dell’AI è effettivamente cambiato nel breve lasso di tre mesi e che sono calate vertiginosamente alcune sue capacità nella versione 4. L’accuratezza nella risoluzione di problemi matematici sottoposti a GPT-4, ad esempio, è passata dal 97,6 al 2,4% (nettamente inverso, invece, il 3.5, passato da 7,4 a 86,8%). GPT-4 è diventato in generale più restio a rispondere a domande sensibili e solo nel ragionamento visivo si sono registrati lievi miglioramenti in entrambi.Nella risoluzione di problemi matematici, a giugno, GPT-4 aveva smesso di seguire la logica “chain-of-thought” (catena di pensiero, un approccio di ragionamento del modello artificiale) per scomporre il problema in step, di conseguenza era portato a sbagliare. GPT-3.5, invece, sbagliava a monte per poi modificarsi e impostare il ragionamento corretto, quindi riusciva alla fine a fornire la risposta giusta.Nello stesso mese, entrambi i modelli tendevano ad aggiungere testo extra (commenti, triple quotes, etc) quando era richiesto loro di occuparsi di generazione di codice, rendendolo non direttamente eseguibile.Nelle risposte a domande sensibili, entrambi i modelli hanno dimostrato di essere diventati più sicuri e cauti, ma fornendo anche meno motivazioni al rifiuto di rispondere a certe domande. ChatGPT denunciato per diffamazioneLe conclusioniIl team è dunque giunto alla conclusione che quanto sospettato da molti utenti è corretto, anche se è improprio definire ChatGPT ‘stupido’: agli aggiornamenti del tool di OpenAI possono corrispondere comportamenti indesiderati; è proprio il miglioramento di alcuni aspetti che può involontariamente peggiorare altre capacità. Ad esempio, GPT-4 potrebbe essere stato aggiornato per rispondere meno a domande pericolose, ma proprio questa specifica potrebbe aver compromesso la sua abilità di seguire i ragionamenti matematici. Il team di ricerca non è in grado di dare risposte a tutte le domande. Comprende parzialmente cosa sia accaduto, ma non sa esattamente dire perché sia avvenuto. La conclusione la danno però sotto forma di monito: ChatGPT e i modelli LLM affini vanno costantemente monitorati nel tempo per valutarne la qualità e il comportamento. Il team stesso si ripropone, alla fine del paper, di impostare un’osservazione a lungo termine.Lo studio apre riflessioni interessanti su come effettivamente l’intelligenza artificiale si basi su interazioni olistiche tra campi diversi, ed è proprio questa interazione tra ‘intelligenze diverse’ a renderla un modello efficace di imitazione della nostra.
Capibara invadono Buenos Aires: pesano fino a 90 kg, distruggono giardini e provocano incidentiTommaso Claudi, chi è il console italiano che ha portato in salvo un bambino a Kabul
Afghanistan, Biden al G7: le operazioni di evacuazione saranno ultimate entro il 31 agosto
Venezuela, madre morta in un naufragio: i figli di 6 e 2 anni sopravvivono aggrappati al suo corpoEccesso di velocità non giustificato dall'urgenza di andare in bagno: la sentenza del tribunale
Il Regno Unito corre il rischio di rimanere senza benzinaCoronavirus, negli Usa il Covid ha fatto più morti dell’influenza spagnola nel Novecento
No vax convince un 75enne a tornare a casa: l’uomo lascia l’ospedale e muorePoliziotti amanti hanno rapporti nella volante e ignorano le chiamate di emergenza: licenziati
Giordania, uno stagno vicino il Mar Morto si tinge di rossoPatrick Zaki, inizia il processo: oggi 14 settembre la prima udienza, cosa rischia?Contagi Covid in crescita nel Regno Unito: ipotesi lockdown light prima di NataleBimba di 5 anni trovata morta a Londra: arrestata 31enne sospettata di omicidio
Afghanistan, i Talebani: "Non permetteremo agli afghani di partire, le donne restino in casa"
11 settembre 2001: la storia e la celebrazione dei cani eroi
Lo studente spagnolo che va a scuola in gonna per superare i pregiudizi di genereSalvata la dalmata Emma Roo: le avevano amputato le zampe anteriori in un mattatoio cineseGaia Young morta improvvisamente a 25 anni dopo aver lamentato un forte mal di testaFrancia, 19enne “adoratore di Hitler” progettava una strage: arrestato
Germania, chiede a un cliente di indossare la mascherina: morto per un colpo di pistola alla testaGiappone, due morti dopo il vaccino Moderna: i lotti erano stati ritiratiIncendio su una piattaforma petrolifera in Messico: almeno 5 morti e 6 feriti, 2 i dispersiCaso Eitan, parlano gli avvocati della famiglia: "Chiari segni di lavaggio del cervello"