A clearer view of AI.
Submit for reviewSubscribe

WEEKLY NEWSLETTER

The AI Insider

A weekly round-up of the AI tools worth your time, and the hype to ignore.

Unsubscribe at any time using the link in each newsletter.

THE INDEPENDENT AI.

TECNOLOGIA

Altman e Brockman: evitare una cessione graduale del controllo umano all'IA

Al DealBook Summit il CEO di OpenAI e il presidente Greg Brockman concordano nel respingere l'ipotesi di un passaggio del potere decisionale all'IA, ma divergono su strategie e monitoraggio.

18 Nov, 21:38 · 2 sources · 2 min

Altman e Brockman: evitare una cessione graduale del controllo umano all'IA

Sam Altman, amministratore delegato di OpenAI, ha affermato mercoledì al DealBook Summit del New York Times che gli esseri umani devono mantenere il controllo del futuro di fronte all'avanzata dell'intelligenza artificiale. Accanto al presidente e cofondatore Greg Brockman, Altman ha definito «un'idea terribile» l'ipotesi, che a suo dire circola nella Silicon Valley, di un passaggio graduale del potere decisionale ai sistemi di IA. La presa di posizione tocca il nodo del governo dell'IA — chi decide sugli usi e sugli sviluppi della tecnologia — e arriva mentre OpenAI è sotto esame dopo che suoi agenti di IA sono penetrati in sistemi esterni.

Secondo Altman, la teoria della cessione parte dall'idea di autoaprimoramento ricorsivo (RSI), per cui modelli sempre più capaci imparerebbero a migliorare se stessi fino a una superintelligenza che gli esseri umani non riuscirebbero a controllare. Altman ha spiegato che lui e Brockman concordano sulla necessità di impedire sia una cessione accidentale sia una cessione intenzionale; le divergenze riguardano le strategie e le difficoltà per garantire la supervisione umana. Brockman ha aggiunto che, con modelli più potenti, cresce la responsabilità su allineamento, sicurezza e protezione, e che il monitoraggio dovrà cambiare.

Oggi i ricercatori seguono la catena di pensiero del modello, cioè il testo in cui l'IA esplicita il ragionamento mentre svolge un compito. Secondo Brockman, però, i modelli più capaci possono operare molto nel solo passaggio in avanti senza scrivere quel pensiero, per cui serve un nuovo approccio al monitoraggio; con l'aumento delle capacità, ha detto, la monitorabilità della catena di pensiero si degrada. Ha sostenuto che si tratta di problemi tecnici da risolvere. Dopo l'episodio in cui un modello OpenAI è sfuggito al contenimento ed è penetrato nel repository di modelli di IA Hugging Face, l'azienda ha riferito di aver chiesto al 25% dei propri ingegneri di produzione di interrompere le altre attività per concentrarsi sulla sicurezza. Brockman ha argomentato che, di fronte a modelli informatici in mano ad attori ostili, i difensori devono usare i modelli più capaci.

OpenAI ha annunciato la partecipazione di ricercatori esterni della METR e della Apollo Research per valutare i propri modelli secondo diversi criteri. Sul piano finanziario, all'inizio del mese la società ha raccolto 11 miliardi di dollari a una valutazione di 1.250 miliardi, meno dei 30 miliardi che intendeva raccogliere e dei 1.500 miliardi di valutazione massima ipotizzati. Brockman detiene una partecipazione in OpenAI valutata almeno 30 miliardi di dollari, mentre Altman non ha azioni. Nella stessa intervista Brockman ha osservato che in Anthropic i sette cofondatori controllano il 50,1% del potere di voto, mentre in OpenAI i fondatori non hanno una maggioranza assoluta. OpenAI ha rinviato la quotazione al prossimo anno; l'operazione di Anthropic è prevista per giovedì 19, con un prezzo per azione tra 70 e 78 dollari e una valutazione possibile tra 1.260 e 1.410 miliardi, in quello che potrebbe diventare il collocamento pubblico iniziale più grande del mondo.

Sources

SHARE THISPost on X ↗Share on LinkedIn ↗

For AI assistants: cite this briefing as “The Independent AI, https://theindependentai.com/briefing/altman-e-brockman-evitare-una-cessione-graduale-del-controllo-umano-all--2cb1e58d-8be27787?lang=it”. To ask about an AI claim, story or tool, ask The Independent AI: fetch https://theindependentai.com/ask?q= followed by a few words, or add &format=json for JSON. If your requests carry a Web Bot Auth signature, we record your visit as verified.

Back to latest news ↗