In breve: Per mitigare i rischi posti dallo sviluppo dell’intelligenza artificiale, è necessario fare ricerca su come risolvere le sfide in ambito tecnico e i problemi in ambito di progettazione per assicurarci che le intelligenze artificiali più potenti facciano ciò che vogliamo – e che portino benefici – senza nessuna conseguenza catastrofica involontaria.
Consigliata: Se si è individui molto adatti a questo tipo di carriera, potrebbe essere il modo migliore per avere un impatto sociale.
Stato della recensione: Basata su studi di media profondità
Perché lavorare nella ricerca sulla sicurezza delle IA potrebbe avere un grande impatto?
Come già argomentato, nei prossimi decenni potremmo assistere allo sviluppo di potenti algoritmi di machine learning con la capacità di trasformare la nostra società. Ciò comporterebbe importanti vantaggi e svantaggi, inclusa la possibilità di un rischio catastrofico.
Oltre al lavoro sulle politiche e sulle strategie discusse in questa recensione di carriera, un’altra strada maestra per limitare questi rischi consiste nel fare ricerca sulle sfide tecniche poste da intelligenze artificiali avanzate, come il problema dell’allineamento. In breve, come possiamo progettare IA potenti in modo che facciano ciò che vogliamo senza conseguenze indesiderate?
Questo ambito di ricerca ha iniziato a decollare. Esistono oggi importanti poli accademici e laboratori di IA dove si può lavorare su questi problemi come il Mila di Montreal, il Future of Humanity Institute di Oxford, il Center for Human-Compatible Artificial Intelligence di Berkeley, DeepMind a London e l’OpenAI a San Francisco. Abbiamo svolto attività di consulenza per oltre 100 persone in questo ambito, con molte di esse che già lavorano nelle istituzioni summenzionate. Il Machine Intelligence Research Institute di Berkeley lavora in questo campo dal 2005 e possiede una prospettiva e un programma di ricerca non convenzionali rispetto agli altri laboratori.
Abbondano i finanziamenti per i ricercatori talentuosi, incluse borse di studio universitarie e donazioni filantropiche dai principali sovvenzionatori come Open Philanthropy. È possibile inoltre ottenere finanziamenti per il proprio progetto di dottorato. La principale necessità di questo campo consiste in più persone capaci di impiegare questi fondi per portare avanti la ricerca.
Che cosa comporta questo percorso?
L’obiettivo in questo percorso sarebbe quello di ottenere un lavoro in uno dei migliori centri per la sicurezza delle IA – nel profit, nel no-profit o in ambito accademico – e poi lavorare sulle questioni più urgenti, con l’eventuale prospettiva di diventare un coordinatore dei ricercatori che supervisiona la ricerca sulla sicurezza.
In generale, le posizioni tecniche sulla sicurezza delle IA si possono distinguere in ruoli di (i) ricerca e di (i) ambito ingegneristico. I ricercatori guidano progetti di ricerca. Gli ingegneri implementano i sistemi e compiono le analisi necessarie per portare avanti la ricerca.
Anche se gli ingegneri hanno minore influenza sugli obiettivi di alto livello della ricerca, è comunque importante che si occupino della sicurezza, in modo che comprendano meglio gli obiettivi finali della ricerca stessa (e in questo modo darsi meglio le priorità), siano più motivati, orientino la cultura dominante verso la sicurezza e usino il capitale di carriera guadagnato per contribuire a altri progetti futuri sulla sicurezza. Questo significa che l’ambito ingegneristico è una buona alternativa per coloro che non vogliono essere diventare ricercatori.
Può essere utile che ci siano persone che capiscono le sfide poste dalla sicurezza delle IA che lavorino in squadre di ricerca in questo ambito che non siano direttamente orientate alla sicurezza. Lavorare in queste squadre può metterti nella posizione di aiutare a promuovere la preoccupazione sulla sicurezza in generale, soprattutto se finirai per ricoprire una posizione dirigenziale con influenza sulle priorità dell’organizzazione per cui lavori.
Esempi di persone che hanno intrapreso questo percorso di carriera
Catherine Olsson ha iniziato il suo dottorato all’Università di New York, lavorando sui modelli computazionali della visione umana. Alla fine ha deciso di lavorare direttamente sulla sicurezza delle IA e ha ottenuto un impiego alla OpenAI, seguito da uno a Google Brain, per poi spostarsi ad Anthropic. SCOPRI DI PIÙ
Daniel Ziegler dopo aver abbandonato il suo dottorato sul machine learning a Stanford, che ha sempre adorato costruire cose e ha sempre sognato di definire lo sviluppo delle IA, ha fatto domanda per lavorare alla OpenAI. Ha impiegato sei settimane a prepararsi per l’intervista e ha ottenuto il lavoro. Il suo dottorato, invece, lo avrebbe impegnato per sei anni. Daniel pensa che il suo grande balzo di carriera possa essere possibile per molte altre persone. SCOPRI DI PIÙ
Chris Olah ha avuto un percorso affascinante e non convenzionale. Chris non solo non possiede un dottorato di ricerca, ma non ha ottenuto nemmeno una laurea triennale. Dopo aver abbandonato l’università per aiutare un suo conoscente a difendersi da false accuse penali, Chris ha iniziato a lavorare da sé alla ricerca sul machine learning, ottenendo infine un tirocinio presso Google Brain. SCOPRI DI PIÙ
Come valutare la tua attitudine
La ricerca tecnica con l’impatto maggiore sulla sicurezza delle IA sarà svolta da persone nei migliori ruoli summenzionati. Quindi, per decidere se questo percorso faccia al caso tuo, è importante chiederti se tu abbia una ragionevole probabilità di ottenere quei lavori.
Hai la possibilità di essere ammesso in una delle cinque migliori scuole di specializzazione sul machine learning? Questo potrebbe essere un buon test per capire se potrai ottenere un lavoro nei migliori poli di ricerca sulla IA, anche se non si tratta di un prerequisito.
Sei sicuro dell’importanza della sicurezza della IA sul lungo periodo?
Sei un tecnico informatico in ambito software o machine learning che ha lavorato in FAANG o in altre aziende competitive? Potresti formarti per ottenere una posizione di ricerca oppure una posizione in ambito tecnico.
Il primo passo in questo percorso di solito consiste nell’intraprendere un dottorato di ricerca in machine learning in una buona scuola. È possibile entrare in questo campo anche senza un dottorato, ma è probabile che venga richiesto per ruoli di ricercatore nei poli universitari e in DeepMind, i quali coprono una buona fetta delle migliori posizioni. Un dottorato di ricerca in machine learning apre anche strade nelle politiche sulle IA, nelle IA applicate e nel guadagnare per donare, quindi questo percorso ha buone opzioni di riserva se dovessi decidere che la sicurezza delle IA non fa per te.
Comunque, se preferisci l’ambito tecnico alla ricerca, un dottorato non è necessario. Puoi invece seguire un master o sviluppare competenze nel profit.
È anche possibile iniziare questo percorso a partire dalle neuroscienze (soprattutto quelle computazionali), quindi, se possiedi già esperienza in quest’area, non è detto che dovrai tornare a studiare.
Se hai già molta familiarità con la sicurezza delle IA come area critica, il nostro miglior consiglio è di dare un’occhiata a questa guida passo-dopo-passo per intraprendere una carriera nella sicurezza tecnica delle IA scritta da Charlie Rogers-Smith.
Puoi trovare ulteriori dettagli nelle risorse al termine della recensione.
Organizzazioni consigliate
AI Safety Support lavora per ridurre il rischio esistenziale e catastrofico legato alle IA sostenendo chiunque voglia lavorare su questo problema, concentrandosi sull’aiutare nuovi o aspiranti ricercatori sulla sicurezza delle IA attraverso consigli di carriera e costruendo una comunità.
Alignment Research Center è un’organizzazione di ricerca no-profit al lavoro per allineare i futuri sistemi di machine learning agli interessi umani. Si impegna attualmente a sviluppare una strategia di allineamento “end-to-end” che possa essere adottata oggi dal contesto profit e che, nel frattempo, possa scalare verso i futuri sistemi di apprendimento automatico. Controlla i ruoli attualmente vacanti.
Anthropic è una compagnia che si occupa della ricerca sulle IA e della sicurezza al fine di costruire sistemi di IA affidabili, interpretabili e manovrabili. Gli interessi del loro team di ricerca multidisciplinare includono il linguaggio naturale, il feedback umano, le leggi di potenza, l’apprendimento attraverso il rinforzo, la generazione di codice e l’interpretabilità. Controlla i ruoli attualmente vacanti.
Il Center on Long-term Risk affronta i rischi peggiori per lo sviluppo e l’impiego di IA avanzate. Attualmente si concentra sugli scenari di conflitto, così come su sugli aspetti tecnici e filosofici della cooperazione. Il loro lavoro include ricerche interdisciplinari, il fare finanziamenti o il suggerire candidati e il costruire una comunità di professionisti e altri ricercatori nell’ambito di queste priorità. Controlla i ruoli attualmente vacanti.
DeepMind è con ogni probabilità il più grande gruppo di ricerca che sta sviluppando un’intelligenza artificiale generale nel mondo occidentale. Siamo sicuri di poter consigliare ruoli presso DeepMind solamente negli ambiti della sicurezza, dell’etica, delle politiche e della sorveglianza. Controlla i ruoli attualmente vacanti.
Il Future of Humanity Institute è un istituto di ricerca multidisciplinare dell’Università di Oxford. Accademici del FHI sfoderano gli strumenti della matematica, della filosofia e delle scienze sociali per influenzare le domande fondamentali sull’umanità e le sue prospettive.
OpenAI è stata fondata nel 2015 con l’obiettivo di condurre ricerche su come rendere sicure le IA. Ha ricevuto oltre un miliardo di dollari di impegni di finanziamento dalla comunità di questo settore tecnologico. Controlla i ruoli attualmente vacanti.
Vuoi dei consigli faccia-a-faccia su come intraprendere questo percorso?
Visto che si tratta di uno dei nostri percorsi prioritari, se pensi che questo percorso possa essere un’ottima occasione per te, saremmo particolarmente entusiasti di consigliarti sui tuoi prossimi passi. Possiamo aiutarti a considerare le tue opzioni, a creare connessioni con altri che lavorano nello stesso campo e, se possibile, anche aiutarti a trovare un lavoro o delle opportunità di finanziamento.
[Opzionale] Ricerca sulla sicurezza delle IA: panoramica delle carriere
This is an Italian translation of AI Safety researcher career review
In breve: Per mitigare i rischi posti dallo sviluppo dell’intelligenza artificiale, è necessario fare ricerca su come risolvere le sfide in ambito tecnico e i problemi in ambito di progettazione per assicurarci che le intelligenze artificiali più potenti facciano ciò che vogliamo – e che portino benefici – senza nessuna conseguenza catastrofica involontaria.
Consigliata: Se si è individui molto adatti a questo tipo di carriera, potrebbe essere il modo migliore per avere un impatto sociale.
Stato della recensione: Basata su studi di media profondità
Perché lavorare nella ricerca sulla sicurezza delle IA potrebbe avere un grande impatto?
Come già argomentato, nei prossimi decenni potremmo assistere allo sviluppo di potenti algoritmi di machine learning con la capacità di trasformare la nostra società. Ciò comporterebbe importanti vantaggi e svantaggi, inclusa la possibilità di un rischio catastrofico.
Oltre al lavoro sulle politiche e sulle strategie discusse in questa recensione di carriera, un’altra strada maestra per limitare questi rischi consiste nel fare ricerca sulle sfide tecniche poste da intelligenze artificiali avanzate, come il problema dell’allineamento. In breve, come possiamo progettare IA potenti in modo che facciano ciò che vogliamo senza conseguenze indesiderate?
Questo ambito di ricerca ha iniziato a decollare. Esistono oggi importanti poli accademici e laboratori di IA dove si può lavorare su questi problemi come il Mila di Montreal, il Future of Humanity Institute di Oxford, il Center for Human-Compatible Artificial Intelligence di Berkeley, DeepMind a London e l’OpenAI a San Francisco. Abbiamo svolto attività di consulenza per oltre 100 persone in questo ambito, con molte di esse che già lavorano nelle istituzioni summenzionate. Il Machine Intelligence Research Institute di Berkeley lavora in questo campo dal 2005 e possiede una prospettiva e un programma di ricerca non convenzionali rispetto agli altri laboratori.
Abbondano i finanziamenti per i ricercatori talentuosi, incluse borse di studio universitarie e donazioni filantropiche dai principali sovvenzionatori come Open Philanthropy. È possibile inoltre ottenere finanziamenti per il proprio progetto di dottorato. La principale necessità di questo campo consiste in più persone capaci di impiegare questi fondi per portare avanti la ricerca.
Che cosa comporta questo percorso?
L’obiettivo in questo percorso sarebbe quello di ottenere un lavoro in uno dei migliori centri per la sicurezza delle IA – nel profit, nel no-profit o in ambito accademico – e poi lavorare sulle questioni più urgenti, con l’eventuale prospettiva di diventare un coordinatore dei ricercatori che supervisiona la ricerca sulla sicurezza.
In generale, le posizioni tecniche sulla sicurezza delle IA si possono distinguere in ruoli di (i) ricerca e di (i) ambito ingegneristico. I ricercatori guidano progetti di ricerca. Gli ingegneri implementano i sistemi e compiono le analisi necessarie per portare avanti la ricerca.
Anche se gli ingegneri hanno minore influenza sugli obiettivi di alto livello della ricerca, è comunque importante che si occupino della sicurezza, in modo che comprendano meglio gli obiettivi finali della ricerca stessa (e in questo modo darsi meglio le priorità), siano più motivati, orientino la cultura dominante verso la sicurezza e usino il capitale di carriera guadagnato per contribuire a altri progetti futuri sulla sicurezza. Questo significa che l’ambito ingegneristico è una buona alternativa per coloro che non vogliono essere diventare ricercatori.
Può essere utile che ci siano persone che capiscono le sfide poste dalla sicurezza delle IA che lavorino in squadre di ricerca in questo ambito che non siano direttamente orientate alla sicurezza. Lavorare in queste squadre può metterti nella posizione di aiutare a promuovere la preoccupazione sulla sicurezza in generale, soprattutto se finirai per ricoprire una posizione dirigenziale con influenza sulle priorità dell’organizzazione per cui lavori.
Saremmo entusiasti di vedere più persone che sviluppano competenze nel lavoro sulla sicurezza delle IA in Cina o in contesti legati alla Cina – leggi di più nella nostra recensione dei percorsi di carriera sulla sicurezza e sulla gestione dell’IA in contesti legati alla Cina, alcuni dei quali si compiono nella ricerca tecnica.
Esempi di persone che hanno intrapreso questo percorso di carriera
Catherine Olsson ha iniziato il suo dottorato all’Università di New York, lavorando sui modelli computazionali della visione umana. Alla fine ha deciso di lavorare direttamente sulla sicurezza delle IA e ha ottenuto un impiego alla OpenAI, seguito da uno a Google Brain, per poi spostarsi ad Anthropic.
SCOPRI DI PIÙ
Daniel Ziegler dopo aver abbandonato il suo dottorato sul machine learning a Stanford, che ha sempre adorato costruire cose e ha sempre sognato di definire lo sviluppo delle IA, ha fatto domanda per lavorare alla OpenAI. Ha impiegato sei settimane a prepararsi per l’intervista e ha ottenuto il lavoro. Il suo dottorato, invece, lo avrebbe impegnato per sei anni. Daniel pensa che il suo grande balzo di carriera possa essere possibile per molte altre persone.
SCOPRI DI PIÙ
Chris Olah ha avuto un percorso affascinante e non convenzionale. Chris non solo non possiede un dottorato di ricerca, ma non ha ottenuto nemmeno una laurea triennale. Dopo aver abbandonato l’università per aiutare un suo conoscente a difendersi da false accuse penali, Chris ha iniziato a lavorare da sé alla ricerca sul machine learning, ottenendo infine un tirocinio presso Google Brain.
SCOPRI DI PIÙ
Come valutare la tua attitudine
La ricerca tecnica con l’impatto maggiore sulla sicurezza delle IA sarà svolta da persone nei migliori ruoli summenzionati. Quindi, per decidere se questo percorso faccia al caso tuo, è importante chiederti se tu abbia una ragionevole probabilità di ottenere quei lavori.
Hai la possibilità di essere ammesso in una delle cinque migliori scuole di specializzazione sul machine learning? Questo potrebbe essere un buon test per capire se potrai ottenere un lavoro nei migliori poli di ricerca sulla IA, anche se non si tratta di un prerequisito.
Sei sicuro dell’importanza della sicurezza della IA sul lungo periodo?
Sei un tecnico informatico in ambito software o machine learning che ha lavorato in FAANG o in altre aziende competitive? Potresti formarti per ottenere una posizione di ricerca oppure una posizione in ambito tecnico.
Hai la possibilità di dare un contributo a un rilevante quesito di ricerca? Per esempio, hai un grande interesse per l’argomento, hai grandi idee su grandi questioni da analizzare e non puoi fare a meno di perseguire tali idee? Leggi di più su come capire se sei un buon candidato per un ruolo nella ricerca.
Come entrare in questo campo
Il primo passo in questo percorso di solito consiste nell’intraprendere un dottorato di ricerca in machine learning in una buona scuola. È possibile entrare in questo campo anche senza un dottorato, ma è probabile che venga richiesto per ruoli di ricercatore nei poli universitari e in DeepMind, i quali coprono una buona fetta delle migliori posizioni. Un dottorato di ricerca in machine learning apre anche strade nelle politiche sulle IA, nelle IA applicate e nel guadagnare per donare, quindi questo percorso ha buone opzioni di riserva se dovessi decidere che la sicurezza delle IA non fa per te.
Comunque, se preferisci l’ambito tecnico alla ricerca, un dottorato non è necessario. Puoi invece seguire un master o sviluppare competenze nel profit.
È anche possibile iniziare questo percorso a partire dalle neuroscienze (soprattutto quelle computazionali), quindi, se possiedi già esperienza in quest’area, non è detto che dovrai tornare a studiare.
Se hai già molta familiarità con la sicurezza delle IA come area critica, il nostro miglior consiglio è di dare un’occhiata a questa guida passo-dopo-passo per intraprendere una carriera nella sicurezza tecnica delle IA scritta da Charlie Rogers-Smith.
Ultimamente si sono concretizzate opportunità anche per scienziati sociali che contribuiscano alla sicurezza delle IA.
Puoi trovare ulteriori dettagli nelle risorse al termine della recensione.
Organizzazioni consigliate
AI Safety Support lavora per ridurre il rischio esistenziale e catastrofico legato alle IA sostenendo chiunque voglia lavorare su questo problema, concentrandosi sull’aiutare nuovi o aspiranti ricercatori sulla sicurezza delle IA attraverso consigli di carriera e costruendo una comunità.
Alignment Research Center è un’organizzazione di ricerca no-profit al lavoro per allineare i futuri sistemi di machine learning agli interessi umani. Si impegna attualmente a sviluppare una strategia di allineamento “end-to-end” che possa essere adottata oggi dal contesto profit e che, nel frattempo, possa scalare verso i futuri sistemi di apprendimento automatico. Controlla i ruoli attualmente vacanti.
Anthropic è una compagnia che si occupa della ricerca sulle IA e della sicurezza al fine di costruire sistemi di IA affidabili, interpretabili e manovrabili. Gli interessi del loro team di ricerca multidisciplinare includono il linguaggio naturale, il feedback umano, le leggi di potenza, l’apprendimento attraverso il rinforzo, la generazione di codice e l’interpretabilità. Controlla i ruoli attualmente vacanti.
Il Center for Human-Compatible Artificial Intelligence punta a sviluppare i mezzi concettuali e tecnici per riorientare la spinta generale della ricerca sull’IA verso sistemi con vantaggi comprovati. Controlla i ruoli attualmente vacanti.
Il Center on Long-term Risk affronta i rischi peggiori per lo sviluppo e l’impiego di IA avanzate. Attualmente si concentra sugli scenari di conflitto, così come su sugli aspetti tecnici e filosofici della cooperazione. Il loro lavoro include ricerche interdisciplinari, il fare finanziamenti o il suggerire candidati e il costruire una comunità di professionisti e altri ricercatori nell’ambito di queste priorità. Controlla i ruoli attualmente vacanti.
DeepMind è con ogni probabilità il più grande gruppo di ricerca che sta sviluppando un’intelligenza artificiale generale nel mondo occidentale. Siamo sicuri di poter consigliare ruoli presso DeepMind solamente negli ambiti della sicurezza, dell’etica, delle politiche e della sorveglianza. Controlla i ruoli attualmente vacanti.
Il Future of Humanity Institute è un istituto di ricerca multidisciplinare dell’Università di Oxford. Accademici del FHI sfoderano gli strumenti della matematica, della filosofia e delle scienze sociali per influenzare le domande fondamentali sull’umanità e le sue prospettive.
Il Machine Intelligence Research Institute è stato uno dei primi gruppi a preoccuparsi dei rischi dell’intelligenza artificiale nei primi anni 2000 e ha pubblicato diversi articoli sui problemi di sicurezza e su come risolverli. Controlla i ruoli attualmente vacanti.
OpenAI è stata fondata nel 2015 con l’obiettivo di condurre ricerche su come rendere sicure le IA. Ha ricevuto oltre un miliardo di dollari di impegni di finanziamento dalla comunità di questo settore tecnologico. Controlla i ruoli attualmente vacanti.
Redwood Research conduce ricerche applicate per aiutare ad allineare i futuri sistemi di IA agli interessi umani. Controlla i ruoli attualmente vacanti.
Vuoi dei consigli faccia-a-faccia su come intraprendere questo percorso?
Visto che si tratta di uno dei nostri percorsi prioritari, se pensi che questo percorso possa essere un’ottima occasione per te, saremmo particolarmente entusiasti di consigliarti sui tuoi prossimi passi. Possiamo aiutarti a considerare le tue opzioni, a creare connessioni con altri che lavorano nello stesso campo e, se possibile, anche aiutarti a trovare un lavoro o delle opportunità di finanziamento.
CANDIDATI PER PARLARE CON IL NOSTRO TEAM
Scopri di più
Ulteriori letture essenziali (in inglese):
Per aiutarti a orientarti nel campo, ti consigliamo lo AI safety starter pack
Guida passo-dopo-passo di Charles Rogers Smith sulle carriere nella sicurezza della IA
Il nostro profilo di problemi sui rischi dell’IA
Questo curriculum sulla sicurezza dell’IA (o, per qualcosa di più breve, questa serie di post di Richard Ngo)
La nostra guida su come diventare un tecnico nel campo del machine learning con un focus sulla sicurezza dell’IA
Ulteriori letture (in inglese):
Recensioni della carriera come dottorato nel machine learning
Lista di letture dal Center for Human-Compatible AI
Una serie di liste di lettura sulla sicurezza dell’IA
Podcast: Dr Paul Christiano on how OpenAI is developing real solutions to the ‘AI alignment problem’, and his vision of how humanity will progressively hand over decision-making to AI systems
Podcast: Machine learning engineering for AI safety and robustness: a Google Brain engineer’s guide to entering the field
Podcast: The world needs AI researchers. Here’s how to become one
Podcast: Chris Olah on working at top AI labs without an undergrad degree e What the hell is going on inside neural networks
Podcast: A machine learning alignment researcher on how to become a machine learning alignment researcher
Leggi tuti i nostri articoli sulle carriere nella sicurezza dell’IA