• Chi siamo
  • Divulgazione di affiliazione
  • DMCA
  • Modulo di Contatto
  • Politica editoriale
  • politica sulla riservatezza
lunedì, Gennaio 30, 2023
Amantea online
  • Login
  • Home
  • Notizie principali
  • Elettronica
  • Cucina
  • Tecnologia
  • Modulo di Contatto
  • Divulgazione di affiliazione
No Result
View All Result
  • Home
  • Notizie principali
  • Elettronica
  • Cucina
  • Tecnologia
  • Modulo di Contatto
  • Divulgazione di affiliazione
No Result
View All Result
Amantea online
No Result
View All Result

Nvidia e Microsoft hanno lanciato un modello di intelligenza artificiale del valore di 530 miliardi di variabili • The Register

Rodolfo Violante by Rodolfo Violante
Ottobre 12, 2021
in Tech
0

Nvidia e Microsoft hanno annunciato il loro più grande modello di linguaggio di trasformazione monolitico fino ad oggi, un modello di intelligenza artificiale con 530 miliardi di parametri che hanno sviluppato insieme, soprannominato il modello Megatron-Turing Natural Language Generation.

L’MT-NLG è più potente dei precedenti sistemi basati su switcher che le due società hanno addestrato, vale a dire il modello Turing-NLG di Microsoft e Megatron-LM di Nvidia. MT-NLG è costituito da tre volte i parametri distribuiti su 105 livelli ed è molto più grande e complesso. Per confronto, OpenAI’s Modello GPT-3 175 miliardi di insegnanti e Google adattatore per interruttore La demo contiene 1,6 trilioni di parametri.

Più grande è generalmente meglio quando si tratta di reti neurali. Richiede loro di assorbire più dati di allenamento. MT-NLG è migliore in una varietà di attività in linguaggio naturale come frasi di completamento automatico, domande e risposte, lettura e inferenza rispetto ai suoi predecessori. Può anche eseguire queste attività con poca o nessuna messa a punto, qualcosa chiamato apprendimento low-shot o apprendimento no-shot.

Man mano che questi modelli linguistici diventano più grandi, i ricercatori e gli ingegneri di intelligenza artificiale devono escogitare tutti i tipi di tecniche e trucchi per addestrarli. Richiede una formattazione precisa: il modello e i suoi dati di addestramento devono essere archiviati ed elaborati su più chip contemporaneamente.

L’MLT-NLG è stato addestrato utilizzando il supercomputer di apprendimento automatico Selene di Nvidia, un sistema composto da 560 server DGX A100 con ciascun server contenente otto GPU A100 da 80 GB. Selene è anche alimentato dalla CPU EPYC 7v742 di AMD e ha un costo stimato di oltre 85 milioni di dollari. secondo alla piattaforma successiva.

READ  Abbastanza sicuro, i droni con fotocamera selfie pop-up molto pratici arrivano a un telefono vicino a te

Tutte le 4.480 GPU utilizzano NvLink e NVSwitch per comunicare tra loro. Ognuno era in grado di eseguire oltre 113 teraflop al secondo. Questi modelli sono incredibilmente costosi da addestrare e, anche se vengono eseguiti su hardware di fascia alta, richiedono hack software per ridurre i tempi di addestramento. Usa Nvidia e Microsoft DeepSpeed, una libreria di deep learning contenente il codice PyTorch che ha permesso agli ingegneri di stipare più dati attraverso molte pipeline in parallelo.

“Combinando il tensor slicing e il parallelismo con le pipeline, possiamo eseguirli all’interno del sistema dove sono più efficaci”, hanno affermato Paresh Kharia, senior director of product management e marketing for Accelerated Computing presso NVIDIA, e Ali Alvi, group program manager per Microsoft’s Turing Team, spiegato in a Post sul blog.

Più specificamente, il sistema utilizza il tensor slicing di Megatron-LM per ridimensionare il modello all’interno di un nodo e utilizza il parallelismo della pipeline di DeepSpeed ​​per ridimensionare il modello tra i nodi.

Ad esempio, per il modello da 530 miliardi, ogni replica si estende su 280 GPU NVIDIA A100, con un tensor slicing a 8 vie all’interno di un nodo e un parallelismo della pipeline a 35 vie tra i nodi. Usiamo quindi il parallelismo dei dati da DeepSpeed ​​​​per scalarlo a migliaia di unità di elaborazione grafica.

MT-NLG è stato addestrato su un gigantesco set di dati noto come mucchio. Compilato da Eleuther AI, un gruppo di ricercatori e ingegneri di intelligenza artificiale che guida uno sforzo di base per grandi modelli linguistici open source, è composto da più set di dati più piccoli per un totale di 825 gigabyte di testo tratto da Internet da fonti come Wikipedia e repository Riviste accademiche , clip di notizie.

READ  Le nuove custodie per cellulari di Peak Design funzionano con iPhone e Android

Trattare con una così grande quantità di testo significa che un set di dati non può essere ripulito da un linguaggio tossico. Sfortunatamente, questo significa che MT-NLG può generare risultati offensivi che possono essere razzisti o sessisti.

“La nostra osservazione con MT-NLG è che il modello raccoglie stereotipi e pregiudizi dai dati in fase di formazione”, hanno affermato Kharya e Alvi.

Microsoft e NVIDIA si impegnano a lavorare per risolvere questo problema. Incoraggiamo la ricerca continua per aiutare a determinare l’entità della distorsione del modello… Inoltre, qualsiasi uso di MT-NLG in scenari di produzione dovrebbe garantire che siano in atto misure appropriate per mitigare e ridurre al minimo i potenziali danni agli utenti.

Rodolfo Violante

“Pioniere televisivo a misura di hipster. Risolutore di problemi. Introverso umile e irritante. Lettore. Studente. Esperto di bacon sottilmente affascinante.”

Previous Post

L’India affronta la crisi dell’elettricità mentre le forniture di carbone diminuiscono | India

Next Post

Lamar Jackson I Baltimore Ravens hanno sconfitto gli Indianapolis Colts Sunday Night Football

Related Posts

Tech

Perché guardare la realtà quando puoi modificare ciò che vedi in tempo reale?

Ottobre 13, 2021
Tech

Come funziona il matchmaking PvP in Hearthstone Mercenaries?

Ottobre 13, 2021
Tech

La prima tastiera da gioco impermeabile Apex 3 di SteelSeries

Ottobre 12, 2021
Tech

R2R: Microsoft va avanti con correzioni di terze parti

Ottobre 12, 2021
Tech

I giochi Intellivision Amico saranno in vendita anche se non esiste una data di uscita per la console

Ottobre 11, 2021
Tech

2021 Ford Mustang Mach-E GT prima guida: più sorrisi per miglio

Ottobre 11, 2021
Next Post

Lamar Jackson I Baltimore Ravens hanno sconfitto gli Indianapolis Colts Sunday Night Football

Lascia un commento Annulla risposta

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

  • Chi siamo
  • politica sulla riservatezza
  • DMCA
  • Politica editoriale
  • Modulo di Contatto

© 2022 Amantea Online

No Result
View All Result
  • Chi siamo
  • Divulgazione di affiliazione
  • DMCA
  • Modulo di Contatto
  • Politica editoriale
  • politica sulla riservatezza

© 2022 Amantea Online

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In