Nvidia e Microsoft hanno annunciato il loro più grande modello di linguaggio di trasformazione monolitico fino ad oggi, un modello di intelligenza artificiale con 530 miliardi di parametri che hanno sviluppato insieme, soprannominato il modello Megatron-Turing Natural Language Generation.
L’MT-NLG è più potente dei precedenti sistemi basati su switcher che le due società hanno addestrato, vale a dire il modello Turing-NLG di Microsoft e Megatron-LM di Nvidia. MT-NLG è costituito da tre volte i parametri distribuiti su 105 livelli ed è molto più grande e complesso. Per confronto, OpenAI’s Modello GPT-3 175 miliardi di insegnanti e Google adattatore per interruttore La demo contiene 1,6 trilioni di parametri.
Più grande è generalmente meglio quando si tratta di reti neurali. Richiede loro di assorbire più dati di allenamento. MT-NLG è migliore in una varietà di attività in linguaggio naturale come frasi di completamento automatico, domande e risposte, lettura e inferenza rispetto ai suoi predecessori. Può anche eseguire queste attività con poca o nessuna messa a punto, qualcosa chiamato apprendimento low-shot o apprendimento no-shot.
Man mano che questi modelli linguistici diventano più grandi, i ricercatori e gli ingegneri di intelligenza artificiale devono escogitare tutti i tipi di tecniche e trucchi per addestrarli. Richiede una formattazione precisa: il modello e i suoi dati di addestramento devono essere archiviati ed elaborati su più chip contemporaneamente.
L’MLT-NLG è stato addestrato utilizzando il supercomputer di apprendimento automatico Selene di Nvidia, un sistema composto da 560 server DGX A100 con ciascun server contenente otto GPU A100 da 80 GB. Selene è anche alimentato dalla CPU EPYC 7v742 di AMD e ha un costo stimato di oltre 85 milioni di dollari. secondo alla piattaforma successiva.
Tutte le 4.480 GPU utilizzano NvLink e NVSwitch per comunicare tra loro. Ognuno era in grado di eseguire oltre 113 teraflop al secondo. Questi modelli sono incredibilmente costosi da addestrare e, anche se vengono eseguiti su hardware di fascia alta, richiedono hack software per ridurre i tempi di addestramento. Usa Nvidia e Microsoft DeepSpeed, una libreria di deep learning contenente il codice PyTorch che ha permesso agli ingegneri di stipare più dati attraverso molte pipeline in parallelo.
“Combinando il tensor slicing e il parallelismo con le pipeline, possiamo eseguirli all’interno del sistema dove sono più efficaci”, hanno affermato Paresh Kharia, senior director of product management e marketing for Accelerated Computing presso NVIDIA, e Ali Alvi, group program manager per Microsoft’s Turing Team, spiegato in a Post sul blog.
Più specificamente, il sistema utilizza il tensor slicing di Megatron-LM per ridimensionare il modello all’interno di un nodo e utilizza il parallelismo della pipeline di DeepSpeed per ridimensionare il modello tra i nodi.
Ad esempio, per il modello da 530 miliardi, ogni replica si estende su 280 GPU NVIDIA A100, con un tensor slicing a 8 vie all’interno di un nodo e un parallelismo della pipeline a 35 vie tra i nodi. Usiamo quindi il parallelismo dei dati da DeepSpeed per scalarlo a migliaia di unità di elaborazione grafica.
MT-NLG è stato addestrato su un gigantesco set di dati noto come mucchio. Compilato da Eleuther AI, un gruppo di ricercatori e ingegneri di intelligenza artificiale che guida uno sforzo di base per grandi modelli linguistici open source, è composto da più set di dati più piccoli per un totale di 825 gigabyte di testo tratto da Internet da fonti come Wikipedia e repository Riviste accademiche , clip di notizie.
Trattare con una così grande quantità di testo significa che un set di dati non può essere ripulito da un linguaggio tossico. Sfortunatamente, questo significa che MT-NLG può generare risultati offensivi che possono essere razzisti o sessisti.
“La nostra osservazione con MT-NLG è che il modello raccoglie stereotipi e pregiudizi dai dati in fase di formazione”, hanno affermato Kharya e Alvi.
Microsoft e NVIDIA si impegnano a lavorare per risolvere questo problema. Incoraggiamo la ricerca continua per aiutare a determinare l’entità della distorsione del modello… Inoltre, qualsiasi uso di MT-NLG in scenari di produzione dovrebbe garantire che siano in atto misure appropriate per mitigare e ridurre al minimo i potenziali danni agli utenti.
“Pioniere televisivo a misura di hipster. Risolutore di problemi. Introverso umile e irritante. Lettore. Studente. Esperto di bacon sottilmente affascinante.”
