Notizia

Jul 20, 2023

Xilinx: TOPS scarsi vs. densi. Cosa sono, qual è la differenza e cosa significa per me?

24 gennaio 2022 Fino a tempi molto recenti, qualsiasi menzione di TOPS si riferiva sempre a TOPS densi. Tuttavia, con la recente spinta a supportare la compressione zero nelle matrici sparse, è stato utilizzato il termine TOPS sparse

24 gennaio 2022

Fino a tempi molto recenti, ogni menzione di TOPS si riferiva sempre a TOPS densi. Tuttavia, con la recente spinta a supportare la compressione zero nelle matrici sparse, è apparso il termine TOPS sparse. Qual è la differenza tra TOPS densi e TOPS sparsi? E perché dovresti preoccuparti della scarsità? Immergiamoci in questi argomenti.

L'intelligenza artificiale (AI) dipende fortemente dal machine learning (ML) e il machine learning viene quasi interamente eseguito moltiplicando tra loro matrici. Una matrice può rappresentare un oggetto, dove i valori diversi da zero si riferiscono ai pixel in un'immagine, ad esempio, e i valori zero rappresentano lo spazio vuoto. Questi valori zero possono essere compressi o eliminati e tale compressione riduce il numero di operazioni necessarie per moltiplicare due matrici. La compressione e l'eliminazione di questi valori zero è chiamata sparsità.

Tera-Operazioni al secondo o TOPS è un calcolo rudimentale in cui valuti semplicemente il numero di operazioni che il tuo sistema può calcolare. I TOPS possono essere determinati moltiplicando il numero di operazioni al secondo per la frequenza di clock del sistema. Ad esempio, un dispositivo in grado di eseguire 512 operazioni di moltiplicazione-accumulo (MAC) al secondo in esecuzione a 1 GHz ha TOPS di 512 x 1GHz x 2 = 1024 TOPS. Questo numero rappresenta TOPS densi.

Il numero sopra è stato calcolato senza prendere in considerazione il miglioramento delle prestazioni che si può ottenere se i valori zero nelle matrici vengono compressi. Se si rimuove la metà degli zeri, si riduce il numero di operazioni non necessarie del 50%, con un conseguente miglioramento delle prestazioni di 2 volte. Questa è la definizione di TOPS sparsi. Una matrice che è stata compressa per eliminare i valori zero è una matrice sparsa, mentre una matrice con valori zero e diversi da zero è una matrice densa.

La scarsità è potente perché può teoricamente migliorare le prestazioni del sistema fino a 2 volte. Tuttavia, è importante comprendere la differenza tra TOPS sparsi e TOPS densi. Quando confronti sistemi o dispositivi, assicurati di non cadere nella trappola di confrontare TOPS densi con TOPS sparsi. Inoltre, il miglioramento teorico delle prestazioni di solito non può essere implementato in un sistema pratico, quindi prendi qualsiasi affermazione sulle prestazioni con le pinze. L'utilizzo di reti ML come ResNet50, Yolov3, MobileNet, ecc., rivela molto di più sulle prestazioni di qualsiasi chip AI rispetto a TOPS.

Risultati con dimensione batch = 18, precisione INT8

Il supporto della sparsity è una delle caratteristiche chiave dei motori AI per l'apprendimento automatico (AIE-ML) di Xilinx, disponibile nelle piattaforme Versal® AI Edge e Versal AI Core di accelerazione computazionale adattiva (ACAP).​

I numeri TOPS forniti per la serie Versal AI Edge nella guida alla selezione del prodotto e tutti i materiali collaterali associati utilizzano TOPS densi. Ecco una stima dei TOPS sparsi ottenibili in ciascuno dei dispositivi della serie Versal AI Edge:

Partecipa al programma di accesso anticipato se desideri saperne di più sulle prestazioni dell'intelligenza artificiale con la serie Versal AI Edge. Contatta il tuo rappresentante Xilinx locale o contatta l'ufficio vendite per iniziare.

Allegati

Disclaimer

Xilinx Inc.pubblicato questo contenuto su24 gennaio 2022 ed è l'unico responsabile delle informazioni in esso contenute. Distribuito da Pubblico, inedito e inalterato, su24 gennaio 2022 16:13:01 UTC.