Facebook, Primo modello di intelligenza artificiale che traduce 100 lingue
Facebook, Primo modello di intelligenza artificiale che traduce 100 lingue

Facebook, Primo modello di intelligenza artificiale che traduce 100 lingue

I tipici sistemi di traduzione automatica richiedono la creazione di modelli di IA separati per ogni lingua e ogni attività, ma questo approccio non è scalabile in modo efficace su Facebook, dove le persone pubblicano contenuti in più di 160 lingue su miliardi di post.

I sistemi multilingue avanzati possono elaborare più lingue contemporaneamente, ma compromettono la precisione affidandosi ai dati in inglese per colmare il divario tra la lingua di origine e quella di destinazione.

E’ necessario un modello di traduzione automatica multilingue (MMT) in grado di tradurre qualsiasi lingua per servire la comunità del , quasi due terzi dei quali utilizzano una lingua diversa dall’inglese.

Al culmine di molti anni di ricerca MT su Facebook, siamo entusiasti di annunciare un’importante pietra miliare: il primo singolo modello MMT di massa in grado di tradurre direttamente 100 × 100 lingue in qualsiasi direzione senza fare affidamento solo su dati incentrati sull’inglese.

Il modello unico multilingue si comporta come i modelli bilingue tradizionali e ha ottenuto un miglioramento di 10 punti BLEU rispetto ai modelli multilingue incentrati sull’inglese.

Utilizzando nuove strategie di mining per creare dati di traduzione, abbiamo creato il primo set di dati veramente “molti-a-molti” con 7,5 miliardi di frasi per 100 lingue.

Le diverse tecniche di ridimensionamento utilizzate per costruire un modello universale con 15 miliardi di parametri, acquisisce informazioni da linguaggi correlati e riflette una scrittura più diversificata di linguaggi e morfologia.

Fonte

Condividi nei social