Cercetătorii Microsoft introduc CodeOcean și WaveCode

Progresele recente în AI, în special în domeniul modelelor de limbaj mari (LLM), au condus la dezvoltări remarcabile în modelele de limbaj de cod. Cercetătorii Microsoft au introdus două instrumente inovatoare în acest domeniu: WaveCoder și CodeOcean, marcând un salt înainte semnificativ în domeniul reglarii instrucțiunilor pentru modelele de limbaj de cod.

WaveCoder: un cod LLM reglat fin

WaveCoder este un model de limbaj de cod reglat fin (Code LLM) conceput special pentru a îmbunătăți reglarea instrucțiunilor. Modelul demonstrează performanțe superioare în diverse sarcini legate de cod, depășind în mod constant alte modele open-source la același nivel de reglare fină. Eficacitatea WaveCoder este notabilă în special în sarcini precum generarea, repararea și rezumarea codului.

CodeOcean: un set de date bogat pentru reglarea îmbunătățită a instrucțiunilor

CodeOcean, piesa centrală a acestei cercetări, este un set de date îngrijit meticulos, care cuprinde 20,000 de instanțe de instrucțiuni în patru sarcini critice legate de cod: Rezumatul codului, Generarea codului, Traducerea codului și Repararea codului. Obiectivul său principal este de a crește performanța codurilor LLM-urilor prin reglarea de precizie a instrucțiunilor. CodeOcean se distinge prin concentrarea pe calitatea și diversitatea datelor, asigurând performanțe superioare în diverse sarcini legate de cod.

O abordare nouă a reglajului instrucțiunilor

Inovația constă în metoda de valorificare a datelor de instrucțiuni diverse, de înaltă calitate, din codul open-source, pentru a revoluționa reglarea instrucțiunilor. Această abordare abordează provocările asociate cu generarea datelor de instrucțiuni, cum ar fi prezența datelor duplicate și controlul limitat asupra calității datelor. Prin clasificarea datelor de instrucțiuni în patru sarcini universale legate de cod și rafinarea datelor de instrucțiuni, cercetătorii au creat o metodă robustă pentru îmbunătățirea capacităților de generalizare ale modelelor reglate fin.

Importanța calității și diversității datelor

Această cercetare revoluționară subliniază importanța calității și diversității datelor în reglarea instrucțiunilor. Noul cadru Generator-Discriminator bazat pe LLM folosește codul sursă, oferind control explicit asupra calității datelor în timpul procesului de generare. Această metodologie excelează în generarea de date de instrucțiuni mai autentice, îmbunătățind astfel capacitatea de generalizare a modelelor reglate fin.

Performanța de referință a WaveCoder

Modelele WaveCoder au fost evaluate riguros în diferite domenii, reafirmându-și eficacitatea în diverse scenarii. Ei eclipsează în mod constant omologii în numeroase benchmark-uri, inclusiv HumanEval, MBPP și HumanEvalPack. O comparație cu setul de date CodeAlpaca evidențiază superioritatea CodeOcean în perfecționarea datelor de instrucțiuni și creșterea perspicacității modelelor de bază pentru urmărirea instrucțiunilor.

Implicații pentru piață

Pentru piață, CodeOcean și WaveCoder de la Microsoft semnifică o nouă eră a modelelor de limbaj de cod mai capabile și adaptabile. Aceste inovații oferă soluții îmbunătățite pentru o gamă largă de aplicații și industrii, sporind capacitatea de generalizare a LLM-urilor și extinzând aplicabilitatea acestora în diverse contexte.

Directii viitoare

Privind în viitor, sunt anticipate îmbunătățiri suplimentare ale performanței mono-sarcinii și ale capacității de generalizare a modelului. Interacțiunea dintre diferite sarcini și seturi de date mai mari vor fi domenii cheie de atenție pentru a continua progresul în domeniul reglarii instrucțiunilor pentru modelele de limbaj de cod.

Concluzie

Introducerea de către Microsoft a WaveCoder și CodeOcean reprezintă un moment esențial în evoluția modelelor de limbaj de cod. Subliniind calitatea datelor și diversitatea în reglarea instrucțiunilor, aceste instrumente deschid calea pentru modele mai sofisticate, eficiente și adaptabile, care sunt mai bine echipate pentru a gestiona un spectru larg de sarcini legate de cod. Această cercetare nu numai că îmbunătățește capacitățile modelelor de limbaj mari, dar deschide și noi căi pentru aplicarea lor în diverse industrii, marcând o piatră de hotar semnificativă în domeniul inteligenței artificiale.

Sursa imaginii: Shutterstock