AI skaičiavimo atskirtis: mokslininkams trūksta prieigos prie galingų lustų savo tyrimams

AI skaičiavimo atskirtis: mokslininkams trūksta prieigos prie galingų lustų savo tyrimams

Daugelis universitetų mokslininkų yra nusivylę dėl ribotos skaičiavimo galios, kurią jie gali atlikti atliekant mokslinius tyrimus dirbtinis intelektas (AI) yra prieinama, kaip rodo akademikų apklausa dešimtyse institucijų visame pasaulyje.

Rezultatai 1 Spalio 30 d. paskelbti išankstinio spausdinimo serveryje arXiv, rodo, kad akademikai neturi prieigos prie pažangiausių skaičiavimo sistemų. Tai gali turėti įtakos jūsų gebėjimui didelių kalbų modeliai (LLM) kurti ir vykdyti kitus AI tyrimų projektus.

Visų pirma, akademiniai mokslininkai kartais neturi išteklių būti galingi Grafikos procesoriai (GPU) įsigyti – kompiuterių lustai, dažniausiai naudojami dirbtinio intelekto modeliams mokyti, kurie gali kainuoti kelis tūkstančius dolerių. Priešingai, didelių technologijų įmonių mokslininkai turi didesnį biudžetą ir gali išleisti daugiau GPU. „Kiekvienas GPU suteikia daugiau galios“, – sako tyrimo bendraautorius Apoorvas Khandelwalis, Brauno universiteto Providense, Rod Ailende, kompiuterių mokslininkas. „Nors šie pramonės gigantai gali turėti tūkstančius GPU, akademikai gali turėti tik keletą.

„Atotrūkis tarp akademinių ir pramoninių modelių yra didelis, bet gali būti daug mažesnis“, - sako Stella Biderman, Vašingtone esančio ne pelno DI tyrimų instituto „EleutherAI“ vykdomoji direktorė. Ji priduria, kad šios nelygybės tyrimai yra „labai svarbūs“.

Lėti laukimo laikai

Kad įvertintų akademikų turimus skaičiavimo išteklius, Khandelwalis ir jo kolegos apklausė 50 mokslininkų iš 35 institucijų. 66 % apklaustųjų savo pasitenkinimą savo skaičiavimo galia įvertino 3 ar mažiau 5 balų skalėje. „Jie visiškai nepatenkinti“, – sako Khandelwal.

Universitetai turi skirtingus prieigos prie GPU reglamentus. Kai kuriuose padaliniuose ir studentams gali būti naudojamas centrinis skaičiavimo klasteris, kuriame mokslininkai gali prašyti GPU laiko. Kitos institucijos galėtų įsigyti mašinų, kuriomis gali tiesiogiai naudotis laboratorijos nariai.

Kai kurie mokslininkai pranešė, kad norint gauti prieigą prie GPU, reikia laukti kelias dienas, pažymėdami, kad laukimo laikas buvo ypač ilgas pasibaigus projekto terminams (žr. „Skaičiavimo išteklių kliūtis“). Rezultatai taip pat pabrėžia pasaulinę prieigos nelygybę. Pavyzdžiui, vienas respondentas paminėjo, kad Viduriniuose Rytuose sunku rasti GPU. Tik 10% respondentų teigė turėję prieigą NVIDIA H100 GPU, turėti galingus lustus, skirtus dirbtinio intelekto tyrimams.

Dėl šios kliūties išankstinio mokymo procesas – didelių duomenų rinkinių pateikimas LLM – tampa ypač sudėtingas. „Tai taip brangu, kad dauguma akademikų net negalvoja apie mokslą išankstinio mokymo metu“, - sako Khandelwal. Jis ir jo kolegos mano, kad akademikai siūlo unikalią AI tyrimų perspektyvą ir kad prieigos prie skaičiavimo galios trūkumas gali apriboti tyrimų sritį.

„Tiesiog labai svarbu turėti sveiką, konkurencingą akademinių tyrimų aplinką ilgalaikiam augimui ir ilgalaikiam technologijų vystymuisi“, – sako bendraautorė Ellie Pavlick, Browno universitete studijuojanti kompiuterių mokslą ir kalbotyrą. „Kai atliekate mokslinius tyrimus pramonėje, yra aiškus komercinis spaudimas, kuris kartais vilioja greičiau išnaudoti ir mažiau tyrinėti.

Veiksmingi metodai

Tyrėjai taip pat ištyrė, kaip akademikai galėtų geriau panaudoti mažiau galingus skaičiavimo išteklius. Jie apskaičiavo, kiek laiko reikės iš anksto apmokyti kelis LLM naudojant mažai išteklių naudojančią aparatinę įrangą – nuo ​​1 iki 8 GPU. Nepaisant šių ribotų išteklių, mokslininkams pavyko sėkmingai apmokyti daugelį modelių, nors tai užtruko ilgiau ir reikėjo naudoti efektyvesnius metodus.

„Iš tikrųjų galime ilgiau naudoti turimus GPU, todėl galime išlyginti kai kuriuos pramonės skirtumus“, – sako Khandelwal.

„Įdomu matyti, kad iš tikrųjų galite išmokyti didesnį modelį, nei daugelis žmonių įsivaizduotų, net ir turėdami ribotus skaičiavimo išteklius“, – sako Ji-Ung Lee, Saro universiteto Sarbriukene, Vokietijoje, tyrinėjantis neuroeksplicitinius modelius. Jis priduria, kad būsimame darbe galėtų būti atsižvelgiama į pramonės tyrėjų patirtį mažose įmonėse, kurios taip pat kovoja su prieiga prie kompiuterinių išteklių. „Tai nėra taip, kad kiekvienas, turintis prieigą prie neribotos skaičiavimo galios, iš tikrųjų ją gauna“, - sako jis.

1. Khandelwal, A. ir kt. Išankstinis spausdinimas adresu arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Atsisiųskite nuorodas