AI computing kløft: Forskere mangler adgang til kraftfulde chips til deres forskning

AI computing kløft: Forskere mangler adgang til kraftfulde chips til deres forskning

Mange universitetsforskere er frustrerede over den begrænsede computerkraft, de har til rådighed for deres forskning inden for kunstig intelligens (AI) er tilgængelig, som en undersøgelse blandt akademikere ved dusinvis af institutioner verden over viser.

Resultaterne 1, offentliggjort den 30. oktober på preprint-serveren arXiv, tyder på, at akademikere mangler adgang til de mest avancerede computersystemer. Dette kan påvirke din evne til at store sprogmodeller (LLM'er) at udvikle og udføre andre AI-forskningsprojekter.

Især har akademiske forskere nogle gange ikke ressourcerne til at være magtfulde Grafikprocessorer (GPU'er) at købe - computerchips, der almindeligvis bruges til at træne AI-modeller, der kan koste flere tusinde dollars. I modsætning hertil har forskere hos store teknologivirksomheder større budgetter og kan bruge mere på GPU'er. "Hver GPU tilføjer mere kraft," siger studiemedforfatter Apoorv Khandelwal, en datalog ved Brown University i Providence, Rhode Island. "Mens disse industrigiganter måske har tusindvis af GPU'er, har akademikere måske kun nogle få."

"Kløften mellem akademiske og industrielle modeller er stor, men kunne være meget mindre," siger Stella Biderman, administrerende direktør for EleutherAI, et nonprofit AI-forskningsinstitut i Washington DC. Forskning i denne ulighed er "meget vigtig," tilføjer hun.

Langsomme ventetider

For at vurdere de computerressourcer, der er tilgængelige for akademikere, undersøgte Khandelwal og hans kolleger 50 videnskabsmænd fra 35 institutioner. Af de adspurgte vurderede 66 % deres tilfredshed med deres computerkraft som 3 eller mindre på en skala fra 5. "De er slet ikke tilfredse," siger Khandelwal.

Universiteter har forskellige regler for adgang til GPU'er. Nogle kan have en central computerklynge, der deles mellem afdelinger og studerende, hvor forskere kan anmode om GPU-tid. Andre institutioner kunne købe maskiner, der kan bruges direkte af medlemmer af laboratoriet.

Nogle videnskabsmænd rapporterede, at de måtte vente dage på at få adgang til GPU'er, og bemærkede, at ventetiden var særlig høj omkring projektdeadlines (se "Compute Resource Bottleneck"). Resultaterne fremhæver også globale uligheder i adgang. For eksempel nævnte en respondent vanskeligheden ved at finde GPU'er i Mellemøsten. Kun 10 % af de adspurgte sagde, at de havde adgang til NVIDIAs H100 GPU'er, for at have kraftfulde chips designet til AI-forskning.

Denne barriere gør processen med fortræning - indføring af store datasæt i LLM'er - særlig udfordrende. "Det er så dyrt, at de fleste akademikere ikke engang overvejer at lave naturvidenskab i fortræning," siger Khandelwal. Han og hans kolleger mener, at akademikere tilbyder et unikt perspektiv i AI-forskning, og at mangel på adgang til computerkraft kan begrænse forskningsfeltet.

"Det er bare virkelig vigtigt at have et sundt, konkurrencedygtigt akademisk forskningsmiljø for langsigtet vækst og langsigtet teknologisk udvikling," siger medforfatter Ellie Pavlick, der studerer datalogi og lingvistik ved Brown University. "Når du har forskning i industrien, er der tydelige kommercielle pres, som nogle gange frister dig til at udnytte hurtigere og udforske mindre."

Effektive metoder

Forskerne undersøgte også, hvordan akademikere kunne udnytte mindre kraftfulde computerressourcer bedre. De beregnede, hvor meget tid der ville kræves for at fortræne flere LLM'er ved hjælp af lavressourcehardware - mellem 1 og 8 GPU'er. På trods af disse begrænsede ressourcer lykkedes det forskerne at træne mange af modellerne, selvom det tog længere tid og krævede, at de brugte mere effektive metoder.

"Vi kan faktisk bruge de GPU'er, vi har, i længere tid, og så kan vi udjævne nogle af forskellene mellem det, industrien har," siger Khandelwal.

"Det er spændende at se, at man faktisk kan træne en større model, end mange mennesker ville forestille sig, selv med begrænsede computerressourcer," siger Ji-Ung Lee, der studerer neuroeksplisitte modeller ved Saarland University i Saarbrücken, Tyskland. Han tilføjer, at det fremtidige arbejde kunne se på erfaringerne fra industriforskere på små virksomheder, som også kæmper med adgangen til computerressourcer. "Det er ikke sådan, at alle, der har adgang til ubegrænset computerkraft, faktisk får det," siger han.

1. Khandelwal, A. et al. Fortryk på arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Download referencer