Rozdelenie výpočtovej techniky AI: Vedcom chýba prístup k výkonným čipom pre ich výskum

Rozdelenie výpočtovej techniky AI: Vedcom chýba prístup k výkonným čipom pre ich výskum

Mnohí univerzitní vedci sú frustrovaní z obmedzeného výpočtového výkonu, ktorý majú k dispozícii pre svoj výskum v oblasti umelá inteligencia (AI) je k dispozícii, ako ukazuje prieskum medzi akademickými pracovníkmi v desiatkach inštitúcií po celom svete.

Výsledky 1, publikované 30. októbra na predtlačovom serveri arXiv, naznačujú, že akademici nemajú prístup k najpokročilejším výpočtovým systémom. To by mohlo ovplyvniť vašu schopnosť veľké jazykové modely (LLM) rozvíjať a vykonávať ďalšie výskumné projekty AI.

Najmä akademickí výskumníci niekedy nemajú zdroje na to, aby boli mocní Grafické procesory (GPU) na nákup – počítačové čipy bežne používané na trénovanie modelov AI, ktoré môžu stáť niekoľko tisíc dolárov. Naproti tomu výskumníci vo veľkých technologických spoločnostiach majú väčšie rozpočty a môžu minúť viac na GPU. „Každý GPU pridáva viac energie,“ hovorí spoluautor štúdie Apoorv Khandelwal, počítačový vedec z Brown University v Providence, Rhode Island. "Zatiaľ čo títo priemyselní giganti môžu mať tisíce GPU, akademici môžu mať len niekoľko."

„Rozdiel medzi akademickými a priemyselnými modelmi je veľký, ale mohol by byť oveľa menší,“ hovorí Stella Biderman, výkonná riaditeľka EleutherAI, neziskového inštitútu pre výskum AI vo Washingtone DC. Výskum tejto nerovnosti je „veľmi dôležitý,“ dodáva.

Pomalé čakacie doby

Na posúdenie výpočtových zdrojov, ktoré majú akademici k dispozícii, Khandelwal a jeho kolegovia skúmali 50 vedcov z 35 inštitúcií. Z opýtaných 66 % ohodnotilo svoju spokojnosť s ich výpočtovým výkonom 3 alebo menej na stupnici 5. „Vôbec nie sú spokojní,“ hovorí Khandelwal.

Univerzity majú rôzne predpisy pre prístup ku GPU. Niektorí môžu mať centrálny výpočtový klaster zdieľaný medzi oddeleniami a študentmi, kde môžu výskumníci požiadať o čas GPU. Ostatné inštitúcie by si mohli zakúpiť stroje, ktoré môžu priamo používať členovia laboratória.

Niektorí vedci uviedli, že na získanie prístupu ku GPU museli čakať niekoľko dní, pričom poznamenali, že čakacie doby boli obzvlášť vysoké okolo termínov projektu (pozri „Prekážka výpočtových zdrojov“). Výsledky tiež poukazujú na globálne nerovnosti v prístupe. Jeden respondent napríklad uviedol, že je ťažké nájsť GPU na Blízkom východe. Iba 10 % respondentov uviedlo, že k nim má prístup GPU NVIDIA H100, aby mali výkonné čipy určené na výskum AI.

Táto bariéra robí proces predškolenia – vkladanie veľkých súborov údajov do LLM – obzvlášť náročný. „Je to také drahé, že väčšina akademikov ani neuvažuje o tom, že by sa vedu venovali predškoleniu,“ hovorí Khandelwal. On a jeho kolegovia veria, že akademici ponúkajú jedinečnú perspektívu vo výskume AI a že nedostatočný prístup k výpočtovej sile by mohol obmedziť oblasť výskumu.

„Pre dlhodobý rast a dlhodobý technologický rozvoj je skutočne dôležité mať zdravé, konkurencieschopné akademické výskumné prostredie,“ hovorí spoluautorka Ellie Pavlick, ktorá študuje informatiku a lingvistiku na Brown University. "Keď máte výskum v priemysle, existujú jasné komerčné tlaky, ktoré vás niekedy zvádzajú k tomu, aby ste využívali rýchlejšie a menej skúmali."

Efektívne metódy

Vedci tiež skúmali, ako by akademici mohli lepšie využívať menej výkonné výpočtové zdroje. Vypočítali, koľko času by bolo potrebné na predbežné školenie viacerých LLM pomocou hardvéru s nízkymi zdrojmi – medzi 1 a 8 GPU. Napriek týmto obmedzeným zdrojom sa výskumníkom podarilo úspešne trénovať mnohé modely, hoci to trvalo dlhšie a vyžadovalo to od nich efektívnejšie metódy.

„GPU, ktoré máme, môžeme skutočne používať dlhšie, a tak môžeme vyrovnať niektoré rozdiely medzi tým, čo má toto odvetvie,“ hovorí Khandelwal.

„Je vzrušujúce vidieť, že môžete skutočne trénovať väčší model, než by si mnohí ľudia predstavovali, dokonca aj s obmedzenými výpočtovými zdrojmi,“ hovorí Ji-Ung Lee, ktorý študuje neuroexplicitné modely na Saarlandskej univerzite v Saarbrückene v Nemecku. Dodáva, že budúca práca by sa mohla pozrieť na skúsenosti priemyselných výskumníkov v malých spoločnostiach, ktoré tiež zápasia s prístupom k výpočtovým zdrojom. „Nie je to tak, že každý, kto má prístup k neobmedzenému výpočtovému výkonu, ho skutočne dostane,“ hovorí.

1. Khandelwal, A. a kol. Predtlač na arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Stiahnite si referencie