Suche
Mein Konto
AI skaitļošanas plaisa: zinātniekiem trūkst piekļuves jaudīgām mikroshēmām viņu pētījumiem
Akadēmiķi visā pasaulē cīnās ar nepietiekamu skaitļošanas jaudu AI pētījumiem. Aptauja parāda lielas atšķirības piekļuvē GPU.
AI skaitļošanas plaisa: zinātniekiem trūkst piekļuves jaudīgām mikroshēmām viņu pētījumiem
Daudzus universitāšu zinātniekus neapmierina ierobežotā skaitļošanas jauda, kas viņiem ir pieejama viņu pētījumiem šajā jomā mākslīgais intelekts (AI) ir pieejams, kā liecina akadēmiķu aptauja desmitiem iestāžu visā pasaulē.
Rezultāti 1, kas publicēti 30. oktobrī pirmsdrukas serverī arXiv, liecina, ka akadēmiķiem trūkst piekļuves vismodernākajām skaitļošanas sistēmām. Tas var ietekmēt jūsu spēju lielie valodu modeļi (LLM) izstrādāt un veikt citus AI pētniecības projektus.
Jo īpaši akadēmiskajiem pētniekiem dažkārt nav resursu, lai būtu spēcīgi Grafikas procesori (GPU) iegādāties – datoru mikroshēmas, ko parasti izmanto AI modeļu apmācīšanai, kas var maksāt vairākus tūkstošus dolāru. Turpretim lielu tehnoloģiju uzņēmumu pētniekiem ir lielāks budžets un viņi var tērēt vairāk GPU. "Katrs GPU pievieno vairāk jaudas," saka pētījuma līdzautors Apoorvs Khandelwal, datorzinātnieks Brauna Universitātē Providensas pilsētā Rodailendā. "Lai gan šiem nozares milžiem var būt tūkstošiem GPU, akadēmiķiem var būt tikai daži."
“Atšķirība starp akadēmiskajiem un rūpnieciskajiem modeļiem ir liela, taču tā varētu būt daudz mazāka,” saka Stella Bidermena, Vašingtonas bezpeļņas mākslīgā intelekta pētniecības institūta EleutherAI izpilddirektore. Viņa piebilst, ka šīs nevienlīdzības izpēte ir "ļoti svarīga".
Lēni gaidīšanas laiki
Lai novērtētu akadēmiķiem pieejamos skaitļošanas resursus, Handelvals un viņa kolēģi aptaujāja 50 zinātniekus no 35 iestādēm. No aptaujātajiem 66% savu apmierinātību ar savu skaitļošanas jaudu novērtēja ar 3 vai mazāku skalā 5. "Viņi nemaz nav apmierināti," saka Handelvals.
Universitātēm ir atšķirīgi noteikumi par piekļuvi GPU. Dažiem var būt centrālais skaitļošanas klasteris, kas tiek koplietots starp departamentiem un studentiem, kur pētnieki var pieprasīt GPU laiku. Citas iestādes varētu iegādāties iekārtas, kuras var tieši izmantot laboratorijas locekļi.
Daži zinātnieki ziņoja, ka jāgaida dienas, lai piekļūtu GPU, atzīmējot, ka gaidīšanas laiks bija īpaši ilgs ap projekta termiņiem (skatiet “Aprēķinu resursu sašaurinājums”). Rezultāti arī izceļ globālu nevienlīdzību piekļuves jomā. Piemēram, viens respondents minēja grūtības atrast GPU Tuvajos Austrumos. Tikai 10% respondentu teica, ka viņiem ir piekļuve NVIDIA H100 GPU, lai būtu jaudīgas mikroshēmas, kas paredzētas AI pētījumiem.
Šī barjera padara iepriekšējas apmācības procesu — lielu datu kopu ievadīšanu LLM — īpaši sarežģītu. "Tas ir tik dārgi, ka lielākā daļa akadēmiķu pat neapsver iespēju nodarboties ar zinātni iepriekšējas apmācības laikā," saka Handelvals. Viņš un viņa kolēģi uzskata, ka akadēmiķi piedāvā unikālu perspektīvu AI pētniecībā un ka piekļuves trūkums skaitļošanas jaudai varētu ierobežot pētniecības jomu.
"Tas ir ļoti svarīgi, lai būtu veselīga, konkurētspējīga akadēmiskās pētniecības vide ilgtermiņa izaugsmei un ilgtermiņa tehnoloģiju attīstībai," saka līdzautore Ellija Pavlika, kura studē datorzinātnes un valodniecību Brauna universitātē. "Kad veicat pētniecību rūpniecībā, pastāv skaidrs komerciāls spiediens, kas dažreiz liek jums izmantot ātrāk un izpētīt mazāk."
Efektīvas metodes
Pētnieki arī pētīja, kā akadēmiķi varētu labāk izmantot mazāk jaudīgus skaitļošanas resursus. Viņi aprēķināja, cik daudz laika būs nepieciešams, lai iepriekš apmācītu vairākus LLM, izmantojot zema resursa aparatūru — no 1 līdz 8 GPU. Neskatoties uz šiem ierobežotajiem resursiem, pētniekiem izdevās veiksmīgi apmācīt daudzus modeļus, lai gan tas prasīja ilgāku laiku un prasīja viņiem izmantot efektīvākas metodes.
"Mēs faktiski varam izmantot GPU, kas mums ir, ilgāk, un tādējādi mēs varam izlīdzināt dažas atšķirības starp nozares iespējām," saka Khandelwal.
"Ir aizraujoši redzēt, ka pat ar ierobežotiem skaitļošanas resursiem jūs varat apmācīt lielāku modeli, nekā daudzi cilvēki varētu iedomāties," saka Ji-Ung Lee, kurš studē neiroeksplicītus modeļus Zārzemes universitātē Zārbrikenē, Vācijā. Viņš piebilst, ka turpmākajā darbā varētu aplūkot rūpniecības pētnieku pieredzi mazos uzņēmumos, kuri arī cīnās ar piekļuvi skaitļošanas resursiem. "Tas nav tā, ka ikviens, kam ir piekļuve neierobežotai skaitļošanas jaudai, to patiešām iegūst," viņš saka.
-
Khandelwal, A. et al. Iepriekšēja drukāšana vietnē arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).