Podjela u računalstvu s umjetnom inteligencijom: znanstvenicima nedostaje pristup snažnim čipovima za njihova istraživanja

Podjela u računalstvu s umjetnom inteligencijom: znanstvenicima nedostaje pristup snažnim čipovima za njihova istraživanja

Mnogi sveučilišni znanstvenici frustrirani su ograničenom računalnom snagom koja im je dostupna za njihova istraživanja u području umjetna inteligencija (AI) je dostupan, kao što pokazuje istraživanje akademika na desecima institucija diljem svijeta.

Rezultati 1, objavljen 30. listopada na poslužitelju za pretisak arXiv, sugeriraju da akademici nemaju pristup najnaprednijim računalnim sustavima. To bi moglo utjecati na vašu sposobnost da veliki jezični modeli (LLM) razvijati i provoditi druge istraživačke projekte umjetne inteligencije.

Konkretno, akademski istraživači ponekad nemaju resurse da budu moćni Grafički procesori (GPU) kupiti – računalne čipove koji se obično koriste za treniranje AI modela koji mogu koštati nekoliko tisuća dolara. Nasuprot tome, istraživači u velikim tehnološkim tvrtkama imaju veće proračune i mogu potrošiti više na GPU-ove. "Svaki GPU dodaje više snage", kaže koautor studije Apoorv Khandelwal, računalni znanstvenik sa Sveučilišta Brown u Providenceu, Rhode Island. "Iako ovi industrijski divovi mogu imati tisuće GPU-ova, akademici možda imaju samo nekoliko."

“Jaz između akademskih i industrijskih modela je velik, ali bi mogao biti puno manji,” kaže Stella Biderman, izvršna direktorica EleutherAI, neprofitnog instituta za istraživanje umjetne inteligencije u Washingtonu DC. Istraživanje ove nejednakosti je "vrlo važno", dodaje ona.

Sporo vrijeme čekanja

Kako bi procijenili računalne resurse dostupne akademicima, Khandelwal i njegovi kolege anketirali su 50 znanstvenika iz 35 institucija. Od ispitanika, 66% ocijenilo je svoje zadovoljstvo svojom računalnom snagom s 3 ili manje na ljestvici od 5. "Uopće nisu zadovoljni", kaže Khandelwal.

Sveučilišta imaju različite propise za pristup GPU-ima. Neki mogu imati središnji računalni klaster koji dijele odjeli i studenti gdje istraživači mogu zatražiti GPU vrijeme. Ostale ustanove mogle bi kupiti strojeve koje mogu izravno koristiti članovi laboratorija.

Neki su znanstvenici izvijestili da su morali čekati danima da dobiju pristup GPU-ima, napominjući da su vremena čekanja bila posebno visoka oko projektnih rokova (pogledajte “Usko grlo računalnih resursa”). Rezultati također naglašavaju globalne nejednakosti u pristupu. Na primjer, jedan je ispitanik spomenuo poteškoće u pronalaženju GPU-a na Bliskom istoku. Samo 10% ispitanika reklo je da ima pristup NVIDIA H100 GPU, imati moćne čipove dizajnirane za istraživanje umjetne inteligencije.

Ova prepreka čini proces prethodne obuke – unos velikih skupova podataka u LLM – posebno izazovnim. “Toliko je skupo da većina akademika uopće ne razmišlja o bavljenju znanošću tijekom predobrazbe”, kaže Khandelwal. On i njegovi kolege vjeruju da akademici nude jedinstvenu perspektivu u istraživanju umjetne inteligencije i da bi nedostatak pristupa računalnoj snazi ​​mogao ograničiti područje istraživanja.

"Jednostavno je jako važno imati zdravo, konkurentno akademsko istraživačko okruženje za dugoročni rast i dugoročni tehnološki razvoj", kaže koautorica Ellie Pavlick, koja studira računarstvo i lingvistiku na Sveučilištu Brown. "Kad imate istraživanje u industriji, postoje jasni komercijalni pritisci koji vas ponekad navode na brže iskorištavanje i manje istraživanje."

Učinkovite metode

Istraživači su također ispitali kako akademici mogu bolje iskoristiti manje moćne računalne resurse. Izračunali su koliko će vremena biti potrebno za prethodnu obuku više LLM-a koristeći hardver s malim resursima – između 1 i 8 GPU-a. Unatoč tim ograničenim resursima, istraživači su uspjeli uspješno uvježbati mnoge modele, iako je to trajalo dulje i zahtijevalo je korištenje učinkovitijih metoda.

"Zapravo možemo dulje koristiti GPU-ove koje imamo i tako možemo izgladiti neke razlike između onoga što industrija ima", kaže Khandelwal.

“Uzbudljivo je vidjeti da zapravo možete trenirati veći model nego što bi mnogi ljudi zamislili, čak i s ograničenim računalnim resursima,” kaže Ji-Ung Lee, koji proučava neuroeksplicitne modele na Sveučilištu Saarland u Saarbrückenu, Njemačka. Dodaje da bi se budući rad mogao baviti iskustvima industrijskih istraživača u malim tvrtkama koje se također bore s pristupom računalnim resursima. "Nije da svi koji imaju pristup neograničenoj računalnoj snazi ​​to zapravo i dobiju", kaže on.

1. Khandelwal, A. i sur. Pretisak na arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Preuzmite reference