AI výpočetní propast: Vědci nemají přístup k výkonným čipům pro svůj výzkum

AI výpočetní propast: Vědci nemají přístup k výkonným čipům pro svůj výzkum

Mnoho univerzitních vědců je frustrováno omezeným výpočetním výkonem, který mají k dispozici pro svůj výzkum v oboru umělá inteligence (AI) je k dispozici, jak ukazuje průzkum mezi akademiky na desítkách institucí po celém světě.

Výsledky 1, zveřejněné 30. října na předtiskovém serveru arXiv, naznačují, že akademici nemají přístup k nejpokročilejším výpočetním systémům. To by mohlo ovlivnit vaši schopnost velké jazykové modely (LLM) rozvíjet a provádět další výzkumné projekty AI.

Zejména akademičtí výzkumníci někdy nemají prostředky na to, aby byli mocní Grafické procesory (GPU) k nákupu – počítačové čipy běžně používané k trénování modelů AI, které mohou stát několik tisíc dolarů. Naproti tomu výzkumníci ve velkých technologických společnostech mají větší rozpočty a mohou utrácet více za GPU. „Každý GPU přidává více energie,“ říká spoluautor studie Apoorv Khandelwal, počítačový vědec z Brown University v Providence, Rhode Island. "Zatímco tito průmysloví giganti mohou mít tisíce GPU, akademici jich mohou mít jen několik."

„Propast mezi akademickými a průmyslovými modely je velká, ale mohla by být mnohem menší,“ říká Stella Biderman, výkonná ředitelka EleutherAI, neziskového výzkumného institutu umělé inteligence ve Washingtonu DC. Výzkum této nerovnosti je „velmi důležitý,“ dodává.

Pomalé čekací doby

Aby posoudili výpočetní zdroje dostupné akademikům, Khandelwal a jeho kolegové provedli průzkum mezi 50 vědci z 35 institucí. 66 % z dotázaných ohodnotilo svou spokojenost se svým výpočetním výkonem 3 nebo méně na stupnici 5. „Nejsou vůbec spokojeni,“ říká Khandelwal.

Univerzity mají různé předpisy pro přístup ke GPU. Některé mohou mít centrální výpočetní cluster sdílený mezi odděleními a studenty, kde mohou výzkumníci požadovat čas GPU. Jiné instituce by mohly zakoupit stroje, které mohou přímo používat členové laboratoře.

Někteří vědci hlásili, že museli čekat dny, než získali přístup ke GPU, a poznamenali, že čekací doby byly zvláště dlouhé kolem termínů projektu (viz „Úzké místo výpočetních zdrojů“). Výsledky také zdůrazňují globální nerovnosti v přístupu. Jeden respondent například zmínil potíže s hledáním GPU na Blízkém východě. Pouze 10 % respondentů uvedlo, že k nim má přístup GPU NVIDIA H100, abychom měli výkonné čipy určené pro výzkum AI.

Tato bariéra činí proces předběžného školení – dodávání velkých souborů dat do LLM – obzvláště náročný. "Je to tak drahé, že většina akademiků ani neuvažuje o tom, že by dělali vědu v předškolním vzdělávání," říká Khandelwal. On a jeho kolegové věří, že akademici nabízejí jedinečnou perspektivu ve výzkumu AI a že nedostatek přístupu k výpočetnímu výkonu by mohl omezit výzkumné pole.

„Pro dlouhodobý růst a dlouhodobý technologický rozvoj je opravdu důležité mít zdravé a konkurenceschopné akademické výzkumné prostředí,“ říká spoluautorka Ellie Pavlick, která studuje informatiku a lingvistiku na Brown University. "Když máte výzkum v průmyslu, existují jasné komerční tlaky, které vás někdy svádějí k rychlejšímu využívání a menšímu zkoumání."

Efektivní metody

Výzkumníci také zkoumali, jak by akademici mohli lépe využívat méně výkonné výpočetní zdroje. Spočítali, kolik času by bylo zapotřebí k předtrénování několika LLM pomocí hardwaru s nízkými zdroji – mezi 1 a 8 GPU. Navzdory těmto omezeným zdrojům se vědcům podařilo úspěšně trénovat mnoho modelů, i když to trvalo déle a vyžadovalo to použití efektivnějších metod.

„GPU, které máme, můžeme skutečně používat déle, a tak můžeme vyrovnat některé rozdíly mezi tím, co průmysl má,“ říká Khandelwal.

„Je vzrušující vidět, že můžete skutečně trénovat větší model, než by si mnozí lidé představovali, a to i s omezenými výpočetními zdroji,“ říká Ji-Ung Lee, který studuje neuroexplicitní modely na Saarlandské univerzitě v Saarbrückenu v Německu. Dodává, že budoucí práce by se mohla podívat na zkušenosti průmyslových výzkumníků v malých společnostech, které také bojují s přístupem k výpočetním zdrojům. „Není to tak, že by ho skutečně dostal každý, kdo má přístup k neomezenému výpočetnímu výkonu,“ říká.

1. Khandelwal, A. a kol. Předtisk na arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Stáhněte si reference