DevOps ആളുകള് ക്കുള്ള ജിപിയു

എന്റെ കരിയറിലെ മിക്ക സമയത്തും ജിപിയു കളിക്കാരെയും ഗവേഷകരെയും ആശങ്കപ്പെടുത്തി. ഞാന് പ്രവർത്തിപ്പിച്ച അടിസ്ഥാന സൌകര്യങ്ങള് സി. പി. യു. കളും, മെമ്മറിയും, ഡിസ്കുകളും, നെറ്റ് വർക്കുകളും ആയിരുന്നു. അപ്പോള് AI സംഭവിച്ചു, പെട്ടെന്ന് ടീമുകള് ജിപിയു നോഡുകള് ആവശ്യപ്പെട്ടു, മോഡല് സെര്വിംഗ്, "ഞങ്ങള് ക്ക് ഈ എല്.എല്.എമ്മിനെ സ്വയം പ്രവർത്തിപ്പിക്കാമോ?"

നിങ്ങൾ ഒരു DevOps എൻജിനീയർ ആണെങ്കിൽ, ജിപിയു നിങ്ങളുടെ മേശപ്പുറത്ത് ഉണ്ടാകും, അല്ലെങ്കിൽ ഉടൻ തന്നെ ഉണ്ടാകും. ഇതാ, നിങ്ങള് ക്കറിയേണ്ട കാര്യം.

എന്തിന് ജിപിയു എന്റെ മേശപ്പുറത്ത് വന്നു?

ഒരു സിപിയു വളരെ ശക്തമായ ചില കോർസ് ഉണ്ട്. ഒരു ജിപിയു ആയിരക്കണക്കിന് ചെറിയ കോർസ് ഉണ്ട്, അത് ഒരേ ലളിതമായ ഗണിതശാസ്ത്രങ്ങൾ സമാന്തരമായി ചെയ്യുന്നു. ന്യൂറൽ നെറ്റ് വർക്കുകൾ പരിശീലിപ്പിക്കുകയും പ്രവർത്തിപ്പിക്കുകയും ചെയ്യുന്നത് മിക്കവാറും ആ തരത്തിലുള്ള ഗണിതമാണ്: വലിയ മാട്രിക്സ് ഗുണനങ്ങൾ. ഒരു സിപിയു മിനിറ്റ് എടുക്കുന്ന കാര്യങ്ങൾ ഒരു ജിപിയു സെക്കന്റുകൾക്കുള്ളിൽ ചെയ്യാം.

DevOps-ന് ഇത് പുതിയ ചോദ്യങ്ങള് ഉന്നയിക്കുന്നു:

• എങ്ങനെയാണ് നമ്മൾ വർക്ക് ലോഡുകൾക്ക് ജിപിയു ആക്സസ് കൊടുക്കുന്നത്?
• അവരെ എങ്ങനെ വിഭജിക്കും, അങ്ങനെ അവർ വെറുതെ ഇരിക്കില്ല?
• അവരെ എങ്ങനെ നിരീക്ഷിക്കും?
• മേഘം പൊട്ടിത്തെറിക്കാതിരിക്കാൻ നമുക്ക് എങ്ങനെ കഴിയും?

ജിപിയു അടിസ്ഥാനകാര്യങ്ങള് അഞ്ച് മിനിറ്റിനകം

നിരന്തരം വരുന്ന ചില പദങ്ങൾ:

• വിആര് എംജിപിയുവിന്റെ സ്വന്തം മെമ്മറി. LLM- കള് ക്ക് ഇത് സാധാരണയായി പരിധിയാണ്. മോഡലിന് ഭാരം യോജിക്കണം, കൂടാതെ പ്രോസസ്സ് ചെയ്യപ്പെടുന്ന അഭ്യർത്ഥനകൾക്ക് ഇടം നൽകണം.
• സി. യു. ഡി. എ: എൻവിഡിയയുടെ സോഫ്റ്റ് വെയർ പ്ലാറ്റ്ഫോം. മിക്ക AI സോഫ്റ്റ് വെയറുകളും അതിനെ ആശ്രയിച്ചിരിക്കുന്നു, അതുകൊണ്ടാണ് എൻവിഡിയ ആധിപത്യം പുലർത്തുന്നത്.
• ഡ്രൈവർമാർ: നിങ്ങളുടെ സോഫ്റ്റ് വെയറിന് ആവശ്യമുള്ള CUDA പതിപ്പുമായി പൊരുത്തപ്പെടുന്ന ഹോസ്റ്റിലെ പ്രത്യേക ഡ്രൈവറുകൾ ജിപിയുക്ക് ആവശ്യമാണ്. പതിപ്പുകളുടെ വ്യത്യാസം വേദനയുടെ ഒരു സാധാരണ സ്രോതസ്സാണ്.
• തലമുറകൾ: എൻവിഡിയ എ100, എച്ച്100, എച്200 തുടങ്ങിയ ഡേറ്റാ സെന്റർ ജിപിയുകളും പുതിയവയും, എൽ4 , ടി4 പോലുള്ള ചെറുതും വിലകുറഞ്ഞതുമായവയും. വിലകൂടിയത് എപ്പോഴും നിങ്ങളുടെ ജോലിഭാരത്തിന് നല്ലതല്ല.

ഒരു ജിപിയു പങ്കിടൽ: MIG ഉം ടൈം സ്ലൈസിംഗും

ഒരു ചെറിയ മോഡലിന് ആവശ്യമുള്ളതിനേക്കാൾ കൂടുതലാണ് ഒരു പൂർണ്ണ ജിപിയു. പങ്കിടൽ ഓപ്ഷനുകൾ:

• MIG (മൾട്ടി ഇൻസ്റ്റൻസ് ജിപിയു): ഉയർന്ന നിലവാരമുള്ള എൻവിഡിയ ജിപിയുകളിൽ പിന്തുണയ്ക്കുന്നു. ഒരു ജിപിയുവിനെ പൂർണ്ണമായും ഒറ്റപ്പെട്ട പല സ്ലൈസുകളായി വിഭജിക്കുന്നു, ഓരോന്നും അതിന്റേതായ മെമ്മറിയും കമ്പ്യൂട്ടറും ഉള്ളവയാണ്. നല്ല ഐസൊലേഷന് , നിശ്ചിത വലുപ്പമുള്ളവ.
• സമയ വിഭജനം: ഒരേ ജിപിയുവിൽ ഒന്നിലധികം വർക്ക് ലോഡുകൾ മാറി മാറി പ്രവർത്തിക്കുന്നു. കൂടുതൽ വഴക്കമുള്ളതും, പക്ഷേ മെമ്മറി ഐസൊലേഷന് ഇല്ല, അതുകൊണ്ട് ഒരു അത്യാഗ്രഹ പ്രവൃത്തി മറ്റുള്ളവരെ ബാധിക്കും.
• MPS (മൾട്ടി-പ്രോസസ്സ് സേവനം): ചില പരിമിതികളോടെ പ്രോസസ്സുകൾക്ക് ജിപിയു കൂടുതൽ കാര്യക്ഷമമായി പങ്കിടാൻ സാധിക്കുന്നു.

ചെറിയ മോഡലുകളുടെ നിഗമനത്തിന്, പങ്കിടൽ ചെലവ് ഗണ്യമായി കുറയ്ക്കും.

നിങ്ങളുടെ ഡേറ്റാ സെന്ററിലെ ഏറ്റവും വിലപിടിപ്പുള്ള കാര്യമാണ് ഒന്നും ചെയ്യാത്ത ഒരു ജിപിയു.

കുബർനെറ്റസിൽ പ്രവർത്തിപ്പിക്കുന്നു

കുബർനെറ്റീസിൽ, സാധാരണ സജ്ജീകരണം:

1. ഒരു ജിപിയു നോഡ് പൂൾ സാധാരണ വർക്ക് ലോഡുകൾ വിലയേറിയ ജിപിയു നോഡുകളില് എത്തുന്നില്ല.
2. എൻവിഡിയ ജിപിയു ഓപ്പറേറ്റർ, ഡ്രൈവറുകളും കണ്ടെയ്നർ ടൂൾകിറ്റും ഡിവൈസ് പ്ലഗിൻ, ജിപിയു നോഡുകളിലെ നിരീക്ഷണവും ഓട്ടോമാറ്റിക്കായി ഇൻസ്റ്റാൾ ചെയ്യുന്നു.
3. പാഡുകൾ ജിപിയു ആവശ്യപ്പെടുന്നു മറ്റേതൊരു വിഭവവും പോലെ:

resources:
  limits:
    nvidia.com/gpu: 1

4. ടോളറേഷനും നോഡ് സെലക്ടറുകളും അങ്ങനെ ജിപിയു പാഡുകൾ ശരിയായ നോഡുകളില് എത്തിച്ചേരുന്നു.

കുബർനെറ്റിന് ഇപ്പോൾ ഡൈനാമിക് റിസോഴ്സ് അലോക്കേഷൻ (ഡിആർഎ), ഇത് സ്ഥിരതയുള്ളതും വർക്ക് ലോഡുകൾക്ക് പ്രത്യേക ജിപിയു മോഡലുകൾ, മിനിമം മെമ്മറി വലുപ്പങ്ങൾ അല്ലെങ്കിൽ ജിപിയുവിന്റെ സ്ലൈസുകൾ അഭ്യർത്ഥിക്കാൻ അനുവദിക്കുന്നു. ഈ പ്രവണതയെ കൂടുതൽ ഉപകരണങ്ങള് പിന്തുടരാൻ സാധ്യതയുണ്ട്.

ക്ലൌഡിൽ, നിയന്ത്രിത നോഡ് പൂളുകളും മരംപണിക്കാരൻ (AWS- ൽ) ജിപിയു നോഡുകൾ ചേർക്കാൻ കഴിയും, ജിപിയുവിന് കാത്തിരിക്കുമ്പോൾ മാത്രം, പിന്നീട് അവ നീക്കംചെയ്യുക.

മോണിറ്ററിംഗ് ജിപിയു

സാധാരണ നോഡ് മോണിറ്ററിംഗ് ജിപിയുകളെ കുറിച്ച് കൂടുതലൊന്നും പറയുന്നില്ല. കൂട്ടിച്ചേര് ക്കാന് എൻവിഡിയ ഡിസിജിഎം കയറ്റുമതിക്കാരൻ പ്രൊമെഥിയസ് എന്നതിനായി, അത് നിങ്ങൾക്ക് നൽകുന്നു:

• ജിപിയു ഉപയോഗം
• ഉപയോഗിച്ച മെമ്മറി
• താപനിലയും ഊർജ്ജവും
• പിശകുകൾ (അതെ, ജിപിയുകളും പരാജയപ്പെടുന്നു, ചില പിശകുകളും നോഡ് ശൂന്യമാക്കണം എന്നാണ് അർത്ഥമാക്കുന്നത്)

ഏറ്റവും പ്രധാനപ്പെട്ട ഡാഷ്ബോർഡ്: ഓരോ വർക്ക് ലോഡിനും കാലാകാലങ്ങളിൽ ഉപയോഗം. ഇത് ഉടനെ കാണിക്കുന്നു ആരാണ് ജിപിയു വാങ്ങുന്നത്, ആരാണ് ഉപയോഗിക്കാത്തത്.

ഒന്നും ചെയ്യാത്ത ജിപിയുക്കള് ക്ക് പണം നല് കുന്നു

ജിപിയു ചെലവുകള് സജീവമായി നിയന്ത്രിക്കേണ്ടതുണ്ട്:

• പൂജ്യം വരെ ട്രാഫിക് ഇല്ലാത്ത സമയത്താണ്, നിങ്ങളുടെ സ്റ്റാർട്ട് അപ്പ് സമയം അനുവദിക്കുന്നുവെങ്കിൽ.
• ശരിയായ വലിപ്പം: ഒരു ചെറിയ ജിപിയു, അല്ലെങ്കിൽ ഒരു കഷണം, പലപ്പോഴും അനുമാനത്തിന് മതി.
• സ്പോട്ട് അല്ലെങ്കിൽ മുൻകൂർ ഇൻസ്റ്റൻസുകൾ പരിശീലനത്തിനും തടസ്സപ്പെടാവുന്ന ബാച്ച് ജോലികൾക്കും.
• ഷെഡ്യൂൾ പരീക്ഷണങ്ങളും പീക്ക് മണിക്കൂറുകളില് ബാർട്ട് വർക്കുകളും.
• ഷോബാക്ക്: ഓരോ ടീമിനും ജിപിയു ചെലവുകൾ ദൃശ്യമാക്കുക. ആളുകൾ ആ നമ്പർ കാണുമ്പോള് പെരുമാറ്റം പെട്ടെന്ന് മാറുന്നു.

അപ്പോൾ, DevOps എഞ്ചിനീയർമാർക്ക് ജിപിയു പഠിക്കേണ്ടി വരുമോ?

നിങ്ങളുടെ കമ്പനി എ ഐ ഉപയോഗിച്ച് എന്തെങ്കിലും ഗൌരവമുള്ളതാക്കുന്നുവെങ്കിൽ, അതെ. നിങ്ങള് ക്ക് ഗണിതം മനസിലാക്കേണ്ട കാര്യമില്ല, പക്ഷെ നിങ്ങള് ക്ക് ജിപിയു ഷെഡ്യൂൾ ചെയ്യാനും പങ്കുവയ്ക്കാനും നിരീക്ഷിക്കാനും പണമടയ്ക്കാനും അറിയണം. ആ അറിവ് അതിവേഗം അടിസ്ഥാന സൌകര്യങ്ങളുടെ ഒരു പ്രധാന കഴിവായി മാറുകയാണ്.

എന്റെ അഭിപ്രായം: ജിപിയു വളരെ ഉയർന്ന വിലയുള്ള മറ്റൊരു വിഭവമാണ്. അവരെ എല്ലാ കാര്യങ്ങളും പോലെ ശിക്ഷണം ചെയ്യണം, പക്ഷെ കൂടുതൽ.

ഡെസ്ലി