ഒരു AI ആപ്ലിക്കേഷൻ നിർമ്മാണത്തിൽ കാണുന്നു

എന്റെ എം. ഒ. ഒ. പികളുടെ പഠന പദ്ധതി പ്രൊമെഥിയസ്, ഗ്രഫാന, തെളിവ് എന്നിവ ഉപയോഗിച്ച് നിരീക്ഷണ ഡാഷ്ബോർഡുകളുമായി അവസാനിക്കുന്നു. ആ പ്ലാൻ എഴുതിയപ്പോൾ ഞാൻ ചിന്തിച്ചു ഞാൻ ഡെവ് ഒപ്സിൽ ചെയ്യുന്ന രീതി നിരീക്ഷിക്കണമെന്ന്: അത് വേഗതയേറിയതാണോ, പിശകുകൾ വലിച്ചെറിയുന്നതാണോ?

ഞാൻ കൂടുതലറിയുന്നതനുസരിച്ച്, കൂടുതൽ വ്യക്തമായിരിക്കുന്നു, AI സിസ്റ്റങ്ങൾക്ക് ഒരു രണ്ടാം പാളി ആവശ്യമാണെന്ന്. ഒരു മോഡൽ വേഗത്തിലും തെറ്റില്ലാതെയും പ്രവർത്തിക്കുമെങ്കിലും ഇപ്പോഴും മോശം ഉത്തരങ്ങൾ നൽകും. ഈ പോസ്റ്റ് ആ രണ്ടാം പാളി കാണുന്നതിനെ കുറിച്ചാണ്.

ഒരു AI സിസ്റ്റത്തിൽ എന്ത് കാണണം

ഞാന് അതിനെ മൂന്നു തലങ്ങളില് നോക്കിക്കാണുന്നു.

1. ഒരു പാരമ്പര്യം പതിവ് സേവന ആരോഗ്യം. നമ്മൾ ഇതിനകം നിരീക്ഷിച്ചതെല്ലാം: അഭ്യർത്ഥന നിരക്ക്, പിശക് നിരക്ക്, ലേറ്റൻസി, റിസോഴ്സ് ഉപയോഗം. ഒരു AI സേവനം ഇപ്പോഴും ഒരു സേവനമാണ്.

2. മോഡലിന് പ്രത്യേകമായുള്ള പ്രവർത്തനങ്ങൾ. പ്രത്യേകിച്ച് LLM അപേക്ഷകര് ക്ക് വേണ്ടി:

• ടോക്കണുകൾ ആവശ്യാനുസരണം കയറി ഇറങ്ങുക
• വില ഓരോ അഭ്യർത്ഥനയും ഉപയോക്താവും ഓരോ സവിശേഷതയും
• ആദ്യ അടയാളം വരെയുള്ള സമയം മൊത്തം പ്രതികരണ സമയം
• ഏത് മോഡലും ഏത് പ്രോംപ്റ്റ് പതിപ്പും ഓരോ അപേക്ഷയും കൈകാര്യം ചെയ്തു
• ഉപകരണ വിളികൾ ഏജന്റുമാര് ഉണ്ടാക്കിയതും അവര് വിജയിച്ചിട്ടുണ്ടോ എന്നതും

3. ഒരു കല്ല് ഗുണനിലവാരം. കഠിനമായത്:

• ഉത്തരം ശരിയും സഹായകരവുമാണോ?
• ക്ലാസിക് എംഎൽ മോഡലുകൾക്ക്, മോഡൽ പരിശീലനം ചെയ്തതിൽ നിന്ന് ഇൻപുട്ട് ഡാറ്റ അകന്നുപോകുന്നുണ്ടോ? പ്രവചനങ്ങൾ മാറുന്നുണ്ടോ?
• LLM- കൾക്ക്: ഭ്രാന്ത്, നിരസിക്കൽ, വിഷയത്തിന് പുറത്തുള്ള ഉത്തരങ്ങൾ, സുരക്ഷിതമല്ലാത്ത ഉള്ളടക്കം.

സാധാരണ സോഫ്റ്റ് വെയറില് "പിശകുകളില്ല" എന്നതുകൊണ്ട് അർത്ഥമാക്കുന്നത് അത് പ്രവർത്തിക്കുന്നു എന്നാണ്. AI- യ്ക്ക്, "പിശകുകളില്ല" എന്നതുകൊണ്ട് അർത്ഥമാക്കുന്നത് അത് ആത്മവിശ്വാസത്തോടെ എന്തെങ്കിലും ചെയ്യുന്നു എന്നാണ്.

ഒരു LLM അഭ്യർത്ഥന കണ്ടെത്തുന്നു

ഒരു AI ഫീച്ചറിലേക്കുള്ള ഒരൊറ്റ അഭ്യർത്ഥനയ്ക്ക് നിരവധി ഘട്ടങ്ങൾ ഉൾപ്പെടാംഃ രേഖകൾ വീണ്ടെടുക്കുക, ഒരു പ്രോംപ്റ്റ് നിർമ്മിക്കുക, ഒരു മോഡൽ വിളിക്കുക, ഉപകരണങ്ങൾ വിളിക്കുക, മോഡൽ വീണ്ടും വിളിക്കുക. ഉത്തരം മോശമാണെങ്കില് , ഓരോ ചുവടും കാണണം.

അതാണ് വിതരണ ട്രെയ്സിംഗ് ചെയ്യുന്നത്. ഓരോ ഘട്ടവും ഒരു സ്പാൻ ആയി മാറുന്നു, ഇൻപുട്ടുകൾ, ഔട്ട്പുട്ടുകൾ, ടോക്കണുകൾ, ചെലവ്, സമയക്രമം എന്നിവയുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു. ഒരു ഉപയോക്താവ് പരാതിപ്പെടുമ്പോൾ, നിങ്ങൾക്ക് ട്രെയ്സ് തുറന്ന് കാണാനാകും, ഉദാഹരണത്തിന്, വീണ്ടെടുക്കൽ ഘട്ടം തെറ്റായ രേഖകൾ നൽകി.

ഐ. എയ്ക്കുള്ള തുറന്ന ടെലിമെട്രി

നമ്മളിൽ പലരും സാധാരണ സേവനങ്ങള് ക്ക് ഉപയോഗിക്കുന്ന ഓപ്പന് ടെലിമെട്രി ജനറേറ്റീവ് AI യ്ക്കുള്ള സെമാന്റിക് കൺവെൻഷനുകൾ: ഉപയോഗിച്ച മോഡൽ, ടോക്കൺ എണ്ണം, ഓപ്പറേഷൻ തരം തുടങ്ങിയ കാര്യങ്ങൾക്കുള്ള സാധാരണ ആട്രിബ്യൂട്ട് പേരുകൾ. ലൈബ്രറികൾ തുറന്ന അളവ് ജനപ്രിയമായ എൽഎൽഎം എസ്ഡികെകളിലേക്കും ഫ്രെയിം വർക്കുകളിലേക്കും ഓട്ടോമാറ്റിക് ഇൻസ്ട്രുമെന്റേഷൻ ചേർക്കുക.

ഇതിന്റെ പ്രയോജനം: നിങ്ങളുടെ ബാക്കി ട്രാക്കുകളുമായി (ടെമ്പോ, ജാഗർ, ഡാറ്റാഡോഗ്, ഹണികോംബ് തുടങ്ങിയവ) ഒരേ ബാക്ക് എൻഡിലേക്ക് AI ട്രെയ്സുകൾ ഒഴുകുന്നു, അതിനാൽ പൂർണ്ണ ഉപയോക്തൃ അഭ്യർത്ഥനയ്ക്കുള്ളിൽ AI ഘട്ടം നിങ്ങൾ കാണുന്നു.

ഒരു പ്രധാന മുന്നറിയിപ്പ്: ആവശ്യങ്ങളും പ്രതികരണങ്ങളും അടങ്ങിയിരിക്കാം വ്യക്തിഗത വിവരങ്ങൾ. റെക്കോർഡ് ചെയ്യുന്ന കാര്യങ്ങൾ ശ്രദ്ധാപൂർവ്വം തീരുമാനിക്കുക, സെൻസിറ്റീവ് ഫീൽഡുകൾ മറയ്ക്കുക, സൂക്ഷിക്കാനുള്ള പരിധി നിശ്ചയിക്കുക.

ഞാൻ നോക്കിയ ഉപകരണങ്ങൾ

പൊതുവായ നിരീക്ഷണ ഉപകരണങ്ങള് ക്ക് പുറമെ, LLM ആപ്ലിക്കേഷനുകള് ക്ക് വേണ്ടി ഒരു കൂട്ടം ഉപകരണങ്ങള് നിർമ്മിച്ചിട്ടുണ്ട്:

• ലാങ്ഫ്യൂസ്: ഓപ്പൺ സോഴ്സ്, സ്വയം ഹോസ്റ്റുചെയ്യാൻ കഴിയും. നിരീക്ഷണം, പെട്ടെന്നുള്ള മാനേജ്മെന്റ്, ചെലവ് നിരീക്ഷണം എന്നിവയും വിലയിരുത്തലുകളും.
• അരിസെ ഫീനിക്സ്: ഓപ്പൺ സോഴ്സ്, ട്രേസിംഗിലും വിലയിരുത്തലിലും ശക്തമായ, ഓപ്പൺ ടെലിമെട്രി അടിസ്ഥാനമാക്കിയുള്ള.
• വ്യക്തമായി: ക്ലാസിക് എം.എൽ.ക്ക്, ഡാറ്റാ ഡ്രൈവ്, മോഡൽ ഗുണനിലവാര റിപ്പോർട്ടുകൾ എന്നിവയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു, ഇപ്പോൾ ഇത് എം.എല്ലി.
• പല എപിഎം വിതരണക്കാരിലും ഇപ്പോൾ എൽഎൽഎം സവിശേഷതകൾ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്.

എന്റെ പഠന പദ്ധതിക്ക്, ഞാൻ ക്ലാസിക് മോഡലിന് തെളിവായി തുടങ്ങും (ഇത് ഇതിനകം പ്ലാനിലുണ്ട്) ഒരു LLM ഉൾപ്പെട്ടാൽ ലാങ്ഫ്യൂസ് അല്ലെങ്കിൽ ഫീനിക്സ് പരീക്ഷിക്കുക.

ഐ. സി. യിലെ വിലയിരുത്തലുകൾ

ഉപയോക്താക്കൾക്ക് കാണാനായതിനു ശേഷം പ്രശ്നങ്ങളെക്കുറിച്ച് നിരീക്ഷണം നിങ്ങളെ അറിയിക്കുന്നു. വിലയിരുത്തലുകൾ അവരെ പിടിക്കാൻ ശ്രമിക്കുക.

നല്ല ഉത്തരങ്ങളുള്ള ഒരു കൂട്ടം പരീക്ഷാ ചോദ്യങ്ങൾ സൂക്ഷിക്കുക. ഓരോ തവണയും ഒരു പ്രോംപ്റ്റ്, മോഡൽ അല്ലെങ്കിൽ വീണ്ടെടുക്കൽ ലോജിക് മാറ്റുമ്പോഴും, സെറ്റ് പ്രവർത്തിപ്പിച്ച് ഫലങ്ങൾ സ്കോർ ചെയ്യുക, സ്വപ്രേരിതമായി അല്ലെങ്കിൽ മറ്റൊരു മോഡൽ ഒരു ജഡ്ജിയായി. ഗുണനിലവാരം കുറയുകയാണെങ്കിൽ, പൈപ്പ്ലൈൻ പരാജയപ്പെടും, ഒരു യൂണിറ്റ് ടെസ്റ്റ് പരാജയപ്പെട്ടതുപോലെ.

അത് തികഞ്ഞതല്ല, കാരണം "നല്ല ഉത്തരം" അജ്ഞാതമാണ്. പക്ഷെ അടിസ്ഥാന വിലയിരുത്തൽ സെറ്റ് ഒരു അത്ഭുതകരമായ എണ്ണം റിഗ്രഷനുകൾ പിടിക്കുന്നു, പ്രത്യേകിച്ച് മോഡലുകൾ മാറുമ്പോൾ.

ഈ പരമ്പരയിലെ അടുത്തത് എന്താണ്?

നിരീക്ഷണം നടക്കുമ്പോൾ, ഈ ലൂപ്പ് പൂർത്തിയാകും: നിർമ്മിക്കുക, പരീക്ഷിക്കുക, വിന്യസിക്കുക, നിരീക്ഷിക്കുക, മെച്ചപ്പെടുത്തുക. അടുത്തതായി, നിരീക്ഷണം വഴിതെറ്റിപ്പോകുന്നതായി കാണുമ്പോൾ എന്തുചെയ്യണമെന്ന് ഞാൻ നോക്കണം: പുനർ പരിശീലനം, പതിപ്പ് മാറ്റം, പുതിയ മോഡൽ പതിപ്പുകളുടെ സുരക്ഷിത വിക്ഷേപണം.

എന്റെ അഭിപ്രായം: ഇരട്ടി എഐ സംവിധാനങ്ങൾ നിരീക്ഷിക്കുക. ഒരു തവണ എല്ലാ സേവനങ്ങളും പോലെ, ഒരു തവണ പുതിയ സഹപ്രവർത്തകനെ പോലെ, ആരുടെ ജോലി ഇപ്പോഴും പരിശോധിക്കേണ്ടതുണ്ട്.

ഡെസ്ലി