നിരീക്ഷണ ബില് സെര് വറുകളുടെ ബില് അടിക്കുമ്പോൾ

പല കമ്പനികളും എത്തുന്ന ഒരു ഘട്ടമുണ്ട്. ധനകാര്യ മേഖലയിൽ ഉള്ള ഒരാൾ ചോദിക്കുന്നു എന്തുകൊണ്ടാണ് നിരീക്ഷണ സംവിധാനങ്ങളുടെ കണക്കുകൂട്ടൽ ബില്ലിനേക്കാൾ വലിയ നിരീക്ഷണ ബില്ലിന്റെ വില. അത് വിഡ്ഢിത്തമായി തോന്നാം, പക്ഷെ ഇത് പലപ്പോഴും സംഭവിക്കുന്നു. നിരീക്ഷണ ചെലവുകൾ പല അടിസ്ഥാന സൌകര്യ ബജറ്റുകളിലും ഏറ്റവും വലിയ ഇനമായി മാറിയിരിക്കുന്നു.

ആ ഡാറ്റയുടെ ഭൂരിഭാഗവും ഉപയോഗിക്കാറില്ല. അത് മുറിക്കുന്നത് എന്താണ് സംഭവിക്കുന്നതെന്ന് കാണാതെ പോകുകയെന്നല്ല. അതായത്, നിങ്ങൾ സൂക്ഷിക്കുന്ന കാര്യങ്ങളെക്കുറിച്ച് തിരഞ്ഞെടുക്കുന്നവരായിരിക്കുക.

എന്തിനാ ഇത്ര വിലയേറിയത്?

• എല്ലായിടത്തും തണ്ടുകൾ. ഡീബഗ് ലോഗ് ചെയ്യൽ, പ്രൊഡക്ഷൻ, വര്ബോസ് ഫ്രെയിം വർക്കുകൾ, ഹെൽത്ത് ചെക്ക് ലോഗ്, ഒരേ വിവരങ്ങൾ അഞ്ചു ലെയറുകളായി രേഖപ്പെടുത്തിയിരിക്കുന്നു.
• മെട്രിക് കാർഡിനാലിറ്റി. ഒരു മെട്രിക് ലേബലുകൾ പോലെ user_id, request_id അല്ലെങ്കിൽ പൂർണ്ണ URL കൾ ഓരോ അദ്വിതീയ മൂല്യത്തിനും ഒരു പ്രത്യേക സമയ ശ്രേണി സൃഷ്ടിക്കുന്നു. ദശലക്ഷക്കണക്കിന് സീരീസുകൾ, ഓരോന്നിനും ഒരു ചാർജ്.
• എല്ലാം ട്രാക്കുചെയ്യുന്നു. ഒരു വലിയ ട്രാഫിക് സിസ്റ്റത്തിൽ ട്രാക്കുചെയ്ത 100% അഭ്യർത്ഥനകളും വലിയ അളവുകൾ സൃഷ്ടിക്കുന്നു, അവരിൽ ഭൂരിഭാഗവും ഒരേ വിജയകരമായ അഭ്യർത്ഥനങ്ങൾ.
• സ്ഥിരമായി നീണ്ട നിലനില് പ്. എല്ലാം മാസങ്ങളോളം സൂക്ഷിച്ചുവെച്ചിരുന്നു, "എന്തായാലും".
• ഓരോ ഹോസ്റ്റിനും ഓരോ കണ്ടെയ്നറിനും വില ഓട്ടോ സ്കെയിലിംഗും പല ചെറിയ കണ്ടെയ്നറുകളും ഉപയോഗിച്ച്.
• ഡ്യൂപ്ലിക്കേറ്റ് ഡാറ്റ. ഒരേ രേഖകൾ രണ്ട് ഉപകരണങ്ങളിലേക്ക് അയച്ചു, രണ്ട് ഏജന്റുമാർ ശേഖരിച്ച അളവുകൾ.

പണം എവിടെ പോകുന്നു എന്ന് അറിയുക

എന്തെങ്കിലും മുറിക്കുന്നതിന് മുമ്പ്, അളക്കുക:

• ഏത് സേവനങ്ങളാണ് ഏറ്റവും കൂടുതൽ ലോഗുകളും അളവുകളും ട്രാക്കുകളും ഉണ്ടാക്കുന്നത്?
• ഏത് അളവുകളാണ് ഏറ്റവും കൂടുതല് പ്രധാനപ്പെട്ടത്? (പ്രൊമെഥിയസിന് ഇത് കാണിക്കുന്ന ഒരു ടിഎസ്ഡിബി സ്റ്റാറ്റസ് പേജ് ഉണ്ട്, മിക്ക വെണ്ടർമാരും മെട്രിക് അനുസരിച്ച് ഉപയോഗം കാണിക്കുന്നു.)
• ഏത് ഡാറ്റയാണ് ശരിക്കും അന്വേഷിക്കുന്നത്? ഏത് ഡാഷ്ബോർഡുകളാണ്, ഏത് അലേർട്ടുകളാണ്, അന്വേഷണങ്ങളാണ് ഏത് ഡാറ്റയാണ് ഉപയോഗിക്കുന്നതെന്ന് പല ഉപകരണങ്ങളും കാണിക്കുന്നു.

ഏതാണ്ട് എല്ലായ്പ്പോഴും ഒരുപിടി സേവനങ്ങളും അളവുകളും മിക്കവാറും എല്ലാ ബില്ലുകളും ഉണ്ടാക്കുന്നു.

ഏറ്റവും വിലകുറഞ്ഞ ടെലിമെട്രി, അത് ശേഖരിക്കാതിരിക്കാൻ തീരുമാനിച്ച ടെലിമെത്രിയാണ്, കാരണം അത് ആർക്കും നഷ്ടപ്പെടില്ലെന്ന് നിങ്ങൾക്കറിയാമായിരുന്നു.

സാമ്പിളുകളുടെ ട്രെയ്സ്

എല്ലാ സൂചനകളും വേണ്ട. നിനക്ക് രസകരമായവ വേണം.

തലയുടെ സാമ്പിൾ എടുക്കൽ ഒരു അഭ്യർത്ഥനയുടെ തുടക്കത്തിൽ അത് നിലനിർത്തണോ വേണ്ടയോ എന്ന് തീരുമാനിക്കുന്നു, ഉദാഹരണത്തിന് 10% അഭ്യർത്ഥനങ്ങൾ. ലളിതവും വിലകുറഞ്ഞതുമാണ്, പക്ഷെ അത് നിങ്ങള് ക്ക് ആവശ്യമുള്ള ഒരു പരാജയപ്പെട്ട അഭ്യർത്ഥനയെ തള്ളി കളയാം.

വാൽ സാമ്പിൾ എടുക്കൽ ട്രെയ്സിംഗ് പൂർത്തിയാക്കിയതിനു ശേഷം തീരുമാനിക്കുന്നു, അതിനാൽ എല്ലാ പിശകുകളും, എല്ലാ വേഗത കുറഞ്ഞ അഭ്യർത്ഥനകളും, സാധാരണ അഭ്യർത്ഥനാങ്ങളുടെ ഒരു ചെറിയ ശതമാനം മാത്രമേ നിലനിർത്താൻ കഴിയൂ. ഓപ്പൺ ടെലിമെട്രി കളക്ടർ ഇതിനെ പിന്തുണയ്ക്കുന്നുഃ

processors:
  tail_sampling:
    decision_wait: 10s
    policies:
      - name: keep-errors
        type: status_code
        status_code: { status_codes: [ERROR] }
      - name: keep-slow
        type: latency
        latency: { threshold_ms: 1000 }
      - name: sample-the-rest
        type: probabilistic
        probabilistic: { sampling_percentage: 5 }

ഡീബഗ്ഗിംഗിന് ഉപയോഗപ്രദമായതെല്ലാം സൂക്ഷിച്ചു വയ്ക്കുക, 90% വോളിയം കുറയ്ക്കുകയും ചെയ്യുക.

ഫിൽട്ടറിംഗ് ലോഗ്

• ഉറവിടത്തിൽ ശബ്ദം കുറയ്ക്കുക: ആരോഗ്യ പരിശോധന, റെഡിമെയ്ഡ് സോണ്ട്, സ്റ്റാറ്റിക് ഫയൽ അഭ്യർത്ഥനകൾ വിജയകരമായി.
• ന്യായമായ ലോഗ് ലെവലുകൾ സജ്ജമാക്കുക: info അല്ലെങ്കില് warn ഉല്പാദനത്തില് , debug അന്വേഷണം നടത്തുമ്പോൾ മാത്രം, റൺ ടൈമിൽ സ്വിച്ച് ചെയ്യാവുന്നതാണ്.
• ഘടനാപരമായ ലോഗ് കൂടുതൽ നന്നായി കംപ്രസ് ചെയ്യാനും വിലകുറഞ്ഞ അന്വേഷണത്തിനും സാധിക്കും.
• പൈപ്പ് ലൈനിലെ ഫിൽട്ടർ: ഒ. ടി. ഇ. എൽ. കളക്ടർ, വെക്റ്റർ അല്ലെങ്കിൽ ഫ്ലൂയിന്റ് ബിറ്റ് വിലയേറിയ ബാക്ക് എൻഡിൽ എത്തുന്നതിനുമുമ്പ് ലോഗുകൾ ഡ്രോപ്പ്, സാമ്പിൾ അല്ലെങ്കിൽ ട്രങ്ക് ചെയ്യാം.
• ആവർത്തിച്ചുള്ള ലോഗ് മാറ്റി മെട്രിക് ആക്കുക. ഒരു ലോഗോ ലൈൻ മാത്രം എണ്ണിയാൽ, പകരം ഒരു കൌണ്ടർ ഉണ്ടാക്കുക.
• തരംഗ സംഭരണം: വേഗത്തിലും ചെലവേറിയതുമായ സംഭരണത്തിലെ സമീപകാല ലോഗുകൾ, വിലകുറഞ്ഞ ഒബ്ജക്റ്റ് സംഭരണത്തിലുള്ള പഴയ ലോഗുകൾ (അല്ലെങ്കിൽ ഇല്ലാതാക്കി).

മെട്രിക് കാർഡിനാലിറ്റി വളർത്തൽ

• ഒരിക്കലും പരിധിയില്ലാത്ത മൂല്യങ്ങൾ ലേബലുകളായി ഉപയോഗിക്കരുത്: ഉപയോക്തൃ ഐഡികൾ, അഭ്യർത്ഥന ഐഡികൾ , ഇമെയിൽ വിലാസങ്ങൾ, പൂർണ്ണമായ URL കൾ, സമയ മുദ്രകൾ.
• പാതകളെ സാധാരണമാക്കുക: /orders/{id} പകരം /orders/12345.
• ഉപയോഗിക്കാത്ത അളവുകൾ ഒഴിവാക്കുക പ്രൊമേഥിയസ് അല്ലെങ്കിൽ കളക്ടറിലെ റീലേബിംഗ് നിയമങ്ങളുമായി. പല കയറ്റുമതിക്കാരും നൂറുകണക്കിന് അളവുകൾ വെളിപ്പെടുത്തുന്നു, നിങ്ങള് 10 എണ്ണം ഉപയോഗിക്കുന്നു.
• സംഭരിക്കുന്നതിനു മുമ്പ് കൂട്ടിച്ചേർക്കുക രേഖപ്പെടുത്തൽ നിയമങ്ങളില് വിശദമായ ഡാറ്റ ചുരുങ്ങിയ സമയത്തേക്ക് സൂക്ഷിക്കുകയും, മൊത്തം ഡാറ്റ കൂടുതല് കാലം സൂക്ഷിക്കുകയും ചെയ്യുന്നു.
• പുതിയ അളവുകള് അവലോകനം ചെയ്യുക കോഡ് അവലോകനത്തില്: ഏത് ലേബലുകളാണ് അതിന് ഉള്ളത്, ഓരോന്നിനും എത്ര മൂല്യങ്ങള് എടുക്കാന് കഴിയും?

ഓപ്പൺ സോഴ്സ് വേഴ്സസ് സാസ്

വാണിജ്യ പ്ലാറ്റ്ഫോമുകൾ സൌകര്യപ്രദവും ശക്തവുമാണ്, പക്ഷേ ഹോസ്റ്റുകൾ, കഴിച്ച ജിഗാബൈറ്റുകൾ അല്ലെങ്കിൽ ഇഷ്ടാനുസൃത അളവുകൾ എന്നിവ അടിസ്ഥാനമാക്കിയുള്ള വിലനിർണ്ണയം വേഗത്തിൽ വളരും.

ഓപ്പൺ സോഴ്സ് സ്റ്റാക്കുകൾ (പ്രൊമെഥിയസ് അല്ലെങ്കിൽ മിമിർ, ലോക്കി, ടെമ്പോ, ഗ്രാഫാന, അല്ലെങ്കിൽ സിഗ്നോസ് പോലുള്ള ക്ലിക്ക്ഹൌസ് അടിസ്ഥാനമാക്കിയുള്ള ഉപകരണങ്ങൾ) സ്കെയിലിൽ വളരെ വിലകുറഞ്ഞതായിരിക്കാം, പ്രത്യേകിച്ച് ഒബ്ജക്റ്റ് സംഭരണത്തിൽ. പക്ഷെ അവയെ നിയന്ത്രിക്കാൻ ആളുകളെ വേണം, അതും ഒരു വലിയ വിലയാണ്.

പല കമ്പനികളും ഒരു മിശ്രിതം ഉപയോഗിച്ച് അവസാനിക്കുന്നു: എല്ലായിടത്തും ഓപ്പൺ ടെലിമെട്രി, കളക്ടർ ഡാറ്റ റൂട്ടിംഗ്, ഉയർന്ന മൂല്യമുള്ള ഡാറ്റ ഒരു വാണിജ്യ ഉപകരണത്തിലേക്ക്, ബൾക്ക് ഡാറ്റ വിലകുറഞ്ഞ സ്വയം ഹോസ്റ്റുചെയ്ത സംഭരണത്തിലേക്ക്. ഒ. ടി. ഇ. എൽ വിതരണക്കാരന് നിഷ്പക്ഷമായതിനാൽ, വില മാറുമ്പോഴെല്ലാം നിങ്ങൾക്ക് ആ വിഭജനം മാറ്റാം.

ചെലവ് ദൃശ്യമാക്കുക

• നിരീക്ഷണ ചെലവുകൾ കാണിക്കുക ഓരോ ടീമിനും സേവനത്തിനും.
• സജ്ജീകരിച്ചു ബജറ്റുകളും അലേർട്ടുകളും കഴിച്ചാല്
• പുതിയ സേവനം തുടങ്ങുമ്പോള് "ഇത് നിരീക്ഷിക്കാൻ എത്ര ചിലവാകും?" എന്ന ചോദ്യം സാധാരണ ചോദ്യമായി മാറണം.

എവിടെ നിന്നാണ് ഞാൻ തുടങ്ങേണ്ടത്?

നിങ്ങളുടെ ഏറ്റവും മികച്ച 5 ഡേറ്റാ പ്രൊഡ്യൂസർമാരെ കണ്ടെത്തുക. വാൽ സാമ്പിളുകൾ എടുക്കുക, ആരോഗ്യ പരിശോധന രേഖകൾ ഒഴിവാക്കുക, നിങ്ങളുടെ ഏറ്റവും ഉയർന്ന കാർഡിനാലിറ്റി ലേബലുകൾ നീക്കം ചെയ്യുക. ഈ മൂന്നു മാറ്റങ്ങൾ മാത്രം പലപ്പോഴും ബില്ലിനെ ഗണ്യമായി കുറയ്ക്കുന്നു, ആരും ദൃശ്യപരതയിൽ എന്തെങ്കിലും നഷ്ടം ശ്രദ്ധിക്കുന്നില്ല.

എന്റെ അഭിപ്രായം: നിരീക്ഷണ ശേഷി നിങ്ങളുടെ സിസ്റ്റം മനസിലാക്കാൻ സഹായിക്കണം, ബജറ്റിന് വേണ്ടി മത്സരിക്കരുത്. മനഃപൂർവ്വം ശേഖരിക്കുക, ഉപയോഗിക്കുന്നവ സൂക്ഷിക്കുക, ബാക്കി വിട്ടയക്കുക.

ഡെസ്ലി