നിങ്ങളെ ഉണർത്തേണ്ട മുന്നറിയിപ്പുകൾ

ഏറ്റവും മോശം ഷിഫ്റ്റ് ഒരു വലിയ വെട്ടിപ്പ് ഉള്ളതല്ല. 40 ചെറിയ അലേർട്ടുകളുള്ളതും, ഒന്നും ആവശ്യമില്ലാത്തതും. ഡിസ്ക് 81 ശതമാനത്തിൽ. സിപിയു സ്പൈക്ക് സ്വയം പരിഹരിച്ചു. ഒരു കപ്പല് ഒരിക്കൽ പുനരാരംഭിച്ചു. അവര് പാതി ഉറങ്ങിയിരിക്കുകയാണെന്ന് നിങ്ങള് തിരിച്ചറിയുന്നു, രാവിലെ നിങ്ങള് ക്ഷീണിതരാകും, ഒന്നും ശരിയായില്ല.

കുറച്ച് മാസത്തേക്ക് അങ്ങനെ ചെയ്താല് ആളുകൾ അലേര് മുകള് അവഗണിക്കാൻ തുടങ്ങും. പിന്നെ യഥാർത്ഥമായവയെ അവഗണിക്കും.

നല്ല മുന്നറിയിപ്പ് ഒരു ഡിസൈൻ ഡിസിപ്ലിൻ ആണ്. ഞാന് പിന്തുടരുന്ന നിയമങ്ങള് ഇതാ.

നിയമം 1: ഓരോ പേജിനും മനുഷ്യന്റെ ഇടപെടൽ ആവശ്യമാണ്, ഇപ്പോൾ തന്നെ

ആരെയെങ്കിലും പേജ് ചെയ്യുന്നതിനുള്ള ഏതെങ്കിലും അലേർട്ട് സൃഷ്ടിക്കുന്നതിന് മുമ്പ്, ചോദിക്കുകഃ

• ഇതിന് മനുഷ്യന് എന്തെങ്കിലും ചെയ്യേണ്ടതുണ്ടോ?
• അത് സംഭവിക്കണോ? ഇപ്പൊ തന്നെ, അല്ലെങ്കിൽ ജോലി സമയം വരെ കാത്തിരിക്കാമോ?
• അത് കിട്ടുന്ന വ്യക്തിക്ക് എന്തു ചെയ്യണമെന്ന് അറിയുമോ?

ഈ ചോദ്യങ്ങളിലെല്ലാം ഇല്ല എന്ന് ഉത്തരം പറഞ്ഞാല് അത് ഒരു പേജായിരിക്കരുത്. ഒരു ടിക്കറ്റ്, ഒരു ചാറ്റ് സന്ദേശം, ഡാഷ്ബോർഡ്, അല്ലെങ്കിൽ ഒന്നും ആകാം.

ഒരു ഉപയോഗപ്രദമായ വിഭജനം:

• പേജ്: ഉപയോക്താവിന് നേരിട്ടേക്കാവുന്ന ആഘാതം സംഭവിക്കുന്നതോ അടിയന്തിരമോ ആണ്. ആരെയെങ്കിലും ഉണർത്തൂ.
• ടിക്കറ്റ്അത് ശരിയാക്കണം, പക്ഷെ ഇന്ന് രാത്രി അല്ല. ഒരു ഡിസ്ക് പതുക്കെ നിറയുന്നു, ഒരു സർട്ടിഫിക്കറ്റിന് രണ്ട് ആഴ്ചയ്ക്കകം കാലാവധി തീരുന്നു.
• ഡാഷ്ബോർഡ് / ലോഗ്: ഉപയോഗപ്രദമായ സന്ദര് ശനം, നടപടിയൊന്നും ആവശ്യമില്ല.

നടപടി ആവശ്യമില്ലാത്ത ഒരു അലർട്ട് അലർട്ട് അല്ല. ഒരു ഫോൺ നമ്പറുമായി ശബ്ദം.

നിയമം 2: ലക്ഷണങ്ങളെക്കുറിച്ച് ജാഗ്രത പാലിക്കുക, കാരണങ്ങളെ അല്ല

ലക്ഷണങ്ങൾ പിശകുകൾ, വേഗത, ലഭ്യമല്ലാത്തത് എന്നിവയാണ് ഉപയോക്താക്കളുടെ അനുഭവം. കാരണങ്ങൾ അവിടെ എത്തിച്ചേരാൻ കാരണമാകുന്ന കാര്യങ്ങളാണ്: ഉയർന്ന സിപിയു, ഒരു പാഡ് പുനരാരംഭിക്കൽ, ഒരു മുഴുവൻ ക്യൂ.

ലക്ഷണങ്ങളെ കുറിച്ച് മുന്നറിയിപ്പ്. ആവശ്യങ്ങൾ വേഗത്തിലാണെങ്കിൽ ഉയർന്ന സിപിയു ഒരു പ്രശ്നമല്ല. ഉപയോക്താക്കൾ ശ്രദ്ധിച്ചില്ലെങ്കിൽ പുനരാരംഭിച്ച ഒരു പാഡ് ഒരു പ്രശ്നമല്ല. പക്ഷെ ചെക്ക് ഔട്ടില് 5% പിഴവ് ഒരു പ്രശ്നമാണ് അത് എന്ത് കാരണമായിരുന്നാലും.

കാരണങ്ങള് ഇപ്പോഴും പ്രധാനമാണ്, സന്ദർഭം ഡാഷ്ബോർഡുകളിലോ, അല്ലെങ്കിൽ ഭാവിയിലെ പ്രശ്നങ്ങൾ പ്രവചിക്കുമ്പോൾ ടിക്കറ്റുകളിലോ (മൂന്ന് ദിവസത്തിനകം നിറയുന്ന ഡിസ്കിൽ പോലെ).

ഏറ്റവും നല്ല ലക്ഷണ അലേർട്ടുകള് അടിസ്ഥാനമാക്കുന്നത് SLO കളും കത്തൽ നിരക്കുകളും: പിശക് ബജറ്റ് കാര്യമായ വേഗത്തിൽ കത്തുന്ന സമയത്ത് പേജ്.

നിയമം 3: ഗ്രൂപ്പും റൂട്ടും വിവേകത്തോടെ

ഒരു പ്രശ്നം ഇരുപത് അറിയിപ്പുകൾ ഉണ്ടാക്കരുത്. അകത്ത് പ്രൊമെഥിയസ് അലർട്ട് മാനേജർ (മിക്ക മുന്നറിയിപ്പ് ഉപകരണങ്ങളും):

• ഗ്രൂപ്പിംഗ്: ബന്ധപ്പെട്ട അലേർട്ടുകൾ (ഒരേ സേവനം, ഒരേ ക്ലസ്റ്റർ) ഒരു അറിയിപ്പായി സംയോജിപ്പിക്കുക.
• തടയൽ: ഒരു ക്ലസ്റ്റര് മുഴുവന് ഡൌണ് ആണെങ്കില് , അത് കാരണമാകുന്ന നൂറുകണക്കിന് സേവന അലേര് ട്ടുകള് അടിച്ചമർത്തുക.
• റൂട്ടിംഗ്: വ്യത്യസ്തമായ ഗുരുതരതയ്ക്ക് വ്യത്യസ്ത ചാനലുകളിലൂടെ, സേവനത്തിന്റെ ഉടമസ്ഥനായ ടീമിന് അലേർട്ടുകൾ അയയ്ക്കുക.
• നിശബ്ദത: ആസൂത്രിത പരിപാലന സമയത്ത് നിശബ്ദമായ അലാറം.

route:
  receiver: default
  group_by: ["alertname", "cluster", "service"]
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
  - matchers: [severity="critical"]
    receiver: pagerduty-oncall
  - matchers: [severity="warning"]
    receiver: team-chat

inhibit_rules:
- source_matchers: [alertname="ClusterDown"]
  target_matchers: [severity=~"warning|critical"]
  equal: ["cluster"]

പേജിംഗ് ലെയറിനായി, പേജർ ഡ്യൂട്ടി, ഇൻസിഡന്റ്. ഐഒ, ഗ്രാഫാന ഓൺകോൾ (ഗ്രാഫാനയുടെ ഐആർഎം സവിശേഷതകൾ), ഒപ്സ്ജെനി ബദലുകൾ എന്നിവയും മറ്റുള്ളവയും ഷെഡ്യൂളുകൾ, എസ്കാലേഷൻ, അംഗീകാരം എന്നിവ കൈകാര്യം ചെയ്യുന്നു. (അറ്റ്ലാസിയൻ ഒപ്സ്ജെനി വിൽപ്പന അവസാനിപ്പിച്ചതായി പ്രഖ്യാപിച്ചു, അതിനാൽ ഇത് ഉപയോഗിക്കുന്ന ടീമുകൾ മറ്റെവിടെയെങ്കിലും നീങ്ങുന്നു.)

നിയമം 4: ഓരോ അലേർട്ടിനും ഒരു റൺബുക്ക്

രാവിലെ 3 മണിക്ക് ഒരു അലാറം തുടങ്ങുമ്പോൾ, ആ സേവനം പരിചിതമല്ലാത്ത ആളായിരിക്കും. ഓരോ അലേർട്ടും ഒരു റൺബുക്ക്:

• ഈ അലേർട്ട് എന്താണ് അർത്ഥമാക്കുന്നത്?
• എത്ര മോശമാണ്? ആര് ബാധിതരാണ്?
• എന്താണ് സംഭവിക്കുന്നതെന്ന് എങ്ങിനെ പരിശോധിക്കും? (ഡാഷ്ബോർഡുകളിലേക്കുള്ള ലിങ്കുകളും ചോദ്യങ്ങളും)
• സാധാരണ പരിഹാരങ്ങൾ എന്തൊക്കെയാണ്?
• ആരുടെ മുന്നില് ഞാന് കേസ് ഉയര് ത്തണം?

റൺബുക്ക് ലിങ്ക് നേരിട്ട് അലേർട്ട് കുറിപ്പുകളിൽ ഇടുക. ഒരു അലേർട്ടിന് റെ റൺബുക്ക് എഴുതാൻ പറ്റുന്നില്ലെങ്കിൽ, അത് ശക്തമായ സൂചനയാണ് അലേർട്ട് പ്രവർത്തനക്ഷമമല്ല.

നിയമം 5: ആക്രമണ വിവരം പതിവായി പരിശോധിക്കുക

അലാറം ചീഞ്ഞു. സേവനങ്ങള് മാറുന്നു, പരിധികള് തെറ്റായി മാറുന്നു, ഉടമസ്ഥര് മുന്നോട്ട് പോകുന്നു. പ്രതിമാസ അലേർട്ട് റിവ്യൂ, ഡിഫന്റു ടീമിനൊപ്പം അത്ഭുതങ്ങൾ സൃഷ്ടിക്കുന്നു:

• ഏത് അലാറങ്ങളാണ് കൂടുതല് തവണ വിക്ഷേപിച്ചത്?
• അത് നിങ്ങളെ പ്രവർത്തനത്തിലേക്ക് നയിച്ചോ? അവഗണിച്ചവയെല്ലാം ?
• ഏത് സംഭവങ്ങളാണ് അല്ല ഒരു അലാറം പിടിച്ചോ?
• ശബ്ദമുള്ളവ ഇല്ലാതാക്കുക, ട്യൂൺ ചെയ്യുക, അല്ലെങ്കിൽ ഡൌൺഗ്രേഡ് ചെയ്യുക. കാണാതായവ കൂട്ടിച്ചേര് ക്കൂ.

ചില സംഖ്യകൾ കാലക്രമേണ ട്രാക്ക് ചെയ്യുകഃ ഓരോ ഷിഫ്റ്റിനും പേജുകൾ, ജോലി സമയത്തിന് പുറത്തുള്ള പേജുകൾ പ്രവർത്തനക്ഷമത നിരക്ക് (പ്രവർത്തനം ആവശ്യമുള്ള പേജുകളുടെ ശതമാനം).

കുറച്ചു നുറുങ്ങുകൾ കൂടി.

• ഉപയോഗം for: കാലാവധി അതുകൊണ്ട് ചെറിയ ബ്ലിപ്സ് പേജ് ചെയ്യരുത്: for: 5m മിക്ക അലേര് ട്ടുകളിലും.
• നിങ്ങളുടെ അലേർട്ടുകൾ പരിശോധിക്കുക: അവർ ശരിക്കും വെടിവെക്കുന്നുണ്ടോ? അലർട്ട് മാനേജറിന്റെ റൂട്ടിംഗ് ട്രീ പരിശോധിക്കാം, പ്രോമെഥിയസ് നിയമങ്ങൾ യൂണിറ്റ് ടെസ്റ്റുചെയ്യാം promtool.
• മുന്നറിയിപ്പ് പൈപ്പ്ലൈനിൽ അലേർട്ട്: ഒരു "മരിച്ചയാളുടെ സ്വിച്ച്" അലാറം എപ്പോഴും തീയിടുന്നു, അങ്ങനെ അലാറം സ്വയം തകരുകയാണെങ്കിൽ നിങ്ങൾ ശ്രദ്ധിക്കും.
• പ്രവചനങ്ങളെ മാത്രം ആശ്രയിക്കരുത്. അവ വളരെ വിശ്വസനീയമല്ലെങ്കിൽ.

എവിടെ നിന്നാണ് ഞാൻ തുടങ്ങേണ്ടത്?

കഴിഞ്ഞ മാസം ആരെയെങ്കിലും വിളിച്ച എല്ലാ അലേർട്ടുകളും ലിസ്റ്റ് ചെയ്യുക. ഓരോരുത്തര് ക്കും ചോദിക്കണം: അതിന് ആ സമയത്ത് നടപടിയെടുക്കേണ്ടിവന്നോ? ഡൌൺഗ്രേഡ് ചെയ്യുകയോ ഇല്ലാതാക്കുകയോ ചെയ്യരുത്. അവയില് പകുതിയും നീക്കം ചെയ്യാം, ആരും അവയെ മിസ് ചെയ്യില്ല.

എന്റെ അഭിപ്രായം: നിങ്ങളുടെ ഡിറ്റർണൽ എഞ്ചിനീയർമാരുടെ ഉറക്കം ഒരു ഉല്പാദന സംവിധാനം പോലെ സംരക്ഷിക്കുക. കാരണം അത് അങ്ങനെ തന്നെയാണ്.

ഡെസ്ലി