രാത്രി 3 മണിക്ക് AI സഹായിക്കുമോ? സംഭവ പ്രതികരണത്തിൽ AI

അകത്ത് AI എന്റെ DevOps ജോലി എടുക്കുമോ? സംഭവങ്ങളെ പറ്റി ഞാന് രണ്ട് കാര്യങ്ങള് പറഞ്ഞു. ലോഗ് വായിക്കുന്നതില് AI വളരെ നല്ലതാണ്. മനുഷ്യര് ഇപ്പോഴും തീരുമാനമെടുക്കേണ്ടവരാണ്. ഈ പോസ്റ്റ് ഒരു സംഭവത്തിലൂടെ പടിപടിയായി, പ്രായോഗികമായി അത് എങ്ങനെയിരിക്കും എന്നതിനെക്കുറിച്ച് കൂടുതൽ ആഴത്തിൽ പോകുന്നു.

ഒരു സാധാരണ സംഭവം, ഐ. ഐ.

നമുക്ക് ഒരു യാഥാര് ത്ഥ്യബോധമുള്ള അവസ്ഥയിലൂടെ നടക്കാം. ചെക്ക് ഔട്ട് സേവനത്തിലെ പിശക് നിരക്ക് 03:12 ന് ഉയർന്നു. ഡിറ്റര് ണിംഗ് എഞ്ചിനീയറെ വിളിക്കും.

0 മുതൽ 5 വരെ മിനിറ്റ്. എന്താണ് സംഭവിക്കുന്നതെന്ന് മനസിലാക്കുന്നു. AI ഇല്ലാതെ, ഡാഷ്ബോർഡുകൾ തുറക്കാനും, സമീപകാല വിന്യാസങ്ങൾ പരിശോധിക്കാനും, ലോഗുകൾ ശേഖരിക്കാനും ഇത് അർത്ഥമാക്കുന്നു. നിരീക്ഷണ ഉപകരണങ്ങളുമായി (MCP അല്ലെങ്കിൽ ഒരു വിതരണക്കാരന്റെ സംയോജനത്തിലൂടെ) ബന്ധിപ്പിച്ചിരിക്കുന്ന ഒരു AI അസിസ്റ്റന്റുമായി, നിങ്ങൾക്ക് ചോദിക്കാംഃ "കഴിഞ്ഞ ഒരു മണിക്കൂറിനുള്ളിൽ ചെക്ക് out ട്ട് സേവനത്തിൽ എന്താണ് മാറ്റം സംഭവിച്ചത്, പിശക് ലോഗുകൾ എന്താണ് പറയുന്നത്?

ഒരു നല്ല അസിസ്റ്റന്റ് 03:05 ന് ഒരു വിന്യാസം, 03:11 ന് ഒരു പുതിയ പിശക് (പേയ്മെന്റ് ഡാറ്റാബേസിലെ കണക്ഷൻ ടൈംഔട്ടുകൾ), ഡാറ്റാ ബേസ് കണക്ഷൻ എണ്ണത്തിലെ കുതിച്ചുചാട്ടം എന്നിവയുമായി മടങ്ങിവരും. കുറച്ച് സെക്കന്റുകൾക്കുള്ളിൽ, പത്ത് മിനിറ്റ് എടുക്കുന്ന ഒരു ക്ലിക്ക് ചെയ്തു.

5 മുതൽ 15 വരെ മിനിറ്റ്: ഒരു സിദ്ധാന്തം രൂപപ്പെടുത്തുന്നു. പുതിയ പതിപ്പ് കണക്ഷൻ പൂൾ ക്രമീകരണങ്ങളെ മാറ്റി എന്ന് സൂചിപ്പിക്കുന്നു. അത് വ്യത്യാസത്തെ ചൂണ്ടിക്കാണിക്കുന്നു. അത് ഉപയോഗപ്രദമാണ്, അത് ശരിയായിരിക്കാം.

മിനിറ്റ് 15: തീരുമാനം. റിലീസ് റദ്ദാക്കണോ അതോ ഡാറ്റാബേസ് കണക്ഷൻ പരിധി കൂട്ടണോ? ഡാറ്റാബേസ് ടീമിനെ ഉണർത്തുമോ? ഉപഭോക്താക്കളെ അറിയിക്കണോ? ഇവിടെയാണ് മനുഷ്യന് അധികാരം ഏറ്റെടുക്കുന്നത്. ഐ. ഐ. ക്ക് ഓപ്ഷനുകളും അവയുടെ അപകടസാധ്യതകളും ലിസ്റ്റ് ചെയ്യാം. അത് തീരുമാനങ്ങളുടെ ഉത്തരവാദിത്തം ഏറ്റെടുക്കുന്നില്ല.

ഒരു സംഭവം മനസിലാക്കാനുള്ള സമയം AI കുറയ്ക്കുന്നു. അത് പരിഹാരത്തിന് ഉത്തരവാദിത്തമുള്ള സമയത്തെ കുറയ്ക്കുന്നില്ല.

സംഭവങ്ങളുടെ സമയത്ത് AI ശരിക്കും നല്ലത് എന്താണ്

• വലിയ അളവിലുള്ള ഡാറ്റ സംഗ്രഹിക്കുന്നു. ആയിരക്കണക്കിന് രേഖകൾ, ഡസൻ കണക്കിന് അലേർട്ടുകൾ, പല ഡാഷ്ബോർഡുകളും, എല്ലാം "ഇവിടെ അസാധാരണമായത്" എന്നതിലേക്ക് ചുരുക്കിയിരിക്കുന്നു.
• മാറ്റങ്ങളുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു. സമീപകാല വിന്യാസങ്ങളുമായോ കോൺഫിഗറേഷൻ മാറ്റങ്ങളുമായൊ ഫീച്ചർ ഫ്ലാഗ് ഫ്ലിപ്പുകളുമായോ പിശകുകളെ ബന്ധിപ്പിക്കുന്നു.
• മുൻകാല സംഭവങ്ങൾ പരിശോധിക്കുന്നു. "ഈ പിശക് നമ്മൾ മുമ്പ് കണ്ടിട്ടുണ്ടോ?" പഴയ പോസ്റ്റ്മോർട്ടങ്ങളും ടിക്കറ്റുകളും കാണുമ്പോൾ.
• സമയരേഖയിൽ സൂക്ഷിക്കുന്നു. സംഭവിച്ചത്, ആരാണ് എന്ത് ചെയ്തത്, എപ്പോൾ എന്ന് രേഖപ്പെടുത്തുന്നു, ആളുകൾ പരിഹാരത്തിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുമ്പോൾ.
• സ്റ്റാറ്റസ് അപ്ഡേറ്റുകൾ തയ്യാറാക്കുന്നു. വ്യക്തവും ശാന്തവുമായ ഉപഭോക്തൃ സന്ദേശം, മനുഷ്യന് അംഗീകരിക്കാന് തയ്യാറായി.

എന്താണു തെറ്റ് സംഭവിക്കുന്നത്?

സംഭവങ്ങളുടെ സാഹചര്യത്തിലും ഇതേ തെറ്റുകൾ തന്നെ AI ചെയ്യുന്നതായി ഞാന് കണ്ടിട്ടുണ്ട്:

• ഏറ്റവും പുതിയ മാറ്റത്തിന് കുറ്റം ചുമത്തുന്നു അത് യാദൃശ്ചികമായിരിക്കുമ്പോഴും. ബന്ധം ഒരു കാരണമല്ല.
• അതിന്റെ കാഴ്ചയ്ക്ക് പുറത്തുള്ള യഥാർത്ഥ കാരണം കാണാതെ പോകുന്നു. ആപ്ലിക്കേഷൻ ലോഗ് മാത്രം കാണുന്നുണ്ടെങ്കിൽ, അത് ക്ലൌഡ് പ്രൊവൈഡറുടെ നെറ്റ്വർക്ക് പ്രശ്നം ശ്രദ്ധിക്കില്ല.
• ഹാലുസിനിംഗ് വിശദാംശങ്ങൾ: നിലവിലില്ലാത്ത ഒരു കോൺഫിഗർ മൂല്യം അല്ലെങ്കിൽ മെട്രിക്.
• ഉറപ്പായി തെളിവുകള് വളരെ കുറവായിരിക്കുമ്പോള് .

അതുകൊണ്ട് ഡിറ്റർണൽ എൻജിനീയർമാരുടെ നിയമം: AI യുടെ നിഗമനങ്ങളെ പരിശോധിക്കേണ്ട അനുമാനങ്ങളായി കാണുക, പ്രവർത്തിക്കേണ്ട ഉത്തരങ്ങളല്ല. തെളിവ് കാണിക്കാന് ആവശ്യപ്പെടുക: ലോഗോഗ്രാഫ് ലൈൻ, മെട്രിക്, ഡിഫി.

AI യുടെ നിഗമനങ്ങള് പരിശോധിക്കുന്നു

ഒരു ലളിതമായ രീതി നന്നായി പ്രവർത്തിക്കുന്നു:

1. എഐ യോട് ചോദിക്കൂ എന്താണ് സംഭവിച്ചതെന്ന്.
2. ഓരോ അവകാശവാദത്തിനും പിന്നിലെ പ്രത്യേക തെളിവ് ചോദിക്കുക.
3. ആ തെളിവ് യഥാർത്ഥ ഉപകരണത്തില് തന്നെ പരിശോധിക്കുക.
4. അതേ ലക്ഷണങ്ങൾ എന്തൊക്കെ വിശദീകരിക്കാൻ സാധിക്കും എന്ന് ചോദിക്കുക.

നാലാമത്തെ ചോദ്യം വളരെ നിസ്സാരമാണ്. ആദ്യത്തെ സിദ്ധാന്തത്തില് കുടുങ്ങിക്കിടക്കാന് ഇത് നിങ്ങളെ സഹായിക്കുന്നു, അത് സംഭവങ്ങളുടെ സമയത്ത് ഒരു സാധാരണ മനുഷ്യ പിഴവാണ്.

ഒരുമിച്ചു ശവശരീരം പരിശോധിക്കുന്നു

സംഭവത്തിനു ശേഷം, ആരും ഇഷ്ടപ്പെടാത്ത ഭാഗത്ത് AI വലിയ സഹായമാണ്: അത് എഴുതുക.

സംഭവം നടന്ന വഴി, സമയരേഖ, പ്രസക്തമായ ഗ്രാഫുകൾ എന്നിവ നൽകുക, കുറ്റമറ്റ ഒരു പോസ്റ്റ്മോർട്ടത്തിന്റെ ആദ്യ കരട് ആവശ്യപ്പെടുക: സംഗ്രഹം, സ്വാധീനം, സമയരൂപം, മൂലകാരണം, സംഭാവന ചെയ്യുന്ന ഘടകങ്ങൾ, പ്രവർത്തന ഇനങ്ങൾ. പിന്നെ ശരിയായി എഡിറ്റ് ചെയ്യൂ. AI നിങ്ങൾക്ക് ഘടന നൽകുന്നു, പക്ഷെ സിസ്റ്റം ഇത് സംഭവിക്കാൻ അനുവദിച്ചതിന്റെ കാരണം മനസ്സിലാക്കുന്നതിന് മനുഷ്യ ചിന്ത ആവശ്യമാണ്.

ഒരു നോട്ടം വിലമതിക്കുന്ന ഉപകരണങ്ങൾ

പല സംഭവങ്ങളും നിരീക്ഷണ പ്ലാറ്റ്ഫോമുകളും ഇപ്പോൾ AI സവിശേഷതകൾ ഉൾക്കൊള്ളുന്നുഃ incident.io, Rootly, PagerDuty, Datadog, Grafana, New Relic എന്നിവയും മറ്റുള്ളവയും. പുതിയ തരംഗമായ AI SRE ഉത്പന്നങ്ങളും ഉണ്ട്, അവ സ്വയം അലേർട്ടുകൾ അന്വേഷിക്കുന്നു. മുൻകാല സംഭവങ്ങളില് ആദ്യം പരീക്ഷിക്കുക: പഴയ സംഭവം വീണ്ടും പ്ലേ ചെയ്യുക, ആന്റിയുടെ കാരണങ്ങള് കണ്ടെത്തിയോ എന്ന് നോക്കൂ.

അപ്പോൾ, രാത്രി 3 മണിക്ക് AI സഹായിക്കുമോ?

അതെ, ഒരുപാട്. ഒരു സംഭവത്തിന്റെ ആദ്യ പതിനഞ്ചു മിനിറ്റ് വളരെ വേഗത്തിലും സമ്മർദ്ദരഹിതവുമാക്കുന്നു. പക്ഷെ ആ പേജർ കയ്യിലുള്ള ആളാണ് ഇപ്പോഴും വിളിക്കുന്നത്, അത് അങ്ങനെ തന്നെ ആയിരിക്കണം.

എന്റെ അഭിപ്രായം: AI യുടെ വായന നടത്തുക, തീരുമാനമെടുക്കുന്നത് നിങ്ങൾ തന്നെ സൂക്ഷിക്കുക. പ്രത്യേകിച്ചും രാവിലെ 3 മണിക്ക്.

ഡെസ്ലി