മരങ്ങൾ എവിടെയാണ് ജീവിക്കേണ്ടത്? ലോക്കി, എലാസ്റ്റിക് സെർച്ച് അല്ലെങ്കിൽ ക്ലിക്ക് ഹൌസ്

ലോഗ്സ് എന്നത് ഏറ്റവും പഴക്കമുള്ള നിരീക്ഷണ രൂപമാണ്. ഇപ്പോഴും എന്തെങ്കിലും തകരുമ്പോള് എല്ലാവരും ആദ്യം തേടുന്ന ഒന്നാണ്. അവ നിരീക്ഷണ സംവിധാനത്തിലെ ഏറ്റവും ചെലവേറിയ ഭാഗമാണ്, കാരണം അവ വളരെയധികം ഉണ്ട്.

ലോഗ് സൂക്ഷിക്കുന്ന സ്ഥലം എത്ര വേഗത്തിൽ തിരയാമെന്നും എത്ര പണം നൽകണമെന്നും എത്രമാത്രം ജോലി ചെയ്യണമെന്നും തീരുമാനിക്കുന്നു. ഇന്ന് മൂന്ന് സമീപനങ്ങളാണ് പ്രചാരത്തിലുള്ളത്, അവ വളരെ വ്യത്യസ്തമായ ആശയങ്ങളിലാണ് നിർമ്മിച്ചിരിക്കുന്നത്.

അവ വ്യത്യാസപ്പെടുന്നത് എങ്ങനെ

എലാസ്റ്റിക് തിരയൽ / ഓപ്പൺ തിരയൽഃ എല്ലാം ഇൻഡെക്സ് ചെയ്യുക

ക്ലാസിക്. എലാസിറ്റിക് സെർച്ച് (അതിന്റെ ഓപ്പൺ സോഴ്സ് ഫോർക്ക്) ഓപ്പൺ തിരയൽ) ഒരു പൂർണ്ണമായ വാചക സൂചിക ഓരോ ലോഗോഗ്രാഫിക് വരിയുടെയും. ഓരോ വാക്കും വളരെ പെട്ടെന്ന് തിരയാവുന്നതായിത്തീരുന്നു.

• കരുത്തുറ്റ വശങ്ങൾ: ശക്തമായ പൂർണ്ണ വാചക തിരയൽ, സമ്പന്നമായ അന്വേഷണങ്ങളും കൂട്ടിച്ചേർക്കലുകളും, പക്വമായ പരിസ്ഥിതി (കിബാന, ഓപ്പൺ സെർച്ച് ഡാഷ്ബോർഡുകൾ), സുരക്ഷാ വിശകലനത്തിന് മികച്ചത്.
• ദുർബലതകൾ: എല്ലാം ഇൻഡെക്സ് ചെയ്യാന് സ്റ്റോറേജ്, മെമ്മറി, സിപിയു എന്നിവയില് വലിയ ചെലവാണ്. ക്ലസ്റ്ററുകള് ശ്രദ്ധാപൂർവ്വം ക്രമീകരിക്കേണ്ടതുണ്ട് (ഷാർട്ടുകള് , റെപ്ലിക്കുകള് , കൂമ്പാരങ്ങളുടെ വലുപ്പങ്ങള്). വലിയ അളവിലുള്ളവയില് ചെലവും പ്രവർത്തന പ്രയത്നവും വേഗത്തില് വളരുന്നു.

ഗ്രഫാന ലോക്കി: സൂചിക മാത്രം

ലോക്കി എതിര് സമീപനം സ്വീകരിക്കുന്നു: ലോഗ് ഉള്ളടക്കം സൂചികയിലാക്കുന്നില്ല, ചെറിയൊരു കൂട്ടം ലേബലുകൾ (നാമമേഖല, ആപ്പ്, പോഡ്, ലെവൽ തുടങ്ങിയവ). ലോഗ് ലൈനുകൾ സ്വയം കംപ്രസ് ചെയ്യുകയും വിലകുറഞ്ഞ ഒബ്ജക്റ്റ് സംഭരണത്തിൽ സൂക്ഷിക്കുകയും ചെയ്യുന്നു. തിരയുമ്പോൾ, ലോക്കി ശരിയായ സ്ട്രീമുകൾ ലേബലിലൂടെ കണ്ടെത്തുന്നു, എന്നിട്ട് അവയുടെ ഉള്ളടക്കം സ്കാൻ ചെയ്യുന്നു.

• കരുത്തുറ്റ വശങ്ങൾ: വളരെ കുറഞ്ഞ വിലയ്ക്ക് സംഭരിക്കാനും വളരെ ലളിതമായി പ്രവർത്തിക്കാനും കഴിയും. പ്രോമെഥിയസ് (ഒരേ ലേബൽ മോഡൽ) ഗ്രാഫാനയുമായി സ്വാഭാവികമായി യോജിക്കുന്നു. "ഈ സമയത്തുള്ള ഈ സേവനത്തിന്റെ ലോഗ് കാണിക്കൂ" എന്നതിന് ഇത് നന്നായി പ്രവർത്തിക്കുന്നു.
• ദുർബലതകൾ: ഒരു നീണ്ട സമയ പരിധിക്കുള്ളിൽ എല്ലാ ലോഗുകളിലും ഒരു റാൻഡം സ്ട്രിംഗ് തിരയുന്നത് വേഗത കുറഞ്ഞതാണ്. ഉയർന്ന കാർഡിനാലിറ്റി ലേബലുകൾ (ഉപയോക്തൃ ഐഡി പോലുള്ളവ) പ്രകടനത്തെ മോശമായി ബാധിക്കുന്നു. ലേബലുകൾ ശ്രദ്ധാപൂർവ്വം തിരഞ്ഞെടുക്കണം.

ക്ലിക്ക്ഹൌസ്ഃ നിര വിശകലനം

ക്ലിക്ക് ഹൌസ് ഒരു നിര വിശകലന ഡാറ്റാബേസ്, വലിയ അളവിലുള്ള ഘടനാപരമായ ഡാറ്റയെ വേഗത്തിൽ അന്വേഷിക്കുന്നതിനായി നിർമ്മിച്ചതാണ്. ഇത് ലോഗ്, ട്രെയ്സ് എന്നിവയ്ക്കായി വളരെ പ്രചാരത്തിലുണ്ട്, നേരിട്ടോ അല്ലെങ്കിൽ ഉപകരണങ്ങളിലൂടെയോ ഉപയോഗിക്കുന്നു സിഗ്നസ്, ഹൈപ്പര് ഡിഎക്സ് (ഇപ്പോൾ ക്ലിക്ക് ഹൌസിന്റെ ഭാഗമാണ്), കയറ്റാന് മറ്റു ചിലതും.

• കരുത്തുറ്റ വശങ്ങൾ: നല്ല കംപ്രഷൻ, വളരെ വേഗത്തിലുള്ള കൂട്ടിച്ചേർക്കലുകളും ഘടനാപരമായ ഫീൽഡുകളിലെ ഫിൽട്ടറിംഗും, എസ്. ക്യു. എൽ. അന്വേഷണങ്ങൾ. വിശകലനം ആവശ്യമുള്ള ഘടനാപരമായ ലോഗുകൾക്ക് നല്ലതാണ് ("കഴിഞ്ഞ മാസത്തെ ഉപഭോക്താവിന് ഓരോ എൻഡ് പോയിന്റിനും പിശക് നിരക്ക്").
• ദുർബലതകൾ: നിങ്ങൾ സ്കീമയും ടേബിൾ ഡിസൈനും ചിന്തിക്കണം. പൂർണ്ണ ടെക്സ്റ്റ് തിരയൽ നല്ലതാണ്, പക്ഷെ എലാസ്റ്റിക് തിരയലിന് റെ നിലവാരത്തിലല്ല. ക്ലിക്ക് ഹൌസ് ക്ലസ്റ്ററുകള് വലിയ തോതിലുള്ളതാക്കാന് വിദഗ്ധപരിശീലനം ആവശ്യമാണ്.

എലാസിറ്റി സെർച്ച് ചോദിക്കുന്നു "നിങ്ങളുടെ ലോഗുകളിൽ എന്തൊക്കെ വാക്കുകളാണ് ഉള്ളത്?" ലോക്കി ചോദിക്കുന്നു "അവ എവിടെ നിന്ന് വന്നു?" ക്ലിക്ക്ഹൌസ് ചോദിക്കുന്നു "ഓരോ ഫീൽഡിലും എന്തൊക്കെയാണ് ഉള്ളത്?"

വില

ഒരേ അളവിലുള്ള ലോഗ്സ് (യഥാർത്ഥ എണ്ണം കോൺഫിഗറേഷനും നിലനിർത്തലും വളരെ ആശ്രയിച്ചിരിക്കുന്നു) എന്നതിനുള്ള ഏകദേശ താരതമ്യംഃ

	എലാസിറ്റിക് തിരയൽ / ഓപ്പൺ തിരയൽ	ലോക്കി	ക്ലിക്ക് ഹൌസ്
സംഭരണ ചെലവ്	ഉയർന്ന (ഇൻഡെക്സ് + ഡാറ്റ)	കുറവ് (കുറഞ്ഞത്, വസ്തു സംഭരണം)	താഴ്ന്ന (തൂണുകളുടെ കംപ്രഷൻ)
കഴിക്കാൻ കണക്കുകൂട്ടുക	ഉയരം	കുറവ്	ഇടത്തരം
പൂർണ്ണ ടെക്സ്റ്റ് തിരയൽ വേഗത	വളരെ നന്നായി.	നീണ്ട ദൂരപരിധിക്കുള്ള നീതി	നന്നായി.
സംഗ്രഹണം / വിശകലനം	നന്നായി.	അടിസ്ഥാന (ലോഗ് ക്യു എൽ മെട്രിക്സ്)	വളരെ നന്നായി.
പ്രവർത്തന പരിശ്രമം	ഉയരം	താഴ്ന്നതും ഇടത്തരവും	ഇടത്തരം

മൂന്ന് പതിപ്പുകൾക്കും നിയന്ത്രിത പതിപ്പുകൾ ഉണ്ട്ഃ എലാസ്റ്റിക് ക്ലൌഡ്, ആമസോൺ ഓപ്പൺ സെർച്ച് സർവീസ്, ഗ്രാഫാന ക്ലൌഡ് ലോഗുകൾ, ക്ലിക്ക്ഹൌസ് ക്ലൌഡ് എന്നിവയും അവയിൽ ഒന്നിന് കീഴിൽ നിരവധി നിരീക്ഷണ വിതരണക്കാർ നിർമ്മിക്കുന്നു.

ഘടനാപരമായ രേഖകൾ എല്ലാം മെച്ചപ്പെടുത്തുന്നു

നിങ്ങള് എന്ത് തീരുമാനിച്ചാലും, ഘടനാപരമായ ലോഗ് (JSON അല്ലെങ്കിൽ logfmt) വളരെയധികം സഹായിക്കുന്നുഃ

{"ts":"2026-10-20T09:14:02Z","level":"error","service":"shop-api","trace_id":"4bf92f3577b34da6","route":"/orders","status":500,"duration_ms":1834,"msg":"payment provider timeout"}

• ഫീൽഡുകൾ നേരിട്ട് ഫിൽട്ടർ ചെയ്യാനും കൂട്ടിച്ചേർക്കാനും കഴിയും.
• trace_id ലോഗ് ട്രാക്കുകളിലേക്ക് ലിങ്കുചെയ്യുന്നു, അങ്ങനെ നിങ്ങൾക്ക് ഒരു ലോഗ് ലൈനിൽ നിന്ന് പൂർണ്ണ അഭ്യർത്ഥനയിലേക്ക് പോകാം.
• സേവനങ്ങളിലെ സ്ഥിരതയുള്ള ഫീൽഡ് നാമങ്ങൾ സേവനങ്ങൾക്കിടയിലുള്ള തിരയലുകൾ സാധ്യമാക്കുന്നു.
• സന്ദേശത്തിന്റെ ടെക്സ്റ്റിൽ ഒരു ഫീൽഡ് ആകുമ്പോള് വേരിയബിൾ ഡാറ്റ ഇടുന്നത് ഒഴിവാക്കുക.

എത്ര നാൾ സൂക്ഷിക്കണം?

റെറ്റീൻ ഡ്രൈവ് മറ്റേതൊരു കാര്യത്തിനും വില കൂടുതലാണ്. തലങ്ങളില് ചിന്തിക്കുക:

• ചൂട് (ദിവസം മുതൽ രണ്ടാഴ്ച വരെ): വേഗതയുള്ളതും തിരയാവുന്നതും ഡീബഗ്ഗിംഗിനുള്ളതുമാണ്.
• ചൂട് അല്ലെങ്കിൽ തണുപ്പ് (ആഴ്ചകൾ മുതൽ മാസങ്ങൾ വരെ): വിലകുറഞ്ഞ സംഭരണം, അന്വേഷണത്തിന് വേഗത കുറഞ്ഞ അന്വേഷണങ്ങൾ.
• ആർക്കൈവ് (മാസം മുതൽ വർഷം വരെ): വസ്തു സംഭരണം, പാലിക്കൽ മാത്രം.

നിയമപരമായ ആവശ്യകതകൾ പരിശോധിക്കുക (സുരക്ഷാ രേഖകൾ, ഓഡിറ്റ് രേഖകൾ, സാമ്പത്തിക സംവിധാനങ്ങൾ) വ്യക്തിഗത വിവരങ്ങൾ ലോഗ്സുകളില് കുറയുകയും സമയബന്ധിതമായി ഇല്ലാതാക്കുകയും ചെയ്യുന്നു. ജി ഡി പി ആർ ലോഗുകളിലും ബാധകമാണ്.

എന്റെ ശുപാർശകൾ

• ഗുബ്നെറ്റസ് കനത്ത ടീം ഇതിനകം ഗ്രഫാനയും പ്രോമീഥിയസും ഉപയോഗിക്കുന്നുണ്ട്: കൂടെ തുടങ്ങുക ലോക്കി. വിലകുറഞ്ഞതും ലളിതവും, മനോഹരമായി സംയോജിപ്പിക്കുന്നതും.
• സുരക്ഷാ വിശകലനം, എല്ലാത്തിനും പൂർണ്ണ ടെക്സ്റ്റ് തിരയൽ, നിലവിലുള്ള എലാസ്റ്റിക് വൈദഗ്ധ്യം: എലാസ്റ്റിക് തിരയൽ അല്ലെങ്കിൽ ഓപ്പൺ തിരയൽ.
• വലിയ അളവിലുള്ള ഘടനാപരമായ ലോഗുകൾ, വിശകലന ചോദ്യങ്ങൾ, അല്ലെങ്കിൽ ലോഗുകൾക്കും ട്രെയ്സുകൾക്കുമായി ഏകീകൃത സ്റ്റോർ: നോക്കൂ ക്ലിക്ക് ഹൌസ്-അടിസ്ഥാന ഉപകരണങ്ങള് .

ഒരു വിതരണക്കാരന് നിഷ്പക്ഷ പൈപ്പ്ലൈൻ ഉപയോഗിച്ച് ലോഗ് ശേഖരിക്കുക (ഓപ്പൺ ടെലിമെട്രി കളക്ടർ, വെക്റ്റർ അല്ലെങ്കിൽ ഫ്ലൂയിന്റ് ബിറ്റ്), അങ്ങനെ നിങ്ങൾക്ക് ഓരോ ആപ്ലിക്കേഷനും സ്പർശിക്കാതെ തന്നെ പിന്നീട് സംഭരണം മാറ്റാൻ കഴിയും.

നിങ്ങളുടെ തണ്ടുകൾ എവിടെയായിരിക്കണം?

നിങ്ങൾ ശരിക്കും തിരയുന്ന രീതിക്ക് അനുയോജ്യമായ ഒരു സ്ഥലത്ത്, നിങ്ങൾക്ക് ഇഷ്ടമുള്ള വിലയ്ക്ക്. മിക്ക ടീമുകളും കുബർനെറ്റീസിൽ പുതിയതായി തുടങ്ങുന്നതാകട്ടെ ലോക്കി. തിരയൽ അല്ലെങ്കിൽ വിശകലന ആവശ്യകതകളുള്ള ടീമുകൾക്ക്, മറ്റ് രണ്ട് അധിക ചെലവുകൾ അല്ലെങ്കിൽ പരിശ്രമം നേടുന്നു.

എന്റെ അഭിപ്രായം: നിങ്ങളുടെ ലോഗ് സ്റ്റോറേജ് തിരഞ്ഞെടുക്കുക ചോദ്യങ്ങൾ ചോദിക്കുന്ന രീതി അനുസരിച്ചാണ്, ശീലങ്ങൾ അനുസരിച്ചല്ല. ഏറ്റവും വിലകുറഞ്ഞ രേഖ നിങ്ങൾ ഒരിക്കലും എഴുതിയിട്ടില്ലാത്തതാണെന്ന് ഓർക്കുക.

ഡെസ്ലി