📘 راهنمای آموزشی هفته اول

عادی‌سازی لاگ‌های فورتی‌گیت و طراحی کنش سریع

📖 مقدمه: شناخت Splunk و مفاهیم لاگ

Splunk یک پلتفرم جامع برای جمع‌آوری، نمایه‌سازی (Indexing) و تحلیل داده‌های ماشین (Machine Data) در مقیاس بزرگ است. برخلاف پایگاه‌های داده سنتی که نیازمند تعریف پیشینی طرح (Schema) هستند، Splunk عمدتاً از رویکرد Schema-on-the-Fly بهره می‌گیرد: بخش عمده‌ای از استخراج فیلدها هنگام جستجو (Search Time) انجام می‌شود، اگرچه برخی استخراج‌ها نیز می‌توانند در زمان ایندکس (Index Time) صورت پذیرند. این انعطاف‌پذیری باعث می‌شود Splunk برای محیط‌های چندمنبعی مانند مراکز عملیات امنیت (SOC) ابزاری ایده‌آل باشد.

خط لوله پردازش داده در Splunk از مراحل اصلی زیر تشکیل می‌شود:

• ورودی (Input): دریافت جریان داده از Forwarderها، پورت‌های شبکه (مثلاً Syslog روی TCP/UDP)، اسکریپت‌ها یا HTTP Event Collector (HEC).
• تجزیه (Parsing): شکستن جریان به رخدادهای منفرد، شناسایی sourcetype، استخراج زمان (Timestamp Extraction) و اعمال قوانین شکست خط (Line Breaking).
• نوع‌بندی (Typing): اعمال قوانین استخراج فیلد از پیش تعریف‌شده (مانند transforms.conf) برای غنی‌سازی رخدادها قبل از ذخیره‌سازی.
• نمایه‌سازی (Indexing): ذخیره‌سازی رخدادها در ساختار اختصاصی ایندکس (شامل bucketها با فایل‌های فشرده داده خام و واژه‌نامه‌های بهینه) که جستجوهای بلادرنگ را ممکن می‌سازد.
• جستجو (Searching): بازیابی و تحلیل رخدادها با زبان SPL که قابلیت فیلتر، تجمیع، همبستگی و مصورسازی را فراهم می‌کند.

هسته جستجو در Splunk زبان خط‌لوله‌ای SPL (Search Processing Language) است که مجموعه بزرگی از دستورات را برای کاوش، تبدیل و تحلیل داده‌ها در اختیار تحلیل‌گر قرار می‌دهد. با SPL می‌توان پرسش‌های پیچیده امنیتی را در میان میلیاردها رخداد در کسری از ثانیه پاسخ داد.

اما پیش از هر تحلیلی باید لاگ (Log) را به درستی شناخت. لاگ یک رکورد خودکار از رویدادهای سیستم است که توسط سیستم‌عامل‌ها، برنامه‌ها، تجهیزات شبکه (مانند فایروال FortiGate) و سایر مؤلفه‌های دیجیتال تولید می‌شود. هر رخداد لاگ استاندارد از چند مؤلفه کلیدی تشکیل شده است:

• Timestamp: زمان دقیق وقوع رویداد که مبنای تحلیل‌های زمانی قرار می‌گیرد.
• Host: نام یا آدرس IP دستگاهی که رویداد را تولید کرده است.
• Source: منبعی که رخداد از آن خوانده شده است. این منبع می‌تواند یک فایل، یک پورت شبکه (TCP/UDP)، یک جریان HEC، یا حتی یک اسکریپت سفارشی باشد.
• Sourcetype: یک برچسب منطقی که قالب رویداد را مشخص می‌کند. این فراداده تعیین می‌کند که Splunk چگونه رویدادها را بشکند، زمان را استخراج کند و فیلدها را جدا نماید. تنظیم نادرست sourcetype باعث تحلیل‌های اشتباه یا از دست رفتن داده‌ها می‌شود.
• _raw: محتوای اصلی رویداد به صورت متن خام، پیش از هرگونه استخراج. تمام فیلدهای بعدی از دل این متن بیرون کشیده می‌شوند.

لاگ‌ها در قالب‌های متنوعی تولید می‌شوند: Syslog (طبق استانداردهای RFC3164 یا RFC5424)، JSON، CSV، Key-Value (مانند نمونه‌های FortiGate با ساختار key=value) و XML. هر یک از این قالب‌ها روش استخراج فیلد متفاوتی می‌طلبد. اَدآن‌های (Add-ons) Splunk برای تجهیزات شناخته‌شده – از جمله FortiGate – این فرآیند را خودکار کرده و فیلدهایی مانند srcip، dstip، action، service، policyid و ... را از پیش استخراج می‌کنند.

چالش بزرگ در محیط‌های واقعی، ناهمگونی (Heterogeneity) لاگ‌هاست. یک مفهوم واحد مانند «کشور مبدأ» ممکن است در فایروال FortiGate با نام srccountry، در روتر Cisco با source_country، در یک پروکسی با country و در سرور لینوکسی دیگری با geo_src نمایش داده شود. بدون عادی‌سازی (Normalization) – از جمله تعریف Field Aliases، Calculated Fields و یکسان‌سازی sourcetype – جستجوهای امنیتی ناقص می‌مانند و مهاجمان از شکاف‌های ناشی از این آشفتگی عبور می‌کنند.

در این راهنما، با استفاده از داده‌های واقعی یک FortiGate 400F که از طریق اَدآن رسمی وارد Splunk شده، مفاهیم عادی‌سازی، Field Alias، فیلدهای محاسباتی و Workflow Actions را به صورت عملی فرا می‌گیریم. هدف نهایی آن است که تحلیل‌گر امنیتی پیش از شروع هرگونه شکار تهدید، داده‌های خود را به وضعیتی یکپارچه و آماده تحلیل برساند.

🎓 بخش اول:

۱. عادی‌سازی (Normalization)

در مراکز عملیات امنیت (SOC)، لاگ‌ها از منابع مختلف با قالب‌های متفاوت جمع‌آوری می‌شوند. عادی‌سازی یعنی یکسان‌سازی نام فیلدها، نوع مقادیر و ساختار داده‌ها تا تحلیل، جستجو و هشدارها سریع‌تر و دقیق‌تر اجرا شوند.

۲. نام‌های مستعار فیلد (Field Aliases)

تعریف: نگاشتی از چند نام مختلف فیلد به یک نام واحد.
کاربرد: در فورتی‌گیت، کشور مبدأ گاهی با country و گاهی با srccountry نمایش داده می‌شود. با تعریف Alias با نام src_country، می‌توان بدون نگرانی از نام دقیق، همه‌ی رویدادها را با یک دستور تحلیل کرد.
اهمیت: بدون Alias، کوئری stats count by country تنها بخشی از داده‌ها را پوشش می‌دهد و باعث تحلیل ناقص می‌شود.

۳. فیلدهای محاسباتی (Calculated Fields)

تعریف: فیلدی که مستقیماً در لاگ خام وجود ندارد و با استفاده از eval از روی فیلدهای موجود ساخته می‌شود.
مثال: total_bytes = sentbyte + rcvdbyte حجم کل ترافیک یک نشست را نشان می‌دهد.

۴. استخراج فیلد (Field Extraction)

تعریف: جداسازی فیلدهای معنی‌دار از متن خام رویداد (_raw).
اَدآن رسمی FortiGate برای Splunk بیشتر فیلدها را به‌طور خودکار استخراج می‌کند. درک این فرآیند برای عیب‌یابی ضروری است.

۵. تغییر نام sourcetype (Source Type Renaming)

مسئله: ممکن است لاگ‌های یک دستگاه با sourcetype اشتباه یا قدیمی (مثلاً fortigate_old) ایندکس شده باشند.
راهکار موقت: eval sourcetype = "fortigate"
راهکار دائمی: تنظیم rename در فایل props.conf.

۶. کنش‌های گردش کار (Workflow Actions)

تعریف: دکمه‌ای قابل کلیک در نتایج جستجو که روی مقدار یک فیلد (مثلاً srcip) عملی مانند باز کردن URL خارجی را انجام می‌دهد.
مثال: جستجوی Whois با کلیک روی IP.

🎯 سه چالش ارزیابی

index=firewall sourcetype=fortigate
| eval total_bytes = sentbyte + rcvdbyte
| stats sum(total_bytes) as bytes, dc(dstip) as unique_dest by srcip, src_country
| where bytes > 10000 AND unique_dest > 3
| sort - bytes