Logstash چیست ؟ آموزش دانلود و نصب Logstash

  Logstash چیست؟ شیوه‌ی کار Logstash  چگونه است؟ چگونه می‌توان Logstash را دانلود و نصب کرد؟ اگر تشخیص مشکل سرورها در سریع‌ترین زمان ممکن یکی از دغدغه‌های اصلی شماست، با استفاده از امتیازاتی که Logstash در اختیار شما قرار می‌دهد، می‌توانید این نیاز را برطرف نمایید. ما در ادامه با توضیح پیرامون اینکه Logstash چیست و چگونه می‌توان آن را نصب کرد، به شما کمک می‌کنیم تا در سریع‌ترین زمان ممکن دیدی کلی نسبت به محیط سرور خود داشته باشید.

در همین ابتدا لازم می‌دانیم عنوان کنیم که اگر قصد خرید سرور مجازی قدرتمند ایران را دارید تا بتوانید به خوبی ترافیک سایت خود را کنترل کنید، به وب سایت ابرآراز مراجعه کرده و از خدمات و امتیازات ما بهره‌مند شوید. 

سرور مجازی آراز

Logstash چیست ؟

Logstash ابزاری قدرتمند و منبع باز است که برای متمرکز سازی و تحلیل log ها مورد استفاده قرار گرفته و به ما کمک می‌کند دیدی کلی از محیط سرور خود داشته باشیم. در نتیجه‌ی این عملکرد شما می‌توانید مشکلات سرور را در سریع‌ترین زمان ممکن مرتفع نمایید.

Logstash برای real-time pipeline برای injection داده بین دو منبع مختلف مستقل استفاده می‌شود. پیش از این ، از این ابزار تنها برای جمع آوری گزارش استفاده می‌شد؛ اما اکنون موارد استفاده از آن گسترده‌تر شده است. به طورکلی، هر نوع داده‌ای را می‌توان از طریق logstash تزریق (injection) داده و از طریق آرایه پلاگین‌های ورودی و خروجی همراه با سایر پلاگین‌های کد تغییر شکل داد که به تبدیل داده‌های ورودی به انواع فرمت‌های مورد نیاز کمک می‌کند. مدیریت گزارش و مدیریت رویداد هر دو با استفاده از ابزاری به نام Logstash ساخته می‌شوند.

تا چه اندازه در مورد ارورهایی که ممکن است در سرور با آن مواجه شوید، اطلاعات دارید؟ می‌دانید باید چگونه آنها را برطرف کنید؟ ما در مقاله‌ای دیگر به تفصیل در مورد این ارورها و نحوه‌ی رفع آن به تفصیل توضیح داده‌ایم. پیشنهاد می‌کنیم فرصت مطالعه‌ی مقاله‌ی حل و رفع ارور your connection is not secure را از دست ندهید. 

مراحل مختلف ابزار Logstash چیست ؟

Pipeline = input + (filter) + Output

مسئولیت Logstash تنها به پردازش گزارش‌ها محدود نمی‌شود. این ابزار می‌تواند به راحتی XML، JSON، CSV و… را مدیریت کند. علاوه برآن،‌ رابطه‌ای بسیار قوی با Elasticsearch و Kibana+ beats دارد. در ادامه قصد داریم تا بخش‌هایی که بالاتر به صورت فرمول نوشته‌ایم را بررسی کنیم؛ با ما همراه باشید.

elasticsearch چیست؟ 

Elasticsearch یک موتور جستجو و تجزیه و تحلیل opensurce است که بر روی آپاچی لوسن ساخته و در جاوا توسعه یافته است. الستیک سرچ دیتابیس به شما امکان می‌دهد، حجم عظیمی از داده‌ها را به سرعت ذخیره، جستجو و تجزیه‌وتحلیل کرده و در چند میلی ثانیه پاسخ دهید. به طورکلی Elasticsearch مزایای بی‌شماری به همراه دارد که ما در مقاله‌ی الاستیک سرچ چیست به تمام آنها و نحوه‌ی کار آن اشاره کرده‌ایم. پیشنهاد می‌کنیم فرصت مطالعه‌ی این مقاله را از دست ندهید.  

آشنایی با Pipeline

Logstash مجموعه‌ای از مراحل مختلف تحت عنوان ورودی، خروجی و فیلتر است. داده‌های ورودی وارد Pipeline شده و به عنوان یک رویداد پردازش می‌شوند. در نهایت نیز به مرحله جدید که ممکن است فیلتر یا آخرین مرحله خروجی باشد ارسال می‌شوند.

بررسی Event

هر داده‌ی ورودی که به Pipeline وارد می‌شود را رویداد یا Event می‌نامیم.

بررسی Input 

Input که در زبان فارسی با نام ورودی نیز شناخته می‌شود، به معنای داده‌هایی است که به Pipeline ورود می‌کنند. Input، نخستین مرحله از فعالیت Logstash است.

منظور از Filter در Logstash چیست ؟

Filter مرحله بعدی فعالیت Logstash است. در این مرحله، شما می‌توانید فیلدهای بیشتری را به داده‌ها اضافه کرده و یا پیش از ارسال به مرحله خروجی، داده‌ها را تغییر دهیم.

آشنایی با Output

این آخرین مرحله از فعالیت Logstash است. در این بخش، داده‌ها با توجه به نیازهای مقصد قالب بندی می‌شوند.

منظور از معماری Logstash چیست ؟

Logstash بر اساس معماری جداسازی شده است؛ بدین معنا که پردازش رویداد متمرکز است. در این نوع معماری، دو سیستم به طور مستقل با یکدیگر تعامل دارند بدون اینکه مستقیماً به یکدیگر متصل شوند.

• Shipper

تمام داده‌ها را از منبع به logstash ارسال می‌کند.

• Broker and Indexer

این مؤلفه داده‌ها را برای رویدادهای نمایه‌ساز دریافت و فرموله می‌کند.

• Search and Storage

امکان جستجو و ذخیره رویدادها را فراهم می‌سازد.

نحوه‌ی کار Logstash چیست ؟

کار Logstash ساده است و برای موارد زیر از آن استفاده می‌شود:

• تعریف منبع از طریق یک فوروارد ساده
• پیاده سازی مجموعه قوانین برای قالب بندی داده‌ها
• ارسال داده‌ها به مقصد با استفاده از قوانین
• استفاده از کلیدهای ورودی، خروجی و فیلترها برای پردازش داده‌ها
• دریافت و ساخت داده‌ها از تمام اندازه‌ها، منبع، شکل‌ها با استفاده از افزونه‌های ورودی
• تبدیل و تجزیه اطلاعات در پرواز با استفاده از فیلترها
• استفاده از پلاگین خروجی برای انتخاب انبار و صادرات اطلاعات

اگر کاربر یک فایل CSV داشته باشد و از دستور Logstash در فایل CSV و تمام ستون‌ها و انواع داده استفاده کند، Logstash قوانین را درک کرده و فایل‌ها را فیلتر می‌کند تا تنها الزامات مهم CSV را در نظر بگیرد. سپس تجزیه فایل CSV توسط Logstash برای واکشی داده‌ها انجام می‌شود. پیکربندی stash دسترسی به پایگاه داده را آسان‌تر می‌کند. اکنون Logstash با افزودن داده‌ها آشنا شده و آن‌ها را در انبار جمع‌آوری می‌کند.

مزایای استفاده از Logstash چیست ؟

نحوه‌ی فعالیت و کار Logstash در جریان داده‌ها شگفت‌انگیز است. هنگامی که کاربر Logstash را اجرا می‌کند، به طور مداوم منبع ورودی کاربر کنترل شده و متضمن قانون دقیق برای قالب‌بندی است و اطلاعات جمع‌آوری شده را به مخفیگاه ترجیحی کاربر منتقل می‌کند. رویدادها از طریق هر مرحله در صف‌های داخلی تحت فشار قرار گرفته و ورودی‌های متنوعی را برای گزارش‌های کاربر فعال می‌کنند.

لازم به ذکر است که این گزارش را می‌توان با توجه به انتخاب کاربر تجزیه و فیلتر کرد. این گزارش‌ها، سرویس متمرکز را برای پردازش داده‌ها فعال کرده و طیف عظیمی از رویدادها و داده‌های بدون ساختار و ساختاریافته را تجزیه و تحلیل می‌کند. Logstash پلاگین‌های زیادی را برای پیوند با انواع مختلف پلتفرم‌ها و منابع ورودی ارائه می‌دهد.

شی رویداد، شی اصلی در Logstash است که جریان داده‌ها را در خط لوله Logstash کپسوله می‌کند. این شی را قادر می‌سازد تا داده‌های ورودی را ذخیره و فیلدهای اضافی توسعه یافته در مراحل فیلتر را واکشی کند. API رویداد را برای تشدید رویدادها و گزارش‌ها فراهم می‌کند. خط لوله شامل داده‌های جریان از ورودی تا خروجی در Logstash است. داده‌های ورودی به خط لوله وارد شده و به عنوان یک رویداد عمل می‌کند. سپس با توجه به فرمت موردنظر به مقصد خروجی در سیستم پایانی منتقل می‌شود. (برای اینکه به طورکامل با api آشنا شوید، با مراجعه به وبلاگ ابرآراز مقاله‌ی api چیست را مطالعه کنید.)

بررسی input و Output

input مرحله اولیه Pipeline است که برای واکشی داده‌ها و پردازش بیشتر آن مورد استفاده قرار می‌گیرد. input افزونه‌های زیادی را برای دریافت اطلاعات از پلتفرم های مختلف ارائه می‌دهد. تعداد کمی از پلاگین‌ها Redis، Beats، Syslog و file هستند. فیلتر در قسمت متوسط ​​Logstash قرار دارد و رویدادهای واقعی را پردازش می‌کند. توسعه‌دهنده الگوهای Regex از پیش توصیف‌شده را برای ساخت دنباله‌هایی برای جداسازی فیلد رویداد در رویدادها فقط برای رویدادهای ورودی درخواستی اعمال می‌کند. برای توصیف ساختار استفاده از فیلترهای پلاگین مانند Drop، Mutate، Clone و Grok استفاده می‌شود.

خروجی آخرین مرحله خط لوله است و رویدادهای خروجی را می توان با توجه به ساختار مورد نیاز سرویس های مقصد ویرایش کرد. پس از تکمیل فرآیند با استفاده از پلاگین های مقصد، رویداد خروجی را منتقل می کند و بیشتر افزونه های خروجی File، Graphite، ElasticSearch هستند.

آموزش نصب Logstash

برای نصب logstash باید جاوا را در یک سیستم معین نصب کنید. توسعه‌دهنده این ابزار،‌ تمام وابستگی‌ها را در یک tarbale قرار داده است؛ بنابراین درحال حاضر راه اندازی logstash آسان است.

دانلود Logstash

امیدواریم که تا به اینجا توانسته باشید به پاسخ سوال خود مبنی بر اینکه Logstash چیست و چگونه کار می‌کند، دست یابید. حال در این قسمت از مقاله، ما قصد داریم تا شما را با نحوه‌ی دانلود و اجرای Logstash آشنا کنیم؛ با ما همراه باشید.

در اولین قدم نیاز است که شما از این لینک به دانلود Logstash اقدام نمایید. پس از آن، فایل دانلود شده را در پوشه مورد نظر از حالت فشرده خارج کنید.

cd  logstash-7.5.1

logstash-7.5.1/

در داخل دایرکتوری logatsh، یک dir به نام conf ایجاد کرده و تمام فایل‌های پیکربندی را در آن دایرکتوری ذخیره کنید. نمونه فایل پیکربندی در زیر آورده شده است:

input {

stdin{}

}

output{

stdout{}

}

نحوه‌ی اجرای Logstash Agent چیست ؟

پس از ایجاد یک فایل پیکربندی و اجرای logstash از دستورات زیر استفاده می کنیم:

cd  logstash-7.5.1

bin/logstash  -f path/of/the/conf/file/dir

اگر چیزی را در فایل پیکربندی تغییر دهید، هر بار باید فایل پیکربندی را مجددا راه‌اندازی کنید تا بتواند پیکربندی جدید و به روز شده را دریافت کند.

چگونه پلاگین را نصب کنیم؟

برای نصب انواع مختلف ورودی و خروجی پلاگین، که در دسترس هستند، از دستور زیر استفاده کنید:

bin/logstash_plugin install /name-of-the-plugin-name/

برای مثال:

bin/logstash_plugin install logstash-input-beats

مقیاس گذاری Logstash

یکی از امتیازاتی که در مورد Logstash وجود دارد، این است که از اجزایی تشکیل شده که به راحتی در کنار هم قرار می‌گیرند: خود Logstash، Redis به عنوان یک کارگزار، Elasticsearch و سایر عناصر قابل اتصال پیکربندی Logstash. یکی از مزایای این روش سهولت در مقیاس بندی آن و آن اجزا است.

• Redis

از آن به‌عنوان یک واسطه برای رویدادهای ورودی استفاده می‌شود.

• Elasticsearch

جهت مدیریت جستجو و ذخیره‌سازی

• Logstash

در حال مسئول مصرف و نمایه سازی رویدادهاست.

مواردی که به آنها اشاره کردیم، مقدمه‌ای نسبتاً اساسی برای مقیاس‌بندی این مؤلفه‌ها با تمرکز بر تلاش برای دستیابی به اهداف ساده است؛ اهدافی مانند:

• برای اینکه Logstash تا حد امکان redundant شده و هیچ نقطه شکستی وجود نداشته باشد.
• جلوگیری از گم شدن پیام‌ها در حین انتقال از ورودی‌ها و خروجی‌ها.

چرا ابرآراز برای خرید سرور مجازی انتخاب مناسبی است؟