احسان رضایی

یک توسعه دهنده

ذخیره و تجزیه و تحلیل apache logs در elasticsearch

filebeat-1

elastic اخیرا ماژول های filebeat رو معرفی کرده، که برای پردازش و به دست آوردن یک بینش بصری از log های رایج طراحی شده. filebeat در kibana به عنوان نقطه ی شروع یک داشبورد از پیش طراحی شده در اختیارتون قرار میده که میتونید بعدا نمودار های دیگه ای هم بسته به نیازتون بهش اضافه کنید. ماژول Apache2 که اینجا در موردش حرف میزنیم، اطلاعات مربوط به log های apache رو از مسیر های پیشفرض جمع آوری میکنه، اگر مسیر های پیشفرض رو هم تغییر دادین امکان پیکره بندی این ماژول وجود داره.
اطلاعات جمع آوری شده توسط filebeat به elasticsearch ingest node ارسال خواهد شد(به گره هایی که قبل از شاخص گذاری روی پرونده ها عملیات پیش پرازش رو انجام میدن ingest node گفته میشه) تا عملیات تجزیه و تحلیل قبل از شاخص گذاری در elasticsearch انجام بگیره.

ادامه...

نصب elasticsearch در ویندوز

نیازمندی ها.

elasticsearch با جاوا توسعه داده شده و برای اجرا حداقل به نسخه ی 8 جاوا نیاز داره. پیشنهاد شده از نسخه ی 131_1.8.0 یا بالاتر استفاده کنید، elasticsearch با نسخه ی های پایین تر اجرا نخواهد شد.

نصب.

- آخرین نسخه elasticsearch رو دانلود و در محلی از حالت فشرده خارج کنید.

- cmd رو باز و bin/elasticsearch.bat رو اجرا کنید.

C:\elasticsearch-5.5.1\bin>elasticsearch.bat

هنگام اجرای یک خطای معمول وجود داره و همونطور که خودش توضیح داده برای حلش میتونید JRE یا JDK رو نصب کنید.

Error: missing `server' JVM at `C:\Program Files (x86)\Java\jre1.8.0_101\bin\server\jvm.dll'.Please install or use the JRE or JDK that contains these missing components.

- IP:Port مخصوص به elasticsearch رو امتحان کنید(http://localhost:9200). اگر همه چیز درست پیش رفته باشه خروجی زیر بهتون نمایش داده خواهد شد.

{
    "name" : "JlngwG8",
    "cluster_name" : "elasticsearch",
    "cluster_uuid" : "H7KFhzdBTYmkAwxb7XDvfw",
    "version" : {
        "number" : "5.5.1",
        "build_hash" : "19c13d0",
        "build_date" : "2017-07-18T20:44:24.823Z",
        "build_snapshot" : false,
        "lucene_version" : "6.6.0"
    },
    "tagline" : "You Know, for Search"
}

معرفی دو ابزار(رابط کاربری) برای کار با elasticsearch

HTTP و JSON دو نیاز اصلی برای کار با elasticsearch هستن، شاخص گذاری، جستجو و هر چیز دیگه ای که فکرشُ میکنید با این دو انجام میشن.

به عنوان مثال برای کار با elasticsearch میشه از Curl استفاده کرد. یک ابزار خط فرمان بسیار قدرتمند اما به خاطر داشته باشید انجام پیش پا افتاده ترین کارها در elasticsearch با استفاده از Curl وقت گیر هست.

اولین پیشنهادم postman هست. یک ابزار توسعه API که قبلا هم در موردش نوشتم. افزونه ی chrome یا application های مجزا برای linux، windows و mac داره. صرفا مختص کار با elasticsearch نیست اما میشه به این منظور هم ازش استفاده کرد.

postman

مورد دوم، sense. فقط افزونه ی chrome داره، به سادگی، زیبایی و قدرت postman نیست اما مزیتش اینه که چون تنها برای elasticsearch نوشته شده autocomplete داره و خب کارُ آسونتر و سریعتر میکنه. اول داخل kibana و قسمت Dev Tools بود که الان هم هستش.

sense

اصطلاحات پایه در elasticsearch

تعدادی اصطلاح در elasticsearch وجود دارد که دانستن آنها در ابتدا به فرایند یادگیری بسیار کمک میکند.

 Near Realtime (NRT)

 elasticsearch یک بستر جستجوی نزدیک به زمان واقعی است، به این معنی که از زمان شاخص گذاری یک سند تا قابلیت جستجو در آن تاخیر کمی وجود دارد(معمولا یک ثانیه).

cluster

یک cluster مجموعه ای از یک یا چند node است(server) که با هم تمام اطلاعات را نگه داشته و شاخص گذاری و قابلیت جستجو را در بین تمام node فراهم میکنند.

node

یک node یک server تکی و قسمتی از cluster میباشد. که در ذخیره سازی داده های خود و شاخص گذای و فراهم کردن قابلیت جستجو شرکت میکند.

index

یک index مجموعه ای از document است که تا حدودی دارای ویژگی های مشابهی هستند، به عنوان مثال شما میتوانید یک index برای اطلاعات مشتریان، یک index از فهرست محصولات و یک index از اطلاعات سفارشات داشته باشید.

index به وسیله ی نام خود شناخته میشود، که باید حروف لاتین کوچک باشد. این نام در زمان شاخص گذاری، جستجو، ویرایش و حذف مورد استفاده قرار میگیرد.

در یک cluster تکی شما میتوانید هر چقدر index نیاز دارید تعریف کنید. 

ادامه...

کتاب‌ها

کتاب الگوهای طراحی به بیان ساده(design patterns / دیزاین پترن)

در مهندسی نرم افزار، design patterns(الگوهای طراحی) راه حل‌های قابل استفاده برای مشکلاتی هستند که معمولاً در طراحی نرم‌افزار اتفاق می افتند.

طرح های از پیش ساخته شده‌ای که می‌توانید برای حل مشکلات آن‌ها را سفارشی کنید. شما نمی‌توانید یک الگو را با جستجو در stackoverflow پیدا و در برنامه خود کپی کنید. الگو ها یک قطعه کد خاص نیستند، مفاهیم کلی برای حل مشکلات خاص هستند. شما باید با درک این مفاهیم آن‌ها را در برنامه خود پیاده‌سازی کنید.

کتاب refactoring / ریفکتورینگ

Refactoring مجموعه‌ای از تکنیک‌هاست که به منظور اصلاح و بهبود کدهای قبلی بدون تغییر در عملکرد و رفتارشان جهت خوانایی، کارامدی و قابلیت نگهداری بیشتر انجام می‌شود.

در کتاب Refactoring اثر Martin Fowler نوشته شده: refactoring تکنیک مرتب/منظم سازی برای تجدید ساختار کد موجود است. تغییر ساختار داخلی کد بدون تغییر رفتار خارجی آن.

refactoring یک سرمایه‌گذاری و راه حلی برای مقابله با کد کثیف و بدهی فنی است که باعث کاهش هزینه‌های توسعه نرم‌افزار در آینده خواهد شد.