Email: info@developit.ir
نمایش ۱ تا ۴ مورد از کل ۴ مورد.

فشرده سازی درخواست ها در elasticsearch

به نظرم در هنگام کار با داده های حجیم موضوع فقط نحوه ی مدیریت اطلاعات داخل کلاستر نیست و این تنها حل کردن بخشی از مساله میتونه باشه.

ممکنه درخواست های زیادی هم سمت سرور ارسال بشه و چقدر خوبه این درخواست ها به نحوی فشرده و کوچکتر بشن تا انتقال اطلاعات سریعتر انجام بشه مخصوصا داخل elasticsearch که به صورت real time کار میکنه.

به این منظور مشغول پیاده سازی ماژول msgpack برای elasticsearch شدم اما زمانی که ازش استفاده کردم دو مشکل وجود داشت:

1) افت کارایی، نه به خاطر encode/decode کردن JSON. به این دلیل که اصل scripting در elasticsearch کاهش سرعت رو به همراه داره مخصوصا زمانی که کد شما قرار هست به ازای هر درخواست اجرا بشه.

2) منسوخ شدن برخی از روش های scripting در آینده، مخصوصا javascript! ظاهرا scripting در نسخه های بعدی دچار تغییرات زیادی خواهد شد در حدی که elastic.co پیشنهاد میکنه از painless scripting language استفاده کنیم.

و این در حالی بود که خود elasticsearch به طور پیشفرض درخواست ها رو فشرده میکرد و من ازش اطلاعی نداشتم...

اگر از http module استفاده میکنید، elasticsearch از فشرده سازی در صورتی که ممکن باشد با استفاده از Accept-Encoding پشتیبانی میکند. مقدار http.compression در بخش network settings به طور پیشفرض true است. سطح فشرده سازی درخواست ها در elasticsearch قابل تغییر است. سطوح فشرده سازی از 1(حداقل فشرده سازی) شروع شده و نهایتا تا 9(حداکثر فشرده سازی) قابل تغییر میباشد. در network settings فشرده سازی روی سطح 3 تنظیم شده با این وجود میتوانید مقدار آن را با استفاده از http.compression_level کم یا زیاد کنید.

Elasticsearch-Hadoop، جستجو و تحلیل real time دادهای Hadoop

در کنار داده های بسیار زیادی که در hadoop دارید میتوانید یک موتور جستجو و تحلیل گر real-time هم داشته باشید.

با استفاده از کتابخانه هایی که elasticsearch برای این موضوع آماده کرده امکان اتصال hadoop و elasticsearch فراهم شده است.

با ادغام elasticsearch و یکی از component های hadoop داده ها به طور مستقیم در elasticsearch شاخص گذاری(index) میشوند و همچنین میتوان از HDFS به عنوان یک archive بلند مدت برای elasticsearch استفاده کرد.

در hadoop امکان جستجو یا تجزیه و تحلیل محتوا وجود دارد اما سریع ترین روش نیست. ES-Hadoop با فراهم کردن شاخص گذاری داده های hadoop در elasticsearch سریعتر از همیشه این کار را انجام میدهد.

قابلیت ادغام با محبوب ترین component های hadoop وجود دارد، hadoop پیوسته در حال توسعه است و ES-Hadoop با component های برگزیده و محبوب آن تعامل دارد و خواهد داشت.

برای data visualization(مصورسازی داده ها)  elasticsearch از kibana استفاده میکند.

مدیریت اشخاصی که به اطلاعات شما دسترسی دارند و جلوگیری از جاسوسی برای حفظ محرمانگی اطلاعات انجام میشود. امنیت ES-Hadoop شامل احراز هویت HTTP، پشتیبانی از SSL/TLS برای ارتباط بین elasticsearch و hadoop clusters، کار کردن با Kerberos فعال در hadoop و X-Pack قابل استفاده در elasticsearch cluster میشود.

و در آخر، با هر گونه از توزیع های hadoop مانند Cloudera، Mapr، Hortonworks، Databricks و ... به خوبی کار میکند.

اصطلاحات پایه در elasticsearch

تعدادی اصطلاح در elasticsearch وجود دارد که دانستن آنها در ابتدا به فرایند یادگیری بسیار کمک میکند.

 Near Realtime (NRT)

 elasticsearch یک بستر جستجوی نزدیک به زمان واقعی است، به این معنی که از زمان شاخص گذاری یک سند تا قابلیت جستجو در آن تاخیر کمی وجود دارد(معمولا یک ثانیه).

cluster

یک cluster مجموعه ای از یک یا چند node است(server) که با هم تمام اطلاعات را نگه داشته و شاخص گذاری و قابلیت جستجو را در بین تمام node فراهم میکنند.

node

یک node یک server تکی و قسمتی از cluster میباشد. که در ذخیره سازی داده های خود و شاخص گذای و فراهم کردن قابلیت جستجو شرکت میکند.

index

یک index مجموعه ای از document است که تا حدودی دارای ویژگی های مشابهی هستند، به عنوان مثال شما میتوانید یک index برای اطلاعات مشتریان، یک index از فهرست محصولات و یک index از اطلاعات سفارشات داشته باشید.

index به وسیله ی نام خود شناخته میشود، که باید حروف لاتین کوچک باشد. این نام در زمان شاخص گذاری، جستجو، ویرایش و حذف مورد استفاده قرار میگیرد.

در یک cluster تکی شما میتوانید هر چقدر index نیاز دارید تعریف کنید. 

بیشتر بخوانید

elasticsearch چیست؟ آموزش نصب elasticsearch در لینوکس


elasticsearchelasticsearch، یک موتور جستجو و تحلیلگر توزیع شده است که برای تعامل با آن از restful api استفاده میکنیم.

قالب ارسال و دریافت اطلاعات در این موتور جستجو json میباشد.

اولین نسخه از elasticsearch در سال 2010 عرضه شد و در حال حاضر نسخه 5.0.1 آن هم در دسترس میباشد.

elasticsearch  با جاوا توسعه داده شده، یک پروژه متن باز است و تحت مجوز ASL منتشر شده.

 

بیشتر بخوانید
عضویت در خبرنامه
جهت اطلاع از آخرین فعالیت های من لطفا در خبرنامه عضو شوید