12/08/2018, 18:05

Elasticsearch for dummies

Getting started Do sắp tới dự án mình đang làm có mong muốn sử dụng elasticsearch để cải thiện các chức năng của ứng dụng. Elastic search cũng là một công nghệ được ưu chuộng của các trang web lớn. Ví dụ: facebook, quora, wiki, netflix... Mình tìm kiếm trên mạng có rất nhiều bài viết về elastic ...

Getting started

Do sắp tới dự án mình đang làm có mong muốn sử dụng elasticsearch để cải thiện các chức năng của ứng dụng. Elastic search cũng là một công nghệ được ưu chuộng của các trang web lớn. Ví dụ: facebook, quora, wiki, netflix...

Mình tìm kiếm trên mạng có rất nhiều bài viết về elastic search giới thiệu về các khái niệm cũng như code mẫu cho elastic search tuy nhiên elastic search có quá nhiều thứ cần nghiên cứu và mình không biết nên bắt đầu từ đâu. May sao mình thấy một bài chia sẽ kiến thức về elasticsearch cho những người có base làm việc với SQL/RDBMS. Do đó mình quyết định viết bài này cho những bạn cũng gặp vấn đề giống mình có hướng nghiên cứu đơn giản và dễ hiểu nhất.

Bài viết của mình sẽ bao gồm các phần chính sau:

Introduction to the Elasticsearch

Elasticsearch là một search engine dạng phân tán được thiết kế cho ứng dụng cần có chức năng tìm kiếm với hiệu suất cao. Sau đây là 4 đặc điểm chính nổi bất của elastic search

Là một search engine mạnh mẽ sử dụng Lucene Index (là một phần mềm mã nguồn mở dùng để phân tích, đánh chỉ mục và tìm kiếm thông tin)
Khả năng phần tán ( dữ liệu có thể được lưu trữ nhiều nơi, nhưng việc tìm kiếm sẽ được thực hiện trên 1 hệ thống toàn vẹn)
Khả năng tìm kiếm gần như real time (các bạn có thể tham khảo tại đây)
Dễ dàng cân bằng tải (đảm bảo nếu có 1 node bị lỗi thì các node khác vẫn sẽ hoạt động bình thường và thay thế công việc của node hỏng)

Elasticsearch cung cấp một số tính năng tương tự của NoSQL do đó một số người sẽ nhầm tương elastic search tượng tự với các engine lưu trữ dữ liệu dạng NoSQL nhưng hai engine này khác nhau và ES chủ yếu vẫn là một công cụ tìm kiếm và phân tích dữ liệu.

Elasticsearch không sử dụng để lưu trữ dữ liệu, mình có search trên mạng một số bài viết chia sẻ việc sử dụng ES như một database là bad idea các bạn có thể xem tại đây

Tuy nhiên theo mình hiểu, có thể tạo rivers để kết nối elasticsearch vs các databases khác. River là plugin service được sử dụng để synchronize Elasticsearch index dữ liệu được lưu trong SQL database

Tiếp theo là phần cài đặt elasticsearch. Do mình sử dụng ubuntu do đó mình sẽ tham khảo hướng dẫn cài đặt tại đây. Sau khi đã cài đặt xong vào terminal để kiểm tra trạng thái elasticsearch như sau:

$ sudo service elasticsearch status
● elasticsearch.service - Elasticsearch
   Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; disabled; vendor preset: enabled)
   Active: active (running) since CN 2018-06-24 17:25:10 +07; 4s ago
     Docs: http://www.elastic.co
 Main PID: 9963 (java)
    Tasks: 18
   Memory: 1.1G
      CPU: 3.273s
   CGroup: /system.slice/elasticsearch.service
           └─9963 /usr/bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.en

Hoặc bạn có thể sử dụng CURL để load dữ liệu

$ curl http://localhost:9200
{
  "name" : "FOI0gmQ",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "8XU5cRYvQkKfn1Uy5VbTJw",
  "version" : {
    "number" : "6.2.4",
    "build_hash" : "ccec39f",
    "build_date" : "2018-04-12T20:37:28.497551Z",
    "build_snapshot" : false,
    "lucene_version" : "7.2.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

Postman

POSTMAN là một công cụ cho phép chúng ta làm việc với API, nhất là REST. Với Postman, ta có thể gọi Rest API mà không cần viết dòng code nào. Do elasticsearch cung cấp các phương thức tương tác dưới dạng restful do đó mình sẽ sử dụng POSTMAN để thực hiện các request

Để bắt đầu với POSTMAN, bạn truy cập vào trang chủ https://www.getpostman.com/ và download phiên bản phù hợp cho hệ điều hành đang sử dụng (có các phiên bản cho MAC OS, Windows 32bit, Window 64bit). Nếu bạn đang sử dụng hệ điều hành nhân Linux thì bạn phải tải POSTMAN từ Extensions của Chrome để cài đặt.

Working with JSON documents

Elastic search lưu trữ documents theo JSON format. Do đó mình sẽ nói ngắn gọn về JSON, dưới đây là cấu trúc của object kiểu json format.

{
    "name" : "Elastic"
}

Một document có thể có rất nhiều field với nhiều giá trị khác nhau:

{
    "name" : "Elastic",
    ...
    <field> : <value>
}

Mỗi giá trị sẽ chập nhận 6 giá trị hợp lệ đó là (string, number, object, an array, a boolean null)

Basics

Sau đây là một số khái niệm cơ bản mà bạn cần phải biết trước khi bắt tay vào nghiên cứu elasticsearch

ElasticSearch có nhiều Indexes. Một Index tương tự như một bảng trong SQL.
Một index có nhiều properties. Properties là định nghĩa về cấu trúc trong bảng (Ví dụ: name: string; age: integer; actived: boolean).
Tương tác với dữ liệu của elasticsearch trong qua gọi REST API . Ví dụ để tạo mới object ta sẽ sử dụng POST, để cập nhật PUT, để xóa DELETE.

Khuyến cáo: phần mình so sánh ở trên đã là đơn giản hóa để mọi người có thể hiểu được. Vì vậy nếu bạn nào muốn hiểu rõ hơn thì các bạn có thể vào đây để đọc thông tin chính xác hơn. Hoặc các bạn có thể tham khảo các bài viết trên để hiểu rõ hơn các khái niệm trong elastic search.

CRUD - Create / Read / Update / Delete

Tạo một index bằng câu lệnh sau

Sử dụng phương thức PUT và gọi http://localhost:9200/team

Kiểm tra index Team đã được tạo thành công chưa

Sử dụng phương thức GET và gọi http://localhost:9200/team

{
    "team": {
        "aliases": {},
        "mappings": {},
        "settings": {
            "index": {
                "creation_date": "1529851754521",
                "number_of_shards": "5",
                "number_of_replicas": "1",
                "uuid": "Lk-2SsIBQnqFh_fQZRAxUA",
                "version": {
                    "created": "6020499"
                },
                "provided_name": "team"
            }
        }
    }
}

Đóng Index

Bạn sẽ cần đóng Index lại để có thể chỉnh sửa properties của Team bằng câu lệnh sau:

Sử dụng phương thức POST và gọi localhost:9200/team/_close

{
    "acknowledged": true
}

Mapping Columns (định nghĩa cấu trúc của Index)

Sử dụng phương thức PUT và gọi http://localhost:9200/team/_mapping/member

# đồng thời truyền json object sau 
{
 "properties": {
 "id": { "type": "text" },
 "name": { "type": "text" },
 "email": { "type": "text" },
 "age": { "type": "integer" },
 "phone": { "type": "text" },
 "image": { "type": "text" },
 "technologies": {"type" : "text" }
 }
}

Kết quả:

GET:  http://localhost:9200/team
 {
    "team": {
        "aliases": {},
        "mappings": {
            "member": {
                "properties": {
                    "age": {
                        "type": "integer"
                    },
                    "email": {
                        "type": "text"
                    },
                    "id": {
                        "type": "text"
                    },
                    "image": {
                        "type": "text"
                    },
                    "name": {
                        "type": "text"
                    },
                    "phone": {
                        "type": "text"
                    },
                    "technologies": {
                        "type": "text"
                    }
                }
            }
        },
        "settings": {
            "index": {
                "creation_date": "1529851754521",
                "number_of_shards": "5",
                "number_of_replicas": "1",
                "uuid": "Lk-2SsIBQnqFh_fQZRAxUA",
                "version": {
                    "created": "6020499"
                },
                "provided_name": "team"
            }
        }
    }
}

Import dữ liệu vào index sử dụng _bulk

Trước tiên bạn cần mở index ra trước

Sử dụng phương thức POST và gọi localhost:9200/team/_open

Sau đó bạn chuẩn bị 1 file json để lưu trữ dữ liệu sau:

{"create": { "_id": 1, "_type": "member"}
{"id": "5510ce4ee174054836ef3c5a","name": "Vargas Rosa","email": "vargasrosa@zizzle.com","age": 25,"phone": "+1 (807) 530–3567","image": "http://api.randomuser.me/portraits/men/78.jpg","description": "enim Lorem upidatat et nostrud ut irure qui qui nulla qui deserunt fugiat laborum elit","technologies": "ios javascript python"}
{"create": { "_id": 2, "_type": "member"}
{"id": "5510ce4e24ecdab88fe18d06","name": "Navarro Thornton","email": "navarrothornton@zizzle.com","age": 34,"phone": "+1 (896) 579–3364","image": "http://api.randomuser.me/portraits/men/59.jpg","description": "sit enim velit cillum magna commodo tempor","technologies": "swift erlang java"}
{"create": { "_id": 3, "_type": "member"}
{"id": "5510ce4e6e7bbdbc120c9a89","name": "Francine Aguirre","email": "francineaguirre@zizzle.com","age": 30,"phone": "+1 (963) 492–3402","image": "http://api.randomuser.me/portraits/men/82.jpg","description": "cu et sit ullamco tempor Lorem excepteur magna pariatur","technologies": "javascript ionic ruby"}
{"create": { "_id": 4, "_type": "member"}
{"id": "5510ce4ebd2a509edd8c6b50","name": "Krystal Simmons","email": "krystalsimmons@zizzle.com","age": 40,"phone": "+1 (857) 418–2040","image": "http://api.randomuser.me/portraits/women/10.jpg","description": "ea dolor ex proident eiusmod et ut irure esse","technologies": "ruby c c"}

Cuối cùng ta sẽ thực hiện import bằng câu lệnh sau:

Sử dụng phương thức PUT và gọi http://localhost:9200/team/member/_bulk

Lấy toàn bộ dữ liệu của index (or Select * from table)

Sử dụng phương thức GET và gọi  localhost:9200/team/_search?size=500&pretty=true&q=*:*

#Kết quả trả về
{
    "took": 247,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 4,
        "max_score": 1,
        "hits": [
            {
                "_index": "team",
                "_type": "member",
                "_id": "2",
                "_score": 1,
                "_source": {
                    "id": "5510ce4e24ecdab88fe18d06",
                    "name": "Navarro Thornton",
                    "email": "navarrothornton@zizzle.com",
                    "age": 34,
                    "phone": "+1 (896) 579–3364",
                    "image": "http://api.randomuser.me/portraits/men/59.jpg",
                    "description": "sit enim velit cillum magna commodo tempor",
                    "technologies": "swift erlang java"
                }
            },
            ...

Tìm kiếm cụ thể

Sử dụng phương thức POST và gọi  localhost:9200/team/_search?pretty=true

# đồng thời truyền json object sau 
{
  "query": {
    "match": {
        "technologies": "ruby"
    }
  }
}

#Kết quả trả về 
{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 0.6931472,
        "hits": [
            {
                "_index": "team",
                "_type": "member",
                "_id": "4",
                "_score": 0.6931472,
                "_source": {
                    "id": "5510ce4ebd2a509edd8c6b50",
                    "name": "Krystal Simmons",
                    "email": "krystalsimmons@zizzle.com",
                    "age": 40,
                    "phone": "+1 (857) 418–2040",
                    "image": "http://api.randomuser.me/portraits/women/10.jpg",
                    "description": "ea dolor ex proident eiusmod et ut irure esse",
                    "technologies": "ruby c c"
                }
            },
            {
                "_index": "team",
                "_type": "member",
                "_id": "3",
                "_score": 0.2876821,
                "_source": {
                    "id": "5510ce4e6e7bbdbc120c9a89",
                    "name": "Francine Aguirre",
                    "email": "francineaguirre@zizzle.com",
                    "age": 30,
                    "phone": "+1 (963) 492–3402",
                    "image": "http://api.randomuser.me/portraits/men/82.jpg",
                    "description": "cu et sit ullamco tempor Lorem excepteur magna pariatur",
                    "technologies": "javascript ionic ruby"
                }
            }
        ]
    }
}

Xóa index

Sử dụng phương thức DELETE và gọi  http://localhost:9200/team

Conclusions

Như vậy trong phần này chúng ta đã tìm hiểu về các phần sau

Cài đặt và setup elasticsearch
Sử dụng postman để tương tác với elasticsearch
Thực hiện một số câu lệnh cơ bản trong elasticsearch

Ở phần tiếp theo mình sẽ tìm hiểu sâu hơn các câu truy vấn trong elasticsearch và có những demo cho các chức năng đó. Cảm ơn các bạn đã theo dõi bài viết của mình.

References

https://medium.com/@udayms/elasticsearch-reactjs-fd5059140760
https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html
https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html

Bình luận về bài viết này

Trịnh Tiến Mạnh

27 chủ đề

6824 bài viết

Elasticsearch for dummies

Getting started

Introduction to the Elasticsearch

Postman

Working with JSON documents

Basics

CRUD - Create / Read / Update / Delete

Conclusions

Đăng ký nhận thông báo

HỖ TRỢ HỌC VIÊN

VỀ CODE24H

HỢP TÁC VÀ LIÊN KẾT

KẾT NỐI VỚI CHÚNG TÔI

TẢI ỨNG DỤNG TRÊN ĐIỆN THOẠI