30/09/2018, 20:34
Thiết kế trang Web tìm kiếm
Em đang muốn thiết kế 1 trang web với ý tưởng như của Google, nhưng mà chỉ tìm kiếm trong phạm vi nhỏ. Em chưa định hướng được sẽ cần phải có và làm những gì ? Nhờ các anh tư vấn giúp em với ạ.
Bài liên quan
banj tham khao nha
VIETISO.COM
Khám phá thuật toán tìm kiếm của Google
Google công bố 1 bài kết quả nghiên cứu về đánh giá hiệu quả của Sitemaps trong qui trình tìm kiếm
Bạn tìm kiếm theo từ khóa “information retrieval” á. Một hệ thống như vậy thường cần phải làm qua các bước: Thu thập dữ liệu thông qua crawler, lưu trữ thông tin và tiền xử lý, xử lý câu truy vấn và xếp hạng kết quả.
Chủ để này rất rộng, nếu muốn tìm hiểu hết thì bạn có thể xem sách, ví dụ như http://nlp.stanford.edu/IR-book/. Còn để đơn giản bạn có thể chỉ tìm hiểu về crawler để thu thập dữ liệu và sử dụng một hệ thống lưu trữ và truy vấn văn bản như elasticsearch, lucene.
Hoặc đơn giản nhất là xài cái này http://nutch.apache.org
http://blog.building-blocks.com/technical-tips/building-a-search-engine-with-nutch-and-solr-in-10-minutes
1, Nếu bạn muốn crawler với số lượng site nhỏ thì dùng http://scrapy.org/
2, Nếu crawler nhiều site thì dùng cái này : http://nutch.apache.org/(Nutch nó rất hay khả năng mở rộng cực tốt,cho người ta can thiệp vào mọi quá crawler mà nutch nó là việc.Ngoài ra nó còn phục vụ cho bài toán search engine)