01/10/2018, 10:18

Hỏi lỗi chương trình Scrapy Python

Các bác cho em hỏi chút, em xây dựng thử 1 chương trình scrape dữ liệu từ web, khi em chạy spider thì trên terminal báo lỗi này nghĩa là sao ạ?

[]
2017-07-05 23:24:40 [scrapy.core.engine] INFO: Spider opened
2017-07-05 23:24:40 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-07-05 23:24:40 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2017-07-05 23:24:41 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.vietnamworks.com/robots.txt> (referer: None)
2017-07-05 23:24:41 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.vietnamworks.com/viec-lam-tai-ha-noi-v24-vn> (referer: None)
2017-07-05 23:24:41 [py.warnings] WARNING: /Users/haminhthuan/Desktop/craigslist_sample/craigslist_sample/spiders/craig.py:12: ScrapyDeprecationWarning: scrapy.selector.HtmlXPathSelector is deprecated, instantiate scrapy.Selector instead.
hxs = HtmlXPathSelector(response)

2017-07-05 23:24:41 [scrapy.core.engine] INFO: Closing spider (finished)

Ha Minh Thuan viết 12:30 ngày 01/10/2018

up, bác nào giúp em với ạ

Lương Quang Mạnh viết 12:28 ngày 01/10/2018
  1. Bạn thử chuyển từ scrapy.selector.HtmlXPathSelector sang dùng scrapy.Selector theo cái warning kia xem (không chắc lắm vì chỉ là warning)
  2. Xem lại robots.txt xem trang này có cấm crawl dữ liệu không
Bài liên quan
0