01/10/2018, 08:20
Xin giúp đỡ về việc crawl Amazon bằng Scrapy
Tình hình là mình đang dùng scrapy để crawl sản phẩm áo thun trên Amazon.
Nhưng mỗi khi gửi request đến url này https://www.amazon.com/s/ref=s9_acss_bw_cts_novclo_T1_w?rh=i%3Afashion-novelty%2Cn%3A7141123011%2Cn%3A7147445011%2Cn%3A12035955011%2Cn%3A9103696011%2Cn%3A9056985011%2Cp_6%3AATVPDKIKX0DER&bbn=9103696011&sort=date-desc-rank&ie=UTF8&pf_rd_m=ATVPDKIKX0DER&pf_rd_s=merchandised-search-3&pf_rd_r=NXSN2BTBF7AB7YB7M0S6&pf_rd_t=101&pf_rd_p=e788f135-61de-45f6-84ce-c4c77ded408a&pf_rd_i=7147445011 (dài kinh )
thì toàn bị redirect sang url này https://www.amazon.com/Men-Amazon-com-Novelty/s?ie=UTF8&page=1&rh=n%3A9056985011%2Cp_6%3AATVPDKIKX0DER
Mong mọi người giúp mình, xin cảm ơn nhiều!
Bài liên quan
Khả năng là do user agent, bạn add cái user agent của chrome hay firefox vào thử xem
Mình đã đổi user agent về của Firefox (vì mình có dùng selenium cùng geckodriver) và đã thành công . Cảm ơn bạn!