01/10/2018, 10:00
Get Amazon product ko giới hạn?
Chào các bác, em muốn làm 1 site như này :
http://fado.vn/us/s/cat/?rh=n:7147441011
- Ko giới hạn số lượng sản phẩm
- Ko giới hạn số page
- Các dữ liệu giống Amazon.com
- Có đủ filer sidebar giống amazon.com
Em đã thử dùng Amazon Product Advertising API:
- Giới hạn nhưng nó bị giới hạn 10 sp/ 1 lần
- Giới hạn max là 10 page.
- Giới hạn chỉ lọc dc với 1 số atribute (Author, min - max price)
Có bác nào đã từng làm trang như này hoặc có idea gì cho em xin keyword với ạ . Em cảm ơn ạ !
Bài liên quan
Dùng API không được thì chắc là crawl thôi
Cảm ơn bác, em đã thử crawl nhưng ko lâu dài dc bác ạ :(( request nhiều đã bị amazon nó block :((
Bạn có đổi user agents và dùng proxies chưa
Ngoài ra, dùng headless browser như selenium cũng đỡ đỡ đấy.
Cảm ơn bác, em cũng đang thử proxy cho curl!
Cảm ơn bác, em cũng đang dùng curl để lấy data. Nhưng ý bác enable cookie là enable ở đâu ạ? Mong bác chỉ thêm ạ .
tất cả các cách trên thì cách nào cũng bị dính captcha thôi … bạn nào chỉ bật cookie hay headless browser sẽ ko bị là tầm bậy nhé … chẳng qua là lượng request quá nhỏ nên ko bị thôi =]]
đúng là trước đây bọn fado nó crawl … nhưng từ tháng 8 năm ngoái thì amazon đã publish riêng API cho tụi fado nó dùng rồi … ( bồ của nhỏ bạn mình làm dev trong đây )
Đúng là dạo gần đây amazon nó thắt chặt bắt nhập captcha hết rồi, nhập thì crawl được khoảng 2h thi lại bị. Xem trong DOC api product của amazon thì limit rất nhiều @nile có cách nào liên hệ với bạn dev bên fado chỉ cách đăng ký riêng API ko ? Thanks.
Enable cookie cũng bị ah bác, bác đã khắc phục được chưa ?