30/09/2018, 19:08
Download multiple URLs
Chào mọi người,
Mình là newbie, hiện đang làm 1 project nhỏ, auto download truyện tranh trên 1 trang nhất định, mình đã demo thành công được rồi nhưng mà vấn đề là download hơi chậm vì down 1 truyện là down hết mấy trăm chap, mỗi chap tầm 20-25 ảnh .jpg.
Sau khi tìm hiểu các biện pháp speedup thường dùng thì có người bảo dùng coroutine, có người bào dùng thread, có người bảo dùng async IO.
Ai có kinh nghiệm xin chỉ ra sự khác nhau giữa các biện pháp xử lí này/ hoàn cảnh sử dụng phù hợp dùm mình? (mình biết được là khi thực hiện các IO bound operation thì nên dùng thread nhưng mà không hiểu tại sao cho lắm?)
EDIT: Mình viết bằng python 3.5.1, module: requests, beautifulSoup4
Bài liên quan
Bạn có sử dụng DB không? Chạy bằng cmd chứ? =))
à không có DB gì cả ghi file trực tiếp luôn
=)) bạn lưu n vàng mảng ý
mình chưa hiểu lắm ý của bạn, nếu lưu vào mảng xong ghi ra 1 lúc thì đâu có tăng tốc được gì