30/09/2018, 21:34
JSoup tự động dừng
Mọi người ơi cho mình hỏi vấn đề này:
Mình sử dụng JSoup để parse dữ liệu của 1 trang web. Khi mình parse 1 lượng lớn url ví dụ là 14 nghìn url thì đang chạy tự dưng nó dừng lại luôn không chạy tiếp nữa và cũng không sinh ra lỗi.
Vậy là nó do vấn đề gì vậy? có phải do timeout không ạ?
Bài liên quan
Phán đoán sơ bộ thì có thể ứng dụng của bạn hết vượt giới hạn memory cho phép. Hoặc tăng kích thước của heap allocation, hoặc sử dụng một service khác để lưu thay vì lưu hết tất cả trên memory, có thể là file, có thể là một cache service như Redis.
Ứng dụng Java mà có lỗi, chắc chắn sẽ luôn bắn ra nội dung lỗi. Bạn ghi ra chi tiết thì mới có thể hỗ trợ được.
Cảm ơn bạn đã góp ý
Bạn ơi, nó không sinh ra 1 lỗi nào cả mà hiện tượng là trang web đang load dữ liệu vẫn in ra nhưng tự dưng nó dừng luôn không load nữa. Mình nghĩ có thể do mình sử dụng 1 cái biến ArrayList để chứa dữ liệu của các đối tượng khi mình lấy được dữ liệu có thể nó lớn qúa hoặc có thể do webserver của trang mình lấy dữ liệu nó phát hiện được ip này gửi qúa nhiều request lên trong thời gian ngắn nên nó block lại,
Mình cho nó chạy được rồi cũng không hiểu là do firefox hay do gì nữa, nhưng lúc đầu mình viết bằng ứng dụng web jsp/servlet rồi hôm nay mình viết lại cho nó về ứng dụng desktop bằng java thì chạy ngon rồi