01/10/2018, 08:46
Scraping graph data on Keepa.com
Chào mọi người,
Mình đang có nhu cầu cần crawl dữ liệu từ chart trong trang này, khi mình down offline trang này về thì không thấy chart đâu, có phải chart được vẽ lúc load trang và bằng javascript không? Có cách nào để chen ngang vào và lấy dữ liệu này không?
Bài liên quan
Mình nghĩ chắc phải dùng selenium rồi execute js code thôi cơ mà để mò được data nó nằm ở đâu cũng khoai phết, phải rành js mới mò nhanh được
Đây mình đặt breakpoints mãi mới tìm được đến đây
Mình cũng có debug sơ qua và thấy là nó tính toán số liệu để vẽ chart bằng js, input query từ server thông wss (web socket secure), nếu không dùng selenium hay những tool automation thì có cách nào lấy thông qua wss được không?
Mình không chắc lắm, b thử xem, chắc cứ đọc đoạn js nó request wss rồi bắt chước y hệt là được
WSS có yêu cầu authenticate ko ta, nếu có thì bó tay rồi
Mình cũng không rõ, mình thấy nó có cái token gì đó lưu trong localStorage và được sử dụng trong lúc wss, nhưng về lý thuyết thì phải làm được chứ, nó authen như nào thì mình làm y vậy chỉ có cái là giờ phải nghiên cứu về wss + ngồi đọc cái code js tên biến toàn a,b,c,d kia để bắt chước thôi
Mà dùng selenium cũng được mà, tốn resource tí nhưng được cái tiết kiệm thời gian dev