Làm thế nào để có thể thu thập dữ liệu người dùng trong bất kì nghành nghề nào trên internet?

hi Sơn Phạmson_pham.
Bạn làm 1 cái google form rồi đem lên face hoặc cá diễn đàn xin thông tin.

cảm ơn Phong_Ky_Vo. đây cũng là một cách hay, mình muốn hỏi thêm về xử lý kiểu dạng thuật toán. lượng ng dùng internet rất nhiều, có cách nào thuộc dạng thuật toán có thể tìm kiếm nhanh các số liệu trong một nghành , một lĩnh vực nhất định từ đó mình có thể sử lý dữ liệu thô và suất ra một bản dữ liệu về nghành nghề đó.

Hi Sơn Phạmson_pham.
Mình không rõ lắm câu hỏi của bạn ? Ý bạn là có cách nào kết xuất thông tin từ internet không ? (Các bài đang bình luận v.v.v.)
Thường thì tùy vào lĩnh vực mục đích mà có thể có hoặc không.
VD. Các dữ liệu về khoa học bạn có thể xem http://data.okfn.org/data
Các dữ liệu về pass thông tin người dùng thì có thể mua lại trên trợ đen hoặc các nhà cung cấp dịch vụ.
Các dữ liệu đặc thù hơn như nghiên cứu thị trường v.v.v… thường do các công ti thực hiện và không public.
Bạn có thể nói rõ hơn về đề tài của mình để mọi người cùng xem ?

Đúng rồi, ý mình là **có cách nào kết xuất thông tin từ internet không ? **
mình có ý tưởng là muốn xây dựng một CSDL về tình hình thị trường trong bất kì một nghành nghề nào đó từ việc kết hợp cả việc trực tiếp và gián tiếp.
trực tiếp thì có thể là phỏng vấn, thảo luận,…
gián tiếp tức là kết xuất thông tin từ internet từ việc làm google form, điều tra thông tin từ thói quen ng dùng trên internet.
ví dụ trong nghành thời trang thì mình có thể thu thập tất cả ( một phần ) dữ liệu từ tất cả những gì người dùng tung hoặc tra cứu trên đó bằng một cách nào đó. để lấy đc dữ liệu thô tạm thời nhắm xử lý nhiều hơn về sau

Hy vọng bạn có thể thành công trong việc này vì nó có thể giúp nhiều người có thể khai thác kho dữ liệu đồ sộ trên internet mà không cần bỏ ra hàng triệu đô để mua như bây giờ.

Data Warehousing Tutorial
Big Data.

Cảm ơn Lười. Data Warehousing Tutorial là thứ mình đang muốn tìm kiếm. mình cũng đã GG thủ về cách xây dựng nó. nếu bạn có ý tưởng j mới và có thêm các tài liệu hay về Data Warehousing Tutorial. bán có thể chia sẻ cho mình và mọi người biết được không

Công cụ thu thập dữ liệu còn chưa có thì nghiên cứu DWH làm gì, một cái file excel là đủ giải quyết từ những kênh như thế này rồi:

trực tiếp thì có thể là phỏng vấn, thảo luận,…gián tiếp tức là kết xuất thông tin từ internet từ việc làm google form

Chừng nào bạn có kênh thu thập dữ liệu tự động, và nhiều dữ liệu thì hãy quay lại đây.

làm thế nào để có thể thu thập dữ liệu người dùng trong bất kì nghành nghề nào trên internet đươc không

Bài toán của bạn có 3 phần:

• Làm cách nào để thu thập?
• Làm cách nào để lưu trữ và xử lý?
• Xử lý như thế nào?

Thật sự các công ty lớn cũng đang chật vật để xử lý được bài toán bạn đặt ra một cách tự động cho 1 lĩnh vực cụ thể. Còn “cho tất cả lĩnh vực” thì mình chưa thấy công ty nào dám làm cả .

Đa số các chuyên gia chỉ giỏi 1 hoặc 2 bài toán thôi, bạn kham một mình không nổi đâu :D.

Về việc thu thập, bạn tìm với từ khóa web crawling / scraping.
Về lưu trữ, bạn có thể tìm với từ data engineering / big data. Ví dụ https://bigdatauniversity.com/learn/big-data/
Về xử lý, bạn tìm với từ khóa data mining, text mining, data analysis, information retrieval. http://cs109.github.io/2015/

Tìm bằng cách thông thường thì rất tốn kém thời gian và tiền bạc, đôi khi độ chính xác cũng không cao. Vậy thì mình mới nói chuyện đến những thuật toán có thể tìm ra được những dữ liệu đó. mình muốn tìm kiếm dữ liệu trong phạm vi trong quốc gia. Tham khảo các trang web chỉ là trên quốc tế chứ đâu có phục vụ thị trường trong nước mình và giúp các doanh nghiệp trong nước.
mình nghĩ những người làm CNTT là để đưa ra các vấn đề và tìm cách xử lý vấn đề đó, chứ không chỉ học viết mã rồi ng ta bảo viết gì thì viết đấy.
trước khi Google ra đời thì ý tưởng thu thập thông tin trên toàn thế giới để thuận tiện cho việc tìm kiếm là điên rồ và vô lý.

Mình không có kênh nào như thế, chỉ có một ý tưởng như thế. nếu mình có rồi thì không cân thảo luận và hỏi mọi người nữa. bạn có thể nói rõ hơn về ý tưởng" một cái file excel là đủ giải quyết từ những kênh như thế này rồi " không ?

Không hiểu sao đọc topic này mình lại liên tưởng đến tấm này
http://d24kfg5vae7qnd.cloudfront.net/wp-content/uploads/2014/04/dilbert.com_.gif

nếu bạn làm bằng tay được thì trình bày với mọi người từng bước. mọi người sẽ hiểu ý tưởng của bạn hơn. sau đó có thể gợi ý cho bạn một số công cụ hoặc thuật toán để giải quyết.
bạn cần giới hạn ý tưởng lại thành những cái cụ thể , lúc đó xem xét giải quyết được không, từ đó mới mở rộng ra.

Tìm bằng cách thông thường thì rất tốn kém thời gian và tiền bạc, đôi khi độ chính xác cũng không cao

cách thông thường là như thế nào? thuật toán chỉ là diễn tả lại cách làm “thông thường” này một cách thống nhất. ở đây nếu bạn muốn một thuật toán “khác” thì bạn cần diễn tả cách làm “khác” của bạn.