10/10/2018, 09:29

Phát hiện từ/cụm từ có nghĩa từ văn bản?

Mình đang nghiên cứu vấn đề phát hiện những từ/cụm từ có nghĩa, có thể hiểu được với con người từ một văn bản bất kì. Các bác có ý tưởng gì ko? Mình đã nghĩ đến việc tạo một db lưu các từ/cụm từ đó nhưng như vậy thì làm thủ công sao? Phải có cách gì đó tự động chứ? Kiểm tra số lần lặp lại trong văn bản đó cũng không khả thi vì đôi khi cụm từ chung chung cũng được lặp lại nhiều. Có lẽ cái này liên quan đến thuật toán sắp xếp nào đó... chà chà thú vị

Bác nào pro cho em xin ít ý kiến với
jiSh@n viết 11:45 ngày 10/10/2018
Hình như cái này nó có bà con họ hàng với Data Mining và Text Categorization gì đấy thì phải
bka viết 11:42 ngày 10/10/2018
Được gửi bởi cái nick đó
Mình đang nghiên cứu vấn đề phát hiện những từ/cụm từ có nghĩa, có thể hiểu được với con người từ một văn bản bất kì. Các bác có ý tưởng gì ko? Mình đã nghĩ đến việc tạo một db lưu các từ/cụm từ đó nhưng như vậy thì làm thủ công sao? Phải có cách gì đó tự động chứ? Kiểm tra số lần lặp lại trong văn bản đó cũng không khả thi vì đôi khi cụm từ chung chung cũng được lặp lại nhiều. Có lẽ cái này liên quan đến thuật toán sắp xếp nào đó... chà chà thú vị

Bác nào pro cho em xin ít ý kiến với
máy móc là do con người tạo ra mà. mình nghĩ cái này chỉ thuật toán là 1 phần thôi. có lẽ vẫn phải thủ công.
pcdinh viết 11:39 ngày 10/10/2018
Không, cái này thuộc NLP, xử lý ngôn ngữ tự nhiên. Thỉng thoảng đọc được mấy bài nghiên cứu của các Vịt nhưng mà chẳng thấy code đâu cả.

Cái này phải có thống kê, phải nắm được ngôn ngữ học (hình thức và văn phạm). Còn ML chỉ xử lý trên tập rule thôi. Chỉ có IT ko thì khóc đi
serivn viết 11:45 ngày 10/10/2018
Trong mấy cai môn mà mình được học thì cái môn gọi là : "Lý thuyết tính toán - hay lí thuyết ngôn ngữ" cũng có nói về việc nhận dạng một chuỗi nhập vào có hợp lệ theo một cấu trúc văn phạm nào cho trước hay ko (Grammar), có lẽ nó gần với yêu cầu của bạn!!! Bạn thử tìm hiểu về vấn đề này coi!!!
Bài liên quan
0