Linear discriminant analysis là gì

Phân loại

Lý thuyết học sản phẩm công nghệ (31)Quy hoạch lồi (13)Thuật toán (6)

Lưu trữ

Thống kê

226657 lần xem

Bài vừa mới đây

Trang

Blogroll

Quản trị

Theo dõi

Blog D.Q. Huy

Xem nhiều nhất

Phân lớp bằng siêu phẳng (2) – Sử dụng các đại lượng thống kê (linear discriminantanalysis)

Posted by trằn Quốc Long trên mon Tám 1, 2008

Ta đã thấy, Perceptron cùng với thuật toán huấn luyện hoàn toàn có thể chỉ ra bộ trọng số

phân bóc tách được tập mẫu học. Tuy nhiên, hiệu quả này hoàn toàn không cân nhắc phân bố phần trăm của tài liệu mà chỉ tìm cách phân lớp đường tính một tập mẫu học đến trước. Trong bài xích này, ta sẽ mày mò một bí quyết tiếp cận khác để giảng dạy một hàm phân lớp tuyến tính, trong số đó có áp dụng các đại lượng thống kê của tài liệu (ví dụ: quý hiếm kì vọng, ma trận hiệp phương sai).

Bạn đang xem: Linear discriminant analysis là gì

Ta vẫn biết, nếu trả sử tài liệu từ nhị lớp

mọi tuân theo phân bố chuẩn với ma trận hiệp phương sai tương tự nhau, nhóc con giới phân lớp về tối ưu là hết sức phẳng với vectơ pháp con đường (trọng số ) là

với

là kì vọng, là ma trận hiệp phương không đúng của cả 2 lớp đối tượng.

Xem thêm: 9 Tác Dụng Thần Kỳ Của Quýt Có Tác Dụng Gì ? 10 Tác Dụng Không Thể Bỏ Qua

Hàm phân lớp tuyến đường tính của Fisher (Fisher’s linear discriminant – FLD)

Năm 1936, Fisher gợi nhắc sử dụng hàm phân lớp con đường tính làm thế nào cho dữ liệu qua ánh xạ con đường tính sẽ cực lớn hóa tỉ số

trong đó:

Độ phân tách bóc giữa nhì lớp sau ánh xạ tuyến đường tính:

Ta hy vọng

càng bự càng giỏi (kì vọng của 2 lớp bí quyết xa nhau).Tổng phương không nên của nhì lớp sau ánh xạ đường tính:

Ta ý muốn

càng nhỏ tuổi càng tốt (phương sai của 2 lớp nhỏ).

Xem thêm: Sinh Ngày 1 Tháng 11 Thuộc Cung Gì, Ngày 1/11 Là Ngày Gì

Cực đại hóa :

Đặt

, bài xích toán cực đại hóa tương đương với

Lấy gradient của

theo với đặt bằng , ta được

Để ý là

, bởi đó, giá bán trị cực lớn của đạt tại

Nhận xét:

Hướng là hướng (1 chiều) dễ minh bạch 2 lớp đối tượng nhất. Đây là gợi nhắc dẫn cho các phương thức giảm số chiều (dimension reduction) của tài liệu nhưng vẫn bảo đảm khả năng phân lớp.

Posted in lý thuyết học thiết bị | Thẻ: cực lớn hóa khả năng, dimension reduction, Fisher, fisher"s linear discriminant, bớt số chiều, kì vọng, linear discriminant analysis, ma trận hiệp phương sai, maximum likelihood estimation, MLE, perceptron | Leave a comment »