𝐓𝐫𝐚𝐧𝐬𝐟𝐞𝐫 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠; 𝐅𝐢𝐧𝐞-𝐭𝐮𝐧𝐢𝐧𝐠; 𝐌𝐮𝐥𝐭𝐢𝐭𝐚𝐬𝐤 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠 𝐯à 𝐅𝐞𝐝𝐞𝐫𝐚𝐭𝐞𝐝 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠.

1. Chuyển tiếp học tập (Transfer Learning)

Chỉ hữu dụng khi: - Nhiệm vụ quan tâm có ít dữ liệu hơn. - Nhưng một nhiệm vụ liên quan có dữ liệu phong phú hơn Đây là cách nó hoạt động: 

• Đào tạo mô hình mạng nơ-ron (mô hình cơ sở) về nhiệm vụ liên quan. - Thay thế một vài lớp cuối cùng trên mô hình cơ sở bằng các lớp mới. 

• Đào tạo mạng về nhiệm vụ cần quan tâm, nhưng không cập nhật trọng số của các lớp không được thay thế. 

• Đào tạo về một nhiệm vụ liên quan trước tiên cho phép mô hình nắm bắt các mẫu cốt lõi của nhiệm vụ quan tâm. Nhưng không cập nhật trọng số của các lớp được thay thế

• Đào tạo về một nhiệm vụ liên quan trước tiên cho phép mô hình nắm bắt các mẫu cốt lõi của nhiệm vụ quan tâm. Tiếp theo, nó có thể điều chỉnh một vài lớp cuối cùng để nắm bắt hành vi cụ thể của nhiệm vụ

2. Tinh chỉnh (Fine - Tunning)

Cập nhật trọng số của một số hoặc tất cả các lớp của mô hình được đào tạo trước để thích ứng với nhiệm vụ mới

Ý tưởng có thể xuất hiện tương tự như chuyển giao. Nhưng ở đây, toàn bộ mô hình được đào tạo trước thường được điều chỉnh theo dữ liệu mới

3. Học đa tác vụ (Multitask Learning)

Một mô hình được đào tạo để thực hiện nhiều nhiệm vụ liên quan cùng một lúc.

Về mặt kiến trúc, mô hình có:

• Một mạng chia sẻ
• Và các chi nhánh theo nhiệm vụ cụ thể

Lý do là chia sẻ kiến thức qua các nhiệm vụ để cải thiện khái quát hóa. Trên thực tế, chúng ta cũng có thể tiết kiệm sức mạnh tính toán với Multitask Learning

• Hình dung đào tạo 2 mô hình độc lập về các nhiệm vụ liên quan
• Bây giờ hãy so sánh nó với việc có một mạng với các lớp được chia sẻ và sau đó là các nhánh cụ thể của nhiệm vụ

Tùy chọn 2 thường sẽ dẫn đến:

• Khái quát hóa tốt hơn trên tất cả các nhiệm vụ
• Ít bộ nhớ hơn để lưu trữ trọng lượng cấu hình
• Sử dụng tài nguyên ít hơn trong suốt quá trình đào tạo

4. Học tập liên kết (Federated Learning)

Đây là một cách tiếp cận không tập trung đối với ML. Tại đây, dữ liệu đào tạo vẫn còn trên thiết bị của người dùng. Vì vậy theo một cách nào đó, nó giống như gửi cấu hình đến dữ liệu thay vì dữ liệu đến cấu hình. Để bảo vệ quyền riêng tư, chỉ các bản cập nhật cấu hình mới được thu thập từ các thiết bị và được gửi đến máy chủ

Bàn phím của điện thoại thông minh là một ví dụ tuyệt vời cho trường hợp này. Nó sử dụng FL đề học các mẫu đánh máy. Điều này xảy ra mà không cần truyền các tổ hợp phím nhạy cảm đến một máy chủ trung tâm

Chú ý: 

Ở đây, mô hình được đào tạo trên các thiết bị nhỏ. vì vậy, nó PHẢI nhẹ nhưng hữu ích. Đây là một cách tiếp cận không tập trung đối với ML. Tại đây, dữ liệu đào tạo vẫn còn trên thiết bị của người dùng.