Ứng dụng mô hình BERT trong bài toán phân loại văn bản

Tóm tắt báo cáo

Báo cáo trình bày về mô hình BERT (Bidirectional Encoder Representations from Transformers - Mã hóa biểu diễn hai chiều dựa trên Transformers) là mô hình gồm nhiều mô hình học sâu chuyển tiếp được sử dụng nhiều trong thời gian gần đây cho các bài toán xử lý ngôn ngữ tự nhiên bởi nó đã được huấn luyện trên lượng dữ liệu ngôn ngữ khổng lồ. Báo cáo tìm hiểu về khả năng sử dụng BERT trong một số bài toán phân loại văn bản theo sắc thái, chủ đề.