BỘ MÔN CNTT TỔ CHỨC SEMINA CHUYÊN ĐỀ THÁNG 9/2023

Nghiên cứu tổng quan về các kỹ thuật để sinh chú thích cho ảnh như chú thích ảnh dựa trên truy xuất thông tin, dựa trên khuôn mẫu và đặc biệt chú thích học dựa trên học sâu đã mang lại cuộc cách mạng trong sinh chú thích cho ảnh.

Ngoài cập nhật các nghiên cứu mới ra, tác giả còn giới thiệu các tập dữ liệu phục vụ huấn luyện và kiểm thử hệ thống sinh chú thích, các loại độ đo phổ biến để đánh giá hiệu quả sinh chú thích cho ảnh và đề xuất một số hướng nghiên cứu về lĩnh vực chú thích ảnh mà các nhà nghiên cứu có thể đi sâu tìm hiểu.

1. Tổng quan quy trình hoạt động của sinh chú thích cho ảnh

- Mã hóa đặc trưng ảnh:

Mã hóa đặc trưng ảnh: loại bỏ các lớp phân loại.

- Giải mã tuần tự

- Tạo câu

2. Các kiến trúc của sinh chú thích cho ảnh

- Kiến trúc: Encoder-Decoder

- Kiến trúc: Multi-Modal

- Kiến trúc: Object Detection backbone

- Kiến trúc: Encoder-Decoder với Attention

- Kiến trúc: Encoder-Decoder với Transformers

- Kiến trúc: Dense Captioning