Cảng HKQT Nội Bài (NIA)
Slideshow HTML5
Computer Vision • AI cho vận hành sân bay

Ứng dụng Computer Vision
trong vận hành sân bay

Tổ Computer Vision – Cảng HKQT Nội Bài (ACV)

01/07/2025
Ngày thành lập tổ
3
Thành viên thường trực
4+
Dự án đang triển khai
Người trình bày: Nguyễn Mạnh Cường • Tháng 10/2025
Phím ←→ hoặc Space để điều khiển
Tổ Computer Vision
Thành lập 01/07/2025

Sứ mệnh & Vai trò

  • Nghiên cứu & triển khai AI/Computer Vision cho vận hành sân bay.
  • Tự chủ thuật toán, làm chủ hạ tầng, dữ liệu & bảo mật.
  • Thí điểm → chuẩn hóa → mở rộng toàn sân bay.

Tổ có 3 thành viên thường trực, phối hợp chặt chẽ với Khối Khai thác, An ninh, CNTT.

Năng lực cốt lõi

  • Phát hiện/nhận diện: người, vật thể, bất thường (FOD).
  • Đếm người theo ROI, ước lượng thời gian chờ, heatmap.
  • Hệ thống thời gian thực: RTSP, WebSocket, Dashboard.

Nguyên tắc triển khai

  • Chính xác, ổn định, realtime; tôn trọng riêng tư.
  • Modular, có thể mở rộng; giám sát & ghi log đầy đủ.
  • Đánh giá A/B, đo lường KPI; cải tiến liên tục.
© 2025 ACV • Nội Bài
←→
Dự án 1
FOD Detection – Runway/Taxiway

Phát hiện dị vật FOD trên đường băng

  • YOLO: đạt kết quả bước đầu ở điều kiện ban ngày, trời quang.
  • Hạn chế: nhiễu do glare, mưa, ban đêm, sương mù, vật thể rất nhỏ.
  • Hướng cải tiến:
    • Tăng cường dữ liệu: low-light, fog/haze, rain; synthetic augmentation.
    • Kết hợp anomaly detection (PatchCore/PaDiM), teacher-student, background modeling.
    • Fusion cảm biến: IR/thermal (khi khả thi); multi-view/tracklet xác nhận.

Kỳ vọng vận hành

  • Cảnh báo sớm, giảm rủi ro FOD; hỗ trợ quy trình kiểm tra đường băng.
  • Dashboard hiển thị vị trí nghi vấn, ảnh minh chứng, timeline sự kiện.
  • API tích hợp: nhật ký an toàn bay, quy trình xử lý hiện trường.
Trạng thái: Thử nghiệm hiện trường (POC) • Đang tối ưu hoá
←→
Demo hiện trường
FOD – PTZ test 06/2025
Nguồn: Test PTZ tháng 06/2025
←→
Dự án 2
Sinh trắc học khuôn mặt

Điểm danh & Chào mừng đại biểu

  • Nhận diện khuôn mặt, hiển thị lời chào cá nhân hóa trên màn hình.
  • Đã áp dụng tại Đại hội đại biểu ACV; tốc độ nhận diện nhanh, trải nghiệm tốt.
  • Quyền riêng tư: lưu ảnh/embedding theo chính sách; kiểm soát truy cập & audit log.

Lợi ích

  • Chuyên nghiệp hóa khâu đón tiếp; tự động hóa điểm danh.
  • Dễ dàng thống kê, báo cáo, truy vết theo ca/sự kiện.
  • Có thể mở rộng cho kiểm soát truy cập nội bộ.
Trạng thái: Đã triển khai thực tế (event)
←→
Hình ảnh thực tế
Face greeting – gallery
Ảnh 1 – Dự án 2
Ảnh 2 – Dự án 2
Nguồn: Ảnh minh hoạ dự án 2
←→
Dự án 3
Ước lượng thời gian xếp hàng (Security queue)

Nguyên lý đo thời gian

  • Camera làn vào phát hiện khuôn mặt/đặc trưng → gán mã nhận diện tạm.
  • Camera làn ra match cùng đối tượng → tính delta thời gian chờ.
  • Ẩn danh hóa ID; chỉ lưu số liệu thống kê & ảnh minh chứng theo quy định.

Ứng dụng & KPI

  • Hiển thị thời gian chờ theo làn/khu vực, theo khung giờ.
  • Hỗ trợ bố trí nhân sự (staffing), tối ưu bố cục làn.
  • KPI: Thời gian chờ, độ chính xác matching, tỉ lệ coverage.
Trạng thái: Đang thử nghiệm tại khu vực kiểm tra an ninh tại T1
←→
Minh hoạ QTMS
Security queue – QTMS
QTMS 1
QTMS 2
Nguồn: Hệ thống QTMS
←→
Dự án 4
Đếm khách theo ROI • Heatmap

Đếm khách tại quầy check-in

  • Phát hiện & tracking người; đếm theo ROI từng quầy/khu vực.
  • Hiển thị heatmap, cảnh báo đông/vắng theo ngưỡng.
  • Đồng bộ thời gian thực lên dashboard vận hành.

Tầm nhìn "toàn trình"

  • Ước lượng thời gian tối thiểu cần thiết từ lúc vào ga → boarding.
  • Hợp nhất dữ liệu từ check-in, security, boarding để dự báo.
  • API cung cấp thông tin cho hành khách & đối tác dịch vụ.
Trạng thái: POC tại khu vực check-in T1
←→
Minh hoạ PaxCount
Check-in counting – gallery
PaxCount 1
PaxCount 4
Nguồn: Minh hoạ đếm khách PaxCount
←→
Minh hoạ PaxCount
Check-in counting – gallery
PaxCount 2
PaxCount 5
Nguồn: Minh hoạ đếm khách PaxCount
←→
FOD Detection
Hướng phát triển & Nâng cấp
FOD Detection • Hướng phát triển

Các phương án phát triển
FOD Detection

Tổ Computer Vision đang nghiên cứu & nâng cấp các phương pháp phát hiện FOD

7 Phương án đang thử nghiệm:

• Segmentation + BLIP (ngữ cảnh)
• Background Subtraction (khung nền trừ)
• Background Modeling (AE/U-Net)
• PatchCore (Fixed Camera)
• FFT Notch (Degrid)
• ONVIF Preset Per-Zone
• Hybrid: PatchCore + YOLO
Trạng thái: Đang nghiên cứu & nâng cấp • 2025-2026
Phím ←→ để xem chi tiết từng phương án
Phương án 1
FOD – Segmentation + BLIP (ngữ cảnh)

Mục tiêu

  • Dùng segmentation tách bề mặt đường băng/khu vực an toàn.
  • Dùng BLIP mô tả ngữ cảnh để suy luận vật thể lạ.

Kết quả & Bài học

  • Kết quả không ổn định, mô tả cảnh không đủ chi tiết cho FOD nhỏ.
  • Latency cao; thiếu tín hiệu cho vật rất nhỏ / low-contrast.
  • Quyết định: tạm dừng hướng này, chuyển nền tảng khác.
Trạng thái: Đã thử nghiệm • Chuyển hướng khác
←→
Kết quả thử nghiệm
SAM + BLIP • Ưu & Nhược điểm

Ưu điểm

  • Segmentation chính xác: SAM tách bề mặt đường băng rõ ràng.
  • BLIP mô tả ngữ cảnh: Hiểu được tình huống tổng thể.
  • Kết hợp hiệu quả: SAM + BLIP bổ sung cho nhau.

Nhược điểm

  • FOD nhỏ khó phát hiện: Vật thể rất nhỏ bị bỏ qua.
  • Latency cao: Xử lý chậm cho ứng dụng real-time.
  • Low-contrast kém: Vật thể mờ nhạt khó nhận diện.
SAM segmentation results
SAM Segmentation
SAM+BLIP combined results
SAM + BLIP Combined

Kết quả thử nghiệm: Ưu điểm rõ ràng nhưng cần cải tiến cho FOD nhỏ

Trạng thái: Kết quả thử nghiệm • Cần tối ưu cho FOD nhỏ
←→
Phương án 2
FOD – Background Subtraction (khung nền trừ)

Mục tiêu

  • So sánh từng khung với nền tham chiếu để tìm khác biệt.
  • Phát hiện vật thể lạ dựa trên sự khác biệt pixel.

Kết quả & Bài học

  • Nhạy nhiễu: mưa, gió, chói sáng, bóng mây, rung camera.
  • Không đủ robust quy mô lớn.
  • Quyết định: chuyển background modeling.
Trạng thái: Đã thử nghiệm • Chuyển background modeling
←→
Kết quả thử nghiệm
Background Subtraction • Nhạy cảm nhiễu

Vấn đề chính

  • Nhạy cảm với nhiễu: Mưa, gió, chói sáng gây nhiễu.
  • Sai khác ánh sáng: Thay đổi điều kiện chiếu sáng.
  • Rung camera: Chuyển động nhỏ gây false positive.

Kết quả thử nghiệm

  • Threshold: Khó điều chỉnh ngưỡng phù hợp.
  • Background: Nền tham chiếu không ổn định.
  • Foreground: Nhiều nhiễu, ít tín hiệu thực.
Threshold results
Threshold
Background build
Background
Foreground detection
Foreground

Kết quả: Nhiều nhiễu, khó phân biệt FOD thực với nhiễu môi trường

Trạng thái: Kết quả thử nghiệm • Chuyển background modeling
←→
Phương án 3
FOD – Background Modeling (Autoencoder / U-Net AE)

Mục tiêu

  • Học tái tạo nền sạch rồi phát hiện sai khác.
  • Autoencoder cơ bản vs U-Net Autoencoder sâu hơn.

Kết quả & Bài học

  • AE cơ bản mất chi tiết; U-Net AE sâu hơn khó hội tụ/over-smooth.
  • Nhạy thay đổi ánh sáng; cần nhiều dữ liệu nền chuẩn.
  • Quyết định: cân nhắc anomaly feature-based thay vì tái tạo ảnh.
Input ảnh
Input
Reconstruction
Reconstruction
Difference map
Difference

U-Net AE: Mất chi tiết, over-smooth

Trạng thái: Đã thử nghiệm • Chuyển anomaly feature-based
←→
Kết quả tốt
Autoencoder • Reconstruction thành công

Kết quả Reconstruction Tốt

  • Reconstruction chính xác: Autoencoder tái tạo tốt background.
  • FOD được phát hiện: Vật thể lạ tạo ra reconstruction error cao.
  • Ổn định: Kết quả nhất quán trong điều kiện bình thường.

Điều kiện thành công

  • Background ổn định: Không có thay đổi lớn về ánh sáng.
  • Camera tĩnh: Không có rung động hoặc chuyển động.
  • FOD rõ ràng: Vật thể có contrast tốt với nền.
Autoencoder reconstruction tốt - sample 1200
Sample 1200 - Reconstruction tốt
Autoencoder reconstruction tốt - sample 1351
Sample 1351 - Reconstruction tốt

Kết quả: Autoencoder hoạt động tốt khi background ổn định

Trạng thái: Kết quả tốt • Cần cải thiện cho điều kiện khó
←→
Kết quả kém
Autoencoder • Reconstruction thất bại

Kết quả Reconstruction Kém

  • Reconstruction error cao: Autoencoder không tái tạo tốt background.
  • False positive: Nhiều cảnh báo sai do reconstruction kém.
  • Không ổn định: Kết quả thay đổi liên tục.

Nguyên nhân thất bại

  • Background thay đổi: Ánh sáng, thời tiết thay đổi nhanh.
  • Camera rung: Chuyển động nhỏ gây nhiễu.
  • FOD mờ: Vật thể có contrast thấp với nền.
Autoencoder reconstruction kém - sample 0051_1
Sample 0051_1 - Reconstruction kém
Autoencoder reconstruction kém - sample 0051_2
Sample 0051_2 - Reconstruction kém

Kết quả: Autoencoder gặp khó khăn trong điều kiện thay đổi

Trạng thái: Kết quả kém • Cần cải thiện robustness
←→
Phương án 4
FOD – PatchCore (Fixed Camera)

Mục tiêu

  • Học vector đặc trưng per-zone trên nền sạch để bắt patch bất thường.
  • Phù hợp cho camera tĩnh, điều kiện ổn định.

Kết quả & Bài học

  • Hiệu quả khi camera tĩnh, điều kiện ổn định.
  • Camera di động: đặc trưng thay đổi → khó học/lẫn lộn.
  • Quyết định: giới hạn cho preset tĩnh hoặc khóa view theo preset.
PatchCore heatmap anomaly

Heatmap anomaly detection per-zone

Trạng thái: Hiệu quả camera tĩnh • Giới hạn preset cố định
←→
Kết quả tốt
PatchCore • Khu vực training cố định

Kết quả Phát hiện Tốt

  • Training khu vực nhất định: PatchCore học tốt đặc trưng nền.
  • FOD được phát hiện rõ: Vật thể lạ có anomaly score cao.
  • False positive thấp: Ít cảnh báo sai trong điều kiện tương tự.

Điều kiện thành công

  • Camera tĩnh: Góc nhìn không thay đổi.
  • Khu vực cố định: Training trên vùng nhỏ, đồng nhất.
  • Điều kiện ổn định: Ánh sáng, nền không thay đổi nhiều.
PatchCore phát hiện FOD thành công - khu vực training nhất định
Anomaly Score: 118.34 - PatchCore phát hiện FOD thành công trên khu vực training nhất định

Kết quả: PatchCore hoạt động tốt khi training trên khu vực cố định

Trạng thái: Kết quả tốt • Giới hạn khu vực nhỏ
←→
Kết quả kém
PatchCore • Training toàn đường băng

Kết quả Phát hiện Kém

  • Training toàn đường băng: PatchCore khó học đặc trưng đa dạng.
  • False positive cao: Không có FOD vẫn báo sai lệch cao.
  • Không ổn định: Nhiều vùng bị đánh dấu sai.

Nguyên nhân thất bại

  • Khu vực quá rộng: Đường băng có nhiều vùng đặc trưng khác nhau.
  • Đa dạng nền: Vết bẩn, vết mòn, các dải khác nhau.
  • Overfitting/Underfitting: Model không tổng quát hóa tốt.
PatchCore false positive - training toàn đường băng
Anomaly Score: 82.34 - False positive: Không có FOD nhưng vẫn báo sai lệch cao

Kết quả: PatchCore gặp khó khăn khi training trên toàn đường băng

Trạng thái: Kết quả kém • Cần chia vùng hoặc preset
←→
Phương án 5
FOD – FFT Notch (Degrid)

Mục tiêu

  • Khử pattern lưới/nhiễu tuần hoàn làm nổi FOD nhỏ.
  • Cải thiện tín hiệu cho vật thể nhỏ, low-contrast.

Kết quả & Bài học

  • Mắt người nhìn rõ hơn, nhưng mô hình chưa tận dụng tốt.
  • Cần kết hợp detector/anomaly và chuẩn hóa theo camera.
Before FFT notch
Before
After FFT notch
After
Trạng thái: Cải thiện thị giác • Cần tối ưu cho ML
←→
Kết quả thử nghiệm
FFT Notch • Khử nhiễu lưới tuần hoàn

Kết quả Xử lý

  • FFT Magnitude: Phát hiện tần số nhiễu tuần hoàn trong miền tần số.
  • Notch Mask: Tạo mask để lọc bỏ tần số nhiễu cụ thể.
  • FFT Notch Result: Ảnh sau khi áp dụng notch filter, giảm nhiễu lưới.

Ưu & Nhược điểm

  • Ưu điểm: Khử nhiễu lưới/pattern tuần hoàn hiệu quả, cải thiện độ rõ.
  • Nhược điểm: Cần điều chỉnh tham số cho từng camera, chưa tận dụng tốt cho ML.
  • Tiềm năng: Kết hợp với detector/anomaly để tăng độ chính xác.
FFT Magnitude - phổ tần số
FFT Magnitude
Notch Mask - mask lọc tần số
Notch Mask
FFT Notch Result - kết quả sau lọc
FFT Notch Result

Kết quả: FFT Notch khử nhiễu lưới hiệu quả, cải thiện chất lượng ảnh cho phát hiện FOD

Trạng thái: Kết quả tốt • Cần tối ưu tham số & kết hợp ML
←→
Phương án 6
FOD – ONVIF Preset Per-Zone

Ý tưởng

  • Web app ONVIF điều khiển preset → quét theo kịch bản khu vực.
  • Mỗi khu vực có model riêng để hiểu context & pattern.

Lợi ích & Yêu cầu

  • Ổn định khung nhìn → dùng PatchCore per-zone.
  • Quản lý lịch quét, đồng bộ thời gian, lưu preset, giám sát drift.
ONVIF presets diagram

Preset scanning schedule & zone models

Trạng thái: Đề xuất • Cần thiết kế hệ thống
←→
ONVIF Integration
ONVIF • Tích hợp & Nâng cấp thông minh

Tính năng ONVIF

  • PTZ Controller: Điều khiển camera PTZ từ xa qua giao thức ONVIF.
  • Patrol Snapshot: Tự động chụp ảnh theo lịch quét preset.
  • Preset Management: Lưu và quản lý các vị trí camera cố định.

Lợi ích Tích hợp

  • Hỗ trợ xử lý ảnh: Thu thập dữ liệu đồng nhất cho ML.
  • Nâng cấp camera thông minh: Tận dụng camera PTZ có sẵn.
  • Tiết kiệm chi phí: Không cần mua thêm camera cố định.
ONVIF PTZ Camera Controller
ONVIF PTZ Controller - Điều khiển camera từ xa
ONVIF Patrol Snapshot Tool
Patrol Snapshot Tool - Quét tự động theo preset

Kết quả: ONVIF giúp tích hợp camera PTZ, tiết kiệm chi phí và nâng cấp thông minh

Trạng thái: Đã triển khai • Hỗ trợ camera PTZ hiện có
←→
Phương án 7
FOD – Hybrid: PatchCore + YOLO Verifier

Pipeline đề xuất

  • PatchCore per-zone sinh ROI (ngưỡng động theo điều kiện).
  • YOLO chạy tập trung trên ROI để xác nhận/loại.
  • Tracklet ngắn hạn để giảm báo giả đơn lẻ.
  • Homography transform: Cung cấp cái nhìn giả lập bird's eye view.

Kế hoạch thử nghiệm

  • Thiết lập preset cố định; thu dữ liệu nền sạch theo giờ/thời tiết.
  • A/B: Hybrid vs YOLO thuần (đêm/sương mù).
  • Dashboard minh chứng: trước/sau, heatmap, log sự kiện.
  • Homography: Theo dõi bề mặt đường băng trực quan, định vị FOD chính xác.
Hybrid pipeline diagram

Pipeline: PatchCore → ROI → YOLO Verification

Trạng thái: Đề xuất • Kế hoạch A/B testing
←→
Lộ trình
2025 → 2026

Roadmap kỹ thuật

  • Tối ưu mô hình ban đêm & sương mù (low-light enhancement, dehaze, thermal fusion).
  • Nâng cấp hệ thống đa camera, đồng bộ thời gian & calibration.
  • Chuẩn hóa pipeline dữ liệu, nhãn & đánh giá; MLOps + A/B.

Đề xuất hỗ trợ

  • Hạ tầng GPU/edge, camera phù hợp từng bài toán.
  • Ngân sách dữ liệu & anotations; phối hợp hiện trường.
  • Hợp tác với đối tác tư vấn công nghệ (AI leader, Tiến sỹ).
Mục tiêu: Chuẩn hóa & mở rộng toàn sân bay
←→
Kết luận
Định hướng & Cam kết

Kết luận

  • Đã có kết quả bước đầu quan trọng ở FOD, sự kiện chào mừng, đếm & ước lượng thời gian chờ.
  • Tiếp tục cải tiến mô hình cho đêm/sương mù, mở rộng bài toán đa camera.
  • Hướng tới dashboard ra quyết định theo thời gian thực cho lãnh đạo.

Xin cảm ơn Ban giám đốc & đối tác tư vấn công nghệ đã đồng hành!

Liên hệ: Tổ Computer Vision – Cảng HKQT Nội Bài
Computer Vision

Xin cảm ơn quý vị
đã theo dõi!

Tổ Computer Vision
Cảng Hàng không Quốc tế Nội Bài