Deteksi Jatuh Berbasis Abstraksi Pose Skeleton
Sistem deteksi kejadian jatuh real-time berpreservasi privasi visual menggunakan Roboflow Detection Transformer (RF-DETR) dan YOLOv11 pada pasangan dataset RGB-Skeleton synced.
Dataset AIO
30.756
RGB-Skeleton Synced
Akurasi Pose
94.68%
RF-DETR Pose-Only
Inferensi FPS
37.86
27.38 ms / Frame
Performa Model (%)
Preservasi Privasi
Wajah & identitas subjek dieliminasi melalui rekonstruksi 17 keypoint skeleton.
Siap Siaga CCTV
Deteksi otomatis kejadian jatuh untuk sistem pemantauan ruang privat & medis.
RINGKASAN PROYEK & METODOLOGI
Overview Proyek & Fitur Utama
Ikhtisar latar belakang, arsitektur sistem, dan hasil evaluasi performa deteksi.
Deteksi jatuh berbasis kamera berpotensi mendukung pemantauan keselamatan, tetapi citra RGB dapat mengekspos informasi visual sensitif. Penelitian ini merancang sistem deteksi jatuh berbasis abstraksi pose skeleton untuk mendukung preservasi privasi serta membandingkan RF-DETR Nano dan YOLOv11n.
Lima dataset publik diintegrasikan menjadi dataset All-In-One (AIO), kemudian diproses melalui filtering, binarisasi label, normalisasi ukuran, pembentukan skeleton menggunakan YOLOv11-Pose, dan sinkronisasi RGB–skeleton. Tahap preprocessing menghasilkan 30.756 pasangan citra yang dibagi menjadi data training, validation, dan test.
Empat skenario dievaluasi: RF-DETR Nano + RGB, RF-DETR Nano + Skeleton, YOLOv11n + RGB, dan YOLOv11n + Skeleton. Pada 4.964 citra test, RF-DETR Nano + RGB mencapai accuracy tertinggi 97,90% dan missed detection rate terendah 0,80%. Pada input skeleton, RF-DETR Nano memperoleh accuracy 94,68%, Fall recall 92,68%, dan missed detection rate 7,32%, sedangkan YOLOv11n mencapai accuracy 94,88%.
Pengujian tambahan pada 42 video mandiri menunjukkan seluruh pipeline mencapai detection coverage di atas 97%. YOLOv11n + Skeleton menjadi pipeline tercepat dengan 37,86 FPS, sedangkan RF-DETR Nano menghasilkan aktivasi Fall lebih tinggi pada video Fall. Hasil menunjukkan bahwa skeleton dapat mengurangi paparan informasi berbasis penampilan sambil mempertahankan kemampuan deteksi real-time.
1. Preservasi Privasi Visual Total
Mengonversi citra RGB menjadi kanvas skeleton hitam murni. Menghapus 100% informasi penampilan (wajah, pakaian, warna kulit, dan latar ruangan) tanpa mengorbankan geometri postur jatuh.
2. Dataset AIO (30.756 Citra Synced)
Membangun dataset All-In-One (AIO) terstandardisasi dari 5 dataset publik. Menghasilkan 30.756 pasang citra RGB & Skeleton yang tersinkronisasi presisi 1-to-1 untuk benchmark adil.
3. Comparative Benchmark DETR vs YOLO
Studi terarah membandingkan Detection Transformer modern (direct set prediction tanpa NMS) dengan YOLOv11 (one-stage CNN). Membuktikan bahwa tipe representasi (RGB vs Skeleton) berpengaruh lebih dominan daripada variasi arsitektur model.
4. Pengujian Deployment 42 Video Mandiri
Validasi dunia nyata (unseen video dataset) sebanyak 42 video (11.878 frame) mencakup skenario Single-person dan Multi-person pada PC RTX 3060. Mengukur throughput kontinu (>97% coverage) dan analisis trade-off sensitivitas.
MEKANISME PRESERVASI PRIVASI
Eradikasi Identitas Visual via Skeleton Pose 2D
Bagaimana pemrosesan visi komputer mengeliminasi fitur sensasional tanpa kehilangan geometri kunci kondisi jatuh.
Struktur 17 COCO Keypoints (Klik / Sorot Kursor)
YOLOv11-Pose Conf = 0.25- Topologi Geometri Pose 2D (17 Keypoints)
- Sudut Spasial & Hubungan Vektor Sendi
- Orientasi Postur Jatuh (Lying State)
- Fitur Biometrik Wajah & Identitas
- Warna Kulit, Pakaian, & Gender
- Detail Perabotan & Latar Belakang Kamar
KERANGKA METODOLOGI MLLC
Alur Data Preprocessing & Sinkronisasi
6 Tahapan metodis transformasi dataset dari citra heterogen mentah hingga dataset RGB-Skeleton tersinkronisasi presisi.
Data Acquisition
Mengintegrasikan 5 dataset publik (CaucaFall, Human Fall Detection, Exceptional Situations, First Pedestrian, Human Action Recognition) untuk memperkaya variasi pencahayaan, sudut kamera, dan jumlah subjek.
HASIL EVALUASI EKSPERIMENTAL
Benchmark Kuantitatif 4 Skenario
Hasil komparasi mendalam pada 4.964 citra dataset testing independen.
RF-DETR Nano + RGB
RF-DETR Nano + Skeleton
YOLOv11n + RGB
YOLOv11n + Skeleton
Kalkulator Trade-off & Simulator Performa Model
Simulasikan kombinasi arsitektur, tipe input, dan confidence threshold secara real-time
Matriks Kebingungan (Confusion Matrix Breakdown)
Kelas Positif = FallKODE SUMBER & PROTOTIPE IMPLEMENTASI
Repositori GitHub Prototipe Mandiri
Kunjungi repositori resmi untuk mengunduh source code Python, skrip preprocessing, weights model, dan menjalankan prototipe GUI berbasis Streamlit.
yoga220802 / prototype_privacy_perserving_fall_detection
Public RepoPython 3.10 • Streamlit • PyTorch • Ultralytics YOLOv11 • Roboflow RF-DETR
Struktur Kode Utama & Modul Prototipe
Antarmuka aplikasi Streamlit untuk simulasi inferensi video/real-time dengan pengaturan threshold & seleksi model.
Modul destruksi informasi identitas visual menjadi abstraksi 17 keypoint skeleton COCO.
Engine inferensi Roboflow Detection Transformer dengan Deformable Cross-Attention.
Daftar pustaka PyTorch, Ultralytics YOLOv11, Roboflow Supervision, dan Streamlit.
Repositori ini dilengkapi dengan dokumentasi setup lingkungan conda, daftar pustaka `requirements.txt`, serta tautan pengunduhan bobot model hasil pelatihan (.pt / .onnx).
$ git clone https://github.com/yoga220802/prototype_privacy_perserving_fall_detection.git
cd prototype_privacy_perserving_fall_detection5 SUMBER DATASET ROBOFLOW UNIVERSE
Dataset All-In-One (AIO) & Sumber Roboflow
Dataset All-In-One (AIO) berjumlah 30.756 citra pasangan RGB-Skeleton dibentuk melalui integrasi dan penyaringan 5 repositori dataset publik di Roboflow Universe.
Grafik Interaktif Distribusi Dataset AIO
Visualisasi rasio pembagian dataset 30.756 citra RGB-Skeleton
Subset Training
Subset Validation
Subset Testing
Daftar 5 Repositori Dataset Roboflow Universe
CaucaFall Dataset
19.893 CitraDataset simulasi jatuh di area indoor paling komprehensif, mencakup sudut pandang kamera bervariasi untuk pengujian deteksi utama.
Exceptional Situations Dataset
10.824 CitraDataset kondisi khusus di lingkungan outdoor dan indoor kompleks dengan pencahayaan bervariasi dan latar latar beragam.
Human Fall Detection Dataset
2.164 CitraMencakup sampel aktivitas harian normal (Activities of Daily Living) seperti duduk, berdiri, dan berjalan untuk meminimalkan False Positive.
Human Action Recognition Dataset
1.862 CitraAktivitas dinamis manusia mencakup gerakan cepat seperti berlari, berjalan kencang, hingga insiden jatuh tiba-tiba.
First Pedestrian Test Dataset
472 CitraDataset pejalan kaki luar ruangan untuk melatih stabilitas deteksi pose skeleton pada subjek bergerak di area terbuka.
Roboflow Universe menyediakan ribuan dataset Computer Vision open-source yang dapat diunduh dalam berbagai format (COCO JSON, YOLO TXT, Pascal VOC, dsb).