Skip to content

Rezultate

Prezentare EMOTIV EPOC

ECHIPAMENT KINECT MICROSOFT

În raportul tehnic rezultat, transmis in cadrul RP7, a fost finalizat sistemul hardware și software realizat cu echipamentul Kinect Microsoft. În figura 1 este prezentat sistemul hardware realizat cu Kinect Microsoft.

Figura 1a. Sistemul hardware implementat cu echipamentul Kinect Microsoft.
Figura 1b. Sistemul hardware implementat cu echipamentul Kinect Microsoft.
Figura 2. Interfața cu utilizatorul pentru sistemul Kinect.

Sistemul Kinect este utilizat pentru detecția expresiilor faciale pe baza analizei în domeniul vizibil și depth video, dar și pentru detecția de skeleton (mișcarea corpului). În figura 3 sunt prezentate două achiziții de expresii faciale, stările neutru și zâmbet, iar analiza este realizată prin algoritmul Local Binary Pattern (LBP) și a histogramei. Analiza LPB se poate vizualiza pe imaginea albastră din Figura 3.

Figura 3a. Analiza stărilor emoționale neutru și zâmbet realizată cu sistemul Kinect: starea neutră
Figura 3b. Analiza stărilor emoționale neutru și zâmbet realizată cu sistemul Kinect: starea neutră

ECHIPAMENTUL CAMERĂ VIDEO INTEL REALSENSE D455

În această perioadă a fost finalizat sistemul hardware și software realizat cu echipamentul Intel Realsense D455. În figura 4 este prezentat sistemul hardware realizat cu Intel Realsense D455.

Figura 4a. Implementarea hardware a echipamentului Intel Realsense D455.
Figura 4b. Implementarea hardware a echipamentului Intel Realsense D455.
Figura 5. Interfața cu utilizatorul pentru Intel Realsense D455

Camera depth Intel Realsense D455 este utilizată pentru detecția expresiilor faciale pe baza analizei în domeniul vizibil și depth video, cu posibilitate de analiză 3D de tip algoritm CADMATIC point cloud. În figurile 6 și 7 sunt prezentate două achiziții de expresii faciale, stările neutru și zâmbet, iar analiza este realizată prin algoritmul CADMATIC 3D Point Cloud.

Figura 6a. Analiza expresiei faciale de tip depth pe baza stream-ului video
Figura 6b. Analiza starii emoținale cu algoritmul CADMATIC Point Cloud
Figura 7a. Analiza stării emoționale zâmbet cu Intel Realsense D455.
Analiza expresiei faciale de tip depth pe baza stream-ului video
Figura 7b. Analiza stării emoționale zâmbet cu Intel Realsense D455.
Analiza starii emoținale cu algoritmul CADMATIC Point Cloud

DEZVOLTAREA DE APLICAȚII SOFTWARE PENTRU DETECȚIA FEȚEI ȘI RECUNOAȘTERE FACIALĂ DIN IMAGINI

În urma discuțiilor cu potențiali beneficiari, acești ne-au sugerat utilitatea dezvoltării a două aplicații pentru detecția facială a punctelor de interes și de recunoaștere facială din imagini statice obținute de la camerele video.. Pe baza acestor recomandări am dezvoltat 2 aplicații pentru detecție facială și recunoaștere facială.

Aplicație pentru Detecție Facială

În figura 8 este prezentată aplicația de detecție facială și calcularea distanțelor de interes utilizând punctele anatomice de interes din compunerea feței umane. Rezultatele obținute sunt exemplificate pe 3 exemple de imagini statice (figura 8).

Figura 8a. Rezulate
Figura 8b. Rezulate
Figura 8c. Rezulate

Figura 8. Interfața cu utilizatorul pentru aplicația de detecție facială și rezultatele obținute pentru calcularea punctelor anatomice de interes.

Aplicația pentru recunoaștere facială (Face Recognition)

În figura 9 este prezentată aplicația de comparare a două imagini statice pentru recunoaștere.

Figura 9. Aplicația de comparare a două imagini statice pentru recunoaștere.

În figura 10 este prezentată etapa de creere a bazei de date pentru aplicația de recunoaștere facială.

Figura 10. Etapa de creeare a bazei de date pentru recunoaștere facială din imagini statice.

În figura 11  sunt prezentate rezultatele obținute (figura 11 a, b) Pentru testare am utilizat o baza de date publică din care am selectat 40 imagini de test.

Figura 11a. Rezultate obținute
Figura 11b. Rezultate obținute

MODULUL ECG

În cadrul proiectului am dezvoltat un modul ECG care a fost interfațat cu Arduino UNO pentru a realiza comunicarea cu PC-ul. În figura 12 este prezentat sistemul modul ECG.

Figura 12a. Sistemul ECG compus din modulul cardio, placa de dezvoltatre Arduino UNO și senzor.
Figura 12b. Sistemul ECG compus din modulul cardio, placa de dezvoltatre Arduino UNO și senzor.

În figura 13 este prezentată interfața cu utilizatorul pentru modulul ECG.

Figura 13. Interfața cu utilizatorul pentru modulul ECG.