Qu'est ce que MediaPipe?
MediaPipe est une librairie cross-plateform créé par Google et mise en ligne en 2020, cette librairie permet de créer différentes solutions de traitement vidéo en temps réel grâce au Machine Learning.
MediaPipe fonctionne sur différents OS comme sur Android, IOS, Windows, MacOs, Linux et aussi avec plusieurs langages comme Python, Javascript et C++ et même coral
MediaPipe est l'une des librairies de Google les plus largement partagées et utilisées pour le traitement de média vidéo en temps réel.
Il suffit de créer une fois votre projet pour ensuite qu'il fonctionne partout (Android, IOS, Ordinateur de bureau, Web et IoT)
MediaPipe fonctionne de paire avec TensorFlow une autre librairie d'entrainement de modèles de machine learning, pour permettre de reconnaître toutes les solutions suivantes.
Par exemple pour développer la technologie Hands Tracking, Google a fait appel à une base de données de plus de 30.000 clichés de mains, placées dans différentes positions et sous des éclairages variés. Les développeurs ont sélectionné 21 points de référence de la main. Le logiciel s’appuie sur ces points pour analyser le signe montré à la caméra. Il le compare ensuite aux autres signes de sa base de données pour interpréter le langage.
| Android | iOS | C++ | Python | JS | Coral | |
|---|---|---|---|---|---|---|
| Face Detection | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| Face Mesh | ✅ | ✅ | ✅ | ✅ | ✅ | |
| Iris | ✅ | ✅ | ✅ | |||
| Hands | ✅ | ✅ | ✅ | ✅ | ✅ | |
| Pose | ✅ | ✅ | ✅ | ✅ | ✅ | |
| Holistic | ✅ | ✅ | ✅ | ✅ | ✅ | |
| Selfie Segmentation | ✅ | ✅ | ✅ | ✅ | ✅ | |
| Hair Segmentation | ✅ | ✅ | ||||
| Object Detection | ✅ | ✅ | ✅ | ✅ | ||
| Box Tracking | ✅ | ✅ | ✅ | |||
| Instant Motion Tracking | ✅ | |||||
| Objectron | ✅ | ✅ | ✅ | ✅ | ||
| KNIFT | ✅ | |||||
| AutoFlip | ✅ | |||||
| MediaSequence | ✅ | |||||
| YouTube 8M | ✅ |
