Localisation en intérieur à l'aide d'une caméra embarquée
La méthode de localisation présentée lors de la conférence ISMAR'2010 (voir cet article) a été adaptée pour pouvoir être utilisée en intérieur.
Ainsi, après avoir créé une base de données visuelles (obtenue en corrigeant une reconstruction SLAM à l'aide d'un plan 3D du bâtiment), il est possible de localiser précisément une caméra se déplaçant dans cet environnement.
La vidéo ci-après présente les résultats obtenus : les caméras rouges correspondent aux positions obtenues à partir de la base de données constituée, les caméras vertes correspondent aux positions estimées en SLAM pur.
Adobe Flash Player non installé ou plus vieux que 9.0.115!
Localisation absolue d'un véhicule par vision monoculaire
L'objectif de ces travaux est de localiser de façon absolue et en temps-réel un véhicule à l'aide d'une unique caméra embarquée. L'approche retenue s'appuie sur la méthode de SLAM/SfM de Mouragnon et al. Néanmoins, la méthode SLAM étant un processus incrémental, la localisation obtenue devient imprécise sur de longues distances (plusieurs centaines de mètres). Pour pallier ce problème, nous proposons de contraindre la reconstruction SLAM à l'aide d'une information supplémentaire sur la géométrie de l'environnement parcouru. Cette nouvelle information est issue d'un Système d'Information Géographique 3D (le Géoportail dans notre cas) :
la dérive en facteur d'échelle est corrigée grâce à une nouvelle écriture de l'homographie du plan du sol. Cette nouvelle formalisation permet alors d'extraire de façon robuste la norme du déplacement de la caméra entre deux instants.
l'accumulation d'erreur en position et en orientation est corrigée dans les virages. Ceci est réalisé en alignant le nuage de points reconstruits par la méthode SLAM avec le modèle 3D des bâtiments de l'environnement. Si de tels modèles ne sont pas disponibles (e.g. à l'extérieur des villes), ils peuvent alors être remplacés par une carte de la route (l'alignement se faisant alors entre cette carte et la trajectoire reconstruite).
Les images ci-dessous sont deux exemples de localisation obtenus avec l'approche proposée. Ces deux exemples utilisent respectivement les modèles 3D des bâtiments et une carte de la route. Les discontinuités observées dans les trajectoires reconstruites correspondent aux endroits où les trajectoires ont pu être corrigées grâce aux données du Système d'Information Géographique 3D.
Localisation sur un parcours de 1 km (Versailles, France). Exploitation des modèles 3D des bâtiments.
Localisation sur un parcours de 4.5 km (Saint Quentin en Yvelines, France). Exploitation d'une carte de la route.
Une partie de ces travaux ont été présentés lors de l'IEEE Conference on Computer Vision and Pattern Recognition (CVPR'2010). La vidéo ci-après illustre les différentes étapes de l'approche proposée.
Adobe Flash Player non installé ou plus vieux que 9.0.115!
La vidéo suivante fournit des résultats complémentaires sur une séquence de plusieurs kilomètres.
Adobe Flash Player non installé ou plus vieux que 9.0.115!
Relocalisation d'un véhicule en milieu urbain par vision monoculaire
Le but de ces travaux est de construire de façon automatique une base d'amers visuels à grande échelle pour les centres villes denses, où les systèmes GPS classiques peuvent rencontrer des problèmes de masquage et d'occultation de signaux. A partir de cette base, il est alors possible de localiser en temps-réel un véhicule se déplaçant dans l'environnement appris.
Pour réaliser la base d'amers, nous nous appuyons sur une reconstruction SLAM/SfM, dans notre cas obtenue à partir de la méthode de Mouragnon et al. La méthode que nous proposons permet de corriger a posteriori les dérives de ce type de reconstructions en s'appuyant sur un modèle 3D grossier de l'environnement parcouru (issu du Géoportail dans nos travaux). Cette méthode se décompose alors en deux sous-processus :
La première étape est de trouver la similitude par morceaux (s'appuyant sur la segmentation de la trajectoire reconstruite) qui permet d'aligner grossièrement le nuage de points reconstruit avec le modèle 3D et ainsi de retrouver la cohérence globale de la reconstruction.
La deuxième étape consiste à appliquer un ajustement de faisceaux spécifique, la fonction de coût utilisée permettant de prendre en compte à la fois l'information image et les contraintes liées au modèle 3D, le tout dans un unique terme. Cette deuxième étape permet de corriger les erreurs résiduelles locales sur la géométrie de la reconstruction.
Les images ci-dessous montrent un exemple de correction obtenue sur une séquence de 1.5 kilomètres dans Versailles, France.
Reconstruction avant correction
Reconstruction après correction
Superposition de la reconstruction obtenue avec l'image satellite correspondante
L'ensemble de ces travaux a été présenté lors de l'IEEE Conference on Computer Vision and Pattern Recognition (CVPR'09). La vidéo ci-après reprend l'ensemble du processus.
Adobe Flash Player non installé ou plus vieux que 9.0.115!
Une fois la base d'amers créée, il est possible de localiser une caméra mobile se déplaçant dans l'environnement appris. La vidéo ci-dessous montre les derniers résultats de relocalisation présentées lors d'IEEE International Symposium on Mixed and Augmented Reality (ISMAR'2010). La trajectoire obtenue étant suffisamment précise et lisse, ce processus peut être utilisé pour des problématiques de réalité augmentée, par exemple pour l'aide à la navigation.
Adobe Flash Player non installé ou plus vieux que 9.0.115!
