Forum

Reprise du message précédent

Trois drones volent entre des forêts d'arbres. Grâce au flot optique (DIS OpenCV) mesuré sur les images successives, la "disparité temporelle" révèle la forêt d'arbres (3ème dimension) ...

1er drone
2ème drone
3ème drone

L'intérêt pour la forêt ici, vient du fait que les trajectoires sont courbes, afin d'éviter les obstacles. Elles se mesurent grâce à une transformée projective, et sont représentées par les paramètres <Ry,Rz,Tx,Tz> grâce à POV-Ray dans l'espace. L'évolution du drone est présentée de face avec sa caméra.

Édité par archimedium Le 19/04/2024 à 16h10

Il est possible de percevoir le relief (en profondeur) d'une scène, lorsque l'on possède au moins deux points de vue différents de celle-ci. Voila un nouvel exemple avec un drone qui vole au milieu d'une forêt d'arbres, et dont on traite le flux vidéo de la caméra embarquée ...

https://www.youtube.com/watch?v=WJ20EBM3PTc

Lorsque les deux vues de la même scène sont éloignées dans l'espace, on parle de "disparité spatiale". Dans le cas présent, les deux points de vue sont éloignés dans le temps, et l'on parle alors de "disparité temporelle". Il s'agit de savoir si les deux images de la même scène, sont acquises simultanément, ou de façon différée dans le temps. On peut percevoir le relief en profondeur dans ce cas là, avec une seule caméra, et son flux vidéo continu.

Édité par archimedium Le 17/10/2024 à 14h37

Disparité monoculaire :


https://www.youtube.com/watch?v=34zUDqEzHos

Un drone vole au milieu des arbres de la forêt domaniale d'Écault. Grâce au flot-optique que l'on mesure sur les images successives, la disparité-temporelle laisse apparaître la forêt d'arbres ... On prend une image de référence, le flot-optique est mesuré sur deux images rectifiées, puis l'on change de référence lorsque l'inter-corrélation passe en dessous de 60%. On peut percevoir le relief en profondeur avec une seule caméra, au cours du temps.

Toujours intéressant, merci.

En fait, lorsque l'on visionne des images qui ont été capturées par un drone, bien qu'il n'y ait qu'une seule caméra, on y voit bien souvent le relief. C'est particulièrement marqué pour les arbres, dans une forêt. Le but ici, est de le mettre en évidence ce relief, avec une mesure de "flot-optique", qui permet de mettre en correspondance une image avec une autre, lorsqu'elles se ressemblent (on dit qu'elles sont "corrélées").
Nous avons deux yeux, et les méthodes pour mesurer le relief visible par stéréoscopie, sont très développées. Il existe depuis le début de la photographie, des dispositifs comme le "stéréoscope" qui permet de voir le relief avec deux photographies, naturellement. Il est possible de mesurer le relief, grâce à la géométrie épipolaire, et une mathématique bien connue. Il y a beaucoup de méthodes de mesure, très efficaces et issue de la vision humaine.
Lorsque qu'il s'agit de mesurer le relief avec une unique caméra, les connaissances sont moins établies. Il existe des caméras 3D, dites "RGBD" avec un "D" pour "depth" en anglais qui se traduit par "profondeur". Mais comment fonctionnent-elles ? N'est-il pas envisageable de les améliorer ? Ce que je montre là, ne nécessite l'usage d'aucun "réseau de neurone artificiel". C'est une mesure physique, avec un algorithme classique, qui n'est pas issu de l'I.A. ni d'un gros calculateur :-)

Bonjour, et encore merci.
Pour le graphique vert et gris, est-il possible de changer les couleurs ? Par exemple : noir pour l'infini et blanc pour le plus proche.
Peut-être aussi avoir une échelle non linéaire pour accentuer le détail dans le fond ?

Pour le choix de la palette de couleurs pour la représentation, c'est un sujet difficile. J'ai commencé par une représentation en niveaux de gris. On m'a dit que la couleur apporterai de la lisibilité. J'ai le choix ...

Pour le moment, j'ai choisi "JET", parce qu'il faut bien choisir. Mais il n'y a pas deux personnes distinctes qui aient le même avis sur la couleur. C'est un sujet très clivant. On peut essayer de demander à chacun, mais de là à trouver un consensus, c'est un sujet difficile.

Peut-être avez-vous des palettes de couleurs à me proposer ? Merci ...

Avoir plus d'une couleur est source d'interpretation. Donc il faut au maximum 2. Noir et blanc pas exemple (bone). Pour le hot, il y en a 3, noir rouge et jaune. Pareil pour les autres.
De plus, le nieau de gris est utilisé pour représenter des objets 3D, et est même la source pour générer les autostéréogrammes.

Cependant, je n'ai pas le mot technique pour nommer cette source noir et blanc.

https://www.1001experiences.com/stereogrammes/stereogramme-3d-tondeuse.html

Nous n'en sommes pas à l'étape de reconstruction de ce qui est vu, à l'aide de la carte de disparité. Le résultat de profondeur perçue est très imparfait. Ce qui est obtenu est un traitement d'images, et non pas de l'infographie. C'est de la science et pas de l'art. Il faut que ce que nous faisons ait une utilité pratique, et pas une valeur esthétique. Il s'agit de mesurer la disparité monoculaire, comme on mesure la disparité stéréoscopique. Nous n'en sommes qu'au tout début !

Personnellement pour tout ce qui n'est pas de la température, j'utilise jet ou un dérivé. Sur Paraview, ça s'appelle Rainbow Uniform. Pour accentuer les transitions, on utilise aussi Rainbow Desaturated.

Sur le site de l'université de Middlebury https://vision.middlebury.edu/flow/ ils utilisent une palette dont je n'ai pas la source, pour le flot-optique. Pour moi, une palette est une liste de 240 valeurs Rouge - Vert - Bleu, qui indique la couleur pour un index donné. C'est peut-être mieux lorsque l'on y est habitué, pour la lisibilité de l'image ...

Une page WEB de présentation avec la dernière vidéo d'un drone dans un sous-bois, a été réalisée ici :

https://hebergement.universite-paris-saclay.fr/lecoat/demoweb/monocular_depth.html

Il s'agit de mesurer la disparité monoculaire, comme l'on mesure la disparité stéréoscopique. C'est à dire quantifier la profondeur, avec les images d'une unique caméra. On voit ce relief naturellement, mais il s'agit de le mesurer avec le flot-optique :-)

Citation :

Une page WEB de présentation avec la dernière vidéo d'un drone dans un sous-bois, a été réalisée ici :

https://hebergement.universite-paris-saclay.fr/lecoat/demoweb/monocular_depth.html

Il s'agit de mesurer la disparité monoculaire, comme l'on mesure la disparité stéréoscopique. C'est à dire quantifier la profondeur, avec les images d'une unique caméra. On voit ce relief naturellement, mais il s'agit de le mesurer avec le flot-optique :-)

Jusqu'à présent les images par drone provenaient de forêts en France. Les premières images obtenues étaient dans les Vosges.

Drone en forêt : https://www.youtube.com/watch?v=245yJJrwMQ0

On voit maintenant de plus en plus de drones dans des forêts hors de France. Les sources d'images disponibles se diversifient.

Voila une séquence d'images d'un promeneur dans la forêt. Cette scène est observée par un drone suiveur ...


https://www.youtube.com/watch?v=46VWJ6-YqtY
Le déplacement de la caméra est estimé dans les images, par une mesure de mouvement projectif dominant. La présence du randonneur dans la séquence d'images ne gêne pas l'estimation de trajectoire, car le personnage occupe une place dans le champ de vision qui n'est pas dominante. Le mouvement dominant correspond lui au défilement du décors, c'est à dire celui de la forêt par rapport à la caméra observatrice.

Puis une séquence d'images dans la forêt, avec un parterre de jacinthes. C'est la saison ...


https://www.youtube.com/watch?v=pkDvTPGSUGU

Nous obtenons par ces traitements, la trajectoire du drone dans l'espace : https://sketchfab.com/3d-models/foret-510dabbedc204f5cb763cb879d61d8dd

Ces calculs sur les images ressemblent à une méthode SLAM (Simultaneous Localization And Mapping). Nous obtenons en effet à la fois la localisation (trajectoire) et le relief visible (carte de profondeur en 3D). Mais nous avons affaire à une séquence d'images monoculaire (une seule caméra) et non stéréoscopique (vision humaine). L'intérêt n'est pas seulement esthétique