Project Topics
Get Complete Project Material File(s) Now! »
L’inversion
Il existe déjà de nombreuses méthodes semi-analytiques bien développées, comme l’approximation de Born distordue (Distorted (Wave) Born approximation ou D(W)BA), les méthodes d’optimisations de sous-espaces (Sub-space Optimization Methods or SOM), ces dernières qui possèdent de multiples variantes, entre beaucoup d’autres. La méthode d’inversion de source de contraste (contrast source inversion ou CSI) est pour sa part l’une des méthodes les plus couramment utilisées pour les problèmes de diffraction inverse, 1Des développements plus élaborés permettent de traiter des cylindres non-circulaires, mais ceux-ci sont hors notre cadre d’étude, d’autant plus que les diamètres des tiges sont petits devant la longeur d’onde et que leur apport serait limité.
viii Résumé et introduction en français deux séquences, le contraste et la source de contraste étant alternativement mises à jour par une optimisation de type gradient conjugué en minimisant une fonction objectif (ou fonction coût) qui combine des différences normalisées dans l’équation de données (qui lie les données aux sources dans la structure) et dans l’équation d’état (qui les lie à elles-mêmes).
Ici, nous utilisons non seulement le CSI traditionnel, mais nous profitons également des informations de binarité afin d’assurer une meilleure performance, binaire signifiant que l’état normal (une tige effectivement présente) est représentée par « 1 », et toute tige manquante est représentée par « 0 ».
Une autre méthode que nous développons est basée sur la parcimonie, c’est-à-dire qu’elle prend celle-ci comme un a priori. En effet, les tiges manquantes sont escomptées être peu nombreuses par rapport au nombre de tiges effectivement présentes, de sorte que ces tiges manquantes peuvent être traitées comme des sources fictives à l’intérieur de la micro-structure investiguée. L’inversion de source équivalente à contrainte de parcimonie (qui implique un développement en ondes cylindriques des champs et est donc basée sur la MST) assure par construction une super-résolution, puisque diagnostic absence/présence, quel que soit le (petit) diamètre d’une tige, mais au prix d’hypothèses fortes sur la micro-structure endommagée, ce sur quoi que l’on vient d’insister.
En contraste avec ce qui précède, les méthodes basées sur les données, ou méth-odes d’apprentissage, qui jouent un rôle de plus en plus important dans de multiples communautés de recherche et d’application —on n’entrera pas ici dans l’abondante et croissante litérature, avec insistance sur le traitement du langage naturel, le traitement d’image et la reconnaissance de formes, pour ne citer que quelques domaines applicatifs— ne bénéficient pas des connaissances préalables et elles utilisent à leur place de grands ensembles de données, afin d’apprendre la solution inconnue du problème inverse posé.
Les réseaux de neurones profonds sont notre choix, sachant que l’augmentation du nombre de couches améliore les performances du réseau de neurones, par extraction de caractéristiques couche par couche, la représentation des caractéristiques des échantillons dans l’espace d’origine étant transformée en un nouvel espace de caractéristiques, ce qui facilite classification ou prédiction —de nombreuses contributions existent déjà dans le domaine de l’imagerie, différentes architectures étant aussi appliquées à différentes situations. Notons que nous bénéficions ici de l’adaptabilité d’un GPU et d’un langage élaboré (type Python), qui facilitent nos algorithmiques et simulations.
Deux types de réseaux sont considérés par nous : les réseaux de neurones convolutifs (Convolutional Neural Network ou CNN) et les réseaux de neurones récurrents (Recurrent Neural Network ou RNN). CNN est un type de réseau neuronal artificiel d’apprentissage en profondeur conçu à l’origine pour analyser des images visuelles, tandis que RNN est conçu pour traiter des données séquentielles et reconnaître des modèles. Et les combinant en CRNN (Convolutional Recurrent Neural network) sera montré novateur et performant.
Ceci est complété par l’utilisation du retournement temporel (Time Reversal ou TR) afin de réaliser la localisation d’une source ou d’une ou plusieurs tiges manquantes (vues comme des sources artificielles de contraste localisées dans la ROI).
L’organisation du manuscrit
Le manuscrit est constitué de sept chapitres principaux. Le chapitre 1 décrit le contexte de la recherche et résume la contribution de cette thèse. La modélisation directe du système micro-structuré utilisant deux méthodes différentes, la méthode de diffusion multiple et la méthode des moments, est présentée au chapitre 2. Le chapitre 3 illustre méthode d’inversion à contrainte de parcimonie, et méthode d’inversion de source de contraste, essentiellement avec la binarité étant imposée. L’application des méthodes basées sur les données suit. Le réseau de neurones convolutif est présenté au chapitre 4, et le réseau de neurones récurrent l’est aux chapitre 5 et chapitre 6, les détails de mise en œuvre de la validation expérimentale sont également présentés dans ce chapitre. Le chapitre 7 contient la méthode d’imagerie directe : le retournement temporel, qui, en résumant, enregistre une onde entrante puis retransmet sa version inversée dans le temps. Le chapitre 8 résume le travail accompli et présente quelques perspectives. Les annexes proposent des documents supplémentaires. La dissémination nationale et internationale des résultats est fournie à la fin du manuscrit.
L’expérimentation
Cette expérience en chambre anéchoïque a été réalisée sur deux prototypes de micro-structure diélectrique bien conçus (avec des tiges manquantes), avec la complexité supplémentaire que les antennes utilisées émettrices et réceptrices sont évidemment 3-D, même si les tiges sont assez longues. pour s’adapter à l’hypothèse 2-D susmentionnée, en plus des problèmes d’étalonnage (un champ total est collecté, non pas un champ diffracté, et l’antenne n’est pas un récepteur ou un transmetteur idéal). Au-delà de la transmission des données acquises au CNN ci-dessus, le principal défi est de savoir comment combiner simulations et expériences, par exemple, via des réseaux antagonistes génératifs (generative adversarial network ou GAN), nous y reviendrons ci-après.
Les performances des différentes méthodes ne peuvent pas être jugées selon un critère simple, ce sont des avantages et des inconvénients, de chacune, et cela, compte tenu de la question effectivement posée. Les méthodes semi-analytiques nécessitent une bonne connaissance de la physique et des mathématiques, elles sont difficiles à comprendre si ces connaissances ne sont pas disponibles. De l’autre côté, de grandes quantités de données sont la condition sine qua none de l’utilisation de méthodes d’apprentissage, mais les performances ne peuvent pas être garanties, car la méthode d’apprentissage en profondeur ressemble dans une bonne mesure à une boîte noire, bien que beaucoup s’efforcent d’obtenir plus d’explications ; comme avec la non-linéarité élevée de la capacité de modélisation de CNN, le RNN apparaît être une bonne approximation de la séquence temporelle, mais il reste encore beaucoup de questions ouvertes.
Dans l’ensemble, la méthode CNN spécialisée en binaire réalise une reconstruction précise de la carte de contraste dans tous les cas étudiés, sauf contrastes vraiment élevés, à la fois en terme de localisation des tiges et en terme de récupération de leurs contrastes, même si des données bruitées sont entrées. Vérité terrain et la carte récupérée sont presque impossibles à distinguer. Le cas binaire concerne la localisation des tiges manquantes, mais le réseau construit peut être utilisé pour obtenir la distribution du contraste aléatoire, comme il est aussi montré.
Comme discuté dans le manuscrit, CRNN présente de bonnes performances sur les données générées par MoM, alors que les performances sur les données générées par FD-TD sont légèrement moins bonnes, et nous n’avons pas pu trouver la raison exacte de cet écart de comportement. Quant à la méthode de « physique expérimentale », le retournement temporel, il présente de bonnes performances non seulement pour le problème de source inverse mais aussi pour le problème de diffraction inverse, étant souligné que la résolution du résultat n’est pas assez élevée, comme prévu —seule la prise en compte de résonances de la structure via l’analyse des singularités de sa fonction de Green (associée à la micro-structure intacte) pourrait le permettre via un développement adéquat de MST.
D’un autre point de vue, l’applicabilité des méthodes est et demeure un sujet de préoccupation. La méthode de parcimonie ne peut pas être transférée facilement pour traiter d’autres problèmes en raison de la modélisation très spécialisée. En revanche, la méthode d’apprentissage souffre moins de ce type de limitations, les méthodes CNN ou RNN ont plus de chances de s’appliquer à des problèmes similaires. Pour être plus précis, avec un réseau bien formé, seules des tâches telles que le réglage des paramètres ou la modification de certaines couches sont nécessaires pour les adapter à d’autres micro-structures, qui seraient différentes en termes de contraste, de nombre, de taille et d’inter-distance des tiges, et aussi de différentes configurations de mesure.
Le cas binaire et le cas aléatoire sont tous deux analysés dans la présente recherche ; le cas binaire concerne la localisation des tiges manquantes, et le cas du contraste aléatoire peut être étendu aux cas généraux de reconstruction d’un objet pour en obtenir les paramètres physiques exacts, la carte de la permittivité ici. Différentes valeurs et différentes formes sont également développées dans cette recherche sur ce type d’extension.
Les travaux envisageables
Bien que la micro-structure sous-longueur d’onde ait été analysée en profondeur, par diverses méthodes, en allant de la modélisation directe à la résolution de problèmes inverses, d’autres explorations apparaissent d’un bon intérêt.
Tout d’abord, la recherche proposée est toujours limitée à des situations qui sont bi-dimensionnelles (tiges infiniment longues) ou quasi bi-dimensionnelles (tiges suffisamment longues), aller à trois dimensions complètes (tiges de hauteur finie, e.g., au plus un couple de longueurs d’onde) semble nécessaire, une fois noté que le problème en trois dimensions est plus difficile en termes de modélisation mathématique, simulations numériques, problèmes inverses eux-mêmes, et expérimentations devant supporter les avancées.
Pour ce qui concerne la partie expérimentale, au-delà de la généralisation à trois dimen-sions, une correction intelligente entre les données de simulation et celles d’expérimentation est nécessaire, en utilisant une méthode comme celle des GAN afin de générer les (des) données simulées, évitant expérimentations manuelles, possiblement chronophages. Pour mémoire, un GAN se compose d’un discriminateur qui estime la probabilité qu’un échan-tillon donné provienne de l’ensemble de données réel, et d’un générateur qui produit des échantillons synthétiques à partir d’une entrée de variable de bruit. Ce dernier est construit pour capturer la distribution réelle des données afin que les échantillons génératifs puissent « tromper » le discriminateur pour offrir une probabilité élevée.
Sinon, utiliser les méthodes d’analyse et d’apprentissage proposées pour traiter directe-ment les données expérimentales demeure une solution. À l’exception de l’application directe des réseaux de neurones pour les traiter, la combinaison de la physique et des réseaux de neurones est une voie à suivre. Entre autres exemples, une méthode de rétro-propagation fournissant une carte de contraste approximative utilisée comme entrée d’une architecture type U-net se rencontre déjà. L’apprentissage profond peut aussi être intégré dans la CSI pour de nouvelles améliorations. Les RNN, que nous avons considérés en combinaison CRNN avec les CNN, sont aussi prometteurs, en combinant approche semi-analytique et méthode d’apprentissage, une image profonde étant analysée pour résoudre le problème inverse en association avec une régularisation classique pour surmonter le problème du manque de généralisation après entraînement avec données insuffisantes.
Changement de paradigme, la fusion de données provenant de différentes modalités d’imagerie peut tirer parti de différents comportements. Les méthodes de fusion sont diverses, nous ne les considérons pas ici en détail, mais la méthode bayésienne bénéficie d’une bonne réputation et a fait l’objet de réalisations fructueuses. Quant à une méthode d’apprentissage, elle rassemblerait les données de différents modèles dans plusieurs canaux de l’ensemble de données, de sorte que les réseaux neuronaux puissent apprendre les données en vue de réaliser différents objectifs à partir des informations desdits canaux. Une remarque, ceci s’appliquerait naturellement à des laminés à fibres, pour lesquels ultrasons et ondes millimétriques peuvent facilement se combiner au sein d’un contrôle non destructif, ceci semble moins évident dans notre cas, même s’il existe une littérature originale portant sur des réseaux de fils et retournement temporel en acoustique sonore.
Research background
Micro-structures, the type of object under investigation herein, are usually made of a number of elements of same nature, which are distributed in periodic fashion within a certain region of space most of the time, and the characteristic size of such elements and their separation, which have sub-wavelength features, are measured with respect to the wavelength of operation for the time-harmonic single-frequency signals, or to the frequency band of operation for multi-frequency signals [1], [2]. Micro-structures have applications in industry and daily life, so the good understanding and analysis is necessary.
If phononic and photonic crystals well correspond to the above description, this is also the case with fibered laminates as now common in aeronautic and automotive work pieces, while antenna arrays devoted to agile illuminations as well as to privileged communications can also be seen as fitting to that description. And if considering those situations, people often ask how does a micro-structure behave if some elements do not work as expected or are simply missing or differ from the nominal element, be the resulting phenomenon appreciated in terms of radiation (e.g., the array) or scattering (e.g., the crystal, the laminate).
So, the challenge is multi-fold, since a good understanding and analysis of the intact as well as the possibly affected micro-structures are needed, and since we need to test those, locate any meaningful change, and at best in effect map what is happening in the micro-structure, possibly reaching far beyond the Rayleigh criterion.
Plenty of imaging tools have already been developed in past years, and a microwave imaging method is often chosen for multiple advantages, like the low cost and safe implementation, compared with other methods. For example, ultrasonic methods are often applied for the characterization of metals and alloys, but it requires a coupling medium, and significant attenuation of the high-frequency components might cause miss-detection. Infra-red thermography is also widely applied, however it does not with the low lossy medium. Lots of methods based on microwave imaging then have been developed, like time reversal, linear sampling, Born approximation, distorded Born approximation, contrast source inversion or subspace-based optimization methods, and so on. Different methods are developed in effect for different situations of application, and each also has its own merits.
The micro-structure in my work contains a grid-like set of a finite number of circular cylindrical dielectric rods, the radius of a rod being quite small and the adjacent rods being close to each other, such dimensions smaller than the sub-wavelength. In view of the sub-wavelength feature, the main challenge is how to achieve meaningful localization, resolution-enhanced or even, super-resolved.
Super-resolution is hard to achieve by conventional methods with the existence of sub-wavelength geometrical features. This calls for smart approaches and also proper use of priors, while trying to mitigate computational costs and being reliable even if data were to be erroneous or scarce. As a result, conventional methods combined with some prior information or data-driven methods can provide some new direction to solve the problem. Some examples of the above are found in the contributions [3] and [4]; the work in [3] is specially dedicated to non-destructive electromagnetic testing with the sparsity-constrained method to diagnose the composite materials. In contrast, the work in [4] is to be applied in the field of telecommunications, using time reversal to realize the super-resolution of an antenna array in order to increase the transmission performance.
To deal with complex micro-structured systems, exhaustive understanding of physics as support of the wave and field analysis is necessary, which means that the characterization of material structures from electromagnetic fields which are scattered under given wave-field illuminations should be analysed in a proper mathematical framework; such a work requires effort on computational modelling, imaging, and signal processing as well.
As the start of my research, two methods have been used to proceed with the forward modelling of the micro-structure. The so-called multiple scattering method (MST) [5], [6] is specialized to the circular cylindrical rod case, and is based on rigorous cylindrical wave expansions tailored to this peculiar geometry1. It is quite accurate for the investigated structure as cylindrical waves are easily accounted for.
1More elaborate developments, e.g., [7], make it possible to treat non-circular cylinders, but those lie outside our scope of study, especially as the rod diameters are small compared to the wavelength and their contribution would then be limited.
Research background
Another approach is the method of moments (MoM) [8]; this method as is well-known converts the integral equations which describe the field into a discrete system, here one has been choosing for the sake of simplicity (with still maintaining proper accuracy) pulse basis functions and delta testing functions. Yet we need to mention that each method has advantages and limitations, as an example the MST as deployed is limited to our specific geometry which is not the case as obvious of the MoM (imagine squared cross-sections of rods).
The Finite Difference Time Domain (FDTD) method is also used for the work in time domain with the help of an open source software named gprMax [9]. The core of FDTD algorithm is that the time-dependent Maxwell’s equations are discretized using central-difference approximations to the space and time partial derivatives, and then, to simulate the response of the interaction between the assumed pulse signals and the object interacting with.
Once accurately modeled the forward problem, the inverse one can be solved by different methods from closed-form methods to learning methods. There are already many well developed analytical methods, as said in the above, like the distorted Born approximation, the subspace optimization method and many variants. As for the contrast source inversion (CSI) method, it is one of the most commonly used methods for inverse scattering problems, two sequences, namely, the contrast and the contrast source being alternately updated using the conjugate gradient direction by minimizing an objective function which combines normalized mismatches in the data equation and in the state equation. In the research, we not only use the traditional CSI but we also take advantage of the binary information to achieve a better performance, binary here meaning that the normal status (an effectively present rod) is represented by 1 and any missing rod is represented by 0.
Another method is based on sparsity [10], [11], i.e., it takes sparsity as the prior information [12]. In brief, considering the system faced with, the missing rods are expected to be few compared with the number of normal rods, so those missing rods can be treated as sources inside the periodic structure in the forward modelling. Sparsity-constrained equivalent-source inversion [13], involving cylindrical wave expansion of the field everywhere can thus yield the location of missing rods provided that those are indeed few and that the intact structure is known beforehand, and in doing so it yields super-resolution (in terms of diagnostic of absence/presence of a sub-wavelength-sized rod) yet at the price of strong hypotheses about the damaged micro-structure as just insisted upon.
In an era of explosive data growth, data-driven methods play a more and more important role in different aspects. Unlike aforementioned methods for which the problem is explicitly defined and domain knowledge carefully engineered into the solution, learning methods do not benefit from such prior knowledge and instead they make use of large data sets in order to learn the unknown solution to the inverse problem. A lot of learning methods are applied to solve the electromagnetic problems, one popular machine learning method —support vector regression(SVM)— has created significant results in non-destructive evaluation, artificial neural networks are widely used in the medical imaging problem [14], including imaging and image processing, like medical images segmentation.
Neural networks have been applied to electromagnetic detection for a long time [15]. With the exploration of big data and improvement of computational performance of computers, deep neural networks play a more and more important role among numerous learning methods. The increase of the number of layers improves the performance of the neural network, by layer-by-layer feature extraction, the feature representation of samples in original space is transformed into a new feature space, which makes classification or prediction easier.
Convolutional neural networks (CNN) and recurrent neural networks (RNN) are two of the most important deep learning models [16] and are widely used in tasks like natural language processing, image processing, and pattern recognition, to mention but a few of applicative fields. CNN is a type of artificial deep learning neural network designed to analyse visual images, while RNN is designed to process sequential data and recognize patterns, which has achieved good results in text generation, machine translation, and face detection [17], [18], without pretence to exhaustivity of our tour of the literature.
Quite many contributions are already made by the researchers in the imaging domain, different architectures are applied to different situations [19], [20]. Neural networks learn-ing techniques are also considered to tackle detection and imaging issues in applications of the ground penetrating radar [21], [22], [23], the modified neural network is applied to contribute to antenna design and optimization [24]. Neural networks are also used to analyse model-based sensitivity of non destructive testing systems [25].[26], RNN is used in Magnetic Resonance image reconstruction [27], and there are also existing works that analyse the equivalence between wave dynamics and recurrent neural networks [28].
As introduced in the above, most of the work in this thesis is about the inverse scattering problem related to the probing of a micro-structure, mapping from the scattered field to the dielectric distribution of the region of interest (ROI) containing the said micro-structure being run so as to realize the localization of the missing rods. In effect, some further works like using time reversal in order to realize the localization of a source have also been carried out to investigate the micro-structure from different points of view. Time reversal is a direct imaging method with the help of time reversal mirror [29], [30], it can be carried out in the frequency domain or in the time domain. Time reversal has plenty of applications, for example, telecommunications, source localizations, medical imaging. In the present research, time reversal is used to find the active source and the missing rods, which are consequently regarded as passive sources.
Laboratory-controlled experiments in a microwave anechoic chamber have also been carried out to perform further validation of our research on a micro-structure prototype, experiments being performed in a broad band. The work about these experiments involves calibration of the experimental data and simulated data, and aims at validation of the previous methods, like CNN, using such experimental data.
Outline
The thesis contains seven main chapters in full. Chapter 1 (this one) describes the background of the research and summarizes the contribution of this thesis. The forward modelling of the micro-structure system using two different methods, namely, multiple scattering method and method of moments, is introduced in Chapter 2. Chapter 3 illustrates two conventional inversion methods: using sparsity prior information inversion method and contrast source inversion method. As for the application of data-driven methods: convolutional neural networks are presented in Chapter 4, recurrent neural networks are presented in Chapter 5 and Chapter 6 for both time domain and frequency domain, the implementation details of the experimental validation are also introduced in this chapter. Chapter 7 contains the direct imaging method: time reversal, Chapter 8 summarizes the achieved work and outlines some perspectives. In Fig. 1.1, the main work is sketched, here alos including the direct imaging method (time reversal is not strict inversion method, technically). Appendices provide supplementary materials. The dissemination of the work is also listed at the end of the manuscript.
Table of contents :
1 Introduction
1.1 Research background
1.2 Outline
2 Modelling of the forward problem
2.1 Multiple scattering method
2.2 Method of moments
2.3 Validation of the modelling
3 Sparsity constrained inversion and contrast source inversion
3.1 Sparsity constrained method
3.1.1 Results of sparsity-constrained method
3.2 Contrast source inversion
3.2.1 Results of binary-specialized contrast source inversion
3.3 CSI for reconstruction of random contrast distribution
4 Imaging by convolutional neural networks in frequency domain
4.1 CNN architecture
4.2 Loss function
4.3 Training method
4.4 Training dataset
4.5 Implementation
4.6 The binary-specialized CNN: a reference example
4.6.1 Different configurations for the test
4.6.2 Single frequency vs. multiple frequencies of operation
4.6.3 Different data noise ratios
4.6.4 Different values of contrast
4.6.5 Additional results for different numbers of missing rods and different shapes using binary-specialized CNN
4.6.6 Extension to random contrast distribution
5 Imaging by recurrent neural networks in time domain
5.1 Motivation of using RNN
5.2 LSTM structure
5.2.1 Dataset
5.2.2 Training process
5.2.3 Results
5.3 Comparison with imaging by convolutional neural networks
5.3.1 CNN architecture
5.3.2 CNN results
5.3.3 Comparison between CNN and RNN
5.4 Validation on laboratory-controlled Data
5.4.1 The configuration of experiments
5.4.2 Results on experimental data
6 Imaging by convolutional-recurrent neural networks
6.1 Architecture of proposed CRNN
6.2 Training process
6.3 Results of CRNN
7 Direct imaging method: time reversal
7.1 Time reversal for localization of source
7.2 Time Reversal for localization of missing rods
8 Conclusion
8.1 Summary of the work as completed
8.2 Potential work
