Photonische Datenwissenschaft Prof. Dr. Thomas Bocklitz seit 01/2024 Forschungsschwerpunkte • Maschinelles Lernen für photonische Bilddaten • Chemometrie und maschinelles Lernen für spektrale Daten • Korrelation verschiedener Messmethoden und Datenfusion Um eine Differentialdiagnose zum Beispiel bei einer Krebserkanknung zu stellen, werden häufig neben Hämatoxylin-Eosin-Färbung (HE) auch komplexerer Verfahren wie zum Beispiel immunhistochemische Färbungen angewandt. Aufgrund ihrer technischen Komplexität, Dauer und Kosten werden diese aber nicht in allen Fällen routinemäßig angewandt. In STAIN-IT wird an einer schnellen, nicht-invasiven und markierungsfreien immunhistochemischen Färbungen auf der Grundlage der nichtlinearen Multikontrast-Mikroskopie geforscht, welche aus der kohärenten Anti-Stokes Raman-Streuung, der Zweiten harmonische Erzeugung und der zwei Zwei-Photonen angeregten Fluoreszenz besteht. In STAIN-IT werden die Multikontrast-Mikroskopie Aufnahmen mit Hilfe von Deep-LearningAnsätzen modelliert und diese tiefe Lernverfahren werden genutzt, um immunhistochemische Nicht-invasive computergestützte immunhistochemische Färbung auf der Grundlage von tiefen Lernverfahren und multimodaler Bildgebung (STAIN-IT) Färbungen basierend auf den multikontrastmikroskopischen Aufnahmen zu imitieren. Hierzu werden verschiedene generative Modelle, wie GANs (Generative Adverserial Networks) eingesetzt. Im Projekt werden diese generativen Modelle zusammen mit Methoden zum quantitativen Verständnis der Modelle (erklärbare künstliche Intelligenz, Explainable AI, XAI) erforscht. Mit den geplanten Approximationsansätzen für die generativen Färbemodelle können diese verstanden und durch Pathologen und Spektroskopiker interpretiert werden. STAIN-IT wird zum ersten Mal eine markierungsfreie, nicht invasive, und schnelle computergestützte immunhistochemische Färbung entwickeln, die leicht in die klinische Routine genutzt werden kann und zu einer erhöhten Diagnosesicherheit und einem besseren Verständnis der Krankheitspathogenese führt. [1] Rodner, E.; Bocklitz, T.; von Eggeling, F.; Ernst, G.; Chernavskaia, O.; Popp, J.; Denzler, J.; Guntinas-Lichius, O. Fully Convolutional Networks in Multimodal Nonlinear Microscopy Images for Automated Detection of Head and Neck Carcinoma: A Pilot Study. Head & Neck 2019, 41, 116–121. https://doi.org/10.1002/hed.25489. [2] Contreras, J.; Bocklitz., T. Agnostic eXplainable Artificial Intelligence (XAI) Method Based on Volterra Series. In Proceedings of the 12th International Conference on Pattern Recognition Applications and Methods - ICPRAM,; SciTePress, 2023; pp 597–606. https:// doi.org/10.5220/0011889700003411. [3] Pradhan, P.; Meyer, T.; Vieth, M.; Stallmach, A.; Waldner, M.; Schmitt, M.; Popp, J.; Bocklitz, T. Computational Tissue Staining of Non-Linear Multimodal Imaging Using Supervised and Unsupervised Deep Learning. Biomedical Optics Express2021, 12 (4), 2280–2298. https:// doi.org/10.1364/BOE.415962. Abb. 1. Um eine nicht-invasive computergestützte immunhistochemische Färbung zu entwickeln, werden auf künstlicher Intelligenz (KI) basierende Methoden verwendet, welche die multimodalen Bilder (MM) und die darin enthaltene Textur in höhere Informationen über die Proben übersetzen. In STAIN-IT werden ein maschinelle Lernverfahren erforscht, um MM-Bilder direkt in Bilder von immunhistochemischen Färbungen zu übersetzen. Bild: AG Bocklitz 106 — FORSCHUNG
RkJQdWJsaXNoZXIy OTI3Njg=