Vielen Dank für Ihren Besuch auf Nature.com.Sie verwenden eine Browserversion mit eingeschränkter CSS-Unterstützung.Für ein optimales Erlebnis empfehlen wir die Verwendung eines aktualisierten Browsers (oder die Deaktivierung des Kompatibilitätsmodus im Internet Explorer).Um weiterhin Support zu gewährleisten, zeigen wir die Seite außerdem ohne Stile und JavaScript an.
Slider mit drei Artikeln pro Folie.Verwenden Sie die Schaltflächen „Zurück“ und „Weiter“, um durch die Folien zu navigieren, oder die Schaltflächen des Schiebereglers am Ende, um durch die einzelnen Folien zu navigieren.
Die optische kohärenztomographische Angiographie (OCTA) ist eine neue Methode zur nicht-invasiven Visualisierung von Netzhautgefäßen.Obwohl OCTA viele vielversprechende klinische Anwendungen hat, bleibt die Bestimmung der Bildqualität eine Herausforderung.Wir haben ein auf Deep Learning basierendes System entwickelt, das den mit ImageNet vortrainierten neuronalen Netzwerkklassifikator ResNet152 verwendet, um oberflächliche Kapillarplexusbilder aus 347 Scans von 134 Patienten zu klassifizieren.Die Bilder wurden auch manuell von zwei unabhängigen Bewertern für ein überwachtes Lernmodell als wahr eingestuft.Da die Anforderungen an die Bildqualität je nach Klinik- oder Forschungsumgebung variieren können, wurden zwei Modelle trainiert, eines für die Bilderkennung hoher Qualität und das andere für die Bilderkennung niedriger Qualität.Unser neuronales Netzwerkmodell zeigt eine ausgezeichnete Fläche unter der Kurve (AUC), 95 % KI 0,96–0,99, \(\kappa\) = 0,81), was deutlich besser ist als der von der Maschine gemeldete Signalpegel (AUC = 0,82, 95). % KI).0,77–0,86, \(\kappa\) = 0,52 bzw. AUC = 0,78, 95 %-KI 0,73–0,83, \(\kappa\) = 0,27).Unsere Studie zeigt, dass Methoden des maschinellen Lernens genutzt werden können, um flexible und robuste Methoden zur Qualitätskontrolle für OCTA-Bilder zu entwickeln.
Die optische Kohärenztomographie-Angiographie (OCTA) ist eine relativ neue Technik, die auf der optischen Kohärenztomographie (OCT) basiert und zur nicht-invasiven Visualisierung der Mikrogefäße der Netzhaut eingesetzt werden kann.OCTA misst den Unterschied in den Reflexionsmustern wiederholter Lichtimpulse im selben Bereich der Netzhaut. Anschließend können Rekonstruktionen berechnet werden, um Blutgefäße ohne den invasiven Einsatz von Farbstoffen oder anderen Kontrastmitteln sichtbar zu machen.OCTA ermöglicht auch eine tiefenauflösende Gefäßbildgebung, die es Ärzten ermöglicht, oberflächliche und tiefe Gefäßschichten getrennt zu untersuchen und so bei der Unterscheidung zwischen chorioretinalen Erkrankungen zu helfen.
Obwohl diese Technik vielversprechend ist, stellt die Schwankung der Bildqualität nach wie vor eine große Herausforderung für eine zuverlässige Bildanalyse dar, was die Bildinterpretation erschwert und eine breite klinische Anwendung verhindert.Da OCTA mehrere aufeinanderfolgende OCT-Scans verwendet, ist es empfindlicher gegenüber Bildartefakten als Standard-OCT.Die meisten kommerziellen OCTA-Plattformen bieten ihre eigene Bildqualitätsmetrik namens Signal Strength (SS) oder manchmal Signal Strength Index (SSI).Bilder mit einem hohen SS- oder SSI-Wert garantieren jedoch nicht die Abwesenheit von Bildartefakten, die die nachfolgende Bildanalyse beeinträchtigen und zu falschen klinischen Entscheidungen führen können.Zu den häufigsten Bildartefakten, die bei der OCTA-Bildgebung auftreten können, gehören Bewegungsartefakte, Segmentierungsartefakte, Medienopazitätsartefakte und Projektionsartefakte1,2,3.
Da von OCTA abgeleitete Messungen wie die Gefäßdichte zunehmend in der translationalen Forschung, in klinischen Studien und in der klinischen Praxis eingesetzt werden, besteht ein dringender Bedarf an der Entwicklung robuster und zuverlässiger Verfahren zur Bildqualitätskontrolle, um Bildartefakte zu eliminieren4.Sprungverbindungen, auch Restverbindungen genannt, sind Projektionen in der neuronalen Netzwerkarchitektur, die es Informationen ermöglichen, Faltungsschichten zu umgehen und gleichzeitig Informationen in unterschiedlichen Maßstäben oder Auflösungen zu speichern5.Da Bildartefakte die Bildleistung im kleinen Maßstab und im Allgemeinen im großen Maßstab beeinträchtigen können, eignen sich neuronale Netze mit Skip-Verbindung gut zur Automatisierung dieser Qualitätskontrollaufgabe5.Kürzlich veröffentlichte Arbeiten haben gezeigt, dass Deep Convolutional Neural Networks, die mithilfe hochwertiger Daten menschlicher Schätzer trainiert werden, vielversprechend sind6.
In dieser Studie trainieren wir ein verbindungsüberspringendes Faltungs-Neuronales Netzwerk, um die Qualität von OCTA-Bildern automatisch zu bestimmen.Wir bauen auf früheren Arbeiten auf, indem wir separate Modelle zur Identifizierung hochwertiger Bilder und Bilder niedriger Qualität entwickeln, da die Anforderungen an die Bildqualität für bestimmte klinische oder Forschungsszenarien unterschiedlich sein können.Wir vergleichen die Ergebnisse dieser Netzwerke mit Faltungs-Neuronalen Netzwerken ohne fehlende Verbindungen, um den Wert der Einbeziehung von Merkmalen auf mehreren Granularitätsebenen in Deep Learning zu bewerten.Anschließend verglichen wir unsere Ergebnisse mit der Signalstärke, einem allgemein anerkannten Maß für die Bildqualität, das von Herstellern bereitgestellt wird.
Unsere Studie umfasste Patienten mit Diabetes, die das Yale Eye Center zwischen dem 11. August 2017 und dem 11. April 2019 aufsuchten. Patienten mit einer nicht-diabetischen chorioretinalen Erkrankung wurden ausgeschlossen.Es gab keine Einschluss- oder Ausschlusskriterien basierend auf Alter, Geschlecht, Rasse, Bildqualität oder anderen Faktoren.
OCTA-Bilder wurden mit der AngioPlex-Plattform auf einem Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) unter den Bildgebungsprotokollen 8\(\times\)8 mm und 6\(\times\)6 mm aufgenommen.Von jedem Studienteilnehmer wurde eine Einverständniserklärung zur Teilnahme an der Studie eingeholt, und das Institutional Review Board (IRB) der Yale University genehmigte die Verwendung einer Einverständniserklärung mit globaler Fotografie für alle diese Patienten.Im Einklang mit den Grundsätzen der Deklaration von Helsinki.Die Studie wurde vom IRB der Yale University genehmigt.
Oberflächenplattenbilder wurden auf der Grundlage des zuvor beschriebenen Motion Artifact Score (MAS), des zuvor beschriebenen Segmentation Artifact Score (SAS), des fovealen Zentrums, des Vorhandenseins von Medientrübung und einer guten Visualisierung kleiner Kapillaren, wie vom Bildauswerter ermittelt, ausgewertet.Die Bilder wurden von zwei unabhängigen Gutachtern (RD und JW) analysiert.Ein Bild hat eine benotete Punktzahl von 2 (geeignet), wenn alle folgenden Kriterien erfüllt sind: Das Bild ist in der Fovea zentriert (weniger als 100 Pixel von der Bildmitte entfernt), MAS ist 1 oder 2, SAS ist 1 und Die Medienopazität beträgt weniger als 1. Auf Bildern der Größe / 16 vorhanden, und kleine Kapillaren sind in Bildern zu sehen, die größer als 15/16 sind.Ein Bild wird mit 0 (keine Bewertung) bewertet, wenn eines der folgenden Kriterien erfüllt ist: Das Bild ist außermittig, wenn MAS 4 ist, wenn SAS 2 ist oder die durchschnittliche Deckkraft größer als 1/4 des Bildes ist und Die kleinen Kapillaren können zur Unterscheidung nicht mehr als 1 Bild/4 verstellt werden.Alle anderen Bilder, die die Bewertungskriterien 0 oder 2 nicht erfüllen, werden mit 1 (Ausschnitt) bewertet.
Auf Abb.1 zeigt Beispielbilder für jede der skalierten Schätzungen und Bildartefakte.Die Zuverlässigkeit der einzelnen Bewertungen zwischen Bewertern wurde anhand der Kappa-Gewichtung nach Cohen8 bewertet.Die Einzelbewertungen jedes Bewerters werden summiert, um für jedes Bild eine Gesamtbewertung im Bereich von 0 bis 4 zu erhalten. Bilder mit einer Gesamtbewertung von 4 gelten als gut.Bilder mit einer Gesamtpunktzahl von 0 oder 1 gelten als minderwertig.
Ein auf Bildern aus der ImageNet-Datenbank vorab trainiertes Faltungs-Neuronales Netzwerk mit ResNet152-Architektur (Abb. 3A.i) wurde mit fast.ai und dem PyTorch-Framework5, 9, 10, 11 generiert. Ein Faltungs-Neuronales Netzwerk ist ein Netzwerk, das das Gelernte nutzt Filter zum Scannen von Bildfragmenten zur Untersuchung räumlicher und lokaler Merkmale.Unser trainiertes ResNet ist ein 152-schichtiges neuronales Netzwerk, das durch Lücken oder „Restverbindungen“ gekennzeichnet ist, die gleichzeitig Informationen mit mehreren Auflösungen übertragen.Durch die Projektion von Informationen mit unterschiedlichen Auflösungen über das Netzwerk kann die Plattform die Merkmale von Bildern geringer Qualität auf mehreren Detailebenen erlernen.Zusätzlich zu unserem ResNet-Modell haben wir zum Vergleich auch AlexNet, eine gut untersuchte neuronale Netzwerkarchitektur, ohne fehlende Verbindungen trainiert (Abbildung 3A.ii)12.Ohne fehlende Verbindungen ist dieses Netzwerk nicht in der Lage, Features mit einer höheren Granularität zu erfassen.
Der ursprüngliche 8\(\times\)8mm OCTA13-Bildsatz wurde mithilfe horizontaler und vertikaler Reflexionstechniken verbessert.Der vollständige Datensatz wurde dann auf Bildebene mithilfe der Scikit-Learn-Toolbox Python14 zufällig in Trainings- (51,2 %), Test- (12,8 %), Hyperparameter-Tuning- (16 %) und Validierungs- (20 %) Datensätze aufgeteilt.Es wurden zwei Fälle berücksichtigt: Einer basierte auf der Erkennung nur der Bilder mit der höchsten Qualität (Gesamtbewertung 4) und der andere basierend auf der Erkennung nur der Bilder mit der niedrigsten Qualität (Gesamtbewertung 0 oder 1).Für jeden Anwendungsfall mit hoher und niedriger Qualität wird das neuronale Netzwerk einmal anhand unserer Bilddaten neu trainiert.In jedem Anwendungsfall wurde das neuronale Netzwerk für 10 Epochen trainiert, alle bis auf die höchsten Schichtgewichte wurden eingefroren und die Gewichte aller internen Parameter wurden für 40 Epochen unter Verwendung einer diskriminierenden Lernratenmethode mit einer Kreuzentropieverlustfunktion 15 gelernt. 16..Die Kreuzentropieverlustfunktion ist ein Maß für die logarithmische Skala der Diskrepanz zwischen vorhergesagten Netzwerkbezeichnungen und realen Daten.Während des Trainings wird ein Gradientenabstieg an den internen Parametern des neuronalen Netzwerks durchgeführt, um Verluste zu minimieren.Die Hyperparameter Lernrate, Abbruchrate und Gewichtsreduktion wurden mithilfe der Bayes'schen Optimierung mit 2 zufälligen Startpunkten und 10 Iterationen optimiert, und die AUC des Datensatzes wurde mithilfe der Hyperparameter als Zielwert von 17 optimiert.
Repräsentative Beispiele für 8 × 8 mm OCTA-Bilder von oberflächlichen Kapillarplexusen wurden mit 2 (A, B), 1 (C, D) und 0 (E, F) bewertet.Zu den angezeigten Bildartefakten gehören flackernde Linien (Pfeile), Segmentierungsartefakte (Sternchen) und Medienopazität (Pfeile).Bild (E) ist ebenfalls außermittig.
Anschließend werden ROC-Kurven (Receiver Operating Characteristics) für alle neuronalen Netzwerkmodelle erstellt, und für jeden Anwendungsfall mit niedriger und hoher Qualität werden Berichte zur Motorsignalstärke erstellt.Die Fläche unter der Kurve (AUC) wurde mit dem pROC R-Paket berechnet und 95 %-Konfidenzintervalle und p-Werte wurden mit der DeLong-Methode berechnet18,19.Die kumulativen Bewertungen der menschlichen Bewerter werden als Basis für alle ROC-Berechnungen verwendet.Für die von der Maschine gemeldete Signalstärke wurde die AUC zweimal berechnet: einmal für den Scalability Score-Grenzwert hoher Qualität und einmal für den Scalability Score-Grenzwert niedriger Qualität.Das neuronale Netzwerk wird mit der AUC-Signalstärke verglichen, die seine eigenen Trainings- und Bewertungsbedingungen widerspiegelt.
Um das trainierte Deep-Learning-Modell an einem separaten Datensatz weiter zu testen, wurden Modelle hoher und niedriger Qualität direkt auf die Leistungsbewertung von 32 Vollflächenbildern von 6\(\times\) 6-mm-Oberflächenplatten angewendet, die von der Yale University gesammelt wurden.Die Augenmasse ist gleichzeitig mit dem Bild 8 \(\times \) 8 mm zentriert.Die 6\(\×\) 6-mm-Bilder wurden manuell von denselben Bewertern (RD und JW) auf die gleiche Weise wie die 8\(\×\) 8-mm-Bilder bewertet. Die AUC wurde ebenso berechnet wie die Genauigkeit und Cohens Kappa .gleichermaßen.
Das Klassenungleichgewichtsverhältnis beträgt 158:189 (\(\rho = 1,19\)) für das Modell mit niedriger Qualität und 80:267 (\(\rho = 3,3\)) für das Modell mit hoher Qualität.Da das Klassenungleichgewicht weniger als 1:4 beträgt, wurden keine spezifischen architektonischen Änderungen vorgenommen, um das Klassenungleichgewicht zu korrigieren20,21.
Um den Lernprozess besser zu visualisieren, wurden Klassenaktivierungskarten für alle vier trainierten Deep-Learning-Modelle erstellt: ResNet152-Modell hoher Qualität, ResNet152-Modell niedriger Qualität, AlexNet-Modell hoher Qualität und AlexNet-Modell niedriger Qualität.Klassenaktivierungskarten werden aus den Eingabefaltungsschichten dieser vier Modelle generiert, und Wärmekarten werden durch Überlagerung von Aktivierungskarten mit Quellbildern aus den Validierungssätzen 8 × 8 mm und 6 × 6 mm generiert22, 23.
Für alle statistischen Berechnungen wurde R Version 4.0.3 verwendet und Visualisierungen wurden mit der Grafiktoolbibliothek ggplot2 erstellt.
Wir haben 347 Frontalbilder des oberflächlichen Kapillarplexus mit einer Größe von 8 \(\times \)8 mm von 134 Personen gesammelt.Das Gerät meldete für alle Bilder eine Signalstärke auf einer Skala von 0 bis 10 (Mittelwert = 6,99 ± 2,29).Von den 347 aufgenommenen Bildern betrug das Durchschnittsalter bei der Untersuchung 58,7 ± 14,6 Jahre und 39,2 % stammten von männlichen Patienten.Von allen Bildern stammten 30,8 % von Kaukasiern, 32,6 % von Schwarzen, 30,8 % von Hispanoamerikanern, 4 % von Asiaten und 1,7 % von anderen Rassen (Tabelle 1).).Die Altersverteilung der Patienten mit OCTA unterschied sich deutlich je nach Bildqualität (p < 0,001).Der Anteil hochwertiger Bilder bei jüngeren Patienten im Alter von 18 bis 45 Jahren betrug 33,8 % im Vergleich zu 12,2 % minderwertiger Bilder (Tabelle 1).Die Verteilung des diabetischen Retinopathiestatus variierte auch deutlich in der Bildqualität (p < 0,017).Unter allen Bildern hoher Qualität betrug der Anteil der Patienten mit PDR 18,8 % im Vergleich zu 38,8 % aller Bilder niedriger Qualität (Tabelle 1).
Die Einzelbewertungen aller Bilder zeigten eine mäßige bis starke Interbewertungszuverlässigkeit zwischen den Personen, die die Bilder lasen (Cohens gewichteter Kappa = 0,79, 95 %-KI: 0,76–0,82), und es gab keine Bildpunkte, bei denen sich die Bewerter um mehr als 1 unterschieden (Abb. 2A)..Die Signalintensität korrelierte signifikant mit der manuellen Bewertung (Pearson-Produkt-Moment-Korrelation = 0,58, 95 %-KI 0,51–0,65, p < 0,001), es wurde jedoch festgestellt, dass viele Bilder eine hohe Signalintensität, aber eine niedrige manuelle Bewertung aufwiesen (Abb. 2B).
Während des Trainings der ResNet152- und AlexNet-Architekturen fällt der Kreuzentropieverlust bei Validierung und Training auf über 50 Epochen (Abbildung 3B,C).Die Validierungsgenauigkeit in der letzten Trainingsepoche beträgt über 90 %, sowohl für Anwendungsfälle hoher als auch niedriger Qualität.
Leistungskurven des Empfängers zeigen, dass das ResNet152-Modell die von der Maschine gemeldete Signalleistung sowohl in Anwendungsfällen mit niedriger als auch mit hoher Qualität deutlich übertrifft (p < 0,001).Das ResNet152-Modell übertrifft auch die AlexNet-Architektur deutlich (p = 0,005 und p = 0,014 für Fälle niedriger bzw. hoher Qualität).Die resultierenden Modelle für jede dieser Aufgaben konnten AUC-Werte von 0,99 bzw. 0,97 erreichen, was deutlich besser ist als die entsprechenden AUC-Werte von 0,82 und 0,78 für den Maschinensignalstärkeindex oder 0,97 und 0,94 für AlexNet ..(Abb. 3).Der Unterschied zwischen ResNet und AUC in der Signalstärke ist bei der Erkennung hochwertiger Bilder größer, was auf zusätzliche Vorteile der Verwendung von ResNet für diese Aufgabe hinweist.
Die Diagramme zeigen die Fähigkeit jedes unabhängigen Bewerters, Punkte zu erzielen und mit der vom Gerät gemeldeten Signalstärke zu vergleichen.(A) Aus der Summe der zu bewertenden Punkte ergibt sich die Gesamtpunktzahl der zu bewertenden Punkte.Bildern mit einer Gesamtskalierbarkeitsbewertung von 4 wird eine hohe Qualität zugewiesen, während Bildern mit einer Gesamtskalierbarkeitsbewertung von 1 oder weniger eine niedrige Qualität zugewiesen wird.(B) Die Signalintensität korreliert mit manuellen Schätzungen, aber Bilder mit hoher Signalintensität können von schlechterer Qualität sein.Die rot gepunktete Linie zeigt den vom Hersteller empfohlenen Qualitätsschwellenwert basierend auf der Signalstärke an (Signalstärke \(\ge\)6).
Das ResNet-Transfer-Learning bietet eine deutliche Verbesserung der Bildqualitätserkennung sowohl für Anwendungsfälle mit niedriger als auch mit hoher Qualität im Vergleich zu maschinell gemeldeten Signalpegeln.(A) Vereinfachte Architekturdiagramme vorab trainierter (i) ResNet152- und (ii) AlexNet-Architekturen.(B) Trainingsverlauf und Empfängerleistungskurven für ResNet152 im Vergleich zur maschinell gemeldeten Signalstärke und den AlexNet-Kriterien für niedrige Qualität.(C) Trainingsverlauf und Leistungskurven des ResNet152-Empfängers im Vergleich zur maschinell gemeldeten Signalstärke und den AlexNet-Qualitätskriterien.
Nach Anpassung des Entscheidungsgrenzenschwellenwerts beträgt die maximale Vorhersagegenauigkeit des ResNet152-Modells 95,3 % für den Fall mit niedriger Qualität und 93,5 % für den Fall mit hoher Qualität (Tabelle 2).Die maximale Vorhersagegenauigkeit des AlexNet-Modells beträgt 91,0 % für den Fall niedriger Qualität und 90,1 % für den Fall hoher Qualität (Tabelle 2).Die maximale Genauigkeit der Signalstärkevorhersage beträgt 76,1 % für den Anwendungsfall mit niedriger Qualität und 77,8 % für den Anwendungsfall mit hoher Qualität.Laut Cohens Kappa (\(\kappa\)) beträgt die Übereinstimmung zwischen dem ResNet152-Modell und den Schätzern 0,90 für den Fall niedriger Qualität und 0,81 für den Fall hoher Qualität.Cohens AlexNet-Kappa beträgt 0,82 bzw. 0,71 für Anwendungsfälle mit geringer bzw. hoher Qualität.Cohens Signalstärke-Kappa beträgt 0,52 bzw. 0,27 für die Anwendungsfälle mit niedriger bzw. hoher Qualität.
Die Validierung von Erkennungsmodellen hoher und niedriger Qualität auf 6\(\x\)-Bildern einer 6-mm-Flachplatte zeigt die Fähigkeit des trainierten Modells, die Bildqualität über verschiedene Bildgebungsparameter hinweg zu bestimmen.Bei der Verwendung von 6\(\x\) 6 mm flachen Platten für die Bildqualität hatte das Modell niedriger Qualität eine AUC von 0,83 (95 %-KI: 0,69–0,98) und das Modell hoher Qualität eine AUC von 0,85.(95 %-KI: 0,55–1,00) (Tabelle 2).
Eine visuelle Untersuchung der Aktivierungskarten der Eingabeschichtklasse zeigte, dass alle trainierten neuronalen Netze Bildmerkmale während der Bildklassifizierung verwendeten (Abb. 4A, B).Bei 8 \(\times \) 8 mm- und 6 \(\times \) 6 mm-Bildern folgen die ResNet-Aktivierungsbilder genau dem Netzhautgefäßsystem.AlexNet-Aktivierungskarten folgen ebenfalls Netzhautgefäßen, jedoch mit einer gröberen Auflösung.
Die Klassenaktivierungskarten für die Modelle ResNet152 und AlexNet heben Funktionen im Zusammenhang mit der Bildqualität hervor.(A) Klassenaktivierungskarte, die die kohärente Aktivierung nach oberflächlichem Netzhautgefäßsystem auf 8 x 8 mm großen Validierungsbildern zeigt und (B) Ausdehnung auf kleineren 6 x 6 mm großen Validierungsbildern.Das LQ-Modell wurde auf Kriterien niedriger Qualität trainiert, das HQ-Modell wurde auf Kriterien hoher Qualität trainiert.
Es wurde bereits gezeigt, dass die Bildqualität die Quantifizierung von OCTA-Bildern stark beeinflussen kann.Darüber hinaus erhöht das Vorliegen einer Retinopathie die Häufigkeit von Bildartefakten7,26.Tatsächlich fanden wir in unseren Daten im Einklang mit früheren Studien einen signifikanten Zusammenhang zwischen zunehmendem Alter und Schweregrad der Netzhauterkrankung und einer Verschlechterung der Bildqualität (p < 0,001, p = 0,017 für Alter bzw. DR-Status; Tabelle 1) 27 Daher ist es wichtig, die Bildqualität zu beurteilen, bevor eine quantitative Analyse von OCTA-Bildern durchgeführt wird.Die meisten Studien zur Analyse von OCTA-Bildern verwenden maschinell ermittelte Signalintensitätsschwellenwerte, um Bilder mit geringer Qualität auszuschließen.Obwohl gezeigt wurde, dass die Signalintensität die Quantifizierung von OCTA-Parametern beeinflusst, reicht eine hohe Signalintensität allein möglicherweise nicht aus, um Bilder mit Bildartefakten auszuschließen2,3,28,29.Daher ist es notwendig, eine zuverlässigere Methode zur Bildqualitätskontrolle zu entwickeln.Zu diesem Zweck bewerten wir die Leistung überwachter Deep-Learning-Methoden anhand der von der Maschine gemeldeten Signalstärke.
Wir haben mehrere Modelle zur Bewertung der Bildqualität entwickelt, da verschiedene OCTA-Anwendungsfälle unterschiedliche Anforderungen an die Bildqualität haben können.Beispielsweise sollten Bilder von höherer Qualität sein.Darüber hinaus sind auch spezifische quantitative Parameter von Interesse.Beispielsweise hängt die Fläche der fovealen avaskulären Zone nicht von der Trübung des nichtzentralen Mediums ab, sondern beeinflusst die Dichte der Gefäße.Während sich unsere Forschung weiterhin auf einen allgemeinen Ansatz zur Bildqualität konzentriert, der nicht an die Anforderungen eines bestimmten Tests gebunden ist, sondern die vom Gerät gemeldete Signalstärke direkt ersetzen soll, hoffen wir, den Benutzern ein größeres Maß an Kontrolle zu geben, damit sie dies tun können kann die spezifische Metrik auswählen, die für den Benutzer von Interesse ist.Wählen Sie ein Modell, das dem als akzeptabel erachteten maximalen Grad an Bildartefakten entspricht.
Für Szenen mit niedriger und hoher Qualität zeigen wir eine hervorragende Leistung verbindungsfehlender tiefer Faltungs-Neuronaler Netze mit AUCs von 0,97 bzw. 0,99 und Modellen mit niedriger Qualität.Wir demonstrieren auch die überlegene Leistung unseres Deep-Learning-Ansatzes im Vergleich zu Signalpegeln, die nur von Maschinen gemeldet werden.Übersprungsverbindungen ermöglichen es neuronalen Netzen, Merkmale auf mehreren Detailebenen zu erlernen und feinere Aspekte von Bildern (z. B. Kontrast) sowie allgemeine Merkmale (z. B. Bildzentrierung30,31) zu erfassen.Da Bildartefakte, die die Bildqualität beeinträchtigen, wahrscheinlich am besten über einen weiten Bereich identifiziert werden können, weisen neuronale Netzwerkarchitekturen mit fehlenden Verbindungen möglicherweise eine bessere Leistung auf als solche ohne Aufgaben zur Bestimmung der Bildqualität.
Beim Testen unseres Modells auf 6\(\×6mm) OCTA-Bildern stellten wir einen Rückgang der Klassifizierungsleistung sowohl bei Modellen hoher als auch bei niedriger Qualität fest (Abb. 2), im Gegensatz zur Größe des für die Klassifizierung trainierten Modells.Im Vergleich zum ResNet-Modell weist das AlexNet-Modell einen größeren Abfall auf.Die relativ bessere Leistung von ResNet ist möglicherweise auf die Fähigkeit der verbleibenden Verbindungen zurückzuführen, Informationen in mehreren Maßstäben zu übertragen, was das Modell robuster für die Klassifizierung von Bildern macht, die in unterschiedlichen Maßstäben und/oder Vergrößerungen aufgenommen wurden.
Einige Unterschiede zwischen 8 \(\×\) 8 mm-Bildern und 6 \(\×\) 6 mm-Bildern können zu einer schlechten Klassifizierung führen, einschließlich eines relativ hohen Anteils an Bildern, die foveale avaskuläre Bereiche, Veränderungen der Sichtbarkeit, Gefäßarkaden usw. enthalten Kein Sehnerv auf dem Bild 6×6 mm.Trotzdem konnte unser hochwertiges ResNet-Modell eine AUC von 85 % für 6 \(\x\) 6 mm-Bilder erreichen, eine Konfiguration, für die das Modell nicht trainiert wurde, was darauf hindeutet, dass die Bildqualitätsinformationen im neuronalen Netzwerk codiert sind ist geeignet.für eine Bildgröße oder Maschinenkonfiguration außerhalb seines Trainings (Tabelle 2).Beruhigenderweise konnten ResNet- und AlexNet-ähnliche Aktivierungskarten von 8 x 8 mm und 6 x 6 mm großen Bildern in beiden Fällen Netzhautgefäße hervorheben, was darauf hindeutet, dass das Modell über wichtige Informationen verfügt.sind für die Klassifizierung beider Arten von OCTA-Bildern anwendbar (Abb. 4).
Lauerman et al.Die Bildqualitätsbewertung von OCTA-Bildern wurde in ähnlicher Weise mithilfe der Inception-Architektur durchgeführt, einem weiteren Faltungs-Neuronalen Netzwerk mit Skip-Connection6,32 unter Verwendung von Deep-Learning-Techniken.Sie beschränkten die Studie auch auf Bilder des oberflächlichen Kapillarplexus, verwendeten jedoch nur die kleineren 3×3-mm-Bilder von Optovue AngioVue, obwohl auch Patienten mit verschiedenen chorioretinalen Erkrankungen einbezogen wurden.Unsere Arbeit baut auf ihren Grundlagen auf und umfasst mehrere Modelle, um verschiedene Bildqualitätsschwellenwerte zu berücksichtigen und Ergebnisse für Bilder unterschiedlicher Größe zu validieren.Wir berichten auch über die AUC-Metrik von Modellen für maschinelles Lernen und erhöhen deren bereits beeindruckende Genauigkeit (90 %)6 sowohl für Modelle niedriger Qualität (96 %) als auch für Modelle hoher Qualität (95,7 %)6.
Dieses Training weist mehrere Einschränkungen auf.Zunächst wurden die Bilder mit nur einem OCTA-Gerät aufgenommen, darunter nur Bilder des oberflächlichen Kapillarplexus bei 8\(\times\)8 mm und 6\(\times\)6 mm.Der Grund für den Ausschluss von Bildern aus tieferen Schichten liegt darin, dass Projektionsartefakte die manuelle Auswertung von Bildern erschweren und möglicherweise weniger konsistent machen können.Darüber hinaus wurden Bilder nur von Diabetikern erfasst, für die sich OCTA als wichtiges diagnostisches und prognostisches Instrument herausstellt33,34.Obwohl wir unser Modell an Bildern unterschiedlicher Größe testen konnten, um sicherzustellen, dass die Ergebnisse robust waren, konnten wir keine geeigneten Datensätze aus verschiedenen Zentren identifizieren, was unsere Einschätzung der Generalisierbarkeit des Modells einschränkte.Obwohl die Bilder nur von einem Zentrum stammten, stammten sie von Patienten unterschiedlicher ethnischer und rassischer Herkunft, was eine einzigartige Stärke unserer Studie darstellt.Indem wir Vielfalt in unseren Trainingsprozess einbeziehen, hoffen wir, dass unsere Ergebnisse im weiteren Sinne verallgemeinert werden und dass wir vermeiden, rassistische Vorurteile in den von uns trainierten Modellen zu kodieren.
Unsere Studie zeigt, dass verbindungsüberspringende neuronale Netze trainiert werden können, um eine hohe Leistung bei der Bestimmung der OCTA-Bildqualität zu erzielen.Wir stellen diese Modelle als Werkzeuge für die weitere Forschung zur Verfügung.Da unterschiedliche Metriken unterschiedliche Anforderungen an die Bildqualität haben können, kann unter Verwendung der hier festgelegten Struktur ein individuelles Qualitätskontrollmodell für jede Metrik entwickelt werden.
Zukünftige Forschungen sollten Bilder unterschiedlicher Größe aus unterschiedlichen Tiefen und verschiedenen OCTA-Geräten umfassen, um einen Deep-Learning-Prozess zur Bewertung der Bildqualität zu erhalten, der auf OCTA-Plattformen und Bildgebungsprotokolle verallgemeinert werden kann.Die aktuelle Forschung basiert auch auf überwachten Deep-Learning-Ansätzen, die eine menschliche Auswertung und Bildauswertung erfordern, was bei großen Datensätzen arbeitsintensiv und zeitaufwändig sein kann.Es bleibt abzuwarten, ob unbeaufsichtigte Deep-Learning-Methoden ausreichend zwischen Bildern geringer Qualität und Bildern hoher Qualität unterscheiden können.
Da sich die OCTA-Technologie ständig weiterentwickelt und die Scangeschwindigkeit steigt, kann die Häufigkeit von Bildartefakten und Bildern schlechter Qualität abnehmen.Verbesserungen in der Software, wie beispielsweise die kürzlich eingeführte Funktion zum Entfernen von Projektionsartefakten, können diese Einschränkungen ebenfalls mildern.Allerdings bleiben viele Probleme bestehen, da die Bildgebung von Patienten mit schlechter Fixierung oder erheblicher Medientrübung unweigerlich zu Bildartefakten führt.Da OCTA in klinischen Studien immer häufiger eingesetzt wird, müssen sorgfältige Überlegungen angestellt werden, um klare Richtlinien für akzeptable Bildartefaktniveaus für die Bildanalyse festzulegen.Die Anwendung von Deep-Learning-Methoden auf OCTA-Bilder ist vielversprechend und es bedarf weiterer Forschung in diesem Bereich, um einen robusten Ansatz zur Bildqualitätskontrolle zu entwickeln.
Der in der aktuellen Forschung verwendete Code ist im octa-qc-Repository verfügbar, https://github.com/rahuldhodapkar/octa-qc.Während der aktuellen Studie generierte und/oder analysierte Datensätze sind auf begründete Anfrage bei den jeweiligen Autoren erhältlich.
Spaide, RF, Fujimoto, JG & Waheed, NK Bildartefakte in der optischen Kohärenzangiographie.Netzhaut 35, 2163–2180 (2015).
Fenner, BJ et al.Identifizierung von Bildgebungsmerkmalen, die die Qualität und Reproduzierbarkeit von Dichtemessungen des retinalen Kapillarplexus in der OCT-Angiographie bestimmen.BR.J. Ophthalmol.102, 509–514 (2018).
Lauerman, JL et al.Einfluss der Eye-Tracking-Technologie auf die Bildqualität der OCT-Angiographie bei altersbedingter Makuladegeneration.Grabbogen.klinisch.Exp.Augenheilkunde.255, 1535–1542 (2017).
Babyuch AS et al.OCTA-Kapillarperfusionsdichtemessungen werden zur Erkennung und Bewertung von Makulaischämie verwendet.Augenchirurgie.Retinale Laserbildgebung 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S. und Sun, J. Deep Residual Learning für die Bilderkennung.Im Jahr 2016 auf der IEEE Conference on Computer Vision and Pattern Recognition (2016).
Lauerman, JL et al.Automatisierte OCT-Angiographie-Bildqualitätsbewertung mithilfe von Deep-Learning-Algorithmen.Grabbogen.klinisch.Exp.Augenheilkunde.257, 1641–1648 (2019).
Lauermann, J. et al.Die Häufigkeit von Segmentierungsfehlern und Bewegungsartefakten in der OCT-Angiographie hängt von der Erkrankung der Netzhaut ab.Grabbogen.klinisch.Exp.Augenheilkunde.256, 1807–1816 (2018).
Pask, Adam et al.Pytorch: Eine unverzichtbare, leistungsstarke Deep-Learning-Bibliothek.Erweiterte Verarbeitung neuronaler Informationen.System.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: Eine umfangreiche hierarchische Bilddatenbank.2009 IEEE-Konferenz zu Computer Vision und Mustererkennung.248–255.(2009).
Krizhevsky A., Sutzkever I. und Hinton GE Imagenet-Klassifizierung unter Verwendung tiefer Faltungs-Neuronalnetze.Erweiterte Verarbeitung neuronaler Informationen.System.25, 1 (2012).