Περίληψη του άρθρου:

Μια πρόσφατη μελέτη που δημοσιεύθηκε στο American Journal of Roentgenology διαπίστωσε ότι ένα σύστημα ταξινόμησης τεχνητής νοημοσύνης για τη φροντίδα του εγκεφαλικού επεισοδίου δεν ενίσχυσε τη διαγνωστική απόδοση ή τους χρόνους επεξεργασίας των ακτινολόγων. Οι ερευνητές του Πανεπιστημίου της Αλαμπάμα, αναλύοντας περίπου 10.000 κεφαλές CT σαρώσεων από το 2021, ανακάλυψαν ότι η ακτινολόγηση της ακρίβειας μειώθηκε με την βοήθεια AI και τους μέσους χρόνους επεξεργασίας αναφοράς αυξήθηκαν. Η μελέτη περιελάμβανε δεδομένα από δύο φάσεις: πριν και μετά την εφαρμογή του AI. Τα αποτελέσματα έδειξαν ελαφρά πτώση της ακρίβειας όταν χρησιμοποιήθηκαν AI, με τους χρόνους επεξεργασίας να αυξάνονται από 147,1 σε 149,9 λεπτά για θετικές εξετάσεις. Οι επικριτές υποστηρίζουν ότι ο σχεδιασμός της μελέτης μπορεί να περιορίσει τη γενικευσιμότητα και ότι το AI πρέπει να χρησιμεύσει κυρίως ως δίχτυ ασφαλείας για κρίσιμες περιπτώσεις και όχι δραστικά βελτιώνοντας τις βραχυπρόθεσμες επιδόσεις. Η AIDOC υπερασπίστηκε την τεχνολογία του, υπογραμμίζοντας το ρόλο της στην ταχεία ταυτοποίηση περιστατικών για την επιτάχυνση της φροντίδας των ασθενών.

Κύρια σημεία του άρθρου:

• Μια νέα μελέτη δείχνει ότι ένα σύστημα ταξινόμησης AI για τη φροντίδα του εγκεφαλικού επεισοδίου δεν βελτιώνει τη διαγνωστική απόδοση των ακτινολόγων ή τους χρόνους επεξεργασίας.
• Η ενδοκρανιακή αιμορραγία είναι ένα κρίσιμο ζήτημα, που απαιτεί την έγκαιρη και ακριβή ανίχνευση για την επιβίωση των ασθενών.
• Το Πανεπιστήμιο της Αλαμπάμα στο Μπέρμιγχαμ διεξήγαγε μια προοπτική μελέτη για ένα προϊόν AI (AIDOC) χρησιμοποιώντας περίπου 10.000 CT σαρώσεις από το 2021.
• Τα αποτελέσματα έδειξαν μείωση της ακρίβειας ανίχνευσης των ακτινολόγων με το σύστημα AI και αύξηση του μέσου χρόνου επεξεργασίας για θετικά ευρήματα.
• Οι ακτινολόγοι είχαν καλύτερη απόδοση χωρίς το εργαλείο AI (ακρίβεια 99,8%) σε σύγκριση με εκείνα που το χρησιμοποιούν (ακρίβεια 99,3%).
• Η μελέτη είχε δύο φάσεις: πριν και μετά την εφαρμογή του εργαλείου AI. Δεν βρέθηκαν σημαντικές διαφορές στην ακρίβεια και στις δύο φάσεις.

Αναλυτικά το άρθρο:

Ένα διαθέσιμο στο εμπόριο σύστημα ταξινόμησης με τεχνητή νοημοσύνη για τη φροντίδα εγκεφαλικών επεισοδίων δεν φαίνεται να βελτιώνει τη διαγνωστική απόδοση των ακτινολόγων ούτε τους χρόνους επεξεργασίας των εκθέσεων, σύμφωνα με νέα έρευνα που δημοσιεύθηκε την Τετάρτη.

Η ενδοκρανιακή αιμορραγία αποτελεί μείζονα αιτία τραυματισμού και θανάτου σε όλο τον κόσμο, με την ακριβή και έγκαιρη ανίχνευση να είναι κρίσιμη για την επιβίωση των ασθενών. Τα συστήματα υγείας χρησιμοποιούν όλο και περισσότερο συστήματα ειδοποίησης με τη βοήθεια υπολογιστή για να βοηθήσουν στη διαδικασία. Ωστόσο, οι μελέτες σχετικά με αυτά τα προϊόντα έχουν περιοριστεί από τον αναδρομικό σχεδιασμό τους και άλλους παράγοντες, αναφέρουν αναλυτικά οι ερευνητές στο American Journal of Roentgenology.

Οι ειδικοί του Πανεπιστημίου της Αλαμπάμα στο Μπέρμιγχαμ προσπάθησαν να λύσουν αυτό το δίλημμα, διεξάγοντας μια προοπτική αξιολόγηση ενός προϊόντος της Aidoc. Η δοκιμή του εργαλείου τεχνητής νοημοσύνης -σε σχεδόν 10.000 μη αντιθετικές αξονικές τομογραφίες κεφαλής που καταγράφηκαν το 2021- έφερε απογοητευτικά αποτελέσματα. Η ακρίβεια των ακτινολόγων για την ανίχνευση τέτοιων εγκεφαλικών αιμορραγιών μειώθηκε με την ΤΝ, ενώ ο μέσος χρόνος επεξεργασίας των εκθέσεων για θετικές μελέτες αυξήθηκε.

«Συμπερασματικά, η χρήση ενός εμπορικού εργαλείου ταξινόμησης AI δεν βελτίωσε τις διαγνωστικές επιδόσεις των ακτινολόγων στον πραγματικό κόσμο για την ανίχνευση [ενδοκρανιακής αιμορραγίας] σε εξετάσεις κεφαλής [μη αντιθετική CT] ή τους χρόνους επεξεργασίας της έκθεσης για τις θετικές εξετάσεις ICH», έγραψαν ο Cody H. Savage, MD, με το Τμήμα Ακτινολογίας της Ιατρικής Σχολής Heersink του UAB κατά τη διάρκεια της μελέτης, και οι συν-συγγραφείς στις 4 Σεπτεμβρίου. »Επιπλέον, οι ακτινολόγοι μόνοι τους είχαν μεγαλύτερη διαγνωστική απόδοση από την AI μόνο για την ανίχνευση ICH. Τα ευρήματα αυτά αμφισβητούν τα επιδιωκόμενα οφέλη από την εφαρμογή του συστήματος ταξινόμησης AI».

Η προοπτική, μονοκεντρική μελέτη περιελάμβανε όλους τους ενήλικες ασθενείς που υποβλήθηκαν σε μη αντιθετική αξονική τομογραφία κεφαλής μεταξύ Μαΐου και Δεκεμβρίου 2021. Ο Savage και οι συνεργάτες του χώρισαν την έρευνα σε δύο μέρη: φάση 1 από τον Μάιο έως τον Ιούνιο πριν από τη χρήση του λογισμικού ταξινόμησης AI και φάση 2 από τον Σεπτέμβριο έως τον Δεκέμβριο μετά. Το προϊόν λειτουργεί επεξεργαζόμενο τις εξετάσεις αξονικής τομογραφίας και ειδοποιώντας τους ακτινολόγους για τα θετικά αποτελέσματα μέσω ενός widget με αιωρούμενη αναδυόμενη οθόνη. Οι ακτινολόγοι επειγόντων περιστατικών και νευροακτινολόγοι ερμήνευσαν τις εικόνες, ενώ μια ομάδα ακτινολόγων εξέτασε όλες τις εξετάσεις για να αξιολογήσει τις διαφωνίες μεταξύ των αναφορών των ακτινολόγων και των αποτελεσμάτων της ΤΝ. 

Στην ανάλυση συμπεριλήφθηκαν συνολικά 9.954 αξονικές τομογραφίες από 7.371 ασθενείς. Σε όλες τις δύο φάσεις, οι εξετάσεις ήταν μεταξύ 19,8% έως 21,9% θετικές για ενδοκρανιακή αιμορραγία. Οι ακτινολόγοι δεν παρουσίασαν σημαντική διαφορά στην ακρίβεια ανίχνευσης της ICH, καταγράφοντας ποσοστό 99,5% χωρίς τεχνητή νοημοσύνη έναντι 99,2% με αυτήν. Η ειδικότητα ήταν υψηλότερη για τους ακτινολόγους χωρίς τη βοήθεια της τεχνητής νοημοσύνης (99,8%) σε σύγκριση με εκείνους που χρησιμοποίησαν το λογισμικό (99,3%). Ο μέσος χρόνος επεξεργασίας των εκθέσεων για θετικές εξετάσεις ήταν 147,1 λεπτά χωρίς ΤΝ έναντι 149,9 λεπτών όταν χρησιμοποιούσαν το πρόγραμμα.

Τα ευρήματα έρχονται σε αντίθεση με προηγούμενες αναδρομικές μελέτες που έχουν καταδείξει θετικά αποτελέσματα που απορρέουν από το λογισμικό ταξινόμησης εγκεφαλικών επεισοδίων, σημείωσαν οι συγγραφείς. Ένας πιθανός λόγος μπορεί να είναι η υψηλή απόδοση των ακτινολόγων που συμπεριλήφθηκαν στη μελέτη, με ακρίβεια 99,5% και ευαισθησία 98,6%. Ένας άλλος θα μπορούσε να είναι η συμπερίληψη ειδικών στα επείγοντα περιστατικά και στους νευρολόγους, ενώ προηγούμενες αναλύσεις παρακολουθούσαν διαγνωστικές βελτιώσεις μεταξύ ιατρών που δεν ήταν ακτινολόγοι. Ο Savage και οι συν-συγγραφείς επέκριναν επίσης τη χρήση ενός widget που εμφανίζεται εκτός του καταλόγου εργασίας των ακτινολόγων και μπορεί να επιβράδυνε τους χρόνους διεκπεραίωσης.

«Η έλλειψη βελτίωσης των χρόνων επεξεργασίας των εκθέσεων για τις εξετάσεις με θετικό ICH με το AI είναι αντίθετη με έναν βασικό επιδιωκόμενο σκοπό του συστήματος ταξινόμησης AI», σημείωσαν οι συγγραφείς. «Το εύρημα αυτό είναι σημαντικό, καθώς η ταχεία αναγνώριση της παρουσίας (ή της έλλειψης) ICH καθοδηγεί τις αποφάσεις για την έγκαιρη θεραπεία. Οι αποφάσεις αυτές μπορεί να απαιτούν διάγνωση εντός συγκεκριμένου χρονικού πλαισίου, προκειμένου να ξεκινήσουν ορισμένες θεραπείες που βελτιώνουν την επιβίωση ή μετριάζουν την αναπηρία».

Η Aidoc επέκρινε την Τετάρτη τα αποτελέσματα της μελέτης, σημειώνοντας ότι ο σχεδιασμός ενός κέντρου «περιορίζει σημαντικά τη γενικευσιμότητα». Οι συγγραφείς υπέθεσαν επίσης λανθασμένα ότι μια λύση διαλογής προορίζεται να «βελτιώσει δραστικά την απόδοση των ακτινολόγων βραχυπρόθεσμα», σημείωσε ο Jerome Avondo, PhD, αντιπρόεδρος κλινικής έρευνας και αποζημίωσης της Aidoc.

«Ωστόσο, ο πρωταρχικός ρόλος της ΤΝ είναι συχνά ως δίχτυ ασφαλείας, βοηθώντας να συλλαμβάνονται ακραίες περιπτώσεις που μπορεί να παραλείπονται κατά τη διάρκεια τυπικών ροών εργασίας», δήλωσε στο Radiology Business μέσω ηλεκτρονικού ταχυδρομείου. «Αυτές οι κρίσιμες ακραίες περιπτώσεις, αν και σπάνιες, μπορούν να οδηγήσουν σε παρεμβάσεις που σώζουν ζωές. Η προσδοκία ότι η τεχνητή νοημοσύνη θα παρουσιάσει δραματική βελτίωση της συνολικής ακρίβειας σε σύντομο χρονικό διάστημα μπορεί να μην αντικατοπτρίζει το επιδιωκόμενο όφελος της τεχνολογίας, το οποίο έγκειται στη μακροπρόθεσμη ασφάλεια των ασθενών».

Η Avondo σημείωσε επίσης ότι η Aidoc έχει επικαιροποιήσει τον αλγόριθμο από το 2021, λαμβάνοντας έγκριση από τον FDA για μια νέα έκδοση τον Μάιο του 2022.
«Παρόλο που σεβόμαστε τα ευρήματα που παρουσιάζονται στη μελέτη και επικροτούμε τους ερευνητές για τις προσπάθειές τους να προωθήσουν την κατανόηση της τεχνητής νοημοσύνης στην ακτινολογία, είναι σημαντικό να σημειώσουμε μερικούς περιορισμούς στις μεθόδους αλλά και στο σχεδιασμό της που μπορεί να επηρεάσουν τα συμπεράσματά της», προειδοποίησε ο Avondo. «Η κύρια αξία των εργαλείων τεχνητής νοημοσύνης όπως αυτό της Aidoc είναι ο γρήγορος εντοπισμός πιθανών περιστατικών, που οδηγεί σε ταχύτερη φροντίδα των ασθενών. Αν και ο εντοπισμός παραλειπόμενων περιπτώσεων είναι χρήσιμος, ο πρωταρχικός στόχος είναι η επιτάχυνση της θεραπείας. Η εστίαση του εγγράφου στο χρόνο οριστικοποίησης της έκθεσης δεν αντικατοπτρίζει με ακρίβεια την κλινική πρακτική, καθώς τα αποτελέσματα συχνά ανακοινώνονται προφορικά αμέσως και η έκθεση οριστικοποιείται αργότερα», πρόσθεσε παρακάτω στην ανακοίνωση που έστειλε με email. 

Πηγή: AI triage system fails to improve radiologist performance or turnaround times