Περίληψη του άρθρου:

Η τεχνητή νοημοσύνη στην υγειονομική περίθαλψη δημιουργεί κινδύνους λόγω των προκαταλήψεων και των ανακρίβειων, που απαιτούν υπεύθυνες ετικέτες χρήσης παρόμοιες με τους κανονισμούς της FDA για τα φάρμακα. Αυτές οι ετικέτες θα πρέπει να αποκαλύπτουν λεπτομέρειες δεδομένων κατάρτισης, συνθήκες χρήσης και πιθανές παρενέργειες. Οι προγραμματιστές των μοντέλων τεχνητής νοημοσύνης θα πρέπει να εξασφαλίζουν τη διαφάνεια και να επικυρώσουν τις αξιώσεις για τη βελτίωση της ασφάλειας σε κλινικά περιβάλλοντα.

Κύρια σημεία του άρθρου:

•  Η τεχνητή νοημοσύνη στην υγειονομική περίθαλψη παρουσιάζει κινδύνους που σχετίζονται με τις προκαταλήψεις και τις ανακρίβειες.
•  Απαιτούνται ετικέτες υπεύθυνης χρήσης, παρόμοιες με τους κανονισμούς FDA για τα φάρμακα.
•  Οι ετικέτες πρέπει να αποκαλύπτουν στοιχεία δεδομένων κατάρτισης, συνθήκες χρήσης και πιθανές παρενέργειες.
•  Οι προγραμματιστές μοντέλων τεχνητής νοημοσύνης πρέπει να εξασφαλίζουν διαφάνεια.
•  Η επικύρωση των απαιτήσεων είναι απαραίτητη για τη βελτίωση της ασφάλειας σε κλινικά περιβάλλοντα.

Αναλυτικά το άρθρο:

Τα συστήματα τεχνητής νοημοσύνης αναπτύσσονται όλο και περισσότερο σε κρίσιμες για την ασφάλεια καταστάσεις υγειονομικής περίθαλψης. Ωστόσο, αυτά τα μοντέλα μερικές φορές έχουν ψευδείς πληροφορίες, κάνουν μεροληπτικές προβλέψεις ή αποτυγχάνουν για απροσδόκητους λόγους, γεγονός που θα μπορούσε να έχει σοβαρές συνέπειες για τους ασθενείς και τους κλινικούς γιατρούς.

Σε ένα άρθρο-σχόλιο που δημοσιεύεται σήμερα στο Nature Computational Science, η αναπληρώτρια καθηγήτρια του MIT Marzyeh Ghassemi και η αναπληρώτρια καθηγήτρια του Πανεπιστημίου της Βοστώνης Elaine Nsoesie υποστηρίζουν ότι, για να μετριάσουν αυτές τις πιθανές βλάβες, τα συστήματα τεχνητής νοημοσύνης θα πρέπει να συνοδεύονται από ετικέτες υπεύθυνης χρήσης, παρόμοιες με τις υποχρεωτικές ετικέτες της αμερικανικής υπηρεσίας τροφίμων και φαρμάκων που τοποθετούνται στα συνταγογραφούμενα φάρμακα.

Το MIT News μίλησε με τον Ghassemi για την ανάγκη τέτοιων ετικετών, τις πληροφορίες που πρέπει να μεταφέρουν και τον τρόπο με τον οποίο θα μπορούσαν να εφαρμοστούν οι διαδικασίες επισήμανσης.

Ερ: Γιατί χρειαζόμαστε ετικέτες υπεύθυνης χρήσης για τα συστήματα τεχνητής νοημοσύνης σε χώρους υγειονομικής περίθαλψης;

Α: Σε ένα περιβάλλον υγείας, έχουμε μια ενδιαφέρουσα κατάσταση όπου οι γιατροί συχνά βασίζονται σε τεχνολογίες ή θεραπείες που δεν είναι πλήρως κατανοητές. Μερικές φορές αυτή η έλλειψη κατανόησης είναι θεμελιώδης - ο μηχανισμός πίσω από την ακεταμινοφαίνη για παράδειγμα - αλλά άλλες φορές πρόκειται απλώς για ένα όριο της εξειδίκευσης. Δεν περιμένουμε από τους κλινικούς γιατρούς να γνωρίζουν πώς να συντηρούν ένα μηχάνημα μαγνητικής τομογραφίας, για παράδειγμα. Αντιθέτως, έχουμε συστήματα πιστοποίησης μέσω του FDA ή άλλων ομοσπονδιακών οργανισμών, που πιστοποιούν τη χρήση μιας ιατρικής συσκευής ή ενός φαρμάκου σε ένα συγκεκριμένο περιβάλλον.

Είναι σημαντικό ότι οι ιατρικές συσκευές έχουν επίσης συμβόλαια παροχής υπηρεσιών - ένας τεχνικός από τον κατασκευαστή θα επιδιορθώσει το μηχάνημα μαγνητικής τομογραφίας σας, εάν αυτό έχει κακή βαθμονόμηση. Για τα εγκεκριμένα φάρμακα, υπάρχουν συστήματα εποπτείας και αναφοράς μετά την κυκλοφορία, ώστε να μπορούν να αντιμετωπιστούν οι ανεπιθύμητες ενέργειες ή τα συμβάντα, για παράδειγμα εάν πολλοί άνθρωποι που λαμβάνουν ένα φάρμακο φαίνεται να εμφανίζουν κάποια πάθηση ή αλλεργία.

Τα μοντέλα και οι αλγόριθμοι, είτε ενσωματώνουν τεχνητή νοημοσύνη είτε όχι, παρακάμπτουν πολλές από αυτές τις διαδικασίες έγκρισης και μακροχρόνιας παρακολούθησης, και αυτό είναι κάτι που πρέπει να προσέξουμε. Πολλές προηγούμενες μελέτες έχουν δείξει ότι τα προγνωστικά μοντέλα χρειάζονται πιο προσεκτική αξιολόγηση και παρακολούθηση. Με πιο πρόσφατη γεννητική τεχνητή νοημοσύνη ειδικά, αναφέρουμε εργασίες που έχουν αποδείξει ότι η παραγωγή δεν είναι εγγυημένα κατάλληλη, ισχυρή ή αμερόληπτη. Επειδή δεν έχουμε το ίδιο επίπεδο παρακολούθησης των προβλέψεων ή της παραγωγής μοντέλων, θα ήταν ακόμη πιο δύσκολο να εντοπίσουμε τις προβληματικές αντιδράσεις ενός μοντέλου. Τα παραγωγικά μοντέλα που χρησιμοποιούνται από τα νοσοκομεία αυτή τη στιγμή θα μπορούσαν να είναι προκατειλημμένα. Η ύπαρξη ετικετών χρήσης είναι ένας τρόπος για να διασφαλιστεί ότι τα μοντέλα δεν αυτοματοποιούν προκαταλήψεις που μαθαίνονται από τους ανθρώπους-πρακτικούς ή από λανθασμένα βαθμολόγια υποστήριξης κλινικών αποφάσεων του παρελθόντος.      

Ερ: Το άρθρο σας περιγράφει διάφορα στοιχεία μιας υπεύθυνης ετικέτας χρήσης για την τεχνητή νοημοσύνη, ακολουθώντας την προσέγγιση του FDA για τη δημιουργία ετικετών συνταγογράφησης, συμπεριλαμβανομένης της εγκεκριμένης χρήσης, των συστατικών, των πιθανών παρενεργειών κ.λπ. Ποιες βασικές πληροφορίες πρέπει να μεταφέρουν αυτές οι ετικέτες;

Α: Τα πράγματα που πρέπει να καθιστά προφανή μια ετικέτα είναι ο χρόνος, ο τόπος και ο τρόπος της προβλεπόμενης χρήσης ενός μοντέλου. Για παράδειγμα, ο χρήστης θα πρέπει να γνωρίζει ότι τα μοντέλα εκπαιδεύτηκαν σε μια συγκεκριμένη χρονική στιγμή με δεδομένα από μια συγκεκριμένη χρονική στιγμή. Για παράδειγμα, περιλαμβάνει δεδομένα που περιλάμβαναν ή δεν περιλάμβαναν την πανδημία Covid-19; Υπήρχαν πολύ διαφορετικές πρακτικές υγείας κατά τη διάρκεια της Covid που θα μπορούσαν να επηρεάσουν τα δεδομένα. Αυτός είναι ο λόγος για τον οποίο υποστηρίζουμε να γνωστοποιούνται τα «συστατικά» του μοντέλου και οι «ολοκληρωμένες μελέτες».

Για παράδειγμα, γνωρίζουμε από προηγούμενες έρευνες ότι τα μοντέλα που εκπαιδεύτηκαν σε μια τοποθεσία τείνουν να έχουν χειρότερες επιδόσεις όταν μεταφέρονται σε άλλη τοποθεσία. Η γνώση της προέλευσης των δεδομένων και του τρόπου βελτιστοποίησης ενός μοντέλου εντός αυτού του πληθυσμού μπορεί να βοηθήσει να διασφαλιστεί ότι οι χρήστες γνωρίζουν τις «πιθανές παρενέργειες», τυχόν «προειδοποιήσεις και προφυλάξεις» και «ανεπιθύμητες ενέργειες».

Με ένα μοντέλο που έχει εκπαιδευτεί για την πρόβλεψη ενός αποτελέσματος, η γνώση του χρόνου και του τόπου εκπαίδευσης θα μπορούσε να σας βοηθήσει να κάνετε έξυπνες κρίσεις σχετικά με την ανάπτυξη. Αλλά πολλά παραγωγικά μοντέλα είναι απίστευτα ευέλικτα και μπορούν να χρησιμοποιηθούν για πολλές εργασίες. Εδώ, ο χρόνος και ο τόπος μπορεί να μην είναι τόσο κατατοπιστικά, και μπαίνουν στο παιχνίδι πιο σαφείς κατευθύνσεις σχετικά με τις «συνθήκες επισήμανσης» και την «εγκεκριμένη χρήση» έναντι της «μη εγκεκριμένης χρήσης». Εάν ένας προγραμματιστής έχει αξιολογήσει ένα παραγωγικό μοντέλο για την ανάγνωση των κλινικών σημειώσεων ενός ασθενούς και τη δημιουργία κωδικών μελλοντικής χρέωσης, μπορεί να αποκαλύψει ότι έχει προκατάληψη προς την υπερχρέωση συγκεκριμένων παθήσεων ή την υποαναγνώριση άλλων. Ένας χρήστης δεν θα ήθελε να χρησιμοποιήσει το ίδιο παραγωγικό μοντέλο για να αποφασίσει ποιος θα πάρει παραπεμπτικό σε ειδικό, παρόλο που θα μπορούσε. Αυτή η ευελιξία είναι ο λόγος για τον οποίο υποστηρίζουμε την παροχή πρόσθετων λεπτομερειών σχετικά με τον τρόπο με τον οποίο θα πρέπει να χρησιμοποιούνται τα μοντέλα.

Ερ: Εάν εφαρμοστούν ετικέτες τεχνητής νοημοσύνης, ποιος θα κάνει τη σήμανση και πώς θα ρυθμίζονται και θα επιβάλλονται οι ετικέτες;

Α: Εάν δεν σκοπεύετε να χρησιμοποιήσετε το μοντέλο σας στην πράξη, τότε οι γνωστοποιήσεις που θα κάνατε για μια ερευνητική δημοσίευση υψηλής ποιότητας είναι επαρκείς. Μόλις όμως σκοπεύετε να αναπτύξετε το μοντέλο σας σε περιβάλλον που αφορά τον άνθρωπο, οι προγραμματιστές και οι φορείς ανάπτυξης θα πρέπει να κάνουν μια αρχική επισήμανση, με βάση ορισμένα από τα καθιερωμένα πλαίσια. Θα πρέπει να υπάρχει επικύρωση αυτών των ισχυρισμών πριν από την ανάπτυξη- σε ένα περιβάλλον κρίσιμης ασφάλειας, όπως η υγειονομική περίθαλψη, θα μπορούσαν να εμπλακούν πολλές υπηρεσίες του Υπουργείου Υγείας και Ανθρωπίνων Υπηρεσιών.

Για τους προγραμματιστές μοντέλων, νομίζω ότι η γνώση ότι θα χρειαστεί να επισημάνετε τους περιορισμούς ενός συστήματος οδηγεί σε πιο προσεκτική εξέταση της ίδιας της διαδικασίας. Εάν γνωρίζω ότι κάποια στιγμή θα πρέπει να αποκαλύψω τον πληθυσμό στον οποίο εκπαιδεύτηκε ένα μοντέλο, δεν θα ήθελα να αποκαλύψω ότι εκπαιδεύτηκε μόνο σε διαλόγους από άνδρες χρήστες chatbot, για παράδειγμα.

Το να σκέφτεστε πράγματα όπως για ποιον συλλέχθηκαν τα δεδομένα, σε ποια χρονική περίοδο, ποιο ήταν το μέγεθος του δείγματος και πώς αποφασίσατε ποια δεδομένα θα συμπεριλάβετε ή θα αποκλείσετε, μπορεί να σας ανοίξει το μυαλό για πιθανά προβλήματα κατά την ανάπτυξη. 

Πηγή: 3 Questions: Should we label AI systems like we do prescription drugs?