Περίληψη άρθρου:
Ο απόφοιτος του MIT Erik Duhaime δημιούργησε μια πλατφόρμα με την ονομασία Centaur Labs που χρησιμοποιεί crowdsourcing για την επισήμανση ιατρικών δεδομένων για εταιρείες τεχνητής νοημοσύνης. Η πλατφόρμα, η οποία είναι προσβάσιμη μέσω της εφαρμογής για κινητά DiagnosUs, επιτρέπει στους χρήστες να αναθεωρούν και να παρέχουν γνώμες σχετικά με επιστημονικά και βιοϊατρικά δεδομένα του πραγματικού κόσμου, όπως εικόνες δερματικών αλλοιώσεων ή ηχητικά αποσπάσματα ήχων της καρδιάς και των πνευμόνων. Οι χρήστες ανταμείβονται με χρηματικά βραβεία για τις ακριβείς γνώμες, οι οποίες στη συνέχεια βοηθούν στη βελτίωση των αλγορίθμων των εταιρειών ιατρικής τεχνητής νοημοσύνης. Η Centaur Labs στοχεύει να συνδυάσει την επιθυμία των ιατρικών εμπειρογνωμόνων να βελτιώσουν τις δεξιότητές τους με την ανάγκη για καλά επισημασμένα ιατρικά δεδομένα στη βιομηχανία τεχνητής νοημοσύνης.

Κύρια σημεία του άρθρου:

• Ο Erik Duhaime PhD '19 ίδρυσε την Centaur Labs, μια εταιρεία που δημιούργησε μια εφαρμογή για κινητά τηλέφωνα με την ονομασία DiagnosUs για τη συλλογή απόψεων ιατρικών εμπειρογνωμόνων σχετικά με επιστημονικά και βιοϊατρικά δεδομένα του πραγματικού κόσμου.
• Οι χρήστες εξετάζουν εικόνες δερματικών αλλοιώσεων ή ηχητικά αποσπάσματα ήχων καρδιάς και πνευμόνων για να παρέχουν τις απόψεις τους.
• Οι ακριβείς γνώμες των χρηστών χρησιμοποιούνται από εταιρείες ιατρικής τεχνητής νοημοσύνης για την εκπαίδευση και τη βελτίωση των αλγορίθμων τους.
• Η εφαρμογή λειτουργεί με διάφορους τύπους δεδομένων, συμπεριλαμβανομένων εικόνων, βίντεο, ήχου, κειμένου και κυμάτων από ηλεκτροεγκεφαλογραφήματα και ηλεκτροκαρδιογραφήματα.
• Η προσέγγιση της Centaur Labs έχει αποδειχθεί ότι παράγει ακριβή αποτελέσματα στην επισήμανση υπερήχων πνευμόνων και δερματοσκοπικών εικόνων.
• Η πλατφόρμα δεν χρησιμοποιείται μόνο για την εκπαίδευση της τεχνητής νοημοσύνης, αλλά και για την παρακολούθηση των αλγορίθμων και την παροχή ανατροφοδότησης σχετικά με τα αποτελέσματα των μοντέλων.

Αναλυτικά το άρθρο:
Η πλατφόρμα του αποφοίτου του ΜΙΤ αξιοποιεί τη σοφία του πλήθους για την επισήμανση ιατρικών δεδομένων για εταιρείες τεχνητής νοημοσύνης.
Όταν ο Erik Duhaime PhD '19 εργαζόταν στη διατριβή του στο Κέντρο Συλλογικής Νοημοσύνης του ΜΙΤ, παρατήρησε ότι η σύζυγός του, τότε φοιτήτρια Ιατρικής, περνούσε ώρες μελετώντας σε εφαρμογές που προσέφεραν κάρτες flash και κουίζ. Η έρευνά του είχε δείξει ότι, ως ομάδα, οι φοιτητές ιατρικής μπορούσαν να ταξινομούν τις δερματικές βλάβες με μεγαλύτερη ακρίβεια από τους επαγγελματίες δερματολόγους- το κόλπο ήταν να μετράει συνεχώς την απόδοση κάθε φοιτητή σε περιπτώσεις με γνωστές απαντήσεις, να απορρίπτει τις απόψεις των ανθρώπων που ήταν κακοί στο έργο και να συγκεντρώνει έξυπνα τις απόψεις των ανθρώπων που ήταν καλοί.

Συνδυάζοντας τις συνήθειες μελέτης της συζύγου του με την έρευνά του, ο Duhaime ίδρυσε την Centaur Labs, μια εταιρεία που δημιούργησε μια εφαρμογή για κινητά τηλέφωνα με την ονομασία DiagnosUs για τη συγκέντρωση των απόψεων ιατρικών εμπειρογνωμόνων σχετικά με επιστημονικά και βιοϊατρικά δεδομένα του πραγματικού κόσμου. Μέσω της εφαρμογής, οι χρήστες εξετάζουν οτιδήποτε, από εικόνες δυνητικά καρκινικών δερματικών αλλοιώσεων ή ηχητικά αποσπάσματα από ήχους της καρδιάς και των πνευμόνων που θα μπορούσαν να υποδηλώνουν κάποιο πρόβλημα. Εάν οι χρήστες είναι ακριβείς, η Centaur χρησιμοποιεί τις απόψεις τους και τους απονέμει μικρά χρηματικά βραβεία. Αυτές οι γνώμες, με τη σειρά τους, βοηθούν τις εταιρείες ιατρικής τεχνητής νοημοσύνης να εκπαιδεύσουν και να βελτιώσουν τους αλγορίθμους τους.

Η προσέγγιση συνδυάζει την επιθυμία των ιατρικών εμπειρογνωμόνων να βελτιώσουν τις δεξιότητές τους με την απελπιστική ανάγκη για καλά επισημασμένα ιατρικά δεδομένα από εταιρείες που χρησιμοποιούν την τεχνητή νοημοσύνη για βιοτεχνολογία, ανάπτυξη φαρμακευτικών προϊόντων ή εμπορία ιατρικών συσκευών.

"Συνειδητοποίησα ότι οι σπουδές της συζύγου μου θα μπορούσαν να αποτελέσουν παραγωγική εργασία για τους προγραμματιστές ΤΝ", θυμάται ο Duhaime. "Σήμερα έχουμε δεκάδες χιλιάδες ανθρώπους που χρησιμοποιούν την εφαρμογή μας, και περίπου οι μισοί είναι φοιτητές ιατρικής που εκστασιάζονται που κερδίζουν χρήματα κατά τη διαδικασία των σπουδών τους. Έτσι, έχουμε αυτή την παιχνιδοποιημένη πλατφόρμα όπου οι άνθρωποι ανταγωνίζονται μεταξύ τους για να εκπαιδεύσουν δεδομένα και κερδίζουν χρήματα αν είναι καλοί και ταυτόχρονα βελτιώνουν τις δεξιότητές τους - και κάνοντας αυτό επισημαίνουν δεδομένα για ομάδες που δημιουργούν AI που σώζει ζωές".

Παιχνιδοποίηση της ιατρικής σήμανσης
Ο Duhaime ολοκλήρωσε το διδακτορικό του υπό τον Thomas Malone, καθηγητή Διοίκησης Patrick J. McGovern και ιδρυτικό διευθυντή του Κέντρου Συλλογικής Νοημοσύνης.

"Αυτό που με ενδιέφερε ήταν το φαινόμενο της σοφίας του πλήθους", λέει ο Duhaime. "Ρωτήστε ένα σωρό ανθρώπους πόσα ζελεδάκια υπάρχουν σε ένα βάζο, και ο μέσος όρος της απάντησης όλων είναι αρκετά κοντά. Με ενδιέφερε το πώς περιηγείσαι σε αυτό το πρόβλημα σε μια εργασία που απαιτεί δεξιότητες ή εμπειρογνωμοσύνη. Προφανώς δεν θέλετε να ρωτήσετε ένα μάτσο τυχαίους ανθρώπους αν έχετε καρκίνο, αλλά ταυτόχρονα γνωρίζουμε ότι οι δεύτερες γνώμες στην υγειονομική περίθαλψη μπορεί να είναι εξαιρετικά πολύτιμες. Μπορείτε να θεωρήσετε την πλατφόρμα μας ως έναν υπερφορτωμένο τρόπο για να πάρετε μια δεύτερη γνώμη".

Ο Duhaime άρχισε να διερευνά τρόπους αξιοποίησης της συλλογικής νοημοσύνης για τη βελτίωση των ιατρικών διαγνώσεων. Σε ένα πείραμα, εκπαίδευσε ομάδες λαϊκών ανθρώπων και φοιτητών ιατρικής σχολής που περιγράφει ως "ημιεμπειρογνώμονες" να ταξινομούν δερματικές παθήσεις, διαπιστώνοντας ότι συνδυάζοντας τις απόψεις των ατόμων με τις καλύτερες επιδόσεις μπορούσε να ξεπεράσει τους επαγγελματίες δερματολόγους. Διαπίστωσε επίσης ότι συνδυάζοντας αλγορίθμους που εκπαιδεύτηκαν για την ανίχνευση του καρκίνου του δέρματος με τις γνώμες των ειδικών, μπορούσε να ξεπεράσει κάθε μέθοδο από μόνη της.

"Η βασική διαπίστωση ήταν ότι κάνεις δύο πράγματα", εξηγεί ο Duhaime. "Το πρώτο πράγμα είναι να μετρήσεις τις επιδόσεις των ανθρώπων - κάτι που ακούγεται προφανές, αλλά ακόμη και στον ιατρικό τομέα δεν γίνεται συχνά. Αν ρωτήσετε έναν δερματολόγο αν είναι καλός, θα σας απαντήσει: "Ναι, φυσικά, είμαι δερματολόγος". Δεν γνωρίζουν απαραίτητα πόσο καλοί είναι σε συγκεκριμένες εργασίες. Το δεύτερο πράγμα είναι ότι όταν λαμβάνετε πολλαπλές γνώμες, πρέπει να εντοπίζετε τις συμπληρωματικότητες μεταξύ των διαφορετικών ανθρώπων. Πρέπει να αναγνωρίσετε ότι η εμπειρογνωμοσύνη είναι πολυδιάστατη, οπότε είναι λίγο περισσότερο σαν να συγκεντρώνετε τη βέλτιστη ομάδα για τηλεπαιχνίδια, παρά σαν να συγκεντρώνετε πέντε άτομα που είναι όλοι κορυφαίοι στο ίδιο πράγμα. Για παράδειγμα, ένας δερματολόγος μπορεί να είναι καλύτερος στον εντοπισμό του μελανώματος, ενώ ένας άλλος μπορεί να είναι καλύτερος στην ταξινόμηση της έντασης της ψωρίασης".

Ενώ εξακολουθούσε να κάνει το διδακτορικό του, ο Duhaime ίδρυσε την Centaur και άρχισε να χρησιμοποιεί το επιχειρηματικό οικοσύστημα του MIT για την περαιτέρω ανάπτυξη της ιδέας. Έλαβε χρηματοδότηση από το Sandbox Innovation Fund του ΜΙΤ το 2017 και συμμετείχε στον επιταχυντή νεοφυών επιχειρήσεων delta v του Martin Trust Center for MIT Entrepreneurship το καλοκαίρι του 2018. Η εμπειρία αυτή τον βοήθησε να μπει στον διάσημο επιταχυντή Y Combinator αργότερα την ίδια χρονιά.

Η εφαρμογή DiagnosUs, την οποία ο Duhaime ανέπτυξε μαζί με τους συνιδρυτές της Centaur, Zach Rausnitz και Tom Gellatly, έχει σχεδιαστεί για να βοηθά τους χρήστες να δοκιμάζουν και να βελτιώνουν τις δεξιότητές τους. Ο Duhaime λέει ότι περίπου οι μισοί χρήστες είναι φοιτητές ιατρικών σχολών και οι άλλοι μισοί είναι κυρίως γιατροί, νοσηλευτές και άλλοι επαγγελματίες του ιατρικού τομέα.

"Είναι καλύτερο από τη μελέτη για εξετάσεις, όπου μπορεί να έχεις ερωτήσεις πολλαπλής επιλογής", λέει ο Duhaime. "Μπορούν να δουν πραγματικές περιπτώσεις και να εξασκηθούν".

Το Centaur συγκεντρώνει εκατομμύρια γνώμες κάθε εβδομάδα από δεκάδες χιλιάδες ανθρώπους σε όλο τον κόσμο. Ο Duhaime λέει ότι οι περισσότεροι άνθρωποι κερδίζουν χρήματα από τον καφέ, αν και το άτομο που έχει κερδίσει τα περισσότερα από την πλατφόρμα είναι ένας γιατρός στην ανατολική Ευρώπη, ο οποίος έχει βγάλει περίπου 10.000 δολάρια.

"Οι άνθρωποι μπορούν να το κάνουν στον καναπέ, μπορούν να το κάνουν στο Τ", λέει ο Duhaime. "Δεν το αισθάνονται σαν δουλειά - είναι διασκεδαστικό".

Η προσέγγιση αυτή έρχεται σε έντονη αντίθεση με την παραδοσιακή σήμανση δεδομένων και τη ρύθμιση περιεχομένου με AI, οι οποίες συνήθως ανατίθενται σε χώρες με χαμηλούς πόρους.

Η προσέγγιση του Centaur παράγει επίσης ακριβή αποτελέσματα. Σε μια δημοσίευση με ερευνητές από το Νοσοκομείο Brigham and Women's, το Γενικό Νοσοκομείο της Μασαχουσέτης (MGH) και το Πανεπιστήμιο Τεχνολογίας του Αϊντχόβεν, η Centaur έδειξε ότι οι γνώμες του πλήθους χαρακτήριζαν τους υπερήχους των πνευμόνων εξίσου αξιόπιστα με τους ειδικούς. Μια άλλη μελέτη με ερευνητές του Memorial Sloan Kettering έδειξε ότι η επισήμανση δερματοσκοπικών εικόνων από πλήθος ανθρώπων ήταν πιο ακριβής από εκείνη των πολύ έμπειρων δερματολόγων. Πέρα από τις εικόνες, η πλατφόρμα της Centaur λειτουργεί επίσης με βίντεο, ήχο, κείμενο από πηγές όπως ερευνητικές εργασίες ή ανώνυμες συνομιλίες μεταξύ γιατρών και ασθενών, καθώς και κύματα από ηλεκτροεγκεφαλογραφήματα (EEG) και ηλεκτροκαρδιογραφήματα (ΗΚΓ).

Εύρεση των εμπειρογνωμόνων
Η Centaur έχει διαπιστώσει ότι οι καλύτεροι εκτελεστές προέρχονται από εκπληκτικά μέρη. Το 2021, για να συλλέξουν γνώμες εμπειρογνωμόνων σχετικά με τα μοτίβα του EEG, οι ερευνητές διεξήγαγαν διαγωνισμό μέσω της εφαρμογής DiagnosUs σε ένα συνέδριο με τη συμμετοχή περίπου 50 επιληπτολόγων, ο καθένας με περισσότερα από 10 χρόνια εμπειρίας. Οι διοργανωτές έφτιαξαν ένα προσαρμοσμένο πουκάμισο για να το δώσουν στον νικητή του διαγωνισμού, ο οποίος υπέθεσαν ότι θα παρευρισκόταν στο συνέδριο.

Αλλά όταν ήρθαν τα αποτελέσματα, ένα ζευγάρι φοιτητών ιατρικής στην Γκάνα, ο Jeffery Danquah και ο Andrews Gyabaah, είχαν νικήσει όλους τους παρευρισκόμενους. Ο συμμετέχων με την υψηλότερη βαθμολογία στο συνέδριο είχε έρθει στην ένατη θέση.

"Ξεκίνησα κάνοντάς το για τα χρήματα, αλλά συνειδητοποίησα ότι στην πραγματικότητα άρχισε να με βοηθάει πολύ", δήλωσε αργότερα ο Gyabaah στην ομάδα του Centaur. "Υπήρχαν στιγμές στην κλινική όπου συνειδητοποίησα ότι τα πήγαινα καλύτερα από τους άλλους εξαιτίας αυτών που έμαθα στην εφαρμογή DiagnosUs".

Καθώς η τεχνητή νοημοσύνη συνεχίζει να αλλάζει τη φύση της εργασίας, ο Duhaime πιστεύει ότι η Centaur Labs θα χρησιμοποιείται ως συνεχής έλεγχος των μοντέλων τεχνητής νοημοσύνης.

"Αυτή τη στιγμή, βοηθάμε τους ανθρώπους να εκπαιδεύσουν αλγόριθμους κυρίως, αλλά όλο και περισσότερο πιστεύω ότι θα χρησιμοποιούμε για την παρακολούθηση αλγορίθμων και σε συνδυασμό με αλγορίθμους, ουσιαστικά λειτουργώντας ως άνθρωποι στο βρόχο για μια σειρά από εργασίες", λέει ο Duhaime. "Θα μπορούσατε να μας θεωρήσετε λιγότερο ως έναν τρόπο εκπαίδευσης της ΤΝ και περισσότερο ως μέρος του πλήρους κύκλου ζωής, όπου παρέχουμε ανατροφοδότηση για τα αποτελέσματα των μοντέλων ή παρακολουθούμε το μοντέλο".

Ο Duhaime βλέπει την εργασία των ανθρώπων και των αλγορίθμων ΤΝ να ενσωματώνεται όλο και περισσότερο και πιστεύει ότι η Centaur Labs έχει σημαντικό ρόλο να διαδραματίσει σε αυτό το μέλλον.

"Δεν είναι μόνο εκπαίδευση αλγορίθμου, ανάπτυξη αλγορίθμου", λέει ο Duhaime. "Αντίθετα, θα υπάρχουν αυτές οι ψηφιακές γραμμές συναρμολόγησης σε όλη την οικονομία, και θα πρέπει να εμπλουτιστεί η ανθρώπινη κρίση εμπειρογνωμόνων κατά παραγγελία σε διάφορα σημεία της αλυσίδας αξίας".

Πηγή: Gamifying medical data labeling to advance AI