Περίληψη άρθρου:
Ο όρος "black box" στην τεχνητή νοημοσύνη (AI) αναφέρεται σε συστήματα AI των οποίων οι εσωτερικές λειτουργίες είναι κρυμμένες από τον χρήστη, καθιστώντας αδύνατη την εξέταση του κώδικα ή της λογικής που παρήγαγε την έξοδο. Η μηχανική μάθηση είναι ένα κυρίαρχο υποσύνολο της ΤΝ, το οποίο περιλαμβάνει έναν αλγόριθμο, δεδομένα εκπαίδευσης και ένα μοντέλο. Οι προγραμματιστές συχνά τοποθετούν το μοντέλο ή τα δεδομένα εκπαίδευσης σε ένα "μαύρο κουτί" για να προστατεύσουν την πνευματική τους ιδιοκτησία. Το αντίθετο ενός μαύρου κουτιού είναι ένα "glass box", όπου όλα τα συστατικά είναι διαθέσιμα για να τα δει ο καθένας. Ωστόσο, ακόμη και τα "γυάλινα κουτιά" μπορεί να έχουν πτυχές που οι ερευνητές δεν κατανοούν πλήρως. Τα μαύρα κουτιά έχουν επιπτώσεις στην ασφάλεια των συστημάτων λογισμικού, επειδή η διατήρηση του λογισμικού σε ένα μαύρο κουτί δεν εμποδίζει απαραίτητα τους χάκερς να εκμεταλλευτούν τα τρωτά σημεία. Ο τομέας της επεξηγήσιμης τεχνητής νοημοσύνης εργάζεται για την ανάπτυξη αλγορίθμων που μπορούν να γίνουν καλύτερα κατανοητοί από τους ανθρώπους, ακόμη και αν δεν είναι εξ ολοκλήρου συστήματα glass box.

Κύρια σημεία του άρθρου:

• Ο όρος "μαύρο κουτί" χρησιμοποιείται στον κόσμο της τεχνητής νοημοσύνης και αναφέρεται σε συστήματα τεχνητής νοημοσύνης με εσωτερικές λειτουργίες που είναι αόρατες για τον χρήστη.
• Η μηχανική μάθηση είναι το κυρίαρχο υποσύνολο της τεχνητής νοημοσύνης και αποτελείται από έναν αλγόριθμο, δεδομένα εκπαίδευσης και ένα μοντέλο.
• Τα μαύρα κουτιά της ΤΝ μπορούν να χρησιμοποιηθούν για την προστασία της πνευματικής ιδιοκτησίας ή για την απόκρυψη των δεδομένων εκπαίδευσης.
• Τα μαύρα κουτιά ΤΝ έχουν σημαντικές συνέπειες για την ασφάλεια συστημάτων λογισμικού και μπορούν να χρησιμοποιηθούν για να αποτρέψουν τους χάκερς από την αντίστροφη μηχανική του λογισμικού.

Αναλυτικά το άρθρο:
Για ορισμένους ανθρώπους, ο όρος "black box" φέρνει στο μυαλό τους τις συσκευές καταγραφής στα αεροπλάνα που είναι πολύτιμες για μεταθανάτιες αναλύσεις αν συμβεί το αδιανόητο. Για άλλους θυμίζει μικρά, ελάχιστα εξοπλισμένα θέατρα. Αλλά το "μαύρο κουτί" είναι επίσης ένας σημαντικός όρος στον κόσμο της τεχνητής νοημοσύνης.

Τα "μαύρα κουτιά" ΤΝ αναφέρονται σε συστήματα ΤΝ με εσωτερικές λειτουργίες που είναι αόρατες για τον χρήστη. Όταν τους τροφοδοτούνται δεδομένα και παράγουν αποτελέσματα, δεν είναι δυνατόν να εξεταστεί ο κώδικας του συστήματος ή η λογική που παράγει τα αποτελέσματα.

Η μηχανική μάθηση είναι ένα υποσύνολο της τεχνητής νοημοσύνης που τροφοδοτεί τα συστήματα γεννητικής τεχνητής νοημοσύνης. Αποτελείται από τρία στοιχεία: έναν αλγόριθμο, δεδομένα εκπαίδευσης και ένα μοντέλο. Ο αλγόριθμος μαθαίνει να εντοπίζει μοτίβα αφού εκπαιδευτεί σε ένα μεγάλο σύνολο παραδειγμάτων, που είναι τα δεδομένα εκπαίδευσης. Το μοντέλο μηχανικής μάθησης που προκύπτει μπορεί να χρησιμοποιηθεί για διάφορες εφαρμογές, όπως ο εντοπισμός μοτίβων σε εικόνες. Για παράδειγμα, θα μπορούσε να δημιουργηθεί ένα μοντέλο μηχανικής μάθησης για τον εντοπισμό σκύλων με την εκπαίδευση ενός αλγορίθμου σε εικόνες σκύλων για τον εντοπισμό του αν και πού στην εικόνα ένα σύνολο pixels αντιπροσωπεύει έναν σκύλο.

Οποιοδήποτε από τα τρία στοιχεία ενός συστήματος μηχανικής μάθησης μπορεί να είναι κρυμμένο ή να βρίσκεται σε ένα "μαύρο κουτί". Όπως συμβαίνει συχνά, ο αλγόριθμος είναι δημόσια γνωστός, γεγονός που καθιστά την τοποθέτησή του σε ένα μαύρο κουτί λιγότερο αποτελεσματική. Έτσι, για να προστατεύσουν την πνευματική τους ιδιοκτησία, οι προγραμματιστές τεχνητής νοημοσύνης συχνά τοποθετούν το μοντέλο σε ένα μαύρο κουτί. Μια άλλη προσέγγιση που ακολουθούν οι προγραμματιστές λογισμικού είναι να αποκρύπτουν τα δεδομένα που χρησιμοποιούνται για την εκπαίδευση του μοντέλου - με άλλα λόγια, βάζουν τα δεδομένα εκπαίδευσης σε ένα μαύρο κουτί.

Ένα σύστημα τεχνητής νοημοσύνης όπου οι αλγόριθμοι, τα δεδομένα εκπαίδευσης και το μοντέλο είναι όλα ορατά ονομάζεται "γυάλινο κουτί" και είναι το αντίθετο του "μαύρου κουτιού". Ωστόσο, οι ερευνητές παραδέχονται ότι ακόμη δεν έχουν κατανοήσει πλήρως τον τρόπο λειτουργίας των αλγορίθμων μηχανικής μάθησης, ιδίως των αλγορίθμων βαθιάς μάθησης. Αυτό έχει οδηγήσει στην ανάπτυξη της επεξηγήσιμης ΤΝ, η οποία στοχεύει στη δημιουργία αλγορίθμων που είναι πιο κατανοητοί στους ανθρώπους.

Γιατί τα μαύρα κουτιά AI έχουν σημασία:
Σε πολλές περιπτώσεις, υπάρχει καλός λόγος να είμαστε επιφυλακτικοί απέναντι στους αλγορίθμους και τα μοντέλα μηχανικής μάθησης "μαύρου κουτιού". Ας υποθέσουμε ότι ένα μοντέλο μηχανικής μάθησης έχει κάνει μια διάγνωση σχετικά με την υγεία σας. Θα θέλατε το μοντέλο να είναι μαύρο κουτί ή γυάλινο κουτί; Τι γίνεται με τον γιατρό που συνταγογραφεί την πορεία της θεραπείας σας; Ίσως θα ήθελε να γνωρίζει πώς το μοντέλο κατέληξε στην απόφασή του.

Τι θα συμβεί αν ένα μοντέλο μηχανικής μάθησης που καθορίζει αν πληροίτε τις προϋποθέσεις για ένα επιχειρηματικό δάνειο από μια τράπεζα σας απορρίψει; Δεν θα θέλατε να μάθετε το γιατί; Αν το γνωρίζατε, θα μπορούσατε να ασκήσετε αποτελεσματικότερα έφεση κατά της απόφασης ή να αλλάξετε την κατάστασή σας για να αυξήσετε τις πιθανότητες να λάβετε δάνειο την επόμενη φορά.

Τα μαύρα κουτιά έχουν επίσης σημαντικές επιπτώσεις στην ασφάλεια των συστημάτων λογισμικού. Για χρόνια, πολλοί άνθρωποι στον τομέα της πληροφορικής πίστευαν ότι η διατήρηση του λογισμικού σε ένα μαύρο κουτί θα εμπόδιζε τους χάκερ να το εξετάσουν και επομένως θα ήταν ασφαλές. Αυτή η υπόθεση έχει αποδειχθεί σε μεγάλο βαθμό λανθασμένη, επειδή οι χάκερ μπορούν να κάνουν αντίστροφη μηχανική του λογισμικού -δηλαδή να κατασκευάσουν ένα ομοίωμα παρατηρώντας προσεκτικά τον τρόπο λειτουργίας ενός λογισμικού- και να ανακαλύψουν ευπάθειες που μπορούν να εκμεταλλευτούν.

Εάν το λογισμικό βρίσκεται σε ένα γυάλινο κουτί, τότε οι δοκιμαστές λογισμικού και οι καλοπροαίρετοι χάκερ μπορούν να το εξετάσουν και να ενημερώσουν τους δημιουργούς για τις αδυναμίες, ελαχιστοποιώντας έτσι τις κυβερνοεπιθέσεις.

Πηγή: What is a black box? A computer scientist explains what it means when the inner workings of AIs are hidden