Μια νέα μελέτη από τη Lenz Research διαπίστωσε ότι τα μοντέλα τεχνητής νοημοσύνης διαφωνούν στο 67% των ισχυρισμών ελέγχου γεγονότων, θέτοντας υπό αμφισβήτηση την αξιοπιστία των αυτοματοποιημένων συστημάτων επαλήθευσης. Τα ευρήματα, που δημοσιεύθηκαν χωρίς προηγούμενη ανακοίνωση, υποδηλώνουν ότι ακόμη και τα προηγμένα εργαλεία ΤΝ συχνά αντιφάσκουν μεταξύ τους όταν καλούνται να καθορίσουν την αλήθεια. Οι ερευνητές πίσω από τη μελέτη τονίζουν την ανάγκη για πολλαπλές πηγές και ανθρώπινη εποπτεία στη λήψη αποφάσεων, ειδικά σε ταχέως εξελισσόμενους τομείς όπως οι χρηματοπιστωτικές αγορές.
Η κλίμακα της διαφωνίας
Το ποσοστό 67% είναι εντυπωσιακό. Σημαίνει ότι σε κάθε τρεις ισχυρισμούς ελέγχου γεγονότων που διέρχονται από διαφορετικά μοντέλα ΤΝ, δύο καταλήγουν σε αντικρουόμενα συμπεράσματα. Η Lenz Research δεν διευκρίνισε ποια μοντέλα δοκιμάστηκαν ή τη φύση των ισχυρισμών, αλλά το μήνυμα είναι σαφές: κανένα μεμονωμένο σύστημα ΤΝ δεν μπορεί να εμπιστευτεί για να διαχωρίσει μόνο του το γεγονός από την πλασματική πληροφορία. Το ποσοστό διαφωνίας υποδεικνύει θεμελιώδεις διαφορές στον τρόπο εκπαίδευσης των μοντέλων, στα δεδομένα που χρησιμοποιούν και στη λογική που τα διέπει.
Σε ασταθείς αγορές, όπου οι φήμες μπορούν να μετακινήσουν τις τιμές μέσα σε δευτερόλεπτα, τα διακυβεύματα είναι υψηλά. Ένας έμπορος που βασίζεται σε έναν ελεγκτή γεγονότων ΤΝ μπορεί να ενεργήσει βάσει μιας ετικέτας που ένα άλλο μοντέλο θα απέρριπτε. Οι συγγραφείς της μελέτης αναφέρουν ρητά τις «ασταθείς αγορές» ως ένα πλαίσιο όπου η ποικιλία πηγών και η ανθρώπινη κρίση είναι κρίσιμες. Τα αυτοματοποιημένα εργαλεία μπορούν να επεξεργαστούν τεράστιους όγκους, αλλά δεν μπορούν να επιλύσουν μόνα τους τις αντιφάσεις τους χωρίς έναν άνθρωπο στη διαδικασία.
Τι υποδηλώνει η μελέτη
Η σύσταση της Lenz Research είναι ξεκάθαρη: μην βασίζεστε σε μία μόνο πηγή ΤΝ. Αντίθετα, διασταυρώστε τα αποτελέσματα, εισάγετε ανθρώπινους αναθεωρητές και αντιμετωπίστε τους αυτοματοποιημένους ελέγχους γεγονότων ως μία από τις πολλές εισροές. Δεν πρόκειται για κάλεσμα εγκατάλειψης της τεχνολογίας – είναι μια προειδοποίηση κατά της υπερβολικής αυτοπεποίθησης. Η μελέτη δεν προσφέρει λύση στο πρόβλημα της διαφωνίας, αλλά παρουσιάζει ισχυρά επιχειρήματα για τη συνεχή ανθρώπινη συμμετοχή.
Τα ευρήματα προστίθενται σε μια αυξανόμενη σειρά αποδεικτικών στοιχείων ότι η ΤΝ, παρά την ταχύτητά της, εξακολουθεί να αντιμετωπίζει δυσκολίες στη συνέπεια. Η Lenz Research δεν έχει ανακοινώσει αν σκοπεύει να συνεχίσει με μια βαθύτερη ανάλυση του γιατί τα μοντέλα διαφωνούν ή πώς να τα ευθυγραμμίσει. Προς το παρόν, το μήνυμα είναι απλό: όταν οι μηχανές δεν μπορούν να συμφωνήσουν, η απόφαση ανήκει στους ανθρώπους.
