Τα μοντέλα AI παράγουν πιο πρωτότυπες ιδέες από τους ερευνητές;

Τα μοντέλα AI παράγουν πιο πρωτότυπες ιδέες από τους ερευνητές;

Ένα σύστημα δημιουργίας ιδεών που τροφοδοτείται από τεχνητή νοημοσύνη (AI) έχει αναπτύξει πιο πρωτότυπες ερευνητικές προσεγγίσεις από ό,τι 50 επιστήμονες που εργάζονται ανεξάρτητα σε μια πρόσφατη προεκτύπωση στο arXiv 1.

Οι ιδέες που δημιουργήθηκαν από τον άνθρωπο και την τεχνητή νοημοσύνη αξιολογήθηκαν από αναθεωρητές που δεν γνώριζαν ποιος ή τι δημιούργησε κάθε ιδέα. Οι αναθεωρητές αξιολόγησαν τις έννοιες που δημιουργήθηκαν από την τεχνητή νοημοσύνη ως πιο συναρπαστικές σε σύγκριση με τις ιδέες που έχουν δημιουργηθεί από ανθρώπους, αν και οι προτάσεις της τεχνητής νοημοσύνης είχαν ελαφρώς χαμηλότερη βαθμολογία όσον αφορά τη σκοπιμότητα.

Ωστόσο, οι επιστήμονες επισημαίνουν ότι η μελέτη, η οποία δεν έχει ακόμη αξιολογηθεί από ομοτίμους, έχει περιορισμούς. Επικεντρώθηκε σε έναν συγκεκριμένο τομέα έρευνας και απαιτούσε από τους ανθρώπινους συμμετέχοντες να δημιουργούν ιδέες αυθόρμητα, κάτι που πιθανότατα εμπόδιζε την ικανότητά τους να παράγουν τις καλύτερες ιδέες.

Η τεχνητή νοημοσύνη στην επιστήμη

Υπάρχουν αυξανόμενες φιλοδοξίες, για να διερευνήσει πώς μπορούν να χρησιμοποιηθούν μεγάλα γλωσσικά μοντέλα (LLM) για την αυτοματοποίηση ερευνητικών εργασιών όπως π.χ. Συγγραφή άρθρων, Δημιουργία κώδικα και Λογοτεχνική έρευνα μπορεί να χρησιμοποιηθεί. Ωστόσο, ήταν δύσκολο να εκτιμηθεί εάν αυτά τα εργαλεία τεχνητής νοημοσύνης μπορούν να δημιουργήσουν νέες ερευνητικές προσεγγίσεις σε παρόμοιο επίπεδο με τον άνθρωπο. Αυτό οφείλεται στην αξιολόγηση των ιδεών πολύ υποκειμενικό και απαιτεί ειδικούς που είναι σε θέση να τα αξιολογήσουν προσεκτικά, λέει ο Chenglei Si, συν-συγγραφέας της μελέτης και επιστήμονας υπολογιστών στο Πανεπιστήμιο Stanford στην Καλιφόρνια. «Ο καλύτερος τρόπος για να ενοποιήσουμε τέτοιες δυνατότητες είναι να κάνουμε μια παράπλευρη σύγκριση», λέει ο Si.

Το έργο διάρκειας ενός έτους είναι μια από τις μεγαλύτερες προσπάθειες για να αξιολογηθεί εάν τα μεγάλα γλωσσικά μοντέλα - η τεχνολογία πίσω από εργαλεία όπως ChatGPT – μπορεί να παράγει καινοτόμες ερευνητικές προσεγγίσεις, εξηγεί ο Tom Hope, επιστήμονας υπολογιστών στο Allen Institute for AI στην Ιερουσαλήμ. «Πρέπει να υπάρξει περισσότερη δουλειά όπως αυτή», λέει.

Η ομάδα στρατολόγησε περισσότερους από 100 ερευνητές στον τομέα της επεξεργασίας φυσικής γλώσσας, έναν κλάδο της επιστήμης των υπολογιστών που ασχολείται με την επικοινωνία μεταξύ AI και ανθρώπων. Σαράντα εννέα συμμετέχοντες ανατέθηκαν να αναπτύξουν και να διατυπώσουν ιδέες εντός δέκα ημερών με βάση ένα από τα επτά θέματα. Ως κίνητρο, οι ερευνητές έλαβαν 300 $ για κάθε ιδέα, με ένα μπόνους 1.000 $ για τις πέντε κορυφαίες ιδέες.

Ταυτόχρονα, οι ερευνητές ανέπτυξαν μια γεννήτρια ιδεών χρησιμοποιώντας το Claude 3.5, ένα LLM που αναπτύχθηκε από την Anthropic στο Σαν Φρανσίσκο της Καλιφόρνια. Οι ερευνητές ζήτησαν από το εργαλείο τεχνητής νοημοσύνης τους να βρει σχετικά άρθρα για τα επτά ερευνητικά θέματα μέσω του Semantic Scholar, μιας μηχανής αναζήτησης βιβλιογραφίας με τεχνητή νοημοσύνη. Με βάση αυτά τα άρθρα, οι ερευνητές ζήτησαν από τον πράκτορά τους AI να δημιουργήσει 4.000 ιδέες για κάθε ερευνητικό θέμα και να αξιολογήσει τις πιο πρωτότυπες.

Ανθρώπινοι αξιολογητές

Στη συνέχεια, οι ερευνητές ανέθεσαν τυχαία τις ιδέες που δημιουργήθηκαν από τον άνθρωπο και την τεχνητή νοημοσύνη σε 79 αναθεωρητές, οι οποίοι βαθμολόγησαν κάθε ιδέα ως προς την καινοτομία, τον ενθουσιασμό, τη σκοπιμότητα και την αναμενόμενη αποτελεσματικότητα. Για να διασφαλίσουν ότι οι δημιουργοί των ιδεών παρέμειναν άγνωστοι στους κριτικούς, οι ερευνητές χρησιμοποίησαν ένα άλλο LLM για να επεξεργαστούν και τους δύο τύπους κειμένου, έτσι ώστε το στυλ γραφής και ο τόνος να τυποποιηθούν χωρίς να αλλάξουν οι ίδιες οι ιδέες.

Κατά μέσο όρο, οι αναθεωρητές αξιολόγησαν τις ιδέες που δημιουργήθηκαν από την τεχνητή νοημοσύνη ως πιο πρωτότυπες και συναρπαστικές από αυτές που γράφτηκαν από ανθρώπους που συμμετείχαν. Ωστόσο, όταν εξέτασαν πιο προσεκτικά τις 4.000 ιδέες που παρήγαγε το LLM, οι ερευνητές βρήκαν μόνο περίπου 200 που ήταν πραγματικά μοναδικές, υποδηλώνοντας ότι το AI γινόταν λιγότερο πρωτότυπο όσο περισσότερες ιδέες δημιουργούσε.

Als Si die Teilnehmer befragte, gaben die meisten zu, dass ihre eingereichten Ideen im Vergleich zu den in der Vergangenheit produzierten Ideen nur durchschnittlich waren.

Τα αποτελέσματα υποδηλώνουν ότι τα LLM μπορούν εύκολα να δημιουργήσουν πιο πρωτότυπες ιδέες από την υπάρχουσα βιβλιογραφία, λέει ο Cong Lu, ερευνητής μηχανικής μάθησης στο Πανεπιστήμιο της Βρετανικής Κολομβίας στο Βανκούβερ του Καναδά. Ωστόσο, το αν μπορούν να ξεπεράσουν τις πιο πρωτοποριακές ανθρώπινες ιδέες παραμένει ένα ανοιχτό ερώτημα.

Ένας άλλος περιορισμός της μελέτης είναι ότι οι γραπτές ιδέες που συγκρίθηκαν επεξεργάστηκαν από ένα LLM, το οποίο άλλαξε τη γλώσσα και τη διάρκεια των υποβολών, λέει ο Jevin West, επιστήμονας υπολογιστών κοινωνικών επιστημών στο Πανεπιστήμιο της Ουάσιγκτον στο Σιάτλ. Τέτοιες αλλαγές μπορεί να επηρέασαν διακριτικά τον τρόπο με τον οποίο οι κριτικοί αντιλήφθηκαν την καινοτομία, προσθέτει. Ο West προσθέτει ότι η αντιπαράθεση των ερευνητών με ένα LLM που μπορεί να δημιουργήσει χιλιάδες ιδέες σε λίγες ώρες μπορεί να μην είναι μια απολύτως δίκαιη σύγκριση. «Πρέπει να συγκρίνεις τα μήλα με τα μήλα», λέει.

Ο Si και οι συνάδελφοί του σχεδιάζουν να συγκρίνουν ιδέες που δημιουργούνται από την τεχνητή νοημοσύνη με κορυφαίες εργασίες συνεδρίων για να κατανοήσουν καλύτερα τον τρόπο σύγκρισης των LLM με την ανθρώπινη δημιουργικότητα. «Προσπαθούμε να ενθαρρύνουμε την κοινότητα να σκεφτεί πιο βαθιά για το πώς θα μοιάζει το μέλλον όταν η τεχνητή νοημοσύνη μπορεί να αναλάβει πιο ενεργό ρόλο στην ερευνητική διαδικασία», λέει.

1. Si, C., Yang, D. & Hashimoto, T. Preprint στο arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Λήψη παραπομπών