Ομιλητής
Περιγραφή
Η παρούσα εργασία μελετά τη χρήση των γλωσσικών μοντέλων τεχνητής νοημοσύνης (ΤΝ) στο ακαδημαϊκό περιβάλλον. Πιο συγκεκριμένα εξετάζεται ένα σύνολο δεδομένων αποτελούμενο από φοιτητικές εργασίες. Οι εργασίες δόθηκαν στα πλαίσια του μαθήματος Πρότυπα Μουσειακής Περιγραφής, στο τμήμα Αρχειονομίας, Βιβλιοθηκονομίας και Συστημάτων Πληροφόρησης του Πανεπιστημίου Δυτικής Αττικής. Για τη διερεύνηση της χρήσης ΤΝ, κατασκευάστηκαν δύο επιπλέον υποσύνολα δεδομένων, το πρώτο αποτελούμενο από κείμενα γραμμένα από άνθρωπο και το δεύτερο από κείμενα γραμμένα από μοντέλα ΤΝ. Για τα τρία αυτά σύνολα, υπολογίστηκε ένας βαθμός σύγχυσης, που μετρά το κατά πόσο ένα γλωσσικό μοντέλο “ξαφνιάζεται” με τις λέξεις ενός κειμένου; αν δεν μπορεί να τις προβλέψει, ενδέχεται να μην είναι δικές του. Με βάση αυτό ορίστηκε εμπειρικά, μόνο για το σύνολο των φοιτητικών εργασιών, ένα κατώφλι σύγχυσης, με στόχο να εξεταστεί το κατά πόσο μοιάζουν ή όχι να είναι γραμμένες από ΤΝ. Επιπλέον υπολογίστηκε και αναλύθηκε η ομοιότητα ανάμεσα τις εργασίες, ώστε να εξερευνηθεί αν και πως μπορεί να συνδεθεί η ομοιότητα με τον βαθμό σύγχυσης; για παράδειγμα εάν εργασίες με μεγάλη ή μικρή ομοιότητα παρουσιάζουν μεγάλο ή μικρό βαθμό σύγχυσης. Η παρούσα έρευνα δεν στοχεύει να εξετάσει το επίπεδο των ακαδημαϊκών δραστηριοτήτων αλλά, προσπαθεί να καταλάβει τα διαφορετικά χαρακτηριστικά των απαντήσεων στις εργασίες των φοιτητών και να εξάγει χρήσιμα συμπεράσματα. Τα αποτελέσματα δείχνουν ότι οι εργασίες δεν παρουσιάζουν ενδείξεις χρήσης ΤΝ, και πως το κατώφλι σύγχυσης από μόνο του, δεν είναι αξιόπιστο μέτρο για την ανίχνευση χρήσης ΤΝ. Η ανάλυση της ομοιότητας έδειξε ότι οι περισσότερες εργασίες, με μερικές εξαιρέσεις, είναι αυθεντικές. Με βάση τα παραπάνω, δεν φαίνεται να υπάρχει σημαντική σύνδεση ανάμεσα στο βαθμό σύγχυσης και την ομοιότητα των κειμένων.
Περίληψη (Αγγλικά)
This study examines the usage of artificial intelligence (AI) language models in academic environment. More specifically a small dataset of student assignment text responses is examined. The assignments were delivered for the course Museum Metadata Standards, at the Department of Archival, Library and Information Studies, University of West Attica. To research the use of AI, two additional datasets were created, the first consisting of human-written and the second of AI-written texts. For all three datasets, a perplexity score was calculated, that measures how much a model is “surprised” from the words being used in a text; if it can’t predict them, they might be not theirs. Based on that, a perplexity threshold was empirically set, only for students responses, and used to explore the AI-likeness of student responses. Additionally, the similarity for student assignment text pairs was calculated and analyzed, to discover how similarity can be connected, if at all, to perplexity; that is if for example, highly similar or dissimilar documents present low or high perplexity. This research does not aim to report on the quality of academic activities but rather to understand the distinct characteristics of the student assignment responses and draw useful conclusions. Results show that student assignments do not present signs of synthetic text and that perplexity alone cannot be used as a measure to detect AI-assistance. Similarity analysis show that most of the provided students answers, with few exceptions, appear to be authentic. Based on the above, it appears that there is not a significant connection between the perplexity degree and text similarity.
| Λέξεις Κλειδιά | βαθμός σύγχυσης, ομοιότητα κειμένου, ακαδημαϊκές εργασίες, γλωσσικά μοντέλα, τεχνητή νοημοσύνη |
|---|---|
| Τίτλος (Αγγλικά) | Examining AI usage in academic assignments: language model perplexity degree and text similarity |
| Λέξεις Κλειδιά (Αγγλικά) | perplexity degree, text similarity, academic assignments, language models, artificial intelligence |