Ένα νέο μεγάλο γλωσσικό μοντέλο (LLM), ανοιχτού κώδικα και με πολυγλωσσική υποστήριξη, βρίσκεται στο τελικό στάδιο δοκιμών από ερευνητικά ιδρύματα στην Ελβετία. Το μοντέλο εκπαιδεύτηκε στον υπερυπολογιστή “Alps” του Swiss National Supercomputing Centre (CSCS), στο Λουγκάνο, στο πλαίσιο συνεργασίας των EPFL, ETH Zurich και άλλων ελβετικών πανεπιστημίων.
Η επίσημη διάθεσή του αναμένεται εντός του καλοκαιριού, με ανοικτή άδεια χρήσης. Πρόκειται για μία από τις πρώτες περιπτώσεις μεγάλου γλωσσικού μοντέλου που έχει εκπαιδευτεί εξ ολοκλήρου σε δημόσια υπολογιστική υποδομή.
Τεχνικά χαρακτηριστικά
Το μοντέλο έχει σχεδιαστεί ώστε να υποστηρίζει περισσότερες από 1.500 γλώσσες, συμπεριλαμβανομένων και πολλών χαμηλής διάδοσης. Η σύνθεση του εκπαιδευτικού υλικού ήταν κατά προσέγγιση 60% στα αγγλικά και 40% σε άλλες γλώσσες, ενώ χρησιμοποιήθηκαν επίσης δεδομένα από πηγαίο κώδικα και μαθηματικά σύνολα.
Η τεκμηρίωση που θα συνοδεύει τη διάθεσή του θα περιλαμβάνει:
- την αρχιτεκτονική του μοντέλου,
- τις μεθόδους εκπαίδευσης,
- τα πλήρη σύνολα δεδομένων που χρησιμοποιήθηκαν και
- οδηγίες για αναπαραγωγή, επαναχρησιμοποίηση και προσαρμογή σε διαφορετικά περιβάλλοντα.
Η ανοιχτή διάθεση στοχεύει στη διασφάλιση τεχνικής επαναληψιμότητας και στον έλεγχο από ερευνητικές και τεχνικές κοινότητες.
Πλαίσιο ανάπτυξης
Το έργο παρουσιάστηκε στο πλαίσιο του πρώτου Διεθνούς Συνεδρίου για Ανοικτά Μεγάλα Γλωσσικά Μοντέλα (LLMs), που πραγματοποιήθηκε στη Γενεύη, με τη συμμετοχή περίπου 50 οργανισμών από τον χώρο της έρευνας και της ανάπτυξης ανοικτών συστημάτων Τεχνητής Νοημοσύνης. Στόχος των διοργανωτών — των EPFL και ETH Zurich — ήταν η θεμελίωση ενός πλαισίου διεθνούς συνεργασίας σε ζητήματα διαλειτουργικότητας, τεχνικής αξιοπιστίας και διαφάνειας στα γλωσσικά μοντέλα.
Νομικό και θεσμικό υπόβαθρο
Η ανάπτυξη του μοντέλου συμπίπτει χρονικά με την εφαρμογή της νέας νομοθεσίας EMBAG στην Ελβετία, η οποία υποχρεώνει τους ομοσπονδιακούς φορείς να δημοσιοποιούν τον πηγαίο κώδικα του λογισμικού που αναπτύσσουν ή προμηθεύονται. Ο νόμος δεν επεκτείνεται σε επίπεδο καντονιών ή δήμων και αποσκοπεί στη μείωση της εξάρτησης από προμηθευτές, στην ενίσχυση της διαφάνειας και στην προώθηση της επανάχρησης ψηφιακών έργων του δημόσιου τομέα.
Η σύνδεση του EMBAG με την ανάπτυξη του LLM εντοπίζεται στην κατεύθυνση ενίσχυσης των δημόσιων επενδύσεων για την ανάπτυξη ανοικτών και επαναχρησιμοποιήσιμων ψηφιακών υποδομών, προσβάσιμων από φορείς του Δημοσίου, ερευνητικά ιδρύματα και άλλους οργανισμούς.
