Silo AI, une startup spécialisée en IA basée à Helsinki, Finlande, a récemment présenté Poro, un nouveau modèle de langage à grande échelle (LLM) open-source, conçu pour faire avancer les capacités multilingues de l’IA pour les langues européennes.
Poro est le premier modèle d’une série qui couvrira finalement les 24 langues officielles de l’Union Européenne. Le division d’IA générative de Silo AI, SiloGen, en collaboration avec le groupe de recherche TurkuNLP de l’Université de Turku, développe ces modèles.
Peter Sarlin, PDG de Silo AI, a déclaré que disposer de modèles qui capturent les valeurs, la culture et les langues est une question de souveraineté numérique. Il a également exprimé qu’il est crucial de s’assurer que toute entreprise, pas seulement les européennes, puisse créer de la valeur et des modèles propriétaires qui restent au sein de leur organisation et en Europe.
Le modèle Poro 34B, nommé d’après le mot finnois pour « renne », est un modèle de 34.2 milliards de paramètres qui utilise une architecture de transformateur BLOOM avec des incorporations ALiBi. Il a été entraîné en utilisant un sous-ensemble du dataset multilingue de 21 trillions de tokens, qui comprend l’anglais, le finnois, et des langages de programmation comme Python et Java.
Poro est entraîné sur LUMI, le superordinateur le plus rapide d’Europe situé à Kajaani, Finlande. LUMI offre un accès à 512 GPU AMD Instinct MI250X capables de 74 pétaflops de puissance de calcul.
Selon Sarlin, Poro est conçu pour relever le défi principal de l’entraînement de modèles de langage naturel performants pour les langues européennes moins ressources, comme le finnois. Il le fait en tirant parti d’une approche d’entraînement inter-langues, permettant au modèle de profiter des données de langues mieux dotées comme l’anglais.
Le modèle est le deuxième grand LLM open source d’origine européenne, suivant le lancement de Mistral 7B par la startup française Mistral AI, financée record, en septembre 2023, et met en évidence les réalisations croissantes du continent et de la région dans le domaine de l’IA générative en rapide évolution. Il souligne également la concurrence croissante entre différents laboratoires et entreprises d’IA.
Établie en 2017, Silo AI a pour mission de construire une entreprise phare européenne en IA, avec des bureaux actuellement en Finlande, Suède, Danemark, Pays-Bas, Allemagne, États-Unis et Canada.
Sommaire
Points de contrôle de recherche Poro
Source: Silo.ai
SiloGen s’engage envers la transparence et, dans cet esprit, a lancé le programme Points de contrôle de recherche Poro pour documenter les progrès de l’entraînement de Poro.
Sarlin, un représentant de SiloGen, a expliqué qu’ils publieront des points de contrôle tout au long du processus de formation du modèle, ce qui est une nouvelle approche offrant plus de transparence au processus d’entraînement.
Le premier point de contrôle pour Poro 34B couvre les 30 premiers pourcents de l’entraînement, et selon les benchmarks publiés par Silo AI, Poro obtient déjà des résultats à la pointe de la technologie même à ce stade précoce de son régime d’entraînement intensif.
Poro a montré des résultats impressionnants sur l’évaluation FIN-bench largement utilisée pour la langue finnoise, surpassant les modèles finnois monolingues existants comme FinGPT qui ont été spécifiquement conçus pour cette tâche.
Sarlin a noté que « le modèle est plus performant sur les langues à faibles ressources que les efforts précédents, même après seulement 30% d’entraînement. » Poro tire avantage pour les langues avec moins de données d’entraînement disponibles en exploitant des schémas partagés entre langues apparentées.
Ce qui est encore plus remarquable, c’est que les capacités multilingues de Poro ne se font pas au détriment de la compétence en anglais. Les tests sur des ensembles d’évaluation anglais standards révèlent que le modèle surpasse déjà les modèles existants en termes de benchmarks finnois et est au même niveau, ou sur la voie d’être au même niveau, que la performance en anglais.
Une alternative open-source aux grandes technologies
Selon Sarlin, les modèles open-source comme Poro représentent l’avenir de l’IA. Ils offrent une alternative transparente et éthique aux modèles fermés des grandes entreprises technologiques. Il croit qu’avec le temps, de plus en plus d’alternatives open-source émergeront. Opter pour l’open-source est la voie la plus sûre car elle offre une totale visibilité sur la façon dont les modèles sont construits et leur architecture. Sarlin a également mentionné que Silo AI a beaucoup travaillé pour s’assurer que tant les données que le modèle sont conformes à la réglementation par conception. Silo AI prévoit de publier régulièrement des points de contrôle Poro pendant le processus d’entraînement. Leur objectif ultime est de créer une famille de modèles open-source couvrant toutes les langues européennes. Si les résultats initiaux sont une indication, Poro pourrait bientôt concurrencer sérieusement les grandes technologies.
Partenariat avec l’Université de Turku
Poro est une collaboration entre Silo AI et l’Université de Turku en Finlande. Le groupe TurkuNLP de l’Université a été à l’avant-garde du développement de ressources et de modèles open source pour la langue finnoise. Ensemble, ils travaillent à faire avancer les capacités de l’IA pour les langues européennes moins ressources. Le partenariat combine l’expertise en IA appliquée et les ressources informatiques de Silo AI avec le leadership de l’Université dans la recherche sur la modélisation linguistique multilingue. C’est un excellent exemple de la façon dont l’industrie et le monde universitaire peuvent collaborer pour réaliser quelque chose d’important.
L’Europe, futur leader de l’IA open-source ?
Source: Silo.ai
La sortie de Poro marque une nouvelle ère de collaboration ouverte et de transparence dans le domaine du traitement du langage naturel. L’initiative Points de contrôle de recherche Poro ouvre l’accès à des outils et des connaissances qui étaient auparavant uniquement disponibles au sein des géants technologiques.
Sarlin, le PDG de l’entreprise, a déclaré : « Nous travaillons avec des clients comme Allianz. Rolls Royce est notre client. Nous travaillons avec Honda. Nous travaillons avec Philips. Nous avons entendu depuis un certain temps que ces grandes entreprises sont assez préoccupées par ce à quoi la réglementation future ressemblera et quels modèles elles pourront utiliser. »
Si Poro tient ses promesses, il pourrait démocratiser l’accès à des modèles multilingues performants, offrant à l’Europe une alternative locale aux systèmes des entreprises technologiques américaines. Bien qu’il soit encore tôt, Poro représente une étape importante pour rendre l’IA linguistique accessible à la communauté élargie.
Passionné par le web et l’entrepreneuriat, j’ai fondé Digitiz en 2016. Mon objectif est de vous transmettre mon expérience et de pouvoir vous faire gagner du temps dans le choix de vos outils.