Toutes choses naissent d’un conflit (polemos), disait Héraclite, ou en dialectique, si l’on préfère l’expression plus ténue de Hegel. Marx et ses hommes suiveurs ils ont compris plus tard que la fausse conscience et l’inauthentique peuvent également surgir en conflit.
Tout cela se voit également dans le développement actuel de l’Intelligence Artificielle dite « générative ». OpenAI, inventeur du GPT, a déclaré qu’il le « démocratiserait ». Maintenant à la place, Bus d’adjuvants Microsoftle startups de Sam Altman travaille, en concurrence avec d’autres beaux sujets, sur la plus grande conception monopolistique que le capitalisme ait jamais créée : l’Intelligence Artificielle Générale, c’est-à-dire la conscience de l’humanité dans une poignée d’automates rentables.
Mais la dialectique veut que tout plan finisse tôt ou tard par se heurter à un plan égal et opposé.
Des milliers de modèle de langage Des systèmes génératifs « ouverts », c’est-à-dire librement utilisables partout, peuplent depuis quelques temps la plateforme Huggingface, lamoyeu historien des technologies linguistiques Open sourcequi peut ressembler à l’Alliance Rebelle de Guerres des étoiles s’il n’était pas vraiment un génie entreprise.
Ces modèles ouverts sont développés et offerts par des startups, des universités ou même des chercheurs individuels, mais aussi par des géants comme Meta qui, pour une raison quelconque, ont intérêt à faire bouger les choses.
Comment est-il possible qu’une telle variété de sujets soient désormais capables de former de tels réseaux de neurones ? transformateur produire des modèles de langage génératifs ?
Le fait est que désormais les architectures et les procédures de cette fabrication sont également largement là ouvriret autant de données de formation sont accessibles ou générées, de sorte qu’avec les bonnes compétences et le bon matériel, presque tout le monde peut, en principe, se lancer dans l’entreprise.
La combinaison de méthodes standardisées et d’intuitions innovantes est vertigineuse, et le les pirates des technologies linguistiques l’explorent sans relâche. Nous en verrons de bons.
L’équipe éditoriale recommande :
ChatGpt ne peut se faire sans la science démocratique
Dans cette effervescence ils émergent deux problèmes: celui dealignement entre les comportements produits par les automates et ceux attendus par les humains, ce qui inclut le thème de l’éthique, et celui de la condition de minorité de langues autres que l’anglais.
Les deux problèmes sont en quelque sorte liés. En supposant que les technologies permettant de produire des modèles linguistiques génératifs deviennent produits de basela qualité des futurs modèles dépendra essentiellement de la manière dont ces problèmes seront résolus.
Le premier et fondamental ingrédient d’un modèle de langage c’est une énorme quantité de mots. Puisqu’une bonne littérature ne suffit pas, il faut mettre un terme à la textualité Internet, notoirement polluée par des toxines verbales de toutes sortes.
Les éliminer complètement est difficile : même s’il est possible de filtrer tout simplement les grossièretés, une grande partie de cette toxicité se situe au niveau axiologique, c’est-à-dire des valeurs. Le “Manifeste de race» de 1938, avec son lot d’absurdités fascistes, passerait indemne à travers le filtre.
En plus de régurgiter les toxines ingérées par les textes, un modèle de langage Le génératif, sorti de la salle de lecture, produirait aussi (et surtout) des phrases dénuées de sens. Cela est dû au fait que ce que l’automate a appris, dans une première phase, c’est uniquement la probabilité qu’un mot suive ceux qui le précèdent. Bien que ce calcul soit très sophistiqué, et le co-texte considéré comme assez large, ce sont toujours des assonances sans ce que nous appelons habituellement « raison ».
Une deuxième phase de formation est donc nécessaire dont le but est d’orienter le générateur vers le sens complet, la modestie et l’utilité.
Nous savons que pour ce ChatGPT qui a mis l’IA au premier plan, il s’agissait davantage d’interagir avec les humains, ce qui prenait du temps et de l’argent.
L’équipe éditoriale recommande :
ChatGpt, Antonio Casilli : Le côté obscur de l’algorithme, c’est la main d’œuvre
Mais il existe aujourd’hui des techniques qui rendent cette deuxième phase beaucoup plus simple, à condition d’avoir suffisamment d’exemples de paires entrée sortie vertueux et désirable.
Ceux-ci sont généralement obtenus à partir des ressources disponibles telles que Reddit TL;DRqui illustre la façon dont un message (saisir) un résumé peut être obtenu (sortir), mais tout au plus peuvent-ils être fabriqués ad hoc. Dans ce type de ressources, leethos linguistique que l’on souhaite donner à l’automate.
Les communautés nationales non anglophones sont confrontées au problème de produire des générateurs efficaces pour leur propre langue.
Il y a deux manières : les construire ab imis fondamentalis à partir de textes dans cette langue ou affiner des modèles multilingues ouverts, notamment ceux apportés en cadeau par ceux qui disposent de nombreuses ressources pour les produire.
Dans le premier cas, le purisme se paiera en devant s’occuper à la fois de la désintoxication et des alignements. Dans le deuxième cas, même s’il sait qu’au début le modèle pourra parler en sauveur dans le Nom de la rosevous bénéficierezethos avec lequel l’original a été formé. Cela se produit également grâce à un effet appelé apprentissage par transfert, qui fait partie des arcanes des grands réseaux de neurones.
Le premier modèle purement italien, celui de Minerve de l’Université Sapienza qui s’est exposé au pilori d’Internet pour certains de ses propos, entre dans le premier cas, mais est (certes) dépourvu d’alignement, d’où l’intéressant (mais triste) effet Vannacci de sa prose. Rien d’étrange pour la science, mais l’annonce a fait croire qu’une pizza était en train d’être cuite, alors qu’en réalité il ne s’agissait que de pâte.
L’équipe éditoriale recommande :
Minerva, l’IA italienne à la croisée des chemins entre Vannacci et Manzoni
Dans le chemin italien vers l’IA linguistique, notre Université, encore imprégnée d’un certain Esprit de Nation qui rappelle Humboldt, joue un rôle important. Il est bon que nous le fassions en pleine conscience des « temps intéressants » que nous vivons.
Une époque où les communautés de recherche et de développement sont transversales, fortement interconnectées et extrêmement dialectiques. La première compétence à transmettre aux étudiants et aux étudiantes est la curiosité intellectuelle, l’esprit de collaboration et l’humilité.
