Lu récemment cette étude sur le site de Nature qui s’intitule « Language models transmit behavioural traits through hidden signals in data » et qui découvre une autre forme de biais transmis lors de l’entrainement de modèles de languages en intelligence artificielle. Extrait :
We uncover a surprising property of distillation in this setting. Even when the teacher generates data that contain no semantic signal about the trait, student models can still acquire the trait of the teacher model, a phenomenon we call subliminal learning. For example, we use a model that is prompted to prefer owls to generate a dataset consisting solely of number sequences such as ‘(285, 574, 384, …)’. When another model is fine-tuned on these sequences, we find its responses disproportionately indicate a preference for owls.

Je ne suis pas un expert de Jacques Derrida, loin de là, mais à mon avis, le philosophe français aurait apprécié cette étude. Ça semble valider ses réflexions sur la nécessité de déconstruire le langage pour mieux comprendre de quoi il est fait, ce qu’il appelle la différance (je sur-simplifie). « Au cœur du concept de différance se trouvent les notions de temporalité et d’absence. Derrida souligne que les significations n’existent qu’en relation les unes avec les autres, jamais pleinement présentes mais continuellement reportées. En intégrant ces dynamiques, la différance ouvre des voies nouvelles pour penser la temporalité, forgeant un espace où l’absence même devient source de sens. Ainsi, Derrida offre à la philosophie contemporaine un outil critique puissant pour déceler les discours cachés et les structures sous-jacentes.» (…) « Dans l’exercice de la déconstruction, la différance sert d’outil pour dévoiler la complexité multidimensionnelle des discours. Elle engage le lecteur à reconnaître non seulement ce qui est présent, mais aussi ce qui est absent et ce qui reste implicite, défiant ainsi notre compréhension linéaire et unilatérale des textes. Derrida invite à repenser la structure même de notre perception du langage et appelle à une nouvelle forme de lecture qui dépasse les limites traditionnelles, engendrant une multiplicité de significations potentielles. » source: Explorer la différance : le concept central de Derrida
J’ai découvert cette recherche grâce à Arthur Charpentier.


