Dans un récent épisode de "Goldman Sachs Exchanges : Great Investors", Raj Mahajan, responsable mondial de Systematic Client Franchise, Global Banking and Markets, s' est entretenu avec Peter Brown, PDG de la légendaire société de trading quantitatif Renaissance Technologies.
Cette société, cofondée par Jim Simons, gère environ 160 milliards de dollars d'actifs.
Avant d'entrer dans le monde de la finance, Peter Brown a travaillé dans celui de la technologie linguistique. Avant de rejoindre Renaissance Technologies en 1993, il a travaillé chez IBM (NYSE:IBM) en tant qu'expert en technologie linguistique, un parcours qui a commencé par une curiosité innée pour la reconnaissance vocale au lycée.
Il suffit de prendre les données vocales, de les transformer dans le domaine des fréquences, de les comparer à des modèles de mots et le tour est joué", a-t-il expliqué.
Lire aussi : La Fed maintient ses taux à 5,5 %, la courbe à points indique une nouvelle hausse en 2023
La fascination de M. Brown s'est ravivée à l'université après un cours de linguistique et une discussion fortuite sur une société appelée Dialogue Systems. Sa passion l'a conduit à faire des études supérieures à Carnegie Mellon sous la direction de Jeff Hinton, souvent considéré comme le "parrain de l'IA".
En passant de la linguistique à des domaines plus larges tels que l'apprentissage automatique, Brown s'est trouvé à l'avant-garde de la construction de grands modèles de langage.
Ses modèles, qui rappellent le ChatGPT moderne, visaient à imiter la connaissance humaine de la grammaire et de la sémantique à partir de données brutes.
Les premiers modèles, en raison des limites technologiques de leur époque, reposaient sur des données et une puissance de calcul nettement moindres.
Décrivant un des premiers exemples, M. Brown a partagé un texte génératif produit par le modèle il y a 35 ans :
"Qu'est-ce que vous voulez dire ? Je n'en sais rien. dit l'homme. Est-ce que c'est le cas ? demanda-t-il à l'homme, il ne s'agit pas d'une bonne idée. La première fois que j'ai eu une bonne idée, elle a eu une bonne idée. Certainement, dis-je, quel est le problème ? Puis-je obtenir l'argent ? dit l'homme. Scott était une bonne idée. Mme King, dit Nick, je ne sais pas ce que je veux dire. Jetez un coup d'œil à la porte, c'était une bonne idée. Je ne sais pas ce que je veux dire, n'est-ce pas ? C'est ce qu'il a dit.
Brown a commenté avec humour la nature répétitive du texte, tout en reconnaissant les progrès réalisés dans ce domaine au cours des 35 dernières années.
Les premières expériences n'étaient pas non plus dénuées de scepticisme. M. Brown se souvient d'une critique de deux phrases de leur premier article sur la traduction automatique, qui ne tenait pas compte de leur approche fondée sur les données.
Faisant le lien entre son travail passé et la technologie actuelle, M. Brown a indiqué qu'il s'était lancé dans la traduction à partir d'une idée de Google Translate. L'aventure de M. Brown dans les modèles de traduction a commencé lorsqu'il a reçu des données du Parlement canadien en français et en anglais. En traitant la traduction comme un processus statistique, ils ont cherché à estimer des paramètres uniquement à partir de ces données.
Son équipe a également utilisé son modèle linguistique pour créer un correcteur orthographique prenant en compte le contexte, une caractéristique absente de certains correcteurs orthographiques.
M. Brown a déclaré que l'équipe d'IBM était stupéfaite de voir que le système pouvait traduire des frappes aléatoires en un anglais compréhensible.
Il est évident que les premiers efforts du PDG de Renaissance Technologies ont laissé une empreinte durable sur l'apprentissage automatique et l'IA.
Bien qu'il ait commencé à une époque où l'idée de grands modèles de langage n'en était qu'à ses balbutiements, son travail fondateur a ouvert la voie à des géants tels que ChatGPT.
Lire la suite : ChatGPT peut choisir des actions : Le portefeuille IA de Benzinga en 5ème position
