Anthropic a été fondée en 2021 par d'anciens membres seniors d'OpenAI dont Daniela Amodei et Dario Amodei, ce dernier ayant été vice-président de la recherche d'OpenAI[4],[5],[6]. Cette décision de quitter OpenAI aurait notamment été motivée par des désaccords sur la vision stratégique de OpenAI et son partenariat avec Microsoft en 2019[7].
En mai 2024, Mike Krieger, cofondateur d'Instagram et d'Artifact, rejoint la start-up. À la même période, l'ancien responsable de la sécurité d'OpenAI, Jan Leike, rejoint aussi Anthropic, suivi par un autre cofondateur d'OpenAI, John Schulman, en août. En octobre 2024, Durk Kingma, encore un autre co-fondateur d'OpenAI, rejoint Anthropic[8].
Projets
Claude
Anthropic a développé son propre chatbot, nommé Claude[9]. Initialement disponible en version bêta fermée via une intégration Slack, Claude est désormais accessible via l'application Poe de Quora[10].
L'IA constitutionnelle est une approche développée par Anthropic pour entraîner les systèmes d'IA (et en particulier les grands modèles de langage comme Claude) à être utiles, sincères et inoffensifs sans nécessiter de feedback humain[11].
Dans une phase d'apprentissage supervisé, le modèle génère des réponses, s'auto-critique sur la base d'un ensemble de principes (une « constitution »), puis ajuste ses réponses. Ces réponses davantage conformes à la constitution sont ensuite utilisées pour entraîner le modèle[11].
Puis, dans une phase d'apprentissage par renforcement, le modèle génère des réponses et les compare, favorisant celles qui satisfont le plus un principe aléatoire de la constitution. Ces données permettent d'entraîner un modèle de préférences, qui juge des réponses en fonction de leur degré de conformité à la constitution. Claude est ensuite ajusté à satisfaire ce modèle de préférences. Cette technique est similaire à l'apprentissage par renforcement à partir de rétroaction humaine, qui entraîne cependant le modèle de préférences avec des comparaisons humaines, là où avec l'IA constitutionnelle les comparaisons sont faites automatiquement avec l'IA se font sur la base de la constitution[12],[11].
Anthropic publie également des recherches en interprétabilité des systèmes d'IA (une discipline visant à en comprendre le fonctionnement interne), en se concentrant sur les transformeurs, qui sont des modèles d'IA très utilisés dans le traitement du langage[13].
Notes et références
(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Anthropic » (voir la liste des auteurs).