Alors que des utilisateurs des mod\u00e8les de langages d’OpenAI GPT-3.5 et 4 commen\u00e7aient \u00e0 se demander si leurs outils perdaient en acuit\u00e9, des chercheurs de Stanford et Berkeley ont compar\u00e9 leurs performances entre mars et juin 2023.<\/p>\n\n\n\n
Les grands mod\u00e8les de langage popularis\u00e9s par ChatGPT sont souvent utilis\u00e9s via leurs API, parce qu’ils ont encore besoin de puissance pour tourner mais aussi, tout simplement, parce que leurs sources ne sont pas diffus\u00e9es pour une bonne partie d’entre eux.<\/p>\n\n\n\n
C’est notamment le cas pour les populaires GPT-3.5 et GPT-4, mod\u00e8les de langages utilis\u00e9s par ChatGPT. Leurs utilisateurs n’ont pas la main dessus et ne peuvent que les interroger. Or, depuis quelque temps, certains se demandaient si les performances de ces deux mod\u00e8les ne baissaient pas.<\/p>\n\n\n\n
Le probl\u00e8me est que personne, \u00e0 part OpenAI, ne sait r\u00e9ellement comment et quand leur base de connaissances est mise \u00e0 jour. L’entreprise leader du march\u00e9 est aussi la plus discr\u00e8te sur son outil. Cette discr\u00e9tion a d’ailleurs pouss\u00e9 Google \u00e0\u00a0demander\u00a0\u00e0 ses chercheurs de ne pas publier leurs travaux tant qu’ils n’\u00e9taient pas d\u00e9j\u00e0 utilis\u00e9s par l’entreprise.<\/p>\n\n\n\n
Du c\u00f4t\u00e9 de Meta, de fa\u00e7on assez inhabituelle, les \u00e9quipes de recherche de Yann Lecun jouent les bons \u00e9l\u00e8ves de l’open source en publiant tous leurs mod\u00e8les. Mais aucun d’entre eux ne divulgue clairement les corpus sur lesquels ils entrainent leurs outils. Il n’y a gu\u00e8re que le mod\u00e8le\u00a0BLOOM\u00a0qui essaye de respecter au mieux les canons de la science ouverte (open science).<\/p>\n\n\n\n
Il est donc difficile de se faire sa propre id\u00e9e des performances de ces outils et de savoir dans quelles mesures ils s’am\u00e9liorent ou s’ils r\u00e9gressent.<\/p>\n","protected":false},"excerpt":{"rendered":"
Alors que des utilisateurs des mod\u00e8les de langages d’OpenAI GPT-3.5 et 4 commen\u00e7aient \u00e0 se demander si leurs outils perdaient<\/p>\n","protected":false},"author":1,"featured_media":17412,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[5],"tags":[],"class_list":["post-17411","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technologie"],"_links":{"self":[{"href":"https:\/\/dekkbi.com\/index.php?rest_route=\/wp\/v2\/posts\/17411","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/dekkbi.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/dekkbi.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/dekkbi.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/dekkbi.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=17411"}],"version-history":[{"count":1,"href":"https:\/\/dekkbi.com\/index.php?rest_route=\/wp\/v2\/posts\/17411\/revisions"}],"predecessor-version":[{"id":17413,"href":"https:\/\/dekkbi.com\/index.php?rest_route=\/wp\/v2\/posts\/17411\/revisions\/17413"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/dekkbi.com\/index.php?rest_route=\/wp\/v2\/media\/17412"}],"wp:attachment":[{"href":"https:\/\/dekkbi.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=17411"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/dekkbi.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=17411"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/dekkbi.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=17411"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}