Le 23 juillet dernier, Meta a levé le voile sur Llama 3.1, son modèle d’IA le plus puissant à ce jour. L’occasion pour Mark Zuckerberg de livrer sa vision d’une intelligence articielle à la fois ouverte ouverte et open source, qui devrait devenir la norme pour les développeurs à terme.
Llama 3.1 405B entend se mesurer à OpenAI de manière bien plus offensive encore. Pour Mark Zuckerberg, l’IA Open Source est la voie à suivre et la tendance va se répandre, à l’image de Linux. Meta s’engage à promouvoir l’IA open source : le fondateur et PDG de Facebook s’en est longuement expliqué dans un long article de blog, dont voici un résumé.
« Au début de l’informatique haute performance, les grandes entreprises technologiques de l’époque investissaient massivement dans le développement de leurs propres versions propriétaires d’Unix. Il était difficile d’imaginer à l’époque qu’une autre approche pourrait développer un logiciel aussi avancé. Cependant, Linux, un système d’exploitation open source, a finalement gagné en popularité – initialement parce qu’il permettait aux développeurs de modifier son code à leur guise et était plus abordable, puis au fil du temps parce qu’il est devenu plus avancé, plus sécurisé, et a bénéficié d’un écosystème plus large soutenant plus de capacités que n’importe quel Unix propriétaire. Aujourd’hui, Linux est la base standard de l’industrie dans le domaine du Cloud et les systèmes d’exploitation qui font fonctionner la plupart des appareils mobiles.
Je crois que l’IA se développera de manière similaire. Aujourd’hui, plusieurs entreprises technologiques développent des modèles propriétaires de pointe. Mais l’open source rattrape rapidement son retard. L’année dernière, Llama 2 n’était comparable qu’à une ancienne génération de modèles en retrait du front. Cette année, Llama 3 est compétitif avec les modèles les plus avancés et mène dans certains domaines. À partir de l’année prochaine, nous prévoyons que les futurs modèles Llama deviendront les plus avancés de l’industrie. Mais même avant cela, Llama est déjà en tête en matière d’ouverture, de modifiabilité et d’efficacité des coûts.
Aujourd’hui, nous franchissons les prochaines étapes pour que l’IA open source devienne la norme de l’industrie. Nous lançons Llama 3.1 405B, le premier modèle d’IA open source de niveau « frontier », ainsi que les nouveaux et améliorés modèles Llama 3.1 70B et 8B. En plus d’avoir un rapport coût/performance nettement meilleur par rapport aux modèles propriétaires, le fait que le modèle 405B soit open source en fera le meilleur choix possible pour les développeurs.
(…)
Nous devons contrôler notre propre destin et ne pas être enfermés dans un fournisseur propriétaire. De nombreuses organisations ne veulent pas dépendre de modèles qu’elles ne peuvent pas faire fonctionner et contrôler elles-mêmes. Elles ne veulent pas que les fournisseurs de modèles propriétaires puissent modifier leur modèle, changer leurs conditions d’utilisation, ou même arrêter de les servir complètement. Elles ne veulent pas non plus être enfermées dans un seul cloud qui a des droits exclusifs sur un modèle. L’open source permet un large écosystème d’entreprises avec des chaînes d’outils compatibles entre lesquelles vous pouvez facilement naviguer.
Nous devons protéger nos données. De nombreuses organisations manipulent des données sensibles qu’elles doivent sécuriser et ne peuvent pas envoyer à des modèles propriétaires via des API cloud. D’autres organisations ne font tout simplement pas confiance aux fournisseurs de modèles propriétaires avec leurs données. L’open source aborde ces problèmes en vous permettant d’exécuter les modèles où vous le souhaitez. Il est bien accepté que les logiciels open source tendent à être plus sécurisés car ils sont développés de manière plus transparente.
(…)
Une de mes expériences formatrices a été de développer nos services sous la contrainte de ce qu’Apple nous permettait de construire sur leurs plateformes. Entre la manière dont ils taxent les développeurs, les règles arbitraires qu’ils appliquent, et toutes les innovations produit qu’ils bloquent, il est clair que Meta et de nombreuses autres entreprises pourraient offrir de bien meilleurs services aux gens si nous pouvions créer les meilleures versions de nos produits et que les concurrents ne pouvaient pas restreindre ce que nous pouvions construire. Sur le plan philosophique, c’est une des raisons pour lesquelles je crois si fermement à la construction d’écosystèmes ouverts dans l’IA et la réalité augmentée/virtuelle pour la prochaine génération d’informatique.
Les gens me demandent souvent si je suis inquiet de perdre un avantage technique en rendant Llama open source, mais je pense que cela manque une vision d’ensemble. (…) Meta a une longue histoire de projets open source et de succès. Nous avons économisé des milliards de dollars en publiant nos conceptions de serveurs, de réseaux et de centres de données avec le projet Open Compute, permettant aux chaînes d’approvisionnement de se standardiser sur nos conceptions. Nous avons bénéficié des innovations de l’écosystème en open sourçant des outils leaders comme PyTorch, React et bien d’autres outils. Cette approche a toujours fonctionné pour nous lorsque nous nous y tenons à long terme.
(…)
Quand vous considérez les opportunités à venir, rappelez-vous que la plupart des grandes entreprises technologiques et des recherches scientifiques d’aujourd’hui sont basées sur des logiciels open source. La prochaine génération d’entreprises et de recherches utilisera l’IA open source si nous y investissons collectivement. Cela inclut les startups qui démarrent à peine ainsi que les personnes dans les universités et les pays qui n’ont peut-être pas les ressources pour développer leur propre IA de pointe à partir de zéro. En fin de compte, l’IA open source représente la meilleure chance du monde pour exploiter cette technologie afin de créer les plus grandes opportunités économiques et la sécurité pour tous.
(…)
Je crois que la sortie de Llama 3.1 sera un point d’inflexion dans l’industrie où la plupart des développeurs commenceront à utiliser principalement l’open source, et je m’attends à ce que cette approche ne cesse de croître à partir de là. J’espère que vous nous rejoindrez dans ce voyage pour apporter les avantages de l’IA à tout le monde. »
