Phind-70B, la toute dernière version du modèle IA, fonctionne à une vitesse de 80 tokens par seconde. Il obtiendrait, selon l’entreprise, un score de 82,3 % sur HumanEval, battant le dernier score de GPT-4 Turbo (gpt-4-0125-preview) de 81,1 %. Quel intérêt ?
De quoi parle-t-on ?
Phind est une IA avec moteur de réponse intelligent pour les développeurs, basé sur le moteur open-source CodeLlama-34B. Elle utilise l’IA générative et se connecte à internet. Une extension VS Code permet d’obtenir l’aide de Phind directement dans votre éditeur.
Quoi de neuf dans la nouvelle version ?
Phind-70B est basé sur le modèle CodeLlama-70B (qui est open source). Il a été affiné sur 50 milliards de jetons supplémentaires, ce qui a permis d’apporter des améliorations significatives. Par ailleurs, il prend également en charge une fenêtre contextuelle de 32 000 jetons, ajoute l’entreprise.
Phind-70B se situe dans le même domaine de qualité que GPT-4 Turbo pour générer du code et le dépasse pour certaines tâches. Avec une pique en règle contre OpenAI : « Phind-70B est également moins « paresseux » que GPT-4 Turbo et n’hésite pas à générer des exemples de code détaillés. »
"We find that Phind-70B is in the same quality realm as GPT-4 Turbo for code generation and exceeds it on some tasks.
Phind-70B is significantly faster than GPT-4 Turbo, running at 80+ tokens per second to GPT-4 Turbo's ~20 tokens per second."
What a launch! 👀 pic.twitter.com/XUlFc6ePar
— Garry Tan (@garrytan) February 23, 2024
Phind-70B ne bat pas GPT partout, mais serait significativement plus rapide que GPT-4 Turbo, fonctionnant à plus de 80 jetons par seconde contre ~20 par seconde pour GPT-4 Turbo. Pour parvenir à ce résultat, ses développeurs ont exécuté la bibliothèque TensorRT-LLM de NVIDIA sur les GPU H100 : « Nous travaillons sur des optimisations afin d’augmenter encore la vitesse d’inférence de Phind-70B. »
