Edito : DeepSeek nous montre la voie pour rattraper le retard sur OpenAI

‍

Si on s’en tient aux chiffres avancés par DeepSeek, il suffit de 2 000 GPU et d’une équipe d’excellence pour produire un modèle compétitif en performance et en coût. C'est une excellente nouvelle pour un usage corporate car la méthode de DeepSeek permet de concevoir un LLM in-house d'un niveau de o1.

Il s'agit aussi une excellente nouvelle pour l'indépendance de la France et de l'Europe face aux champions d'Intelligence Artificielle étrangers. Car la France dispose de cette puissance de GPUs, ne serait-ce qu'entre Scaleway et le CNRS. Ce qui manque, ce sont trois éléments clés :

1. Mutualiser les efforts de recherche (forcément, la taille d'équipe de DeepSeek permet de produire plus que celle de Mistral)
2. Mutualiser les GPU
3. Définir une ligne directrice claire et une politique de communication pour éviter les échecs comme Lucie, coûteux en terme de crédibilité

‍

‍
Deepseek démontre que l’excellence scientifique surpasse la puissance brute

‍

DeepSeek est un laboratoire d'IA chinois qui a conçu R1, un modèle équivalent à ChatGPT o1, pour seulement 2 000 GPU H100, soit un coût100 fois inférieur à OpenAI. 

Toutefois le milieu académique et économique soupçonnent que le nombre de GPU réellement utilisés soient bien plus élevé.
‍
DeepSeek V3 et R1 sont des modèles de pointe qui prouvent qu'il est possible de rivaliser avec OpenAI en termes de performance et de coût.

DeepSeek a rendu publics sa méthode et les poids du modèle, ce qui a permis à d'autres laboratoires (Berkeley) de reproduire certaines avancées, notamment en Reinforcement Learning (RL).

DeepSeek illustre l'importance stratégique et géopolitique des modèles fondationnels.

‍
Des modèles excellents à la pointe des progrès en Intelligence Artificielle

DeepSeek V3 repose sur une architecture Mixture of Experts (MoE), activant uniquement certains sous-modèles spécialisés en fonction de la tâche. Mistral utilise une approche similaire avec Mixtral.

R1 est un modèle de raisonnement qui a innové en démarrant son apprentissage directement en Reinforcement Learning (RL) plutôt qu'en Apprentissage Supervisé (SFT), ce qui était jusque-là jugé trop coûteux. Il ne s'appuie pas sur des exemples mais reçoit un bonus ou un malus selon ses réponses.

DeepSeek-V3 aurait été entraîné avec 2 048 GPU H800 pendant deux mois, pour un coût estimé à 5,6 millions de dollars. Certaines sources suggèrent néanmoins que jusqu'à 50 000 GPU H100 auraient été mobilisés, un niveau de puissance similaire à Google ou Amazon.

Des chercheurs de Berkeley ont repris la méthode de DeepSeek, ce qui pourrait influencer les prochaines évolutions d'OpenAI, Gemini et Claude.

Lucie met en lumière le manque d’efficience de la communication sur l’IA en France

‍

Lucie est un projet de recherche visant à produire une Intelligence Artificielle totalement open-source, bien que toujours en phase expérimentale. Elle a été entraînée sur 512 GPU H100 du CNRS.
‍
Le lancement de ce projet a été totalement prématuré : Lucie est un modèle brut par encore destiné au public, le modèle a été présenté trop tôt, générant des attentes irréalistes et une déception sur ses performances.

Son lancement coïncide malheureusement avec DeepSeek et met en lumière le problème de la communication : la publication de Lucie est intervenue alors que DeepSeek faisait sensation, renforçant la perception d’un échec.

Non seulement la présentation de Lucie ne correspond pas à la réalité du modèle, mais elle souligne notre manque de clarté sur les enjeux de l’intelligence artificielle

Des projets et une communication souvent décalage avec le marché

Lucie vise à respecter le standard Open Source Initiative (OSI), garantissant un accès libre et transparent à son code, sa méthode et ses données d'entraînement.

Bien que son lancement ait été mal géré, Lucie remplit son objectif initial en établissant les bases d’un LLM européen transparent. Cependant, cet effort ne suffit pas à compenser le retard accumulé face aux grands acteurs internationaux.

En parallèle, tandis que les initiatives publiques rencontrent des difficultés, des entreprises comme Kyutai et Mistral progressent grâce à des stratégies plus efficaces, s'appuyant sur un financement plus dynamique et une approche plus pragmatique.

Ce décalage met en évidence un déficit en infrastructures et en moyens techniques pour la recherche en IA en France, freinant son développement et limitant sa compétitivité face aux grandes puissances comme les États-Unis et la Chine. La question demeure : comment structurer un effort collectif pour inverser cette tendance ?

DeepSeek démontre que la France a les moyens, pas la politique

‍

• En France, on ne sait pas bien se vendre : Les écoles, universités et laboratoires liés à l’Intelligence Artificielle peinent à communiquer efficacement. Lucie en est un exemple, et il est difficile d’identifier les expérimentations menées sur R1 par des universitaires.
• On manque cruellement d'infrastructures : L’Europe ne possède ni fondeurs de puces ni accès direct aux terres rares. La France dispose d’à peine quelques milliers de GPU H100 (CNRS, Nabu2023 de Scaleway), contre plusieurs centaines de milliers aux États-Unis.
• Les entreprises privées avancent pendant que le public traîne : Pendant que les initiatives publiques avancent lentement, des acteurs comme Kyutai et Mistral progressent rapidement.
• Il n'y a pas de vision commune en France sur l'Intelligence Artificielle : La recherche en IA souffre d’un manque de synergie entre acteurs publics et privés, ce qui entrave l’émergence d’une stratégie nationale solide.
  ‍

Pourquoi ne pas appliquer la même recette ?

‍

• DeepSeek prouve qu’il est possible d’optimiser l’entraînement et réduire les coûts, sous réserve de disposer d’une équipe de chercheurs de haut niveau.
• L’Europe est en retard sur les infrastructures, mais possède d’excellents chercheurs, suggérant que nous pouvons rattraper notre retard.
• Faut-il que la France investisse massivement dans un modèle fondationnel ? DeepSeek démontre que ce n’est pas impossible, à condition de favoriser une collaboration entre chercheurs et industriels.
• Les États-Unis et la Chine accélèrent grâce à des initiatives coordonnées (ex. Stargate aux US), alors que l’Europe privilégie pour l’instant la régulation.
• Pour éviter une dépendance totale, il est impératif de :
  • Encourager la coopération entre entreprises et chercheurs français avec une approche entrepreneuriale.
  • Faire reconnaître par les gouvernements européens l'importance stratégique du développement d’un modèle fondationnel indépendant.