r/Rag • u/Savings_Selection622 • 8h ago
Discussion Fiabilité de l'utilisation de l'outil Magistral 24B dans le cadre d'une analyse RAG basée sur des documents (Ollama vs vLLM)
Titre : Fiabilité de l’utilisation de l’outil Magistral 24B dans un système RAG ancré dans les documents (Ollama vs vLLM)
Bonjour à tous,
Je développe un assistant IA entièrement local, en français, pour un domaine de connaissances spécialisé exigeant une attribution rigoureuse des sources et un raisonnement complexe.
Notre architecture actuelle utilise :
Magistral 24B pour le raisonnement et la génération de réponses.
Python pour l’orchestration, la récupération de documents, l’exécution des outils, la gestion des permissions et la validation des sources.
Un pipeline RAG ancré dans les documents avec un corpus de référence conséquent.
Ollama, avec des expérimentations complémentaires utilisant vLLM et l’appel d’outils natifs.
Une carte graphique RTX 5070, 12 Go de RAM et 64 Go de RAM système, avec déchargement partiel du CPU/GPU.
Après de nombreux tests, nous avons rencontré plusieurs problèmes récurrents :
1. Fiabilité de l’utilisation des outils
Le modèle répond parfois sans demander de documents supplémentaires, même lorsque les preuves disponibles sont insuffisantes. Dans d'autres cas, les appels d'outils peuvent être mal gérés par le moteur d'inférence ou ses modèles.
2. Recherche versus raisonnement Lorsque les documents nécessaires sont correctement fournis, Magistral peut produire un excellent raisonnement spécifique au domaine. Cependant, il arrive que des passages critiques des sources ne parviennent pas au modèle. Nous étudions le classement des résultats de recherche, la sélection du contexte et le transport des documents indépendamment du raisonnement du modèle.
3. Sur-contrainte du modèle Nous avons expérimenté des invites, des règles de validation et des contrôles de flux de travail de plus en plus restrictifs. Ces tests n'ont pas amélioré la qualité des réponses de manière constante et ont parfois complexifié le système.
Nous nous orientons désormais vers une architecture plus simple :
Python garantit une recherche documentaire initiale avant les réponses de fond.
Magistral gère l'analyse intellectuelle, le raisonnement, les demandes de recherche complémentaires et la rédaction.
Python exécute les outils, gère les permissions, valide les références aux sources et contrôle la boucle d'exécution.
Nous évitons les instructions inutiles qui dictent la manière dont le modèle doit raisonner. Mes questions aux développeurs ayant conçu des systèmes similaires :
Avez-vous réussi à obtenir une utilisation fiable d'outils multi-étapes avec Magistral 24B ou Magistral 3 14B Reasoning ?
Quel moteur d'inférence, quelles versions, quel analyseur syntaxique d'appels d'outils et quels modèles de conversation ont fonctionné de manière fiable ?
Le passage à Python pour l'orchestration et la validation a-t-il amélioré la fiabilité tout en offrant au modèle une plus grande liberté de raisonnement ?
Comment assurez-vous la continuité du raisonnement entre les appels d'outils, gérez-vous les appels manquants et évitez-vous les boucles de raisonnement excessives ?
Avez-vous mesuré la justesse et l'exhaustivité réelles des réponses, et pas seulement la réussite de l'exécution des outils ?
Je suis particulièrement intéressé par les solutions ayant fait leurs preuves dans des applications réelles, avec des configurations reproductibles et des limitations connues.
Je peux partager des traces d'exécution anonymisées et des cas de reproduction minimaux si nécessaire.
Merci d'avance pour vos retours techniques.
Texte rédigé avec l'aide d'une IA ; le projet, les tests et les observations sont de moi.