r/Rag • • 1h ago

Tutorial RAG Step-by-Step Tutorial for Beginners: How to Stop AI Hallucinations with Your Own Data

4 Upvotes

If you are tired of LLMs making up facts when querying private documents, Retrieval-Augmented Generation (RAG) is the standard fix. Instead of relying on static training weights, RAG retrieves relevant chunks from your own files and passes them directly to the model as context.

​I put together a practical, step-by-step RAG tutorial for beginners that skips the heavy academic theory and focuses on building a working pipeline from scratch.

​Inside the guide, you will learn how to:

  • ​Split and chunk raw documents without losing semantic meaning
  • ​Generate vector embeddings and store them in a vector database
  • ​Connect a retriever to an LLM to ground every response in verified sources

​Check out the full technical cheat sheet and architecture breakdown here: https://interconnectd.com/forum/thread/31/rag-for-beginners-the-technical-cheat-sheet-that-stops-ai-hallucinations/

Let me know what vector database or embedding model you are testing first.


r/Rag • • 7h ago

Discussion Lang chain/langraph vs llamaindex vs haystack

1 Upvotes

Hi folks just curios what framework are you using in your rag work flow from above and why did you choose them over others?


r/Rag • • 9h ago

Discussion Fiabilité de l'utilisation de l'outil Magistral 24B dans le cadre d'une analyse RAG basée sur des documents (Ollama vs vLLM)

0 Upvotes

Titre : Fiabilité de l’utilisation de l’outil Magistral 24B dans un système RAG ancré dans les documents (Ollama vs vLLM)

Bonjour à tous,

Je développe un assistant IA entièrement local, en français, pour un domaine de connaissances spécialisé exigeant une attribution rigoureuse des sources et un raisonnement complexe.

Notre architecture actuelle utilise :

Magistral 24B pour le raisonnement et la génération de réponses.

Python pour l’orchestration, la récupération de documents, l’exécution des outils, la gestion des permissions et la validation des sources.

Un pipeline RAG ancré dans les documents avec un corpus de référence conséquent.

Ollama, avec des expérimentations complémentaires utilisant vLLM et l’appel d’outils natifs.

Une carte graphique RTX 5070, 12 Go de RAM et 64 Go de RAM système, avec déchargement partiel du CPU/GPU.

Après de nombreux tests, nous avons rencontré plusieurs problèmes récurrents :

1. Fiabilité de l’utilisation des outils

Le modèle répond parfois sans demander de documents supplémentaires, même lorsque les preuves disponibles sont insuffisantes. Dans d'autres cas, les appels d'outils peuvent être mal gérés par le moteur d'inférence ou ses modèles.

2. Recherche versus raisonnement Lorsque les documents nécessaires sont correctement fournis, Magistral peut produire un excellent raisonnement spécifique au domaine. Cependant, il arrive que des passages critiques des sources ne parviennent pas au modèle. Nous étudions le classement des résultats de recherche, la sélection du contexte et le transport des documents indépendamment du raisonnement du modèle.

3. Sur-contrainte du modèle Nous avons expérimenté des invites, des règles de validation et des contrôles de flux de travail de plus en plus restrictifs. Ces tests n'ont pas amélioré la qualité des réponses de manière constante et ont parfois complexifié le système.

Nous nous orientons désormais vers une architecture plus simple :

Python garantit une recherche documentaire initiale avant les réponses de fond.

Magistral gère l'analyse intellectuelle, le raisonnement, les demandes de recherche complémentaires et la rédaction.

Python exécute les outils, gère les permissions, valide les références aux sources et contrôle la boucle d'exécution.

Nous évitons les instructions inutiles qui dictent la manière dont le modèle doit raisonner. Mes questions aux développeurs ayant conçu des systèmes similaires :

Avez-vous réussi à obtenir une utilisation fiable d'outils multi-étapes avec Magistral 24B ou Magistral 3 14B Reasoning ?

Quel moteur d'inférence, quelles versions, quel analyseur syntaxique d'appels d'outils et quels modèles de conversation ont fonctionné de manière fiable ?

Le passage à Python pour l'orchestration et la validation a-t-il amélioré la fiabilité tout en offrant au modèle une plus grande liberté de raisonnement ?

Comment assurez-vous la continuité du raisonnement entre les appels d'outils, gérez-vous les appels manquants et évitez-vous les boucles de raisonnement excessives ?

Avez-vous mesuré la justesse et l'exhaustivité réelles des réponses, et pas seulement la réussite de l'exécution des outils ?

Je suis particulièrement intéressé par les solutions ayant fait leurs preuves dans des applications réelles, avec des configurations reproductibles et des limitations connues.

Je peux partager des traces d'exécution anonymisées et des cas de reproduction minimaux si nécessaire.

Merci d'avance pour vos retours techniques.

Texte rédigé avec l'aide d'une IA ; le projet, les tests et les observations sont de moi.


r/Rag • • 13h ago

Discussion Fiabilité de l'utilisation de l'outil Magistral 24B dans le cadre d'une analyse RAG basée sur des documents (Ollama vs vLLM)

0 Upvotes

Titre : Fiabilité de l’utilisation de l’outil Magistral 24B dans un système RAG ancré dans les documents (Ollama vs vLLM)

Bonjour à tous,

Je développe un assistant IA entièrement local, en français, pour un domaine de connaissances spécialisé exigeant une attribution rigoureuse des sources et un raisonnement complexe.

Notre architecture actuelle utilise :

Magistral 24B pour le raisonnement et la génération de réponses.

Python pour l’orchestration, la récupération de documents, l’exécution des outils, la gestion des permissions et la validation des sources.

Un pipeline RAG ancré dans les documents avec un corpus de référence conséquent.

Ollama, avec des expérimentations complémentaires utilisant vLLM et l’appel d’outils natifs.

Une carte graphique RTX 5070, 12 Go de RAM et 64 Go de RAM système, avec déchargement partiel du CPU/GPU.

Après de nombreux tests, nous avons rencontré plusieurs problèmes récurrents :

1. Fiabilité de l’utilisation des outils

Le modèle répond parfois sans demander de documents supplémentaires, même lorsque les preuves disponibles sont insuffisantes. Dans d'autres cas, les appels d'outils peuvent être mal gérés par le moteur d'inférence ou ses modèles.

2. Recherche versus raisonnement Lorsque les documents nécessaires sont correctement fournis, Magistral peut produire un excellent raisonnement spécifique au domaine. Cependant, il arrive que des passages critiques des sources ne parviennent pas au modèle. Nous étudions le classement des résultats de recherche, la sélection du contexte et le transport des documents indépendamment du raisonnement du modèle.

3. Sur-contrainte du modèle Nous avons expérimenté des invites, des règles de validation et des contrôles de flux de travail de plus en plus restrictifs. Ces tests n'ont pas amélioré la qualité des réponses de manière constante et ont parfois complexifié le système.

Nous nous orientons désormais vers une architecture plus simple :

Python garantit une recherche documentaire initiale avant les réponses de fond.

Magistral gère l'analyse intellectuelle, le raisonnement, les demandes de recherche complémentaires et la rédaction.

Python exécute les outils, gère les permissions, valide les références aux sources et contrôle la boucle d'exécution.

Nous évitons les instructions inutiles qui dictent la manière dont le modèle doit raisonner. Mes questions aux développeurs ayant conçu des systèmes similaires :

Avez-vous réussi à obtenir une utilisation fiable d'outils multi-étapes avec Magistral 24B ou Magistral 3 14B Reasoning ?

Quel moteur d'inférence, quelles versions, quel analyseur syntaxique d'appels d'outils et quels modèles de conversation ont fonctionné de manière fiable ?

Le passage à Python pour l'orchestration et la validation a-t-il amélioré la fiabilité tout en offrant au modèle une plus grande liberté de raisonnement ?

Comment assurez-vous la continuité du raisonnement entre les appels d'outils, gérez-vous les appels manquants et évitez-vous les boucles de raisonnement excessives ?

Avez-vous mesuré la justesse et l'exhaustivité réelles des réponses, et pas seulement la réussite de l'exécution des outils ?

Je suis particulièrement intéressé par les solutions ayant fait leurs preuves dans des applications réelles, avec des configurations reproductibles et des limitations connues.

Je peux partager des traces d'exécution anonymisées et des cas de reproduction minimaux si nécessaire.

Merci d'avance pour vos retours techniques.

Texte rédigé avec l'aide d'une IA ; le projet, les tests et les observations sont de moi.