Formation LLM:RAG

• Composée à 70% de pratique, cette formation utilise des exercices illustrés et didactiques.
• Une évaluation quotidienne de l'acquisition des connaissances de la veille est effectuée.
• Une synthèse est proposée en fin de formation.
• Une évaluation à chaud sera proposée au stagiaire à la fin du cours.
• Un support de cours (version électronique) sera remis à chaque participant comprenant les slides sur la théorie, les exercices.
• Une feuille d'émargement par demi-journée de présence est fournie en fin de formation ainsi qu'une attestation de fin de formation si le stagiaire a bien assisté à la totalité de la session.
• Un suivi et un échange avec les participants seront mis en place quelques jours après la formation.

Les Large Language Model (LLM) transforment le traitement du langage naturel (NLP). Ces modèles basés sur l’architecture Transformers offrent des avantages considérables en termes de compréhension et de génération du langage naturel.

Cependant, ces modèles ont encore beaucoup de défis à relever.

Ils ont des connaissances limitées aux données sur lesquelles ils se sont entraînés et ils peuvent parfois générer des informations incorrectes ou inventées, appelées hallucinations. Sans oublier, que l'entraînement et l'utilisation de ces LLM peuvent être coûteux en termes de puissance de calcul et de ressources.

Le Retrieval Augmented Generation (RAG) marque une étape importante dans l'évolution du NLP en permettant de dépasser les limitations des modèles de langage traditionnels. Grâce à l'intégration de connaissances externes, ces systèmes permettent d’obtenir des réponses plus précises, factuelles et pertinentes en s’appuyant sur des informations à jour et vérifiées.

Les agents IA sont une extension des LLM et du RAG, leur ajoutant des capacités de planification, de mémoire et d'utilisation d'outils externes. Ils deviennent ainsi des entités autonomes capables d'agir et de prendre des décisions pour accomplir des tâches complexes. Cette évolution mène à des IA plus sophistiquées et polyvalentes.

Cette formation vous permettra de comprendre comment les modèles de langage peuvent être rendus plus précis, plus fiables et plus polyvalents. Vous serez en mesure de concevoir et de mettre en œuvre des systèmes RAG et des agents IA pour améliorer les chatbots, les moteurs de recherche, les assistants virtuels et bien d'autres applications.

• Comprendre les bases théoriques et pratiques des LLM
• Connaître les enjeux et les limites des LLM
• Maîtriser les fondements de l’architecture RAG
• Construire des systèmes RAG performants, de l'indexation à la génération
• Savoir évaluer et optimiser les systèmes RAG grâce à des techniques avancées
• Développer des applications basées sur les LLM avec LangChain
• Comprendre les principes fondamentaux de l’IA agentique
• Identifier les éléments constitutifs essentiels d’un agent IA
• Concevoir et construire des systèmes d’agents IA pour résoudre des problèmes complexes
• Connaître des techniques avancées de RAG et d’agents IA

• Développeurs
• Data Engineers
• Data Scientists

Le formateur est un expert du domaine qui intervient sur le sujet depuis plusieurs années en formation mais aussi lors de mission d’audit, de développement et de conseil. Dotée d’une grande qualité d’écoute, sa pédagogie et sa compétence technique vous permettront d’acquérir les compétences sur le sujet. Il saura alterner entre théorie, pratique, et retours d’expérience.

• La connaissance du langage Python est nécessaire ainsi qu'une connaissance des bases du Machine Learning ou avoir suivi la formation « Pensez comme un Datascientist ».
• Afin de valider les compétences et les prérequis de chaque participant, en amont de la formation, le formateur organise un entretien téléphonique. Il confirme alors que le participant a le niveau nécessaire et que le contenu répond bien à ses attentes.

Large Language Models (LLM)

• Histoire du NLP
• Les réseaux de neurones pour traiter du texte
• Architecture des LLM : Transformers
• Mécanisme d’attention
• Tokens & Embeddings
• Panorama de quelques modèles
• Méthodes d’apprentissage et d’optimisation: Self Supervised Learning, Supervised fine-tuning (SFT), Reinforcement Learning from Human Feedback (RLHF), Group Relative Policy Optimization (GRPO), Fine tuning DPO
• Coût et empreinte écologique des LLM
• Des LLM vers les SLM

LangChain

• Présentation de LangChain et de ses fonctionnalités
• Ecosystème de LangChain

Fondements du RAG

• Limitations des LLM
• Définition des concepts clés
• Architecture

Pipeline d’injection

• Tokens
• Chunking
• Embeddings
• Base de données vectorielles

Pipeline de génération

• Algorithme de recherche
• Gestion de la mémoire et du contexte
• Techniques de prompting : zero-shot, few-shot, ReAct, Chain-of-Thought, Tree-of-Thought, etc.
• Catégorisation des LLM et adéquation au RAG

Evaluation des Systèmes RAG

• Les principes d'évaluation
• Les métriques d’évaluation
• Les frameworks d’évaluation
• Advanced RAG
• Modular RAG

Agents IA

• Pourquoi utiliser des agents
• Éléments constitutifs des agents IA
• Construction de systèmes d’agents IA
• Construction de systèmes multi-agents
• Outil sur-mesure pour les agents IA
• Structuration des workflows IA

Techniques avancées

• Mise en place de garde-fous pour des sorties IA fiables
• Référencement des tâches précédentes pour une prise de décision contextuelle
• Optimisation des flux de travail par l'exécution asynchrone
• Utilisation de fonctions de rappel (Callbacks) pour les actions à la fin d'une tâche
• Introduction de mécanismes d'intervention humaine pour la validation et le contrôle
• Processus agentiques hiérarchiques
• Agents multimodaux (Multimodal Agents)
• Agentic RAG
• Agentic AI Design Patterns

Nous consulter