L'architecture modulaire LLM est conçue pour simplifier la création d'applications personnalisées pilotées par LLM via une conception modulaire et composable. Elle fournit des composants clés tels que des modules de mémoire pour la rétention d'état de session, des interfaces d'outils pour les appels d'API externes, des gestionnaires de prompts pour la génération de prompts basés sur des modèles ou dynamique, et des moteurs d'orchestration pour contrôler le flux de travail de l'agent. Vous pouvez configurer des pipelines en chaînant ces modules, permettant des comportements complexes tels que le raisonnement en plusieurs étapes, des réponses contextuelles et la récupération de données intégrée. La structure supporte plusieurs backends LLM, vous permettant de changer ou de mélanger des modèles, et offre des points d'extension pour ajouter de nouveaux modules ou une logique personnalisée. Cette architecture accélère le développement en promouvant la réutilisation des composants tout en maintenant la transparence et le contrôle sur le comportement de l'agent.