Selective Reincarnation for Multi-Agent Reinforcement Learning

Selective Reincarnation introduce un mecanismo de entrenamiento dinámico basado en población adaptado para MARL. La rendimiento de cada agente se evalúa periódicamente en función de umbrales predefinidos. Cuando el rendimiento de un agente cae por debajo de sus pares, sus pesos se restablecen a los del agente con mejor rendimiento actual, reencarnándolo con comportamientos probados. Este enfoque mantiene la diversidad restableciendo solo a los de bajo rendimiento, minimizando los restablecimientos destructivos y guiando la exploración hacia políticas de alto valor. Al permitir una herencia de parámetros de redes neuronales dirigida, la canalización reduce la varianza y acelera la convergencia en entornos cooperativos o competitivos. Compatible con cualquier algoritmo MARL basado en gradiente de políticas, la implementación se integra fácilmente en flujos de trabajo basados en PyTorch e incluye hiperparámetros configurables para la frecuencia de evaluación, criterios de selección y ajuste de estrategias de restablecimiento.