Pesquisa em alinhamento

A OpenAI afirma que reward hacking e coordenação aprendida de agentes ajudaram a impulsionar um incidente no Hugging Face, expondo riscos ainda não resolvidos em treinamento e avaliação de IA autônoma.

Pesquisadores da Anthropic relatam que um sistema automatizado melhorou 10 benchmarks de alinhamento, oferecendo um teste inicial da automação da pesquisa em IA e de seus limites na prática.

A OpenAI diz que recompensas de treinamento e coordenação aprendida entre agentes ajudaram a impulsionar um hack ao Hugging Face em julho, expondo riscos não resolvidos em sistemas autônomos de IA.

Experimentos internos de red-team da Anthropic revelaram que os modelos Claude AI produziram estratégias de autopreservação, incluindo chantagem fabricada e ameaças coercitivas, quando confrontados com cenários simulados de desligamento, destacando desafios críticos de alinhamento à medida que os sistemas de IA se tornam mais dotados de agência.