O artigo discute a importância dos Modelos de Recompensa (RM) no aprendizado por reforço a partir de feedback humano (RLHF), destacando que esses modelos precisam ser interpretáveis para garantir que suas decisões reflitam as preferências humanas. A abordagem tradicional, baseada em modelos como o Bradley-Terry, é limitada na captura de preferências complexas e frequentemente resulta em comportamentos indesejados, como a exploração de recompensas.

1. Fase 1: Treinamento de um Modelo de Recompensa Multialvo (ArmoRM) com dados de classificação multidimensional.

2. Fase 2: Implementação de uma estratégia de Mistura de Especialistas (MoE) que seleciona objetivos de recompensa contextualmente.

A proposta inclui a construção do ArmoRM, que foi treinado com sucesso no modelo Llama-3 8B, alcançando resultados avançados no RewardBench, superando métodos anteriores como o LLM-as-a-judge com GPT-4. Os pesquisadores destacam que a capacidade de interpretação do modelo é crucial para evitar que o LLM gere respostas que, embora bem classificadas, não atendem às expectativas humanas.

- O ArmoRM demonstrou desempenho superior ao RM Bradley-Terry. - A proposta oferece uma alternativa mais econômica em comparação ao uso de GPT-4. - O modelo ArmoRM se aproxima do desempenho de RMs maiores, como o Nemotron-4.

O estudo enfatiza a necessidade de tornar os modelos de recompensa mais interpretáveis e controláveis, permitindo que os humanos verifiquem e ajustem as decisões do modelo, promovendo uma interação mais alinhada entre humanos e inteligência artificial.

Em suma, a pesquisa propõe uma abordagem inovadora para melhorar a interpretação e a eficácia dos modelos de recompensa em RLHF, o que pode ter implicações significativas para o futuro do treinamento de modelos de linguagem, garantindo que estes se alinhem melhor às expectativas e valores humanos.

FONTES:

1. Christiano et al., 2017

2. Ouyang et al., 2022

3. Bai et al., 2022

4. Bradley and Terry, 1952

5. Schulman et al., 2017

6. Dong et al., 2023

7. Gulcehre et al., 2023

8. Xiong et al., 2023

9. Guo et al., 2024

10. [Xie et al., 2024]()

11. [Munos et al., 2023]()

12. [Swamy et al., 2024]()

13. [Ye et al., 2024]()

14. [Skalse et al., 2022]()

15. [Singhal et al., 2023]()

16. [Chen et al., 2024]()

17. [Gao et al., 2023]()

18. [Lin et al., 2023]()

19. [Coste et al., 2023]()

20. [Wang et al., 2024a]()

21. [Wang et al., 2024b]()

22. [Molnar, 2020]()

23. [Wong et al., 2021]()

24. [Meta, 2024]()

25. [Cui et al., 2023]()

26. [Spearman, 1904]()

27. [Loshchilov and Hutter, 2019]()

28. [Lambert et al., 2024]()

29. [Zheng et al., 2023]()