2023년 8월 2주차
https://arxiv.org/abs/2308.03688
AgentBench: Evaluating LLMs as Agents (Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, Shudan Zhang, Xiang Deng, Aohan Zeng, Zhengxiao Du, Chenhui Zhang, Sheng Shen, Tianjun Zhang, Yu Su, Huan Sun, Minlie Huang, Yuxiao Dong, Jie Tang)
환경과 상호작용하는 행위자로서의 능력을 테스트한다는 접근의 벤치마크가 나왔군요. 이쪽은 GPT-4가 그냥 압도적이네요.
#benchmark
https://arxiv.org/abs/2308.03526
AlphaStar Unplugged: Large-Scale Offline Reinforcement Learning (Michaël Mathieu, Sherjil Ozair, Srivatsan Srinivasan, Caglar Gulcehre, Shangtong Zhang, Ray Jiang, Tom Le Paine, Richard Powell, Konrad Żołna, Julian Schrittwieser, David Choi, Petko Georgiev, Daniel Toyama, Aja Huang, Roman Ring, Igor Babuschkin, Timo Ewalds, Mahyar Bordbar, Sarah Henderson, Sergio Gómez Colmenarejo, Aäron van den Oord, Wojciech Marian Czarnecki, Nando de Freitas, Oriol Vinyals)
알파스타 아직 접은 건 아니었군요? 오프라인 RL을 위한 벤치마크라는 형태로 공개한 것을 보면 마무리하면서 낸 것 같기도 하지만요.
개인적으로는 스타크래프트를 플레이할 수 있는 모델이 나올 수 있을까 하는 생각을 합니다. behavioral cloning이 아니라 스스로 플레이하면서 게임을 이해하고, 전략을 만들고, 실험하고, 개선하는 작업을 할 수 있는 행위자로서의 모델이 나올 수 있을까요. 그게 가능하다면 AGI가 그리 멀리 있지 않을 것 같습니다.
#rl
https://arxiv.org/abs/2308.03905
Intelligent Assistant Language Understanding On Device (Cecilia Aas, Hisham Abdelsalam, Irina Belousova, Shruti Bhargava, Jianpeng Cheng, Robert Daland, Joris Driesen, Federico Flego, Tristan Guigue, Anders Johannsen, Partha Lal, Jiarui Lu, Joel Ruben Antony Moniz, Nathan Perkins, Dhivya Piraviperumal, Stephen Pulman, Diarmuid Ó Séaghdha, David Q. Sun, John Torr, Marco Del Vecchio, Jay Wacker, Jason D. Williams, Hong Yu)
https://arxiv.org/abs/2308.03303
LoRA-FA: Memory-efficient Low-rank Adaptation for Large Language Models Fine-tuning (Longteng Zhang, Lin Zhang, Shaohuai Shi, Xiaowen Chu, Bo Li)
lora의 AB 행렬에서 dimension reduction을 수행하는 A를 얼려버리고 B만 학습시키면 어떨까. 학습 파라미터도 줄어들지만 low dimension인 XA activation만 저장하면 되니 activation memory를 크게 줄일 수 있다는 아이디어네요. 꽤 흥미롭습니다.
[[230711 Stack More Layers Differently]] ReLoRA와 결합되면 엄청난 효율성 향상이 가능할 수도 있지 않을까? 그러나 프리트레이닝 상황에서 weight 고정은 위험할 것 같음.
#efficient_training
https://arxiv.org/abs/2308.03427
TPTU: Task Planning and Tool Usage of Large Language Model-based AI Agents (Jingqing Ruan, Yihong Chen, Bin Zhang, Zhiwei Xu, Tianpeng Bao, Guoqing Du, Shiwei Shi, Hangyu Mao, Xingyu Zeng, Rui Zhao)
주어진 문제에 대해 필요한 도구 사용 방식을 계획하고 실행한 다음 종합하는 에이전트에 대한 설계. 도구 사용 관련해서는 어떤 형태의 시스템을 구현할 것인가 자체가 꽤 중요한 문제가 되는 것 같네요. 실제 구현은 이 논문처럼 instruction tuning된 모델에 prompting으로 해결하더라도...
#alignment #tool
https://arxiv.org/abs/2308.04014
Continual Pre-Training of Large Language Models: How to (re)warm your model? (Kshitij Gupta, Benjamin Thérien, Adam Ibrahim, Mats L. Richter, Quentin Anthony, Eugene Belilovsky, Irina Rish, Timothée Lesort)
continual pretraining에 대한 탐색이 나왔군요. 주요한 포인트는 warm up을 다시 할 것인가, max learning rate를 바꾸는 것에 따라 새로운 데이터셋과 이전 데이터셋에 대한 성능이 어떻게 변화하는지에 대한 관측이네요.
결과적으로 다시 learning rate를 좀 높여준 다음 decay 하는 것이 새로운 데이터셋에 대해 성능을 확보하는데 필요하긴 하고, learning rate scheduling을 어떻게 하건 결과적으로 이전 데이터셋에 대한 성능에 타격이 오는 것은 어쩔 수 없네요.
일단 단순히 infinite learning rate scheduling을 쓰는 것으로는 잘 안 될 수도 있겠다는 생각이 드네요. 성능 저하는 mixture를 잘 구성해서 대응이 가능하지 않을까 싶기도 합니다. 물론 별 효과가 없을 가능성도 있지만요.
#pretraining
https://arxiv.org/abs/2308.04030
Gentopia: A Collaborative Platform for Tool-Augmented LLMs (Binfeng Xu, Xukun Liu, Hua Shen, Zeyu Han, Yuhan Li, Murong Yue, Zhiyuan Peng, Yuchen Liu, Ziyu Yao, Dongkuan Xu)
https://arxiv.org/abs/2308.04592
Shepherd: A Critic for Language Model Generation (Tianlu Wang, Ping Yu, Xiaoqing Ellen Tan, Sean O'Brien, Ramakanth Pasunuru, Jane Dwivedi-Yu, Olga Golovneva, Luke Zettlemoyer, Maryam Fazel-Zarandi, Asli Celikyilmaz)
LM 모델의 응답 결과에 대해 비평문을 생성하는 모델. 그냥 되는 것은 아니고 이를 위한 데이터 구축 작업을 했네요.
이렇게 피드백을 제공할 수 있는 모델이 있다면 할 수 있는 게 꽤 많을 것 같긴 하네요. 메타에서 한 작업이니 llama의 개선에 도입될지도.
[[221215 Constitutional AI]] 비평을 생성할 수 있다면 이 비평을 기반으로 revise 하는 것이 어느 정도 가능할지? 그러나 비평의 중요성은 모델이 커짐에 따라 감소하기는 함. 그렇지만 Helpfulness의 경우에는?
#alignment
https://arxiv.org/abs/2308.04948
Extrapolating Large Language Models to Non-English by Aligning Languages (Wenhao Zhu, Yunzhe Lv, Qingxiu Dong, Fei Yuan, Jingjing Xu, Shujian Huang, Lingpeng Kong, Jiajun Chen, Lei Li)
llama에 영어 instruction 데이터, 영어 instruction 데이터의 번역본, 그리고 번역 instruction 데이터를 추가해서 중국어 지원을 탑재해본 시도군요. 이렇게 보면 llama를 마치 multilingual 모델처럼 취급하고 원하는 언어 데이터로 튜닝을 하면 되는 것인가 싶기도 합니다. 개인적으로는 메타가 아예 multilingual plm을 내주기를 기대하긴 합니다만...
[[230619 BayLing]]
#alignment
https://arxiv.org/abs/2308.05342
Metacognitive Prompting Improves Understanding in Large Language Models (Yuqing Wang, Yun Zhao)
https://arxiv.org/abs/2308.05374
Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models' Alignment (Yang Liu, Yuanshun Yao, Jean-Francois Ton, Xiaoying Zhang, Ruocheng Guo Hao Cheng, Yegor Klochkov, Muhammad Faaiz Taufiq, Hang Li)
https://arxiv.org/abs/2308.06259
Self-Alignment with Instruction Backtranslation (Xian Li, Ping Yu, Chunting Zhou, Timo Schick, Luke Zettlemoyer, Omer Levy, Jason Weston, Mike Lewis)
Alignment를 위한 sft 데이터 구축 방법. 3K 정도의 시드 데이터를 사용해서 unlabeled corpus에서 instruction을 생성하는 모델을 만들고, 이렇게 만든 pair들을 스코어링해서 필터링하는 방식으로 데이터를 구축하는 군요. 여러모로 instruction following 능력을 살짝 탑재하면 그 이후는 자동화된 방식으로 개선하는 것이 가능해 보이네요.포맷 등의 측면에서 한계가 있지 않을까 하는 생각은 들지만 충분히 유망해 보입니다. 나머지는 rlhf로 개선하는 것도 가능할 수 있겠네요.
[[221215 Constitutional AI]] instruction 생성만이 아니라 본문의 개선 또한 가능할까?
#alignment #instruction-tuning