2023년 10월 10일
https://arxiv.org/abs/2310.04418
Functional Interpolation for Relative Positions Improves Long Context Transformers (Shanda Li, Chong You, Guru Guruganesh, Joshua Ainslie, Santiago Ontanon, Manzil Zaheer, Sumit Sanghai, Yiming Yang, Sanjiv Kumar, Srinadh Bhojanapalli)
extrapolation을 목표로 한 relative positional encoding이군요. attention bias를 relative distance을 사용해 생성하는데, 생성 함수의 입력에서 relative distance를 query의 위치로 normalize 해주는 것이 포인트입니다. 즉 b(i, j) = f((i - j) / i) 형태가 되는 것이죠. 흥미롭네요.
#positional_encoding #long_context
https://arxiv.org/abs/2310.05910
SALMON: Self-Alignment with Principle-Following Reward Models (Zhiqing Sun, Yikang Shen, Hongxin Zhang, Qinhong Zhou, Zhenfang Chen, David Cox, Yiming Yang, Chuang Gan)
Dromedary (https://arxiv.org/abs/2305.03047) 의 버전 2가 나왔네요. 이쪽은 RLAIF 파이프라인을 구성하는데 중점을 뒀습니다. 기본적인 접근은 Dromedary와 같이 원칙(Principle) 기반입니다. 원칙을 사용해서 preference comparison과 reward model을 만들어서 RL 과정에 사용하는 것이죠. 추가적으로 reward hacking이 발생하는 것을 관찰했고, reward hacking에 대응하기 위한 principle도 작업 과정에서 작성해서 추가했네요.
흥미롭습니다. 긴 텍스트가 선호되는 점을 노리고 길이에 따른 보너스를 줬다는 부분 등이 좀 걸리긴 합니다만 한 번 결과 모델을 살펴보고 싶네요.
#alignment
https://arxiv.org/abs/2310.05914
NEFTune: Noisy Embeddings Improve Instruction Finetuning (Neel Jain, Ping-yeh Chiang, Yuxin Wen, John Kirchenbauer, Hong-Min Chu, Gowthami Somepalli, Brian R. Bartoldson, Bhavya Kailkhura, Avi Schwarzschild, Aniruddha Saha, Micah Goldblum, Jonas Geiping, Tom Goldstein)
SFT 과정에서 입력 임베딩에 uniform noise를 추가하면 성능이 눈에 띄게 향상된다는 결과. 이런 고전적인 트릭이 이 정도 결과로 이어지는 사례는 드문데 말이죠. 이 트릭을 사용하면 출력 시퀀스 길이가 전반적으로 길어지는 경향이 있어서 길이에 의한 편향이 아닌가 분석을 꽤 했고 그 효과만으로 볼 수는 없다고 주장하고 있긴 합니다. 신기하네요.
#alignment
https://arxiv.org/abs/2310.05737
Language Model Beats Diffusion -- Tokenizer is Key to Visual Generation (Lijun Yu, José Lezama, Nitesh B. Gundavarapu, Luca Versari, Kihyuk Sohn, David Minnen, Yong Cheng, Agrim Gupta, Xiuye Gu, Alexander G. Hauptmann, Boqing Gong, Ming-Hsuan Yang, Irfan Essa, David A. Ross, Lu Jiang)
이미지/영상 토크나이저 개선으로 Autoregressive 모델의 이미지/영상 생성 품질을 향상. 일단 VQ를 sign 함수로 대체해서 {-1, 1} 두 값의 조합으로 코드북의 인덱스를 생성하도록 했습니다. 추가로 이미지/영상 모두에 대해서 작동할 수 있는 새로운 아키텍처 구성을 했군요. Finite Scalar Quantization (https://arxiv.org/abs/2309.15505) 이 좀 떠오르네요.
#vq #autoregressive_model #image_generation
https://arxiv.org/abs/2310.04625
Copy Suppression: Comprehensively Understanding an Attention Head (Callum McDougall, Arthur Conmy, Cody Rushing, Thomas McGrath, Neel Nanda)
GPT-2 Small에서 Negative Heads라는 Attention Head를 발견했습니다. 트랜스포머의 초기 레이어에서는 이전에 나온 토큰을 가져와서 바로 출력으로 복붙하는 경향이 있는데, 이 Negative Heads는 이러한 복붙을 감지해서 복사한 토큰의 확률을 낮추는 방향으로 작동한다고 하네요. 토큰 검출 뉴런이 검출한 토큰의 확률을 억제한다는 결과가 있었는데 (https://arxiv.org/abs/2309.04827) 결합해서 생각해볼 수 있지 않을까 싶네요.
#transformer #lm
https://arxiv.org/abs/2310.05344
SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF (Yi Dong, Zhilin Wang, Makesh Narsimhan Sreedhar, Xianchao Wu, Oleksii Kuchaiev)
OASST의 attribute label을 사용해서 텍스트에 대한 attribute prediction 모델을 만들고, 이 모델로 데이터셋에 attribute label을 부여한 다음 attribute label에 condition 하는 방식으로 SFT, 이후 높은 퀄리티에 해당하는 attribute label을 condition으로 주고 샘플링한 다음 샘플에 다시 attribute prediction 모델로 attribute label을 부여, 그리고 새로 부여된 attribute label로 다시 SFT 하는 순서군요.
전반적으로 Reward Conditioning (https://arxiv.org/abs/2302.08582) 을 연상시키는 방법입니다. OASST과 HH-RLHF 데이터셋 구성으로 상당히 인상적인 결과가 나왔네요.
#alignment
https://arxiv.org/abs/2310.04743
Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models (Song Jiang, Zahra Shakeri, Aaron Chan, Maziar Sanjabi, Hamed Firooz, Yinglong Xia, Bugra Akyildiz, Yizhou Sun, Jinchao Li, Qifan Wang, Asli Celikyilmaz)
Chain of Thought는 상당히 직선적인 reasoning의 흐름을 따라가도록 유도하는데, 실제로 문제를 푸는 데 필요한 reasoning step은 이전 reasoning step을 조합하는 것이 필요한 경우가 있다는 것에 대한 대응 방법이군요. 이전 결과들을 지시하는 방식으로 중간 단계 reasoning step을 생성해서 각 reasoning step들 사이에 연결을 만들어내는 방식입니다.
#prompt #in_context_learning