2023년 7월 6주차

https://arxiv.org/abs/2307.16778

KoBBQ: Korean Bias Benchmark for Question Answering (Jiho Jin, Jiseon Kim, Nayeon Lee, Haneul Yoo, Alice Oh, Hwaran Lee)

한국 문화에 부합하는 편향 벤치마크. 예를 들어 번역에서 한국 문화에 맞게 월마트를 이마트로 바꾼다거나, 히스패닉을 베트남인으로 바꾼다거나, 한국 문화에 부합하는 추가적인 샘플을 만든다거나 하는 작업을 했네요.

#bias

---

https://arxiv.org/abs/2307.16789

ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs (Yujia Qin, Shihao Liang, Yining Ye, Kunlun Zhu, Lan Yan, Yaxi Lu, Yankai Lin, Xin Cong, Xiangru Tang, Bill Qian, Sihan Zhao, Runchu Tian, Ruobing Xie, Jie Zhou, Mark Gerstein, Dahai Li, Zhiyuan Liu, Maosong Sun)

도구 사용을 위한 instruction tuning. ChatGPT와 function call 기능을 사용해서 instruction을 만들고 도구와 상호작용하면서 추론하는 과정을 추출했군요. 도구 사용도 ChatGPT가 해주니까 되네요.

#alignment #tool