Unveiling the General Intelligence Factor in Language Models: A Psychometric Approach 에서 쓴 샘플모델들이 open LLM leaderboard에 있는 걸 썼다는 것 같은데, 그러면 llama 파인튜닝한 모델들이 대부분 아닐까요?
Llm의 지식획득이 대부분이 pretraining 단계애서 된다고 보면, 대부분 같은 지식을 갖고 있으니 높은 g값이 나올 수 밖에 없는 셋팅이 아닌가 싶기도 합니다 🤔
Unveiling the General Intelligence Factor in Language Models: A Psychometric Approach 에서 쓴 샘플모델들이 open LLM leaderboard에 있는 걸 썼다는 것 같은데, 그러면 llama 파인튜닝한 모델들이 대부분 아닐까요?
Llm의 지식획득이 대부분이 pretraining 단계애서 된다고 보면, 대부분 같은 지식을 갖고 있으니 높은 g값이 나올 수 밖에 없는 셋팅이 아닌가 싶기도 합니다 🤔
저도 instruction tuning된 모델은 분리하고 보는 쪽이 더 명확할 듯 싶습니다.