EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty
Sutskever는 일반적으로 뉴럴넷 학습 자체가 일종의 solomonoff induction과 같은 것을 하고 있다는 직관이 있는 것 같더군요. https://www.youtube.com/live/AKMuA_TVz3A?si=NBgUulVAQEia42XR
Next Token Prediction을 위시한 뉴럴넷 학습과 압축을 연관짓는 것은 중요한 아이디어인 듯 하고 이 논문도 그걸 좀 더 파헤치려는 것이 목적이 아니었을까 싶습니다. https://www.youtube.com/watch?v=dO4TPJkeaaU
Sutskever는 일반적으로 뉴럴넷 학습 자체가 일종의 solomonoff induction과 같은 것을 하고 있다는 직관이 있는 것 같더군요. https://www.youtube.com/live/AKMuA_TVz3A?si=NBgUulVAQEia42XR
Next Token Prediction을 위시한 뉴럴넷 학습과 압축을 연관짓는 것은 중요한 아이디어인 듯 하고 이 논문도 그걸 좀 더 파헤치려는 것이 목적이 아니었을까 싶습니다. https://www.youtube.com/watch?v=dO4TPJkeaaU