Transformers
Pathways
여러 태스크를 수행할 수 있는 단일 학습 모델
Today’s models are dense and inefficient. Pathways will make them sparse and efficient.
인간은 문장을 해석할 때 뇌의 극히 일부만 활용한다는 점에서 착안, 동일하게 ‘희소하게(sparsely)’ 활성화 하는 단일 모델 구축.
Pathways 학습 논문이 PaLM이다.
Last Modified: 2022/04/16 11:08:28