[2021.12.21] OSLO 공개!

안녕하세요. 튜닙의 머신러닝 엔지니어 고현웅입니다. 이번에 저희가 그동안 개발해오던 라지스케일 모델링 프레임워크 OSLO를 오픈소스로 공개했습니다.OSLO는 3D 병렬화, 커널최적화, 대용량 데이터 처리 등, 라지스케일 모델링에 필요한 여러가지 기술들을 제공합니다. OSLO의 가장 큰 특징은 기존의 Megatron-LM 기반의 프레임워크들과는 다르게 Hugging Face Transformers를 기반으로 설계 되었다는 점인데요. 이로 인해 Model Hub와 연동이 가능합니다. 예를 들어 Hub에 올라와 있는 GPTJ 등의 모델을 다운로드 받아서 손쉽게 파인 튜닝 할 수 있습니다. 더 자세한 정보는 다음 깃헙 링크를 확인해주세요! https://github.com/tunib-ai/oslo

GitHub - tunib-ai/oslo: OSLO: Open Source framework for Large-scale model Optimization