TECH
[2021.12.21] OSLO 공개!
주식회사 튜닙
2021. 12. 21. 16:17
안녕하세요. 튜닙의 머신러닝 엔지니어 고현웅입니다. 이번에 저희가 그동안 개발해오던 라지스케일 모델링 프레임워크 OSLO를 오픈소스로 공개했습니다.OSLO는 3D 병렬화, 커널최적화, 대용량 데이터 처리 등, 라지스케일 모델링에 필요한 여러가지 기술들을 제공합니다. OSLO의 가장 큰 특징은 기존의 Megatron-LM 기반의 프레임워크들과는 다르게 Hugging Face Transformers를 기반으로 설계 되었다는 점인데요. 이로 인해 Model Hub와 연동이 가능합니다. 예를 들어 Hub에 올라와 있는 GPTJ 등의 모델을 다운로드 받아서 손쉽게 파인 튜닝 할 수 있습니다. 더 자세한 정보는 다음 깃헙 링크를 확인해주세요! https://github.com/tunib-ai/oslo
GitHub - tunib-ai/oslo: OSLO: Open Source framework for Large-scale model Optimization
OSLO: Open Source framework for Large-scale model Optimization - GitHub - tunib-ai/oslo: OSLO: Open Source framework for Large-scale model Optimization
github.com