안녕하세요. 튜닙의 머신러닝 엔지니어 고현웅입니다. 이번에 저희가 그동안 개발해오던 라지스케일 모델링 프레임워크 OSLO를 오픈소스로 공개했습니다.OSLO는 3D 병렬화, 커널최적화, 대용량 데이터 처리 등, 라지스케일 모델링에 필요한 여러가지 기술들을 제공합니다. OSLO의 가장 큰 특징은 기존의 Megatron-LM 기반의 프레임워크들과는 다르게 Hugging Face Transformers를 기반으로 설계 되었다는 점인데요. 이로 인해 Model Hub와 연동이 가능합니다. 예를 들어 Hub에 올라와 있는 GPTJ 등의 모델을 다운로드 받아서 손쉽게 파인 튜닝 할 수 있습니다. 더 자세한 정보는 다음 깃헙 링크를 확인해주세요! https://github.com/tunib-ai/oslo
GitHub - tunib-ai/oslo: OSLO: Open Source framework for Large-scale model Optimization
OSLO: Open Source framework for Large-scale model Optimization - GitHub - tunib-ai/oslo: OSLO: Open Source framework for Large-scale model Optimization
github.com
'TECH' 카테고리의 다른 글
| [2022.08.30] 불편한 이야기는 그만..! (0) | 2022.08.30 |
|---|---|
| [2022.01.10] 2가지 새 데이터셋 공개 (0) | 2022.01.10 |
| [2021.10.28] Large-scale language modeling tutorials with PyTorch (0) | 2021.11.04 |
| [2021.09.18] TUNiB-Electra 공개 (0) | 2021.11.04 |
| [2021.08.02] BlenderBot 2.0_TUNiB (0) | 2021.11.04 |
