본문 바로가기

TECH

(8)
[2022.01.10] 2가지 새 데이터셋 공개 2가지 새 데이터셋을 공개하게 되어 소개해 드립니다. 작년에 있었던 인공지능 그랜드 챌린지 중 두 개의 과제에 튜닙이 참여했었는데요, 이 대회는 여느 대회와 다르게 별도의 학습 데이터를 제공하지 않아, 참여팀들이 각자 학습 데이터를 만들어야 했습니다. 저희도 나름 공을 들여 학습 데이터와 validation 데이터를 만들었었습니다. 이제 대회가 끝나 이 데이터를 좀 더 보완하여 커뮤니티에 공개하기로 결정했습니다. 하나는 자연어로 된 수학문제에 대해 풀이법을 파이썬 코드로 생성하는 과제를 위한 데이터구요, (https://github.com/tunib-ai/KMWP) 다른 하나는 대화를 보고 그 클래스(위협 여부, 위협은 4개의 세부 클래스)를 예측하기 위한 데이터입니다. (https://github.co..
[2021.12.21] OSLO 공개! 안녕하세요. 튜닙의 머신러닝 엔지니어 고현웅입니다. 이번에 저희가 그동안 개발해오던 라지스케일 모델링 프레임워크 OSLO를 오픈소스로 공개했습니다.OSLO는 3D 병렬화, 커널최적화, 대용량 데이터 처리 등, 라지스케일 모델링에 필요한 여러가지 기술들을 제공합니다. OSLO의 가장 큰 특징은 기존의 Megatron-LM 기반의 프레임워크들과는 다르게 Hugging Face Transformers를 기반으로 설계 되었다는 점인데요. 이로 인해 Model Hub와 연동이 가능합니다. 예를 들어 Hub에 올라와 있는 GPTJ 등의 모델을 다운로드 받아서 손쉽게 파인 튜닝 할 수 있습니다. 더 자세한 정보는 다음 깃헙 링크를 확인해주세요! https://github.com/tunib-ai/oslo
[2021.10.28] Large-scale language modeling tutorials with PyTorch Parallelformers (https://github.com/tunib-ai/parallelformers)의 저자 고현웅 님이 10월 28일 오후 한국과학기술정보연구원(KISTi)들을 대상으로 온라인 강연을 했습니다. 본 강연은 Large Scale의 데이터 병렬처리 컴퓨팅에 대한 소개와 튜토리얼로 진행되었는데요, 아래에 발표 내용이 요약되어 있습니다. 발표자료는 여기(https://github.com/tunib-ai/large-scale-lm-tutorials)서 보실 수 있습니다. 요약: 최근 인류 역사상 최고의 언어모델이라는 평가를 받고 있는 GPT3를 필두로 딥러닝 언어모델의 크기가 점점 커지고 있는 추세입니다. 이러한 초대형 언어모델을 실제로 만들고 다루기 위해서는 여러가지 엔지니어링 기술들..
[2021.09.18] TUNiB-Electra 공개 TUNiB-Electra 안녕하세요. TUNiB AI 엔지니어 김수환입니다. 이번에 TUNiB에서 [TUNiB-Electra]() 모델을 공개했습니다. 🎉 🎉 이번 공개에서는 한-영 bilingual 모델과 한국어 모델을 각각 Small/Base 사이즈로 공개했으며, Hugging Face transformers 라이브러리로 쉽게 이용이 가능합니다. 해당 포스트 혹은 TUNiB-Electra에 대해 궁금한 부분이 있으시다면 언제든지 kaki.ai@tunib.ai 로 문의해주세요. GitHub Repo: TUNiB Electra의 등장 배경을 소개합니다. TUNiB Electra를 제작하게 된 두 가지 동기가 있습니다. 첫 번째 동기는 현재 공개된 한국어 사전학습 인코더 모델들은 대부분 monolingua..
[2021.08.02] BlenderBot 2.0_TUNiB 안녕하세요. TUNiB의 NLP Engineer 나영윤이라고 합니다. 최근 FAIR(Facebook AI Research)에서 BlenderBot 1.0 의 문제들을 어느정도 해결한 BlenderBot 2.0을 발표하였습니다. 이번 블로그 글은 BlenderBot1.0 은 어떠한 문제점이 있었고 BlenderBot 2.0은 해당 문제를 어떻게 해결했는지 살펴보고자 합니다. 1. Long-term Memory 문제를 해결하지 못했다. Meena, BlenderBot 1.0과 같은 최신 Open-domain 챗봇은 어느정도의 공감능력과 사람 같은 대화를 생성해 내는 능력을 보여주었습니다. 또한 GPT-3는 충분히 많은 데이터와 모델 사이즈를 키워 모델에 적절한 프롬프트를 주면 여러 태스크도 해결 할 수 있다..
[2021.07.26] Parallelformers: Journey to deploying big models_TUNiB Hi, I am Hyunwoong Ko, a machine learning engineer in TUNiB. Recently, TUNiB publicly released Parallelformers, an efficient model parallelization library for web server deployments. In this article, I’d like to discuss how Parallelformers came into being and its operating mechanism. If you have any questions feel free to contact me at kevin.ko@tunib.ai. Introducing the creation of Parallelforme..
[2021.07.26] Parallelformers: 빅모델 배포를 향한 여정_튜닙 안녕하세요. 저는 TUNiB의 머신러닝 엔지니어 고현웅입니다. 얼마 전에 저희 TUNiB에서 웹서버 배포를 위한 효율적인 모델 병렬처리 라이브러리인 Parallelformers를 대중에 공개했습니다. 이번 글에서는 Parallelformers의 탄생기와 동작 메커니즘에 대한 이야기를 다루고자 합니다. 만약 글을 보시고 궁금증이 생기시면 얼마든지 kevin.ko@tunib.ai로 문의해주세요. Parallelformers의 등장 배경을 소개합니다. TUNiB은 높은 수준으로 인간과 소통할 수 있는 인공지능 대화 모델을 만들고 있습니다. 저희는 본격적인 개발에 앞서 최근에 출시되었던 다양한 모델들을 먼저 테스트 해 보고 좋은 대화란 무엇인지에 대해 먼저 생각해볼 필요가 있다고 생각했습니다. 요즘 AI 분야의..
[2021.07.12] TUNiB ranked 1st in 2021 AI Online Competition TUNiB participated in the 2021 AI Online Competition - Emotional Classification Model for Elderly hosted by the Ministry of Science and ICT of South Korea. TUNiB ranked 1st in both Public / Private / Final Leaderboard utilizing data analysis, data augmentation, ensemble techniques, and more. What is the 2021 AI Online Competition? The AI Online Competition, which was first held in 2019 and marke..