파이토치가 최근 1.3 및 1.4 릴리스를 통해 풍부한 성능 개선과 모바일 플랫폼용 개발자 친화적인 지원을 제공하면서 강력하게 부상하고 있다. 과연 MX넷, 체이너(Chainer), 텐서플로우(TensorFlow) 등의 다른 프레임워크 대신 파이토치를 선택할 만한 이유가 있을까? 파이토치를 사용해야 할 5가지 이유를 살펴보자.
 
먼저, 기사를 시작하기도 전에 분노의 트윗과 이메일을 보내려 준비하고 있는 텐서플로우 사용자들에게 할 말이 있다. 물론 파이토치가 아닌 텐서플로우를 선택할 이유는 많고, 특히 모바일 또는 웹 플랫폼을 대상으로 작업할 경우에는 텐서플로우가 확실히 유리하다. 이 기사의 주제는 “텐서플로우가 열등하고 파이토치가 뛰어나다”는 것이 아니라, 필자가 파이토치를 가장 먼저 선택하는 이유를 정리하는 것이다. 텐서플로우가 그 나름대로 훌륭하다는 점은 필자도 인정하므로, 너무 분노하지 말기를 바란다.
 

파이토치는 파이썬이다

사람들이 파이토치를 선택하는 주된 이유 중 하나는 코드를 이해하기가 쉽기 때문이다. 파이토치 프레임워크는 파이썬과 씨름하는 것이 아니라, 함께 작동하도록 설계, 제작되었기 때문이다. 모델과 계층뿐 아니라 다른 모든 것, 옵티마이저, 데이터 로더, 손실 함수, 변환 등도 다름아닌 파이썬 클래스다.
 
파이토치는 전통적인 텐서플로우의 정적 실행 그래프가 아닌 즉시 실행 모드로 작동하므로(텐서플로우 2.0은 즉시 실행을 제공하지만 매끄럽지 않은 부분이 있음) 맞춤형 파이토치 클래스를 추론하기가 매우 쉽고 텐서보드(TensorBoard) 또는 print() 문에 이르기까지의 표준 파이썬 기법으로 디버깅하고 스택 트레이스 샘플에서 플레임(flame) 그래프를 생성할 수 있다. 덕분에 판다스(Pandas), 사이킷-런(Scikit-learn)과 같은 다른 데이터 과학 프레임워크에서 딥 러닝으로 넘어온 사람들에게도 상당히 친숙하게 느껴진다.
 
초기 릴리스에서 버전 1.3에 이르기까지 중대한 변경이 하나뿐인(변수에서 텐서로의 변화) 안정적인 API도 파이토치의 장점이다. 물론 가장 큰 이유는 파이토치가 아직 젊은 프레임워크라는 데 있지만, 어쨌든 작성된 버전에 관계없이 대다수 파이토치 코드를 알아보고 이해할 수 있다.
 

파이토치는 즉시 사용할 수 있다

 “바로 사용 가능” 철학이 파이썬의 전유물은 아니지만 파이토치를 설정하고 실행하기는 무척 쉽다. 파이토치 허브를 사용하면 다음과 같은 한 줄의 코드로 된 사전 학습된 ResNet-50 모델을 얻을 수 있다.
 
model = torch.hub.load(pytorch/vision, resnet50, pretrained=True)
또한 파이토치 허브는 여러 영역에 걸쳐 통합되므로 텍스트와 오디오, 비전을 모두 다룰 수 있는 원스톱 아키텍처로 적합하다.
 
파이토치에는 모델 외에 풍부한 손실 함수와 옵티마이저도 기본으로 제공된다. 특징은 데이터를 로드하고 내장 변환을 연결하기가 쉽다는 점이다. 또한 자기만의 로더 또는 변환을 만들기도 비교적 간단하다. 모든 것이 파이썬이므로 표준 클래스 인터페이스를 구현하기만 하면 된다.
 
한 가지 사소하지만 주의할 점은 파이토치에 포함된 많은 편의 기능이 비전 문제(토치비전 패키지에서 발견된 문제)에 편향되며 텍스트 및 오디오 지원 중 일부는 부족하다는 점이다. 다행히 1.0 이후부터 토치텍스트와 토치오디오 패키지가 상당히 개선되고 있다.
 

연구에 주도적으로 사용되는 파이토치

파이토치는 연구자들에게는 천국과 같다. 모든 주요 딥 러닝 컨퍼런스의 자료에서도 그 사실을 알 수 있다. 파이토치는 2018년에도 빠르게 성장했지만 2019년에는 CVPR, ICLR, ICML 등의 주요 프레임워크로 부상했다. 이러한 전면적인 도입의 이유는 위에 언급한 점, 즉 파이토치가 곧 파이썬이라는 데 기인한다.
 
표준 파이썬 클래스의 간편하고 안정적인 하위 클래스로 새 맞춤형 구성요소를 만들 수 있으므로 새로운 개념을 실험하기가 훨씬 더 쉽다. 또한 유연하므로 텐서보드, 일래스틱서치(ElasticSearch) 또는 아마존 S3 버킷으로 매개변수 정보를 보내는 계층을 간단히 만들 수 있다. 난해한 라이브러리를 가져와서 네트워크 학습과 함께 사용하거나 학습 루프에서 특이한 새로운 시도를 하고자 하는가? 여기서도 파이토치가 걸림돌이 되는 경우는 없다.
 
그동안 파이토치의 발목을 잡은 한 가지는 연구에서 프로덕션에 이르는 명확한 경로의 부재다. 파이토치가 연구 분야에서 강세라 해도, 실제로 프로덕션 용도는 여전히 텐서플로우가 주도하고 있다. 그러나 파이토치 1.3이 나오고 토치스크립트가 확장되면서 JIT 엔진을 사용해 연구 코드를 그래프 표현으로 컴파일하는 파이썬 주석을 사용하기가 쉬워졌으며 그 결과 속도가 향상되고 C++ 런타임으로 쉽게 내보낼 수 있게 됐다. 또한 지금은 파이토치와 셀던 코어(Seldon Core), 큐브플로우(Kubeflow)의 통합이 지원되므로 텐서플로우에 미치진 못해도 거의 필적할 만큼 간편하게 쿠버네티스에 프로덕션 배포가 가능하다.
 

딥 러닝을 쉽게 배울 수 있다는 장점

딥 러닝 교육 과정은 많지만 그 중에서 fast.ai 과정이 가장 좋다. 게다가 무료다! 과정의 첫 해에는 케라스(Keras)에 상당히 집중했지만 fast.ai 팀(제레미 하워드, 레이첼 토마스, 실바인 구거)은 두 번째 해에 파이토치로 전환했고 그 이후 지금까지 이어오고 있다. (참고로 fast.ai는 텐서플로우용 스위프트에도 상당히 긍정적이다.)
 
fast.ai의 최근 교육 과정에서는 텍스트 및 비전 영역에서 분류, 세그먼테이션, 예측과 같은 작업에 대한 최신 결과를 달성하는 방법을 알아보고, GAN에 대한 모든 것을 배우고 전문가도 눈이 번쩍 뜨일 만한 풍부한 트릭과 통찰력을 찾을 수 있다.
 
fast.ai 과정은 파이토치 위에서 부가적인 추상화를 더 제공하는 fasi.ai의 자체 라이브러리를 사용하지만(덕분에 딥 러닝을 배우기가 더욱 쉬움), 기초적인 부분에 대해서도 심층적으로 다루면서 파이토치와 비슷한 라이브러리를 처음부터 새로 만든다. 따라서 파이토치가 내부적으로 어떻게 움직이는지 잘 이해할 수 있게 된다. fast.ai 팀은 이 과정에서 주 파이토치의 몇 가지 버그도 수정한다.
 

우수한 커뮤니티도 장점

마지막으로, 파이토치 커뮤니티는 정말 유익하다. pytorch.org 웹사이트에는 파이토치 릴리스와 충실히 보조를 맞추는 문서와 함께, 파이토치의 주 기능부터 맞춤형 C++ 연산자를 통해 라이브러리를 확장하는 세부적인 방법에 이르기까지 모든 주제에 관한 자습서도 준비돼 있다. 이 자습서는 학습/검증/테스트 스플릿과 학습 루프 등에 대한 표준화 측면에서 다소 아쉬운 면이 있지만 특히 새로운 기능이 도입될 때 매우 유용한 리소스로 활용할 수 있다.
 
공식 문서 외에, discuss.pytorch.org의 디스코스(Discourse) 기반 포럼은 핵심 파이토치 개발자와 손쉽게 대화하고 도움을 받을 수 있는 훌륭한 리소스다. 매주 1,500개 이상의 글이 올라오며 분위기가 우호적이고 활발하다. 이 포럼에서는 주로 fast.ai의 자체 라이브러리지에 대해 토론하지만 forums.fast.ai에 있는 비슷한 포럼 역시 텃세(슬픈 일이지만 많은 딥 러닝 토론장의 문제) 없이 초보자를 적극적으로 도와주는 훌륭한 커뮤니티이며, 다른 주제도 많이 다룬다.
 

파이토치의 현재와 미래

여기까지 파이토치를 사용할 5가지 이유를 살펴봤다. 처음에 언급했듯이 이 중에는 경쟁 프레임워크 대비 파이토치의 전유물이 아닌 요소도 있지만 이러한 모든 이유의 조합은 필자가 딥 러닝 프레임워크로 파이토치를 선택하는 근거가 된다. 파이토치가 현재 부족한 영역도 있다. 예를 들어 모바일, 희소 네트워크, 쉬운 모델 양자화 등이다. 그러나 빠른 개발 속도를 감안하면 올해 말 정도면 이러한 영역에서도 파이토치가 지금보다 훨씬 더 강세를 보이게 될 것이다.
 
마무리하기에 앞서 두 가지 예만 더 살펴보자. 첫째, 지난 12월에 실험적 기능으로 도입된 파이토치 일래스틱이다. 파이토치의 기존 분산 학습 패키지를 확장해서 대규모 모델 학습을 더 강화한다. 이름에서 알 수 있듯이 이를 위해 탄력성 있는 여러 머신에서 실행되며, 전체 작업을 멈추거나 중단하지 않으면서 언제든 학습 작업에서 노드를 넣고 뺄 수 있다.

두 번째는 오픈AI가 주 개발 플랫폼으로 파이토치를 도입한다고 발표한 것이다. 파이토치에는 매우 중대한 성과다. 오픈AI가 파이토치를 채택했다는 것은 GPT-2(질문에 답하기, 기계 번역, 독해, 요약을 위한 최신 언어 모델)를 만든 사람들이 아이디어를 반복 개발하는 데 있어 파이토치가 텐서플로우보다 더 생산적인 환경을 제공한다고 여긴다는 것을 의미하기 때문이다.
 
프리퍼드 네트웍스(Preferred Networks)가 딥 러닝 프레임워크인 체이너를 유지보수 모드로 전환하고 파이토치로 이전한 데 이어 오픈AI가 파이토치를 도입하기로 결정한 것은 파이토치가 지난 2년 사이 얼마나 많이 발전했는지 잘 보여주며, 파이토치가 앞으로도 계속 개선을 거듭하면서 사용자를 흡수할 것임을 예고한다. AI 영역을 주도하는 이들이 파이토치를 선호한다면 다른 사람들에게도 파이토치가 좋다는 의미일 것이다

원문보기:
http://www.itworld.co.kr/news/144936#csidx88e191d0f45ad97b41f4285b072e710