- 이름: 트랜스포머를 활용한 자연어 처리
- 출판일: 2022년 11월 30일 발매
- 지은이: 루이스 턴스톨, 레안드로 폰 베라, 토마스 울프
- 개요
- 허깅페이스의 머신러닝 엔지니어들이 집필한 트랜스포머기반 NLP관련 책
- 트랜스포머 및 NLP의 이론적 지식과 여러 예제코드를 통한 실습을 통해 여러 언어처리 모델에대한 직관적인 이해를 가능하게함
- 이 책은 머신러닝 지식을 갖춘 엔지니어와 연구자를 대상으로 직접 모델을 구현하며 트랜스포머를 업무에 적용하는 실용적인 방법을 전달한다. 트랜스포머를 이용하는 데 필요한 기본적인 이론과 방법을 소개한 뒤, 다국어 텍스트의 개체명 인식(NER)을 비롯해 텍스트 생성, 텍스트 요약, 질문 답변(QA) 같은 목적에 맞는 다양한 자연어 처리 모델을 훈련해본다. 다양한 트랜스포머 모델에 표준화된 인터페이스를 제공하는 라이브러리인 허깅페이스 트랜스포머스를 개발한 팀의 안내를 따라 내게 필요한 모델을 구축해보자.
- 주요 내용
- 텍스트 분류, 개체명 인식 등 NLP 작업을 위한 트랜스포머 모델을 빌드 및 디버깅, 최적화하는 방법
- 언어 간 전이 학습에 트랜스포머를 사용하는 방법
- 레이블링된 데이터가 부족한 상황에서 트랜스포머를 적용해 모델 성능을 높이는 방법
- 지식 정제와 양자화, 가지치기 같은 기술을 사용한 트랜스포머 모델 효율화 방법
- 대규모 트랜스포머 모델을 밑바닥부터 훈련하고 여러 GPU 및 분산 환경으로 확장하는 방법
- 구성
- 1장: 트랜스포머를 소개하고 관련용어의 이해를 돕습니다. 또 허깅페이스의 생태계도 소개
- 2장: (일반적인 텍스트 분류 문제인) 감성 분석 작업에 초점을 두고 Trainer API를 소개
- 3장: 트랜스포머 아키텍처에대한 설명을 소개
- 4장: (토큰 분류 문제인) 다국어 텍스트에서 개체명을 인식하는 작업에 초점
- 5장: 텍스트를 생성하는 트랜스포머 모델의 능력을 탐구하고 디코딩 전략과 측정 지표를 소개
- 6장: 텍스트 요약이라는 복잡한 시퀀스-투-시퀀스 작업을 살펴보고 이 작업에 사용하는 측정 지표를 알아봄
- 7장: 리뷰 기반 질문 답변 시스템을 만드는 데 초점을 두고 헤이스택을 사용한 검색 방법을 안내
- 8장: 모델 성능에 초점. 의도 감지 작업을 알아보고 지식 정제, 양자화, 가지치기 같은 기술 탐색
- 9장: 레이블링된 대량의 데이터가 없을 때 모델 성능을 향상할 방법을 알아보고 깃허브 이슈 태거를 만들고 제로샷 분류와 데이터 증식같은 기술을 살펴봄
- 10장: 파이썬 소스 코드를 자동 완성하는 모델을 밑바닥부터 만들고 훈련하는 방법을 알려줌. 데이터셋 스트리밍과 대규모 훈련에 대해 배우고 사용자 정의 토크나이저도 만듬
- 11장: 트랜스포머 모델의 도전 과제와 흥미로운 신생 연구분야를 소개
NLP/트랜스포머를 활용한 자연어 처리