본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
https://fastcampus.info/4oKQD6b
251125(화) 14일차
AI 서비스 기획 시에만 사용하는 용어
AI 서비스 기획자는 기획안도 하지만 학습 및 데이터 품질 관리도 직접 담당한다
1. 요구사항 파악
해결하고자 하는 고객 문제는 무엇인지, 이를 해결하는 것이 어떤 경제적 가치나 서비스적인 가치를 가지는지
2. 기능명세
구체적으로 이 기능이 처리돼야 된다거나 이 기능을 달성하는 기준은 무엇이라 보는지 기능 명세
3. Intention / Slot을 구성해 챗봇이나 보이스봇이 어떤 서비스를 제공할지 체크하고
4. 코퍼스를 수집해 학습될 수 있는 데이터의 양을 미리 체크
5. 머신러닝 데이터셋을 8:2 비율로 준비
6. AI 개발자가 머신러닝 개발을 할 수 있도록 모델링 파일 준비
7. 제작된 모델 검증
8. 95% 이상의 분류 정확도를 이뤄냈다면 목표 성능 충족 완료
클라우드 용어
iaaS
물리적인 하드웨어만 있는 경우
전문가들이 많이 사용하고, 직접 설치하기 때문에 보안 관련 커스텀을 직접 할 수 있음
PaaS
하드웨어, 윈도우
플랫폼만 제공하는 PaaS
우리 서비스에 특화된 것들을 설치해서 써야 할 때 유용
SaaS
하드웨어, 윈도우, 프로그램
보안부터 업데이트까지 알아서 다해주기 때문에 편리
Intention / Slot
기능 명세서에서 정의된 기능을 구현하기위해 인텐션과 슬롯을 구성
사용자의 발화를 잘 인식할 수 있도록 다양한 인텐션과 슬롯을 기획
Intention : 사용자의 의도를 실행하는 단위
ex) 지원서 수정, 지원서 확인, 지원서 삭제 등
Slot : 필수적으로 전달 받아야 하는 정보
ex) 이름, 접수일, 지원공고, 휴대폰 번호
코퍼스(고객 발화) 수집
고객이 실제 말한 문장들을 모아놓은 데이터셋
고퍼스 수집 작업이 AI 서비스의 품질을 결정함
엔티티
AI 서비스를 위해 비슷한 의미를 체계적으로 정리한 데이터 사진
엔티티명이 연락처라고 하면
연락처 안에는 전화번호, 전번, 폰번호, 번호 등
파인튜닝
일반적으로 학습된 모델을 기본적으로 사용하고 일부 데이터를 구축하는 것
특정 과제에 맞는 데이터로 모델을 학습시키고 성능을 향상시킬 수 있음
과적합
학습 모델이 훈련 데이터에만 맞춰져 일반화 성능이 떨어지는 것
토큰화
입력된 텍스트를 AI 모델이 처리할 수 있는 형태로 쪼개는 것
언어 모델의 초석, 통계
단순한 모델들도 수학적인 결과값에 기초해있고
수학적인 결과값은 다 통계값을 참조하기 때문
통계적 언어 모델 SLM
문장에 대한 확률 문맥 관계에 따라 다음에 나올 수 있는 단어의 확률은 곱으로 구성
학습 데이터에 등장한 빈도값에 기반하여 언어 모델을 보정
단점
뒤의 단에어 대한 고려가 안되고, 카운트 기반이기 때문에 단어가 길어질수록 예측하기가 어려워짐
N-gram 언어모델
활용범위를 제한하여 카운트 확률을 높이는 방식
N번째를 기준으로 앞뒤 단어를 끊어서 검증하는 방식
유니그램 : 하나만 카운트 / 바이아그램 : 2개 / 트라이그램 : 3개 / 4개 이상부턴 4-grams
AI에게 어려운 한국어
조사의 활용 / 종결 어미의 활용 / 띄어쓰기 / 품사 통용 / 다양한 수식언 / 좌분지 언어의 특징 때문에
한국어를 AI에 학습시키기 까다로움
이번 강의를 통해
AI 서비스 기획자는 단순 기획안 작성 뿐만 아니라 매번 나오는 데이터 품질 관리와 학습 과정까지 직접 참여해야 한다는 것
(강의마다 안 나오는 경우가 없음)
어떤 서비스를 제공할지, Intention, slot을 명확히 설계, 코퍼스(고객 발화)를 충분히 확보 등이 모델 성능을 좌우한다
오늘 강의는 좀 빡셈
강의 내용이 길어지면 빡센 강의인가,, 이해를 반도 못한듯
계속 살펴봐야겠다
