stopwords 기능

[bab2min]

stopwords 기능에 대해 구체적으로 논의해봐요~ @HyejuSeon. cc. @hexists

0. stopwords를 어떻게 정의할 것인지

• 형태소 단위 or 단어 단위
• stopwords 목록은 어떻게 확보할 것인지(eg: 모두의 말뭉치에서 빈도를 추출하여 고빈도 형태소 선택)

1. 구현할 기능에 대해 구체적으로 고민해보기

• 형태소(혹은 단어) 단위의 stopwords 목록만 제공할지
• 이용자가 직접 stopwords를 추가/수정할 수 있는 기능도 제공할지
• 분석 결과에서 자동으로 stopwords 내의 형태소(단어)를 제거해주는 기능도 제공할지

2. 유사한 기능이 이미 구현된 https://github.com/hexists/konlpy/tree/stopwords 를 살펴보고 어떤 식으로 인터페이스를 설계할지 결정
3. 계획을 잘게 나누어 최소 기능 단위로 구현해나가기
4. 기능별 테스트 코드 작성

[HyejuSeon]

넵 안녕하세요!

0. kiwi 이용해서 형태소 단위로 토큰화 후에 stopwords 제거할 것 같아서 형태소 단위로만 제거해도 괜찮을 것 같습니다!
   stopwods 목록은 모두의 말뭉치, AI Hub에서 최대한 다양한 코퍼스의 고빈도 형태소를 선택하고자 합니다

1. 세 가지 기능 모두 제공하면 좋을 것 같습니다

2. 링크 내용과 유사하게 stopwords 사용, 제거, 추가, 제외할 수 있도록 하면 될까요?

3. stopwords 목록을 확보한 후에, 말씀해주신대로 최소 기능 단위로 계획해서 다시 디스커션에 올리도록 하겠습니다

4. 기능별 테스트 코드는 test.py 파일에 추가하면 될까요?

궁금한 점

1. 만약 stopwords를 제거하는 기능을 제공한다면 stopwords 목록을 제공하는 기능은 없애는게 좋을까요?
2. stopwords 목록을 확보하는 코드도 올리는 것이 좋을까요?
3. 위의 2번과 4번

시간 내주셔서 감사합니다!

[bab2min]

0. 오~ 좋은 방법인것 같습니다. 이 기회에 양질의 stopwords 리스트를 얻을 수 있으면 좋겠네요.

궁금한점에 대한 의견

1. 그래도 stopwords 리스트를 제공하는 기능도 있으면 좋을것 같아요. 어차피 stopwords 리스트에 단어를 추가/제거하는 기능도 들어간다면 조회하는 기능도 당연히 필요하다고 생각합니다.
2. 넵 좋은 생각입니다. kiwipiepy 내부의 인터페이스로 꼭 들어갈 필요는 없고 그냥 별도의 .py 파일로 있어도 충분할것 같습니다.
3. 네, 링크 내용과 유사하게 가보고, 써보면서 불편한거 있으면 또 고쳐나가요~! 테스트 코드는 test.py에 함수로 각각 추가해서 넣어주시면 됩니다.

감사합니다~

[HyejuSeon]

넵 알겠습니다!
추가로 궁금한 점이 있어 질문드립니다.

1. stopwords 제거 기능에서 입력으로 받을 데이터 형식은 어떻게 하는 것이 좋을까요? 제가 생각한 형식은 아래 두 가지가 있습니다.

   1. 토큰화된 형태소들을 문자열 리스트로 받음. ex) stopwords.remove(['배', '고프', '어요'])
   2. kiwi.analyze()로 분석한 결과인 Token 리스트로 받음. ex) stopwords.remove([Token(...), Token(...), ...])

   형태소까지 확실하게 구분해서 제거하려면 2번째 방법이 나은 것 같은데 더 좋은 방법이 있을지 @bab2min 님의 의견이 궁금합니다!

2. stopwords 추가, 제외 기능의 입력은 아래처럼 morphs, tag로 받는 것에 대해 어떻게 생각하시는지 궁금합니다.

   case1) stopword 한 개 추가
   stopwords.include(['김가네'], ['NNP'])

   case2) stopword 여러 개 추가 (같은 형태소)
   stopwords.include(['김가네', '이가네'], ['NNP'])

   case3) stopword 여러 개 추가 (다른 형태소)
   stopwords.include(['김가네', '에'], ['NNP', 'JKB'])

   case4) stopword 여러 개 추가 (디폴트로 고유 대명사)
   stopwords.include(['김가네', '이가네'])

   제외 기능도 4가지 경우 모두 동일

3. stopwords를 추출하는 .py 파일이랑 추출한 .txt 파일은 어디에 추가되는 것이 좋을까요?

감사합니다😊

[bab2min]

1. @HyejuSeon 님 의견처럼 ii)가 더 좋아 보입니다~!

2. 메소드명에 대해 좀 고민해봤는데요~ 저는 stopwords 개념이 set과 거의 유사하니깐 메소드 이름으로 include, exclude보다는 python set과 유사하게 add, remove로 가는게 좋을것 같다고 생각합니다~! 근데 그러면 1번 질문의 remove 메소드랑 겹치니 요 이름도 다시 정하긴 해야겠네요.
   사실 A.remove(B)하면 A에서 B를 제거한다는 느낌이 들어서요, B에서 필요없는것만 골라내서 return하는 느낌이 들려면 다른 이름을 쓰는게 더 좋을거 같다고 생각해요. filter를 쓰는건 어떨까요? stopwords.filter(token_list)

3. 개념상으로는 morph와 tag가 한 쌍으로 묶여서 삽입되는거니 morph와 tag를 별도로 받는것보다 묶어서 받는게 좋지 않을까 싶어요. 여러 개를 동시에 입력받거나, tag 생략시 NNP로 처리되는 사양은 좋아보이네요. 다음처럼은 어떨까요?

stopwords.add( ('김가네', 'NNP') ) # 한 개 추가
stopwords.add( [('김가네', 'NNP'), ('에', 'JKB')] ) # 두 개 추가
stopwords.add( ['김가네', ('에', 'JKB')] ) # 위와 동일
stopwords.add( ['김가네', '이가네'] )
stopwords.add( ('김가네', 'ABC') ) # 잘못된 tag 입력시 raise ValueError

remove시에도 비슷하게 가면 될거 같구요, 이미 stopwords에 없는 걸 제거하려할 경우 python set과 유사하게 ValueError를 raise해주는게 좋겠네요.

4. 아직 모듈 위치를 정하지 않았는데 유틸성 기능이니깐 utils라는 모듈로 들어가면 좋을것 같네요 (더 좋은 의견 있으면 공유해주세요~)
   kiwipiepy/utils.py 라는 이름으로 코드를 작성하시고, kiwipiepy/corpus/stopwords.txt에 stopword list를 넣는건 어떨까요?

전반적인 인터페이스에 대해 고민하면서 정리해봤는데 다음과 같은 모양이면 사용하기 편리할듯 하네요~

from kiwipiepy.utils import Stopwords
stopwords = Stopwords() # stopword instance 생성 (디폴트로는 kiwipiepy/corpus/stopwords.txt 파일에서 불러오기)
stopwords = Stopwords('custom_list.txt') # 유저가 직접 작성한 stopwords 파일로부터 불러오는 기능

stopwords.add( ('김가네', 'NNP') ) # stopword 추가
('김가네', 'NNP') in stopwords # stopwords 내에 단어 포함 여부 테스트
stopwords.remove( ('김가네', 'NNP') ) # 제거
stopwords.filter([Token(...), Token(...), ...]) # 불용어 제거후 남은 단어들 반환

혹시 더 좋은 아이디어 있으면 편하게 제안해주세요~!

[HyejuSeon]

좋은 의견 감사합니다~
제안해 주신 대로 모두 반영해서 구현해보도록 하겠습니다!

[bab2min]

@HyejuSeon 님이 작업하신 Stopwords 클래스(#60, #62)가 v0.10.2 버전에 반영되어 릴리즈되었습니다~! 좋은 기여해주셔서 감사합니다!(https://github.com/bab2min/kiwipiepy/releases/tag/v0.10.2)

[HyejuSeon]

우와 감사합니다😀