AI프롬프톤 워크샵 24.04.02 ~ 24.04.03
2024.04.02
마이크로소프트 공개 데이터 -> MSCOCO DataSet
- 각 이미지마다 해시태그로 분류되어 오픈소스로 공개됨
분석하기 위해서는 GPU가 필요하며 nvidia가 압도거 퍼포먼스를 제공함 AI 모델을 만들기 위해서는 많은 시간과 비용 소요되어 일반적인 회사가 하기 쉽지 않으며, OpenAI와 같은 기존 분석 모델을 잘 활용하는 것을 고민할 필요가 있음
GPT-3 데이터 -> 토큰화 - 토큰ID - 어텐션(단어 간의 영향도 파악)
- GPT 활용시에는 페르소나 즉 역할을 지정해야 하는 것이 중요하고
- 사례를 제시해야 함
GPU 설치 노드 간 모델 학습이 잘 되려면 별도의 밴드폭이 필요하며 이는 인피니밴드를 통해 해결
Phi-2 - sLLM - 무료로 공개됨
RAG
- 벡터기반
- 하이브리드기반
- ex)아버지, 아빠, 대디 등 같은 의미이지만 단어로 찾으면 올바른 해답을 얻을 수 없으므로 벡터 기반으로 변경하면 단어 유사도에 따라 비교적 정확한 답변을 얻을 수 있음
Fine Tuning
- 할 때마다 계속 GPU를 사용하여 비용이 발생하므로 반드시 수행해야 하는 것은 아님
프롬프트
-
zero shot : 문제 해결을 위한 지시만 존재함
-
one shot : 문제 해결을 위해 예시를 1개 제공
-
few shot : 문제 해결을 위해 예시를 여러개 제공
-
COT(Chain-of Thought) : 생각의 연결이란 뜻으로 사용자의 응답을 기반으로 올바른 대답을 할 수 있는 확률을 높임
커닝햄의 법칙(Cunningham's Law) : 인터넷을 통해 올바른 답변을 얻을 수 있는 가장 좋은 방법은 질문이 아니라 잘못된 답변을 게시하는 것.
Prompt Injection : 악의적으로 조작하여 목표하는 결과를 얻지 못하게 함 Prompt Leaking : 대외적으로 공개되지 않아야 할 정보가 공개되는 것
- 이를 막는 방법으로는 "", '' 등의 구분자를 활용하여 방지 가능
jailbreaking chatgpt : 막아놓은 규정들을 어기고 답하도록 하는 것을 지칭함
- azure는 컨텐츠 필터링이라는 중간 계층을 두어 방어
hallucination : 실제로 존재하지 않거나 정확하지 않은 정보를 만들어 내는 것
2024.04.03
temperature max_tokens