정글에서 온 개발자

문제 상황Text2Query를 이용해 챗봇을 개발하고 있습니다.단순 쿼리 생성 뿐 아니라, 주어진 쿼리를 바탕으로 출력이 나오게 실행해야 합니다.그런데, 매출까지는 잘 뽑았는데 0을 자꾸 붙이는 에러가 있었습니다. 데이터는 이건데, [(Decimal('**8061459368'),)] 자꾸 천억대 회사를 조단위 회사로 만든다거나..원래 데이터는[(Decimal('**09568240'),)]이렇게 자꾸 0을 붙이는 일이 지속됐습니다. 특히 0을 붙이는 건 온갖 프롬프팅과 데이터 정제를 해도 고쳐지지 않아서 고생했습니다.와중에 비교하고 있는 GPT는 저렇게 넣어도 답변을 잘해서 속은 타들어 갔습니다.잘 나오는 모델 쓰면 좋긴 하지만, 저렴한 비용을 위해 적은 리소스에서 성공하기 위해서 여러 시도를 해보았습니다..

프롬프트 엔지니어링개발을 생각하지 않고 프롬프트 엔지니어링을 살펴보며 ‘one shot’, ‘few shot’ 등이 나오면 ‘챗GPT 쓰는데 언제 이런 예시를 일일히 나열하고 있나’ 생각했습니다. ‘프름프트 엔지니어’가 연봉을 높게 받을 수도 있다는 얘기도 흘려들었는데, 고연봉까지는 모르겠지만 중요한 작업이라는 걸 알게 됐습니다.프롬프트 엔지니어링이 중요한 이유는 다음과 같은 사실 때문입니다.LLM 이용 시 요청하는 API는 ‘토큰’ 이라고 하는 입력 단위 (단어일수도, 단어보다 더 쪼개진 걸 수도 있다.) 의 양에 따라 비용이 청구된다.로컬에서 돌리는 머신에 요청하더라도 토큰이 많아지면, 연산이 많아지고 따라서 느려지게 된다. 빠른 서비스를 하려면 좋은 GPU를 달아야 하므로 결국 돈이다.GPT4.0 ..

*제목을 위해 원시적 모델이라고 했지만, '전통적인' 통계적 모델입니다.요약통계적 방법을 적용하던 언어 모델에 딥러닝이 적용 됐습니다. 문맥 파악을 위해 방법을 찾던 중 '어텐션 메커니즘'을 사용하는 '트랜스포머'를 개발하게 되고, 이를 응용하여 GPT가 개발되었습니다.통계적 언어 모델(SLM; Statistical Language Model)아이디어사람들이 많이 쓰는 언어의 데이터 뭉치들 (코퍼스;Corpus) 의 시퀀스(단어의 나열)를 실제로 세서(count) 전체 코퍼스 중에 해당 시퀀스가 나올 확률을 구하고자 했습니다.'모델이 생성(예측)하는 다음 단어는 확률을 통해 구한다' 는 언어 모델의 기본 개념을 정립했습니다.모델이 발전은 다음에 올 단어의 확률을 구하는 방법의 발전입니다. 가장 확률이 높..