전체 글

안녕하세요 여러분 평범한 컴과생입니다.보통 CS 지식을 대학교 1,2학년 때 배우는데... 취업을 위해 공부하려고 하니 아무 것도 기억이 안나더군요.그래서 부트캠프 내에서 동기들과 스터디를 만들었습니다. 매주 월요일 아침 8시 30분에 대략 1시간씩 진행하는데요.각자 공부해온 것을 기반으로 10개의 질문을 만들어서 기습으로!!! 주고 받습니다. ㅋㅋㅋㅋㅋㅋ 아무튼 이번 4주간은 운영체제의 범위를 나눠서 공부했습니다.공부한 정리본을 블로그에 살포시 올려봅니다.돌아오는 주부터는 네트워크를 공부합니다.또 정리한 것이 생기면 올려보도록 하겠습니다.

월요일마다 스터디하는 것이 있어일요일이 제일 바쁘다. 이번 주간에는 만들어진 모델을디벨롭하는 시간을 가졌다. 벌써 다음주면 챗봇 프로젝트도 끝이다.

1. 문서 로드 (Load)- 문서(pdf, word), RAW DATA, 웹페이지, Notion 등의 데이터를 읽기2. 분할 (Split)- 불러온 문서를 chunk 단위로 분할3. 임베딩(Embedding)- 문서를 벡터 표현으로 변환4. 벡터DB(VectorStore)- 변환된 벡터를 DB에 저장5. 검색(Retrieval) - 유사도 검색(similarity, mmr), Multi-Query, Multi-Retriever6. 프롬포트(Prompt)- 검색된 결과를 바탕으로 원하는 결과물 도출하기 위한 프롬포트7. 모델(LLM)- 모델 선택(GPT-3.5, GPT-4, etc)8. 결과(Output)- 텍스트, JSON, 마크다운우리 팀은 main.py에서 agent가 질문을 받고,어떤 카테고리인지..

퇴실 QR을 찍을 때마다 팀원 분들과 놀란다.우리가 벌써 80일이나 나왔다고요??아직도 어색하고 숨막혔던 4월이 생각난다. 7월 내로 취업을 하고 싶다던 6월의 마음가짐과는 다르게얼른 파이널 프로젝트에 몰입하고 싶다. 그동안 여러 곳 면접을 보면서 느낀점이백엔드 개발자로 지원하면서 나의 실력을 보여줄 수 있는 프로젝트가 없었기 때문이다. 그래서 더 좋은 채용 조건을 포기할 수 밖에 없었다. 이번 주간부터는 AI 프로젝트가 시작되었다.다른 조에 비해 주제를 쉽게 정하고, 그것이 요구사항과 잘 맞아서생각보다 쉽게 Model, Structure에 고민할 수 있었다. 방향을 잃었을 때는 강사님께 질문도 하면서 잘 헤쳐나가고 있다.진짜 취업하면 이렇게 딥다이브할 수 있는 기회가 없을 것 같아 감사한 마음으로 공부..

안녕하세요 여러분 평범한 컴과생입니다.어제에 이어 오늘도 ai 관련한 포스팅이네요. 오늘 제가 궁금함을 느낀 것은 바로 프롬포트에 관한 것인데요.저희가 모델을 생성할 때 지시사항, 질문, 문맥 등을 미리 지정하는 것입니다. 위 코드에서 저는 answer_subsidy_question() 함수를 지정했는데요. 이번에 저희가 지목할 부분은 바로 system_message 부분입니다. syste_message란 gpt한테 어떻게 행동할지를 명령하는 프롬포트인데요.예를 들어..- 절대 지어내지 마- 참고 자료 기반으로만 답해- 정보가 없으면 "자료에 없습니다"라고 말해- 답변은 친절하고 간결하게 해이런 식으로 대답 규칙을 정해줍니다. 그런데 저는 여기에서 의문이 하나 들었는데요.바로 해당 함수에서 academ..

어제에 이어 오늘도 LLM 모델 디벨롭을 위해 공부하고 있다.강사님의 조언에 따라 구조부터 파악해 보기로 했다. Langchain의 생태계는 아래 그림과 같다. 간략하게 설명하면 이와 같다.LangChain: 구성 도구LangGraph: 워크 플로우Integrations: 외부 서비스와 연결LangGraph Cloud: 배포LangSmith: 디버깅 이중 LangSmith 기능에 눈이 갔다.대표적으로 이런 문제가 일어날 때 해당 기능을 사용한다.- 예상치 못한 최종 결과- 에이전트가 루핑되는 이유- 체인이 예상보다 느린 이유- 에이전트가 각 단계에서 사용하는 토큰 수 홈페이지에 들어가 보니 실제 내 프로젝트에 적용할 수 있었다.1. LangSmith 공식 페이지에 들어간다.2. 로그인을 하고 Tracin..

이번 주간부터 부트캠프에서 LLM 프로젝트를 시작했다.해당 프로젝트는 새로운 팀원들과 함께 하는 것으로,새롭게 도메인을 정하고 우리만의 챗봇을 만들어야 한다. 처음에는 Java, Python의 연결은 물론이고RAG, Langchain, Prompt Template 등 AI 관련 용어를알아보고 정리하고 체화하느라 정신이 없었다. 더 나은 답변을 위해 조정 방법을 찾아보다가,Chunk 전략을 발견했다. 우선 Chunk란? 하나의 문서를 작은 의미 단위로 쪼개는 것이다. 우리 팀은 행정문의 챗봇을 만드는 것이 목표이다.다행히 행정 문의와 관련된 백과사전(?)이 기존에 있었기 때문에 해당 내용을 txt로 만들면 되었다. 그러니까? 이 텍스트 파일을 어떻게 쪼갤 것인지가Chunk 전략이다. 크게 2가지 속성이..

이번 주간은 (또) 번아웃이 와서쉬엄쉬엄.. 공부했다.뭘 해야하는지왜 해야하는지어떻게 해야하는지계획을 잘 수립했다.돌아오는 주부터는 플젝이 시작된다!새로운 팀원들과 좋은 시너지가 나길 🔥