ro-jun 님의 블로그

프로젝트 구조 개선 기존의 모든 파일이 루트 디렉토리에 있었던 구조를 개선core/ 디렉토리에는 LLM 설정, VectorDB 설정, Q&A 체인 관련 로직 등 핵심 파일을 배치.gradio_app/ 디렉토리에는 Gradio UI와 관련된 로직 및 사용자 정보, PDF 요약, 삼육대학교 챗봇 관련 파일들을 분리.SYU_CHAT_BOT/├── core/ # 핵심 로직 디렉토리│ ├── llm_setup.py # LLM 설정│ ├── vector_db_setup.py # 벡터 DB 설정│ ├── qa_setup.py # Q&A 체인 설정│ └── prompts.py # 기본 프롬프트 저장├── gradio_app/ ..

.env 파일 생성프로젝트 루트 디렉토리에 .env 파일을 생성하여 아래 내용을 추가Git에 업로드되지 않도록 .gitignore에 추가OPENAI_API_KEY=your_openai_api_keyPINECONE_API_KEY=your_pinecone_api_key필요한 패키지 설치 pip install langchain-openaipip install pinecone-client pip install langchain-communityLLM 설정 llm_setup.py 파일을 생성하고 아래 코드를 작성from langchain_openai.chat_models import ChatOpenAIfrom dotenv import load_dotenvimport os# 환경 변수 로드load_dotenv()#..

conda 가상환경 생성conda create -n SYU_CHAT_BOT python=3.11.9 가상환경 활성화conda activate SYU_CHAT_BOT 필요한 패키지 설치conda install pippip install notebook ipykernel VSCode에서 Conda 가상환경 연결VSCode에서: Ctrl + Shift + P --> Python: Select Interpreter 입력 후 선택목록에서 Python 3.11.9('SYU_CHAT_BOT') 선택.requirements.txt 파일 생성하기pip freeze > requirements.txt* freeze를 통해서 내가 설치한 가상환경 내 패키지, 버전 작성사용 될 패키지 설치하기pip install tiktoke..

LLM 프로젝트에서 벡터 데이터베이스는 데이터 검색과 관리를 더 효율적으로 만들어주었다. 그중 Pinecone은 높은 성능과 간편한 설정으로 많은 주목을 받았다. 이번 글에서는 내가 Pinecone을 설치하고 설정하며 벡터 DB에 데이터를 임베딩하고 활용한 방법을 정리해본다.Pinecone이란?Pinecone은 임베딩된 데이터의 검색과 관리를 위한 벡터 데이터베이스 서비스다.대규모 데이터셋에서 유사성 검색을 빠르고 정확하게 수행할 수 있다.API 기반의 쉬운 설정과 사용법을 제공해 프로젝트에 바로 적용할 수 있다.패키지 설치하기%pip install pinecone-client%pip install --upgrade pinecone pinecone-plugin-assistant%pip install --..

LLM(대규모 언어 모델) 프로젝트를 시작하기 전에 Python 버전 관리와 환경 설정이 필요하다. 다양한 라이브러리와 패키지의 의존성 문제를 방지하려면 pyenv랑 Poetry를 활용하는 게 좋다. 그래서 내가 pyenv랑 Poetry 설정 과정을 기록해 본다.Pyenv 란?여러 Python 버전을 설치하고 관리할 수 있는 도구다.프로젝트마다 다른 Python 버전이 필요할 때 유용하다.한 시스템에서 다양한 버전을 쉽게 전환할 수 있다.프로젝트의 일관성을 유지할 수 있다.Poety란?Python 프로젝트의 의존성을 관리할 수 있는 도구다.가상환경 설정 기능을 제공한다.프로젝트별 패키지 관리와 의존성 문제를 해결할 수 있다.안정적인 개발 환경을 만드는 데 도움이 된다.Pyenv로 Python 버전 관리하..