본문 바로가기

전체 글

 (85)
Hugging Face에서 게이트(Gated) 모델 접근 에러 (403 Forbidden: Please enable access to public gated repositories in your fine-grained token settings) 이 에러는 Hugging Face에서 게이트(Gated) 모델에 접근하려고 했지만, 토큰 권한 설정이 부족할 때 흔히 발생하는 오류.지금 이 오류는 이미 승인된 모델인데도 토큰 설정 문제로 접근이 거부된 것 핵심 에러 요약403 Forbidden: Please enable access to public gated repositories in your fine-grained token settings토큰이 있더라도, 게이트 모델 접근을 위한 권한이 토큰에 포함되지 않았기 때문에 403 오류가 발생 해결 방법 (3단계)✅ 1. Hugging Face 토큰 확인 및 생성아래 페이지로 이동:👉 https://huggingface.co/settings/tokens새 토큰 생성 클릭 → 이름 짓기 (gemma-..
[gemma3모델 사용하기] 멀티모달 vs 텍스트 only Gemma3ForConditionalGeneration과 AutoProcessor를 > 멀티모달 사용(이미지 + 텍스트)을 염두에 둔 구성면 내가 위에서 보여준 코드는 텍스트 전용 모델 로딩은 AutoModelforCausalLM 사용 TIP. 만약 huggingface에서 접근 권한이 필요한 모델이라면 hugging face웹사이트에서 모델 접근신청 > 토큰 다운 > 로그인코드에 토큰 입력먼저 해줘야함(gemma 3 Model은 권한 신청 필요) 로그인 코드import huggingface_hubhuggingface_hub.login()# 위 코드 실행 후 나오는 창에 토큰 입력# MY_HF_TOKEN = "내 토큰"from huggingface_hub import loginlogin(token="내..
[python] Huggingface 모델 다운로드 방법 (API 다운못받는 환경에서 SSL 오류날 때 사용) 윈도우 환경에서 Hugging Face 모델을전체 폴더 단위로 한 번에 다운로드하고 싶다면 다음 3가지 방법 중 하나를 선택 1. snapshot_download() (파이썬에서 전체 다운로드) – 추천! (보안이슈 有) ((윈도우에서도 가장 간편하고 확실한 방법)) ① 먼저 설치pip install huggingface_hub② 파이썬 코드 실행from huggingface_hub import snapshot_downloadsnapshot_download( repo_id="mistralai/Mistral-7B-Instruct", # 원하는 모델 이름 local_dir="C:/Users/내이름/Downloads/mistral_model" # 원하는 저장 경로)⚠️ 인증이 필요한 모델이라면,..
[FastAPI] FastAPI이용한 백엔드 구축 가이드라인 (3) SQLAlchemy 모델(models.py) VS Pydantic 모델(schemas.py) 일반적인 데이터 흐름클라이언트 요청 → Pydantic 모델(검증) → 비즈니스 로직 → SQLAlchemy 모델(저장) → 데이터베이스데이터베이스 → SQLAlchemy 모델(조회) → 비즈니스 로직 → Pydantic 모델(API응답 형식으로 직렬화) → 클라이언트 응답  파일 분리 목적: 데이터베이스 스키마가 변경(SQLAlchemy에서 처리)되더라도 API는 안정적으로 유지(Pydantic에서 처리)될 수 있고, API 요구사항이 변경되더라도 데이터베이스 구조는 보존 🔵 SQLAlchemy 모델(models.py)과 Pydantic 모델(schemas.py)의 차이점목적의 차이SQLAlchemy 모델(models.py)데이터베이스 테이블 구조 정의와 ORM 매핑이 주 목적 데이터베이스와 직접 상..
[FastAPI] FastAPI이용한 백엔드 구축 가이드라인 (2) parameter 1. URL과 Parameters  1.1 URL 구성요소 1.2 Parameters  Query Parameters는 URL에서 데이터를 전달하는 방법 중 하나입니다.웹 API에서 클라이언트가 서버에 데이터를 요청할 때, 경로 뒤에 ?를 붙이고 key=value 형식의 쿼리 문자열을 사용하여 추가 데이터를 보낼 수 있습니다.  📌 Query Parameters 구조/func?key1=val1&key2=val2​func → 실행할 함수(엔드포인트)? → 쿼리 매개변수(Query Parameters) 시작key1=val1 → 첫 번째 매개변수 (key1의 값은 val1)& → 여러 개의 매개변수를 연결할 때 사용📌 Python 코드에서 활용def func(key1, key2): result = doS..
[FastAPI] FastAPI이용한 백엔드 구축 가이드라인 (1) 설치 및 Uvicorn을 통한 테스트 *위 글은 Perplexcity를 기반으로 작성된 글입니다.  FastAPI를 이용한 백엔드 구축 가이드라인FastAPI는 Python기반의 백엔드 프레임워크입니다.높은 성능과 개발자 친화적인 특징을 지어, 웹 애플리케이션 개발에 인기를 얻고 있는데요,FastAPI를 사용해서 견고한 백엔드 시스템 구축하는 과정을 초기설정,배포,모범 사례를 통해 살펴보도록하겠습니다.  1. FastAPI 소개FastAPI는 REST API 원칙을 중심으로 설계된 Python기반 백엔드 프레임워크임. 주요 특징은 다음과 같습니다.1) 비동기 프로그래밍 지원 async 및 await 키워드를 사용하여 비동기 I/O 작업을 손쉽게 처리 가능I/O 바운드 작업(데이터베이스 요청, API 호출 등)에서 성능 향상2) 자동 API문..
[BOAZ] FinSum : Dynamic Few-shot기반의미국 주식 뉴스 리포트 생성 프로젝트 (feat. 2인3각의 6개월간의 ADV프로젝트를 마무리 하며...) 2025년 1월 25일,국내 최초 빅데이터 연합동아리 BOAZ - 분석 22기를 수료했다 🎉🥳🎉 BOAZ는 한 학기는 BASE, 한 학기는 ADV 2개의 term으로 이루어져1년의 과정으로 진행되는 동아리이다.얼마전, 나는 ADV까지 끝내 장장 1년간의 결실을 맺을 수 있었다. ADV프로젝트는 팀 빌딩부터 팀별 프로젝트까지 포함해서 약 6개월 간 진행하는 BOAZ의 꽃, Final 프로젝트이다!나의 ADV프로젝트는 2024년 7월부터 2025년 1월까지 진행했다 💁🏻 Thanks to 팀원이였던 준스톤오빠 TEAM 2인 3각 , 너무너무 수고했어요 대표진 역할과 함께 병행하면서 쉽지만은 않았던 6개월이지만,이만큼 충만하게 보낼 수 있었다니 돌아보면 뿌듯함뿐이다  📌 프로젝트 모아보기Github..
[논문리뷰/NLP] ARAGOG: Advanced RAG Output Grading(2024) 1. TopicARAGOG: Advanced RAG Output Grading(2024) [LINK]단순한 RAG(Naive RAG) 성능의 한계를 극복하기 위해 다양한 'Advanced RAG' 기법들이 연구됨.그러나 너무나 많은 Advanced RAG 테크닉 중에 어떤 것이 효과적인지 파악하기 어려움ARAGOG: Advanced RAG Output Grading에서는 주요 Advanced RAG 기법들의 성능을 비교하여, RAG 기법 선택에 유용한 정보를 제공. 다양한 테크닉을 검색 정밀도와 답변 유사성으로 평가한 결과를 공개 연구 배경논문에서 다룬 문제와 배경을 간단히 소개 (1~2분)  ✔️ RAG 소개  RAG란?Indexing → Retrieval → Generation 단계를 통해 외부 지식..

티스토리툴바