데이터 관련 직군은 다양하며 각각의 역할이 복잡한 데이터 프로젝트에서 매우 중요합니다. 이번 블로그 포스팅에서는 하나의 가상의 데이터 프로젝트를 예로 들어 각 데이터 직군의 역할을 설명하겠습니다. 데이터 분석가 (Data Analyst) 역할과 예시 데이터 분석가는 프로젝트 초기 단계에서 활동을 시작합니다. 예를 들어, 가상의 온라인 쇼핑몰에서 고객의 구매 데이터를 분석하여 어떤 상품이 어느 지역에서 인기 있는지 파악하는 역할을 … Read more
아파치 슈퍼셋(Apache Superset)은 오픈 소스 데이터 탐색 및 시각화 도구이다. 데이터베이스를 연결하여 슈퍼셋 인터페이스 상에서 쿼리할 수 있고, 그 결과를 차트로 만들어 대시보드에 추가할 수도 있다. 도커 컴포즈(Docker Compose)를 이용해 슈퍼셋을 설치하고 실행하는 방법을 알아보자. 이미 운영중인 구글 빅쿼리(Google BigQuery) 데이터베이스를 슈퍼셋에 연동하고 차트를 만들고 이를 대시보드에 추가하는 방법도 함께 살펴보자. 아파치 슈퍼셋(Apache Superset) 소개 … Read more
허깅페이스(HuggingFace) 플랫폼에서 모델을 GGUF 파일 형식으로 다운로드하는 방법을 알아보자. 이렇게 다운로드한 모델을 Ollama에 추가하는 방법에 대해서도 살펴보자. Llama-3-Open-Ko-8B-Instruct-preview 모델을 Ollama에 올려보자. GGUF 형식의 모델 파일 다운로드 허깅페이스에 GGUF 형식으로 업로드 된 모델을 다운로드한다. 이 글에서는 Llama-3-Open-Ko-8B-Instruct-preview-gguf 파일을 예시로 사용한다. 허깅페이스 저장소 접속 (방법 1) git lfs 이용 다운로드 git이 설치되어 있다면 다음과 같이 git clone … Read more
올라마(Ollama)로 모델을 서빙하고 있다면, 동일 환경이든 외부 환경이든 챗GPT와 유사한 웹 UI를 구현해서 연동할 수 있다. 깃허브 저장소에서 open-webui를 클론하고, 간단한 도커 명령으로 컨테이너를 실행하면 된다. Ollama Open WebUI를 실행하는 방법에 대해 알아보자. open-webui 저장소 클론 open-webui github 저장소를 다음과 같이 클론한다. 컨테이너 실행 에 서빙 중인 Ollama Model API URL을 입력하고 다음 명령을 실행한다. … Read more
올라마(Ollama)는 로컬 환경에서 여러 대규모 언어 모델(LLM)을 실행할 수 있도록 지원하는 오프소스 도구이다. REST API로 모델을 서빙할 수도 있다. 확장 기능을 사용하면 챗GPT와 유사한 웹 UI를 구현해 사용할 수도 있다. 윈도우 환경에서 올라마를 설치하고 라마3(llama3 모델을 실행하는 방법에 대해 알아보자. 올라마(Ollama) 설치 올라마 다운로드 페이지에 접속 후 윈도우 프리뷰(Windows Preview)를 다운로드한다. 라마3(llama3) 모델 실행 올라마 … Read more
NVIDIA Geforce RTX 3060 GPU를 윈도우 10에 설치하고, 오픈소스 AI 모델을 활용하기 위한 사전 준비 과정을 살펴보자. 먼저, 그래픽 드라이버, CUDA, cuDNN, 그리고 PyTorch를 차례대로 설치하는 방법을 알아보자. 이 모든 단계를 마쳐야만 GPU를 이용하여 HuggingFace 등에서 공개된 오픈소스 LLM 모델을 효과적으로 사용할 수 있다. NVIDA 그래픽 드라이버 설치 NVIDIA 드라이버 다운로드 사이트 접속하여 다음과 같이 … Read more
구글 시트에 새로운 데이터가 추가되면 슬랙 채널 메시지로 알림을 받아볼 수 있는 기능을 구현해보자. 슬랙의 추가 기능인 인커밍 웹훅(Incoming Webhook)과 구글 시트의 추가 기능인 앱스 스크립트(Apps Script)를 활용하면 이와 같은 기능을 쉽게 구현할 수 있다. 단, 인커밍 웹훅을 앱스 스크립트와 직접 연동해도 되지만, REST API 서버를 같이 사용해도 좋다. 이 설명에서는 FastAPI를 이용해 구현한 API … Read more
워드프레스로 만든 웹 사이트와 구글 애널리틱스(GA)를 연결하는 방법에 대해 알아보자. GA 설정 GA 계정이 이미 있다고 가정하고 진행한다. 계정이 이미 있으므로 이 계정 하위에 속성으로 워드프레스 웹 사이트를 추가할 것이다. 먼저 GA에 접속한다. https://analytics.google.com/analytics 워드프레스 설정 워드프레스 관리자 페이지 접속 후 GA에서 복사한 태그를 붙여 넣으면 된다. GA 설정 완료
스테이블 디퓨전 웹UI에서 사용할 모델을 다운받을 수 있는 사이트를 확인해보자. 다운 받은 모델을 웹UI에서 사용하는 방법도 살펴보자. 이외에 Embedding, VAE 그리고 LoRA에 대해서도 간단히 알아보자. 모델 공유 사이트 Civitai HuggingFace 모델 파일 형식 종류 Checkpoints – 이미지 생성 모델 일반적인 실사 모델 아시아 실사 모델 Embedding=Textual Inversion – 프롬프트 추가 학습 모델 VAE=Variational Auto Encoder … Read more
PC에 이미지 생성 AI 모델인 스테이블 디퓨전(Stable Diffusion)을 설치하고 웹 브라우저를 통해 이를 사용하는 방법을 알아보자. 먼저, 깃허브(GitHub)에서 스테이블 디퓨전 웹UI(WebUI)를 설치하는 과정을 살펴본다. 그 다음 서버를 실행하고 클라이언트로 접속하는 방법, 서버와 클라이언트의 설정 방법에 대해서도 알아보자. 깃허브에서 스테이블 디퓨전 웹UI 설치하기 깃허브에서 스테이블 디퓨전 웹UI를 설치하는 방법을 알아보자. PC에 Git이 설치되어 있지 않은 경우와 … Read more