Project Jo

Mac에서 Docker를 이용한 n8n 설치 가이드

Project Jo — Tue, 9 Dec 2025 10:18:32 +0900

개요

Mac에서 Docker Compose를 사용하여 n8n 워크플로우 자동화 도구를 설치하고 실행하는 완벽한 가이드입니다. ffmpeg가 포함된 커스텀 이미지를 사용합니다.

사전 요구사항

Homebrew 설치
Docker Desktop for Mac 설치 또는 Colima 설치

1. Docker 환경 설정

방법 1: Colima 사용 (권장)

Colima는 경량화된 Docker 런타임으로 Docker Desktop의 대안입니다.

# Colima 설치
brew install colima

# Lima 및 추가 게스트 에이전트 설치
brew install lima lima-additional-guestagents

# Colima 시작 (x86_64 아키텍처, 메모리 4GB, CPU 4코어)
colima start --arch x86_64 --memory 4 --cpu 4

# Colima 시작 (aarch64(ARM64) 아키텍처, 메모리 4GB, CPU 4코어)
colima start --arch aarch64 --memory 4 --cpu 4

# Colima 상태 확인
colima status

Lima 업그레이드:

이미 설치되어 있는 경우 최신 버전으로 업그레이드:

brew upgrade lima lima-additional-guestagents

방법 2: Docker Desktop 사용

Docker Desktop을 사용하는 경우 이 단계를 건너뛰고 다음 섹션으로 진행하세요.

2. Docker Compose 플러그인 설정

# docker-compose 설치
brew install docker-compose

# Docker CLI 플러그인 디렉토리 생성
mkdir -p ~/.docker/cli-plugins

# 심볼릭 링크 생성
ln -s /opt/homebrew/bin/docker-compose ~/.docker/cli-plugins/docker-compose

# 버전 확인
docker compose version

3. 프로젝트 디렉토리 생성

# n8n 디렉토리 생성 및 이동
mkdir -p ~/Documents/Docker/n8n
cd ~/Documents/Docker/n8n

디렉토리 구조:

n8n/
├── docker-compose.yml
├── Dockerfile
├── data/ # n8n 데이터 저장소
└── files/ # 파일 저장소

4. 설정 파일 생성

Dockerfile

FROM n8nio/n8n:latest

USER root
RUN apk update && apk add --no-cache ffmpeg

# Run as root to avoid permission issues with Docker on Mac
# This is acceptable for local development

docker-compose.yml

services:
  n8n:
    build: .
    container_name: n8n
    ports:
      - "5678:5678"
    environment:
      - TZ=Asia/Seoul
      - GENERIC_TIMEZONE=Asia/Seoul
      - N8N_ENCRYPTION_KEY=MY_SUPER_KEY_123
      - N8N_USER_FOLDER=/data
    volumes:
      - ./data:/data
      - ./files:/files

환경 변수:

TZ, GENERIC_TIMEZONE: 타임존 설정 (Asia/Seoul)
N8N_ENCRYPTION_KEY: 데이터 암호화 키 (보안을 위해 변경 권장)
N8N_USER_FOLDER: n8n 데이터 저장 경로

5. n8n 실행

# 데이터 디렉토리 생성 및 권한 설정
mkdir -p ./data ./files
chmod -R 777 ./data ./files

# Docker 이미지 빌드 및 컨테이너 시작
docker compose up -d --build

6. 실행 확인

# 로그 확인
docker logs -f n8n

성공 메시지:

n8n ready on ::, port 5678
Editor is now accessible via:
http://localhost:5678

# 컨테이너 상태 확인
docker ps

7. n8n 접속

브라우저에서 접속:

http://localhost:5678

초기 접속 시 관리자 계정을 생성합니다.

8. 주요 관리 명령어

컨테이너 중지

docker compose down

컨테이너 시작

docker compose up -d

컨테이너 재시작

docker compose restart

로그 확인

# 실시간 로그
docker logs -f n8n

# 최근 로그 100줄
docker logs --tail 100 n8n

컨테이너 상태 확인

docker ps

9. 업데이트

# 최신 n8n 이미지 다운로드 및 재빌드
docker compose pull
docker compose up -d --build

10. 데이터 백업 및 복원

백업

# 날짜가 포함된 백업 파일 생성
tar -czf n8n-backup-$(date +%Y%m%d).tar.gz ./data

복원

# 컨테이너 중지
docker compose down

# 백업 파일 압축 해제
tar -xzf n8n-backup-YYYYMMDD.tar.gz

# 컨테이너 재시작
docker compose up -d

11. 완전 초기화

# 컨테이너 및 볼륨 삭제
docker compose down -v

# 캐시 정리
docker system prune -f

# 데이터 디렉토리 재생성
rm -rf ./data ./files
mkdir -p ./data ./files
chmod -R 777 ./data ./files

# 재시작
docker compose up -d --build

12. 보안 권장사항

암호화 키 변경

docker-compose.yml에서 강력한 랜덤 키로 변경:

- N8N_ENCRYPTION_KEY=your-strong-random-key-here

랜덤 키 생성 방법

openssl rand -base64 32

빠른 시작 요약

# 1. Colima 설치 및 시작 (선택사항)
brew install colima lima lima-additional-guestagents
colima start --arch x86_64 --memory 4 --cpu 4

# 2. 프로젝트 디렉토리 생성
mkdir -p ~/Documents/Docker/n8n && cd ~/Documents/Docker/n8n

# 3. Dockerfile 생성
cat > Dockerfile << 'EOF'
FROM n8nio/n8n:latest

USER root
RUN apk update && apk add --no-cache ffmpeg

# Run as root to avoid permission issues with Docker on Mac
# This is acceptable for local development
EOF

# 4. docker-compose.yml 생성
cat > docker-compose.yml << 'EOF'
services:
  n8n:
    build: .
    container_name: n8n
    ports:
      - "5678:5678"
    environment:
      - TZ=Asia/Seoul
      - GENERIC_TIMEZONE=Asia/Seoul
      - N8N_ENCRYPTION_KEY=MY_SUPER_KEY_123
      - N8N_USER_FOLDER=/data
    volumes:
      - ./data:/data
      - ./files:/files
EOF

# 5. 실행
mkdir -p ./data ./files
chmod -R 777 ./data ./files
docker compose up -d --build

# 6. 접속
echo "n8n이 실행되었습니다: http://localhost:5678"

참고사항

데이터 저장: 모든 워크플로우와 설정은 ./data 디렉토리에 저장됩니다
파일 저장: 워크플로우에서 생성된 파일은 ./files 디렉토리에 저장됩니다
포트 변경: 5678 포트를 변경하려면 docker-compose.yml의 ports 섹션을 수정하세요
로컬 개발용: 이 설정은 로컬 개발 환경에 최적화되어 있습니다

n8n-installation-guide.html

0.01MB

코드 리뷰 자동화: LLM을 활용한 접근

Project Jo — Thu, 2 Oct 2025 10:13:57 +0900

도입 배경

개발 조직에서 머지 리퀘스트(Merge Request)가 쏟아져 들어올 때, 코드 리뷰의 부담은 눈덩이처럼 불어난다. 모든 요청을 꼼꼼히 확인하려면 많은 시간이 소요되고, 반대로 대충 넘어가자니 잠재적인 오류나 보안 문제가 걱정된다.

“이 과정을 누군가 대신 도와줄 수 있다면 얼마나 좋을까?”라는 고민이 반복되던 시점에, 우리는 떠올렸다. 바로 AI 기반 코드 리뷰다.

아키텍처 및 시나리오

단순히 ChatGPT와 같은 LLM(Language Model)을 열어 직접 붙여 넣고 결과를 확인하는 방식은 반복적이고 비효율적이다. 실제 개발 프로세스에 적용하려면 자동화가 필수적이다.

이를 위해 CI/CD 파이프라인과 LLM을 연동한 자동화 시나리오를 설계할 수 있다.
흐름: Merge Request → Pipeline Trigger → Worker → LLM 요청 → 자동 리뷰 결과 생성

이 아키텍처를 기반으로 하면, 코드 리뷰 과정에서 LLM을 보조 리뷰어로 활용하는 것이 가능하다.

AI 코드 리뷰 접근 방식

AI 코드 리뷰를 효과적으로 적용하기 위해 다음과 같은 원칙을 정립했다.

1) 열할 부여

LLM은 일반적으로 자유롭게 답변을 생성하기 때문에, 리뷰 단계에서는 명확한 **역할(Role)**을 먼저 지정한다.

당신은 엄격하고 꼼꼼하며 타협하지 않는 코드 검토자이며, 정보를 절대 조작하지 않습니다. 만약 불확실하다면, 그 불확실성과 결정을 내리기 위해 필요한 추가 증거를 명확하게 제시하십시오.

2) 리뷰 기준 정립

코드 리뷰에서 검토해야 할 항목을 명확히 정의한다.

출력 언어 통일
사전 조건 검사 여부
런타임 오류 가능성
성능 최적화 포인트
보안 취약점 탐지
사실성(환각) 최소화

1. 출력 언어
한국어로만 응답합니다.

2. 사전 조건 검사
각 함수/메서드가 제대로 작동하는 데 필요한 모든 사전 조건을 갖추고 있는지 확인합니다.

3. 런타임 오류 검사
런타임 오류 또는 불안정한 동작을 유발할 수 있는 코드를 식별합니다.

4. 최적화
패치에서 최적화 가능성을 정확히 파악하십시오.

5. 보안 문제
코드가 취약한 모듈을 사용하거나 보안 취약점을 유발하는지 확인하십시오.

3) 응답 형식 고정

리뷰 결과가 일관되지 않으면 활용하기 어렵다. 따라서 포맷을 고정해 리뷰 결과를 규칙적으로 제공하도록 한다.

요약: 핵심 리스크와 권장 조치(3~5줄).
세부 점검 결과 (각 항목은 아래 구조를 따름)
범주: Pre-Condition / Runtime Error / Optimization / Security
심각도: Critical / High / Medium / Low
신뢰도: High / Medium / Low
위치: 파일/라인 또는 관련 코드 인용
문제 설명(왜 문제인지)
영향(실행/보안/성능/유지보수성)
수정 제안(코드 스니펫 포함)
개선된 코드 예시: 필요한 부분만 최소한으로 제시.
추가 권장 사항: 테스트 케이스, 로그/모니터링, 문서화 제안.
리포트:
탐지된 이슈 총 개수
각 범주별 이슈 건수 요약
주요 이슈들을 간단히 다시 점검 및 요약

4) 결과

Next Step

AI 기반 코드 리뷰는 시작 단계일 뿐이다. 다음과 같은 고도화를 통해 더욱 실질적인 가치를 창출할 수 있다.

1) 인라인 코멘트 자동화
리뷰 결과를 단순 텍스트로 제공하는 것을 넘어, 실제 코드 라인에 직접 코멘트를 삽입해 개발자가 빠르게 확인할 수 있도록 한다.

2) 코드 가이드 적용
사내 코드 스타일 가이드와 연동해, 일관성 있는 코드 품질을 보장한다.

3) 시큐어코드 가이드 적용
최근 중요성이 높아지고 있는 보안 영역을 고려하여, 시큐어코드 가이드라인을 기반으로 보안 검증을 자동화한다.

요약

정리하면, LLM을 코드 리뷰 프로세스에 도입하면 생산성 향상, 품질 보증, 보안 강화라는 세 마리 토끼를 잡을 수 있다. 앞으로의 과제는 이 과정을 개발 환경에 자연스럽게 녹여내고, 조직의 코드 품질 문화를 한 단계 끌어올리는 것이다.

WSL (Windows Subsystem for Linux)

Project Jo — Tue, 20 May 2025 17:05:37 +0900

웹 개발 환경을 위해 MAC 에서 작업하는 경우 Docker 를 이용해 리눅스를 개발하면 된다.
하지만 윈도우에서 개발하기에는 지금까지 VirtualBox 에 리눅스를 올려 작업하고 있었다.

최근 정전으로 인해 vbox 파일이 깨지며 조금더 안정적인 방법을 찾아보던중 WSL 의 존제를 알게 되었다.
WSL + VS Code 를 이용한 개발 환경 구축에 흥미를 느꼈고, 진행한 내용을 여기에 정리한다.

1. 설치

Microsoft Store 에서 WSL 을 설치 한다. (이전에는 Windows PowerShell에서 wsl --install를 입력 했지만 이제는 딸깍! 한번!)

Windows Subsystem for Linux - Microsoft Apps

Windows Subsystem for Linux lets developers run a GNU/Linux environment -- including most command-line tools, utilities, and applications -- directly on Windows, unmodified, without the overhead of a traditional virtual machine or dualboot setup.

apps.microsoft.com

단, 설치 했지만 동작하지 않는 경우가 종종 있는 PC 를 보았다.
문제가 있는경우 Windows PowerShell 을 관리자 권한으로 실행하고 wsl --install 을 입력해 설치하면 된다.

2. OS 설치

마찬가지로 Microsoft Store 에서 Ubuntu 를 검색해서 다운로드 한다. (딸깍!)

Ubuntu - Windows에서 무료 다운로드 및 설치 | Microsoft Store

Install a complete Ubuntu terminal environment in minutes with Windows Subsystem for Linux (WSL). Develop cross-platform applications, improve your data science or web development workflows and manage IT infrastructure without leaving Windows. Key features

apps.microsoft.com

3. 실행

설치된 Ubuntu 를 실행한다.... 끝...!

4. Rocky OS

Rocky OS 는 Microsoft Store 에서 제공하지 않는다. 이럴때는 명령어를 통해 직접 이미지를 넣어주면 된다.

# wsl --import <machine-name> <path-to-vm-dir> <path-to/rocky-9-image.tar.xz> --version 2
wsl --import RockyLinux9 RockyLinux9 .\Downloads\Rocky-9-Container-Base.latest.x86_64.tar.xz --version 2

다운로드 링크와 자세한 설명은 공식 페이지를 참고하자.

Rocky Linux를 WSL 또는 WSL2로 가져오기 - Documentation

wsl wsl2 상호 운용성 윈도우Rocky Linux를 WSL로 가져오기필요 사항Windows Subsystem for Linux 기능이 활성화되어 있어야 합니다. 이를 위해서 다음 중 하나의 방법을 사용할 수 있습니다.매우 최근에 Microso

docs.rockylinux.org

시작 메뉴를 눌러 설치된 RockyLinux9 를 실행한다. (딸깍!)

5. systemctl

WSL 로 구성된 Linux 시스템은 기본적으로 systemd 명령의 사용이 꺼져있다.
"vi /etc/wsl.conf" 로 파일을 열고 다음줄을 추가하여 systemd에 사용되는 init를 변경한다.

[boot]
systemd=true

PowerShell에서 명령 wsl.exe --shutdown 를 이용해 사용하여 모든 WSL 인스턴스를 다시 시작한다.

6. VS Code 연동

확장앱 에서 Remote Development 을 검색하여 설치해준다. (이후 Docker 나 기타 접속 확장을 위해)

원격 탐색기 에서 설치된 WSL 을 눌러 접속하면 된다.

7. 패키지 설치

WSL 에 설치된 OS 는 정말 최소한 구동만 가능한 OS 이다.
내가 사용해야 하는 Rocky 서버는 GUI 설치 화면에서 Minimal Install -> Standard, Development Tools 을 선택 해서 설치하기에 추가적인 패키지 설치가 필요하다.

아래의 명령어로 설치하고, 권한이 없는경우 앞에 sudo 를 추가해 실행한다.

dnf groupinstall "Server" --allowerasing
dnf groupinstall "Development Tools" --allowerasing

8. 포트 포워딩

WSL 환경은 외부 환경에서 접속이 되지 않는다.
SSH 나 웹을 외부에서 접근하려면 포트 포워딩을 해줘야 하는데, VSCode 에 있는 포트 포워딩은 Private 으로 내부 PC 에서만 사용하기에 적용이 안된다.

따라서 다음 코드를 ports_wsl.ps1 라는 이름으로 적용하고, PowerShell 을 관리자 권한으로 실행 후 스크립트를 동작 시킨다.
(PC 를 재부팅하면 WSL 의 IP 주소가 바뀌기 때문에, 재부팅 후 항상 코드를 실행해 주자.)

# WSL 2에서 IP 주소 가져오기
$remoteport = bash.exe -c "ifconfig eth0 | grep 'inet '"
$found = $remoteport -match '\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}';

if( $found ){
  $remoteport = $matches[0];
} else{
  echo "The Script Exited, the ip address of WSL 2 
cannot be found";
  exit;
}

#[Ports]
#전달하려는 모든 포트를 쉼표로 구분하여 입력하세요.
$ports=@(80, 443, 22);


#[Static ip]
#특정 주소를 수신하려면 IP 구성의 주소를 변경할 수 있습니다.
$addr='0.0.0.0';
$ports_a = $ports -join ",";


#방화벽 예외 규칙 제거
iex "Remove-NetFireWallRule -DisplayName 'WSL 2 Firewall Unlock' ";

#인바운드 및 아웃바운드 규칙에 대한 예외 규칙 추가
iex "New-NetFireWallRule -DisplayName 'WSL 2 Firewall Unlock' -Direction Outbound -LocalPort $ports_a -Action Allow -Protocol TCP";
iex "New-NetFireWallRule -DisplayName 'WSL 2 Firewall Unlock' -Direction Inbound -LocalPort $ports_a -Action Allow -Protocol TCP";

for( $i = 0; $i -lt $ports.length; $i++ ){
  $port = $ports[$i];
  iex "netsh interface portproxy delete v4tov4 listenport=$port listenaddress=$addr";
  iex "netsh interface portproxy add v4tov4 listenport=$port listenaddress=$addr connectport=$port connectaddress=$remoteport";
}

#포트 포워딩 설정 정보를 확인
Invoke-Expression "netsh interface portproxy show v4tov4";

실행중 "이 시스템에서 스크립트를 실행할 수 없으므로 C:wsl_port.ps1 파일을 로드할 수 없습니다" 에러가 발생하면 다음 명령어를 실행후 다시 시도한다.

Set-ExecutionPolicy RemoteSigned

파인 튜닝(Fine-tuning) + 양자화(Quantization) #3

Project Jo — Mon, 19 May 2025 09:45:47 +0900

구글 코랩을 이용한 파인 튜닝 코드를 작성하다 보면 다들 된다는 내용이 나는 되지 않는걸 확인할수 있다.
(나만 찾을수 없는건지 코드 내용을 이해하지 못하는건지...)

작성이 완성된 코드를 여기에 정리하고, 최종 목표인 특정 제품에 대한 전문 AI 를 만들수 있도록 준비해 보겠다.

1. colab 환경에서 필요한 라이브러리 설치

#@title colab 환경에서 필요한 라이브러리 설치
!pip install -q transformers datasets peft accelerate bitsandbytes

2. 허깅페이스 로그인

#@title 허깅페이스 로그인
from huggingface_hub import notebook_login
notebook_login()

3. 데이터 준비 (전채를 학습하는 코드)

#@title 데이터 준비 (전채를 학습하는 코드)
from datasets import Dataset
import requests

# 텍스트 다운로드
url = "https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt"
text = requests.get(url).text

# 문단 단위로 쪼개기 (대사 기준)
lines = text.strip().split("\n")
dialogues = [line.strip() for line in lines if line.strip() != ""]

# Hugging Face Dataset 생성
dataset = Dataset.from_dict({"text": dialogues})

4. 데이터 준비 (1000 라인만 학습하는 코드)

#@title 데이터 준비 (1000 라인만 학습하는 코드)
from datasets import Dataset
import requests

# Shakespeare 텍스트 다운로드
url = "https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt"
text = requests.get(url).text

# 줄 단위로 분리하고 처음 1000줄만 사용
lines = text.strip().split("\n")
limited_lines = lines[:1000]  # 처음 1000줄만 사용

# 전처리: 빈 줄 제거 및 좌우 공백 제거
clean_lines = [line.strip() for line in limited_lines if line.strip() != ""]

# 데이터셋으로 변환
dataset = Dataset.from_dict({"text": clean_lines})

5. 토크나이저 로딩 및 전처리

#@title 토크나이저 로딩 및 전처리
from transformers import AutoTokenizer

model_id = "meta-llama/Llama-3.2-1B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
tokenizer.pad_token = tokenizer.eos_token

def tokenize(example):
    return tokenizer(example["text"], truncation=True, padding="max_length", max_length=256)

tokenized_dataset = dataset.map(tokenize, batched=True)

6. 모델 준비 (LoRA 적용)

#@title 모델 준비 (LoRA 적용)
from transformers import AutoModelForCausalLM
from peft import get_peft_model, LoraConfig, TaskType

base_model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",  # Colab GPU 사용
    torch_dtype="auto"
)

# LoRA 구성
peft_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=8,
    lora_alpha=16,
    lora_dropout=0.1,
    bias="none"
)

model = get_peft_model(base_model, peft_config)

7. Trainer를 이용한 파인튜닝

#@title Trainer를 이용한 파인튜닝
from transformers import TrainingArguments, Trainer, DataCollatorForLanguageModeling

training_args = TrainingArguments(
    output_dir="./llama-shakespeare",
    per_device_train_batch_size=4,
    num_train_epochs=3,
    logging_steps=10,
    save_steps=100,
    save_total_limit=1,
    report_to="none",
    fp16=True  # mixed precision
)

data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer, mlm=False
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset,
    data_collator=data_collator
)

trainer.train()

8. 테스트 (대사 스타일로 생성해보기)

#@title 테스트: 대사 스타일로 생성해보기
prompt = "First Citizen:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

generated_ids = model.generate(
    inputs.input_ids,
    attention_mask=inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    max_new_tokens=100,
    do_sample=True,
    top_p=0.8,
    top_k=50,
    temperature=1.0,
    repetition_penalty=1.2,
    no_repeat_ngram_size=2
)

print("--------")
print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))
print("--------")

Translation API 소개

Project Jo — Fri, 9 May 2025 17:33:41 +0900

작년 WWDC 에서 Apple Intelligence 에 너무 집중해서 그런지 좋은 API 의 발표를 못본것 같다.
최근 Create ML APP 을 보면서 이것저것 보다보니 번역 API 가 오픈된 사실을 알았다.
구글의 번역 API 를 사용하지 않고 과금에 걱정 없이 사용할수 있는것 같아 정리 한다.

Translation API 소개

파인 튜닝(Fine-tuning) + 양자화(Quantization) #2

Project Jo — Fri, 9 May 2025 14:37:19 +0900

지금까지 많은 자료를 찾아가며 파인 튜닝에 대한 접근을 진행해 왔다.

FineTuning: 메모리 부족으로 llama3.1 8B 를 실행할수 없어서 포기
Persona: 사전 지식이 많아지면 llama3.1 8B 의 프롬프트 갯수를 초과할수 있는 단점이 있어 포기
LangChain: 정확도가 떨어지며 속도가 몹시 느려서 포기

그러나 Apple 의 메일에서 "머신 러닝 튜토리얼 시작하기" 라는 링크가 보여 클릭해 보니 Xcode 의 Create ML 앱 영상 몇개를 보다보니 WWDC 에서 "Apple GPU에서 머신 러닝 및 AI 모델 학습시키기" 영상이 있는것이 아닌가!!

Apple GPU에서 머신 러닝 및 AI 모델 학습시키기

해당 영상을 보면서 다시한번 양자화가 가능하다면 로컬에서 파인튜닝에 문제가 없을것으로 판단해 다시한번 도전해 보도록 하였다.

영상에 나오는 코드를 작성해서 빌드를 진행 했을때 메모리가 부족해서 에러가 발생 하였다.
모델을 가장 가벼운 'meta-llama/Llama-3.2-1B' 를 진행 했을때도 마찬가지로 메모리가 부족해서 에러가 발생하였다.

해당 내용을 검색해 보았을때 2가지 이유가 가장 유력해 보인다.
- 아무리 가벼운 모델도 파인튜닝시 메모리를 더 필요로 한다.
- Apple Metal 을 이용한 튜닝에 문제가 있어 메모리를 많이 사용할수 있다.

아래는 영상에 나오는 코드를 작성한 내용이고, 결국 파인튜닝은 구글 코랩으로 넘어가도록 하겠다....

# 기본 라이브러리 임포트: PyTorch와 난수 고정
import torch
import random

# 항상 같은 결과를 얻기 위해 난수 시드 고정
random.seed(24)
torch.manual_seed(24)


# Hugging Face에서 LLaMA 모델과 토크나이저 불러오기
from transformers import LlamaTokenizer, LlamaForCausalLM

# 사용할 사전 학습된 LLaMA 모델 경로 지정
model_ptth = 'openlm-research/open_llama_3b_v2'

# 토크나이저 로드 (오타 수정 필요: legacy=True → legacy로 고쳐야 함)
tokenizer = LlamaTokenizer.from_pretrained(model_ptth, legacy=True)

# 모델 로드 (오타 수정 필요: 'pretarined' → 'pretrained')
base_model = LlamaForCausalLM.from_pretrained(model_ptth)


# PEFT(파라미터 효율적 미세조정) 설정: LoRA 사용
from peft import LoraConfig, PeftModel

# LoRA 설정 정의: 적은 수의 학습 가능한 파라미터로 파인튜닝
lora_config = LoraConfig(
    r=16,                 # LoRA 랭크: 병목 크기
    lora_alpha=32,       # 스케일링 인자
    lora_dropout=0.05,   # 드롭아웃 확률
    bias="none",         # 기존 모델의 bias는 업데이트하지 않음
    task_type="CAUSAL_LM"  # 언어 모델링 task임을 지정
)

# 원래 모델에 LoRA 설정 적용 (모델을 어댑터로 감쌈)
model = PeftModel(base_model, lora_config, adapter_name="Shakespeare")


# Mac에서 Metal을 사용하는 장치(MPS)로 모델 이동
device = torch.device("mps")
model.to(device)


# 학습 데이터가 없으면 다운로드 받아 저장
import os
import requests

file_name = "shakespeare.txt"
url = "https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt"

# 파일이 없다면 인터넷에서 Shakespeare 텍스트 데이터를 다운로드
if not os.path.isfile(file_name):
    data = requests.get(url)
    with open(file_name, "w") as f:
        f.write(data.text)


# 텍스트 데이터를 토크나이즈하여 학습 데이터셋 생성
from transformers import TextDataset

# 파일을 읽고 128개 토큰 단위로 분할, 처음 256개 블록만 학습에 사용 (학습 속도 테스트용)
train_dataset = TextDataset(tokenizer=tokenizer, file_path=file_name, block_size=128)[:256]


# 학습 설정 정의
from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir="output",                 # 학습 결과 저장 폴더
    overwrite_output_dir=True,          # 기존 폴더 덮어쓰기 허용
    num_train_epochs=10,                # 학습 epoch 수
    per_device_train_batch_size=32,     # 배치 크기
    evaluation_strategy="no",           # 검증 생략 (간단한 파인튜닝일 경우 생략 가능)
)


# 텍스트 생성 모델을 위한 데이터 정리 도구 정의
from transformers import DataCollatorForLanguageModeling

data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer,
    mlm=False,  # MLM(Masked Language Model)이 아니라, 다음 단어 예측을 위한 Causal LM
)


# Trainer 클래스를 통해 학습 실행
trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=data_collator,
    train_dataset=train_dataset,
)

# 모델 파인튜닝 실행
trainer.train()


# 학습된 모델을 이용해 텍스트 생성 함수 정의
def gennerate_response(prompt_text, model, tokenizer, max_length=30, num_return_sequences=1):
    # 입력 텍스트를 토크나이즈하고, MPS 장치로 이동
    input_ids = tokenizer.encode(prompt_text, return_tensors="pt").to("mps")

    # 모델을 사용해 텍스트 생성
    output_sequences = model.generate(
        input_ids=input_ids,
        max_length=max_length,              # 최대 생성 길이
        num_return_sequences=num_return_sequences,  # 몇 개의 결과 생성할지
        no_repeat_ngram_size=2              # 같은 n-gram 반복 방지
    )

    # 생성된 결과들을 디코딩하여 리스트에 저장
    responses = []
    for response_id in output_sequences:
        response = tokenizer.decode(response_id, skip_special_tokens=True)
        responses.append(response)

    return responses


# 생성 테스트: 입력 문장을 주고 생성 결과 출력
prompt_text = "Uneasy lies the head that wears a crown."
responses = gennerate_response(prompt_text, model, tokenizer)
for response in responses:
    print(response)


# 학습한 LoRA 어댑터를 병합한 후 모델 저장
save_path = "merged_fine_tuned_openllama2_3b_shakespeare"

# 토크나이저 저장
tokenizer.save_pretrained(save_path)

# LoRA를 병합하여 최종 모델 생성
merged_model = model.merge_and_unload()

# 최종 모델 저장
merged_model.save_pretrained(save_path)

VS Code Vibe Coding (Claude)

Project Jo — Thu, 8 May 2025 16:50:25 +0900

클로드 + MCP 를 통해 인터넷 검색 권한과 파일 접근 권한을 주고, 바이브 코딩(?) 으로 웹사이트 구축에 성공하였다.
마무리 하고 보니 뭔가 야매 같기도 하고, 코드 편집기도 안쓰니 폼도 안나고...
VS Code 에 Claude 를 넣어 진정한 바이브 코딩을 완성해 보려 한다.

1. VS Code 설치

Download Visual Studio Code - Mac, Linux, Windows

Visual Studio Code is free and available on your favorite platform - Linux, macOS, and Windows. Download Visual Studio Code to experience a redefined code editor, optimized for building and debugging modern web and cloud applications.

code.visualstudio.com

2. Copilot 확장 설치

3. 괴롭히기

이전에 만들어둔 웹 서버 폴더를 열고, 코파일럿에서 "편집 모드" 선택, 모델은 "Claude 3.5 Sonnet" 을 선택한다.
#codebase 를 먼저 입력하고 원하는 내용을 요청한다.

#codebase

지금 열려있는 프로젝트는 도커를 이용한 웹서비스 이다.
최종 목표는 다음 기능이 포함된 웹사이트를 구축하는 것이다.

1. 회원 가입, 로그인, 탈퇴
2. 개시판을 통한 글쓰기, 수정, 삭제
3. 개시판의 글에 대한 덧글 쓰기, 수정, 삭제
4. 개시판은 모든 사용자가 쓰기 권한이 있는 자유 개시판 n개, 특정 사용자만 쓰기 권한이 있는 게시판 n개

지금까지 개발된 내용을 확인하고, http://localhost/ 로 접속했을때 표시되는 화면에 회원가입 페이지 링크를 추가해줘.

다 완료가 되면 수정된 내용을 적용할지 파란색 버튼이 표시 되는데 눌러서 적용해 주고 도커에서 다시 실행해 보면 잘 적용된걸 확인할 수 있다.

4. 결론

지금까지 MCP 를 공부하고 권한을 주고 뭐고 열심히 했는데... 한방에 모든것이 해결 되었다.

코파일럿의 과금 정책이 있고, 거기에 클로드 사용량에 따른 과금은 또 어떻게 되는지 아직은 잘 파악되지 않았다.
일단 모두 무료로 사용하고 있기에 다음 순서대로 이용하면 무료로도 어느정도의 사이트 개발이 가능해 보인다.

- VS Code + Copilot + Claude
- Claude + MCP

이제 지금까지 공부하고 내용을 배운것에 만족하며, 바이브 코딩을 마치려 한다.
괴롭히고 괴롭혀서 좋은 테스트 사이트가 완성되면 공유해 보겠다.

5. 목차

1. 클로드(Claude) MCP
2. MCP(Model Context Protocol)
3. Claude Vibe Coding
4. VS Code Vibe Coding (Claude)

Claude Vibe Coding

Project Jo — Wed, 7 May 2025 17:11:55 +0900

이전 정리를 통해 MCP 를 통해 웹 검색도 가능하게 했고, 파일 시스템에 접근도 가능하게 만들었다.
이제 클로드 AI 를 통한 바이브 코딩의 준비는 모두 마쳤다고 생각 된다.

간단한 개시판 웹 사이트를 만들어 바이브 코딩을 테스트해보자.
조금 오버스팩이 될수도 있지만, 지금 개발중인 컴퓨터의 환경에 최대한 영향을 주지 않는 방향이 필요하기에 Docker 도 사용해 본다. (처음 사용해본다...)

1. Docker Desktop 설치

특별한것 없다... 홈페이지에 들어가서 설치를 진행해준다...

Docker: Accelerated Container Application Development

Docker is a platform designed to help developers build, share, and run container applications. We handle the tedious setup, so you can focus on the code.

www.docker.com

Doccker Desktop 설치 완료

2. 클로드 설정

검색과 파일 시스템 접근 MCP 를 설정한다.

{
  "mcpServers": {
    "g-search": {
      "command": "npx",
      "args": ["-y", "g-search-mcp"]
    },
    "filesystem": {
          "command": "npx",
          "args": [
            "-y",
            "@modelcontextprotocol/server-filesystem",
            "/Volumes/Jiran External Disk/MyWeb"]
    }
  }
}

3. 클로드 괴롭히기

만들고자 하는 홈페이지 기능을 다음과 같이 요청하고 권한 허용 허용 허용 허용 을 눌러준다.

이 채팅은 웹사이트를 만드는 바이브 코딩을 위한 채팅이다.
“/Volumes/Jiran External Disk/MyWeb“ 를 루트 폴더로 한다.

최종 목표는 다음 기능이 포함된 웹사이트를 구축하는 것이다.
1. 회원 가입, 로그인, 탈퇴
2. 개시판을 통한 글쓰기, 수정, 삭제
3. 개시판의 글에 대한 덧글 쓰기, 수정, 삭제
4. 개시판은 모든 사용자가 쓰기 권한이 있는 자유 개시판 n개, 특정 사용자만 쓰기 권한이 있는 게시판 n개

해당 웹사이트는 Docker 의 컨테이너에서 동작해야 한다.
따라서 가장먼저 Docker 를 실행하기 위한 docker-compose.yml 을 작성한다.
조건은 다음과 같다.

1. OS 는 rockylinux 9.3 이다.
2. 최신 트랜드에 맞게 기본 구성을 맞춰줘.

docker-compose.yml 작성이 마무리 되면 docker-compose.yml 를 이용해서 docker 를 실행 하는 방법도 알려줘.
단, docker desktop 을 통한 GUI 방식으로 알려줘.

이렇게 하면 혼자서 뭘 계속 만든다.
잠시 기다리면 다음과 같은 말을 쓰면서 도커를 실행해 보라고 한다.

그럼 클로드를 믿고 Docker Desktop 에서 실행해 보면 에러가 난다. 다시 괴롭히러 가자. (에러 스크린샷은 찍지 못했다.)

나
myapp_backend, myapp_frontend 는 실행되지 않았다.
myapp_phppgadmin 은 경고가 표시 되었다. (phppgadmin The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested)

클로드
플랫폼 호환성 문제가 발생했네요. Apple Silicon(M1/M2) Mac을 사용하고 계시는 것 같습니다. Docker 구성을 수정하여 이 문제를 해결해 보겠습니다.

대답을 하고는 다시 이것저것 만지작 거린다.

다시 실행 했더니 몇가지 오류가 있었지만 어찌어찌 잘 실행 되었다.

이렇게 몇번 주고 받으니.... 힘들다고 투덜되는 클로드를 볼수 있다.

새 채팅창을 만들어 대화를 이어가면 된다...

무료 사용량을 다 썼다...

4. 결론

특별한 컴파일러 없이 파일 구조만으로 가능한 웹의 경우 바이브 코딩이 몹시 쉽게 가능해 보인다.
최신 기술로 만들어 달라고 해서 구성을 전혀 모르겠지만, 채팅으로 디버깅하며 수정이 가능해 간단한 샘플 프로젝트 정도는 가능해 보인다.
클로드 MCP 를 사용했기에 특별한 과금은 하지 않아도 되고 좋다.

채팅 허용양이나, 코드를 보면서 같이 진행 하기에는 조금 귀찮기도 하고...
조금만 쓰면 사용량이 소진되었다고 투덜거리며 나중에 하라고 하고...
어째든 된다!!!! 편하다!!! ㅋㅋ

5. 목차

1. 클로드(Claude) MCP
2. MCP(Model Context Protocol)
3. Claude Vibe Coding
4. VS Code Vibe Coding (Claude)

Xcode 용량 확보

Project Jo — Wed, 7 May 2025 10:56:53 +0900

1. Xcode 용량 확보 필요성

Xcode 를 이용해 프로젝트를 진행 하다보면 용량을 야금야금 먹어 가면서 캐시 파일이 많이 쌓여 PC 사용시 용량이 부족한 경우가 자주 발생한다.

2. 수동 삭제 방법

"설정 > 일반 > 저장 공간 > 개발자" 에 들어가면 캐시 파일을 삭제 할수 있다.

3. 외부 저장 방법

하지만 용량이 부족할때마다 이걸 삭제 하면서 다른 개발을 진행 하기에는 불편함이 있어 캐시 파일을 외장 하드로 설정 하도록 했다.
"Xcode > Settings > Locations" 에 보면 Derived Data 와 Archives 가 있다.
2개의 경로를 외장하드 경로로 옮겨주면 캐시 파일과 아카이브 파일은 이제 외장하드에 쌓이게 되어 사용하면서 용량이 늘어나는 일이 없어진다.
(원본 Derived Data = /Users/name/Library/Developer/Xcode/DerivedData, Archives = /Users/name/Library/Developer/Xcode/Archives)

4. 결론

외부 저장 방법으로 진행 했을때 용량 확보에는 문제 없음을 확인 했으나 조금 사용해 보니 외장 하드에 쓰고 지우는 시간이 걸려 빌드 및 디버깅 시간이 증가 하였다.
PC 를 살때 RAM 도 중요하지만 용량도 고려대상에 넣어야 할것 같다.... (돈만 있으면...... ㅠ)

MCP(Model Context Protocol)

Project Jo — Tue, 29 Apr 2025 11:03:05 +0900

이전에 바이브 코딩을 진행하기 위해 MCP 라는 방법을 소개하고 테스트해 보았다.
아직 Xcode 와 정확히 호환이 되지 않아 잠시 잊고 있었는데, 돌연 좋은 생각이 나서 정리해 보려고 한다.

MCP 란?
AI 모델과 통합된 컨텍스트 상호작용 표준을 구축하기 위한 것!
즉, 웹 검색이 가능한 것 처럼 사용자의 정보를 AI 모델이 가져가 정리하고 검색하고 요약하고 등등등 을 할수 있다는 이야기다.

그렇다면 나는 어떤것이 가능한가?
특정 제품에 대한 AI 나, 개인화 비서 같은 기능을 꼭 파인튜닝이나 페르소나를 통해 넣을 필요가 없을수도 있다.
웹 검색을 하듯 AI 가 필요한 정보를 바로바로 제공해 준다면 문제 없이 비슷한 기능을 할수 있을것이다.

- 개인화 비서
구글의 캘린더, 메일, 연락처 등의 정보를 AI 가 접근할수 있게 MCP 를 만들어 제공하면 Google Gemini 처럼 동작할수 있지 않을까?

- 제품 전문가
제품 가이드 문서를 접근할수 있는 MCP 를 만들어 제공하면 오류 코드나 사용법을 AI에게 물어보고 쉽게 가이드를 받을수 있지 않을까?

제품 전문가를 만들기 위해서 문서에 접근이 필요하다면 지금도 있는 파일 접근 MCP 를 이용해 가능할것 같은 생각이 들었다.
따라서 다음과 같이 진행하며 확인해 보았다.

1. MCP 서버 설정

servers/src/filesystem at main · modelcontextprotocol/servers

Model Context Protocol Servers. Contribute to modelcontextprotocol/servers development by creating an account on GitHub.

github.com

Claude > 설정 > 개발자 > 설정 편집 을 선택해서 claude_desktop_config.json 파일을 열고 아래의 스크립트를 넣는다.

{
  "mcpServers": {
    "filesystem": {
      "command": "npx",
      "args": [
        "-y",
        "@modelcontextprotocol/server-filesystem",
        "/Users/dongsukjo/Desktop/manual"
      ]
    }
  }
}

Claude 앱을 완전히 종료하고 다시 실행하면 망치 아이콘이 설정된걸 확인할수 있다.
이제 질문을 해보자.

2. 질문 시간

LG 건조기 사용 방법 가이드 문서를 다운받아 폴더에 넣고 질문을 진행해 본다.

PDF 를 읽을수 없네.... 몇 가지 MCP 를 찾아 봤지만 마음에 들지는 않는다...
여기서는 소개만 하고 나는 텍스트 파일로 변환해서 테스트해 보겠다. (소개는 제일 아래에)

뭐 예상대로 동작 한다.

3. 결론

예상한 대로 동작은 잘 하는것 같지만 TXT 파일이 너무 크면 에러가 발생 하는것 같다.
이 또한 파일을 읽고 해당 내용을 AI 에 모두 보내서 찾아 내는것 같다. 페르소나를 설정해 대답을 받는것과 같이 너무 많은 정보는 해당 방법으로는 좀 어려울것 같다.
개인형 비서도 동일한 이유로 너무 많은 정보를 사용하게 되면 어려울것 같고, 얼마나 정보를 잘 정리해서 AI 에게 전달해 주느냐가 중요한것 같다.

4. PDF MCP 조사 공유

Desktop Commander MCP 를 설치하면 내 컴퓨터를 마음대로 할수 있는것 같다.
추가 필요한 설치도 알아서 하고 뭐... 척척 해낸다고 하는데 너무 권한이 큰것 같은데...?

GitHub - wonderwhy-er/DesktopCommanderMCP: This is MCP server for Claude that gives it terminal control, file system search and

This is MCP server for Claude that gives it terminal control, file system search and diff file editing capabilities - wonderwhy-er/DesktopCommanderMCP

github.com

MCP로 PDF 요약, 이미지 추출, 옵시디언 전송, 오디오 파일 생성을 한 번에

소개 개발자의 대부이자 GOAT인 테디노트님이 [AI 시대 생존 전략] 주제로 오프라인 강의를 했었는데. 아쉽게 당일 참석을 못했었습니다. 하지만 강의 자료를 PDF로 남겨주셨습니다. MCP를 활용해 P

www.gpters.org

도커로 서비스를 올리고 뭐 하는것 같은데... PDF 읽으려고 도커까지는 좀...

GitHub - trafflux/pdf-reader-mcp

Contribute to trafflux/pdf-reader-mcp development by creating an account on GitHub.

github.com

5. 목차

1. 클로드(Claude) MCP
2. MCP(Model Context Protocol)
3. Claude Vibe Coding
4. VS Code Vibe Coding (Claude)

Project Jo

Mac에서 Docker를 이용한 n8n 설치 가이드

개요

사전 요구사항

1. Docker 환경 설정

방법 1: Colima 사용 (권장)

방법 2: Docker Desktop 사용

2. Docker Compose 플러그인 설정

3. 프로젝트 디렉토리 생성

4. 설정 파일 생성

Dockerfile

docker-compose.yml

5. n8n 실행

6. 실행 확인

7. n8n 접속

8. 주요 관리 명령어

컨테이너 중지

컨테이너 시작

컨테이너 재시작

로그 확인

컨테이너 상태 확인

9. 업데이트

10. 데이터 백업 및 복원

백업

복원

11. 완전 초기화

12. 보안 권장사항

암호화 키 변경

랜덤 키 생성 방법

** 빠른 시작 요약 **

참고사항

코드 리뷰 자동화: LLM을 활용한 접근

도입 배경

아키텍처 및 시나리오

AI 코드 리뷰 접근 방식

1) 열할 부여

2) 리뷰 기준 정립

3) 응답 형식 고정

4) 결과

Next Step

요약

WSL (Windows Subsystem for Linux)

1. 설치

2. OS 설치

3. 실행

4. Rocky OS

5. systemctl

6. VS Code 연동

7. 패키지 설치

8. 포트 포워딩

파인 튜닝(Fine-tuning) + 양자화(Quantization) #3

1. colab 환경에서 필요한 라이브러리 설치

2. 허깅페이스 로그인

3. 데이터 준비 (전채를 학습하는 코드)

4. 데이터 준비 (1000 라인만 학습하는 코드)

5. 토크나이저 로딩 및 전처리

6. 모델 준비 (LoRA 적용)

7. Trainer를 이용한 파인튜닝

8. 테스트 (대사 스타일로 생성해보기)

Translation API 소개

파인 튜닝(Fine-tuning) + 양자화(Quantization) #2

VS Code Vibe Coding (Claude)

1. VS Code 설치

2. Copilot 확장 설치

3. 괴롭히기

4. 결론

5. 목차

Claude Vibe Coding

1. Docker Desktop 설치

2. 클로드 설정

3. 클로드 괴롭히기

4. 결론

5. 목차

Xcode 용량 확보

MCP(Model Context Protocol)

1. MCP 서버 설정

2. 질문 시간

3. 결론

4. PDF MCP 조사 공유

5. 목차

빠른 시작 요약