해외 지사용 A′ 시스템 운영·유지보수 매뉴얼 (Draft)
> Version: 0.1 Last updated: 2025‑06‑23 (KST)
---
1. 서문 (Preface)
1.1 문서 목적·범위
본 매뉴얼은 B사 해외 지사 운영팀이 A′ 시스템을 안정적으로 운영‑유지보수할 수 있도록 전반적인 지침을 제공한다.
포함 범위: 서비스 개요 → 인프라 → 배포 → 모니터링 → 장애 대응 → 보안·컴플라이언스.
제외 범위: 본사 내부 재무/전략 문서, 타 시스템 상세 설계.
1.2 대상 독자
역할 주요 책임
Local Ops Engineer 1차 장애 대응, 배포 승인
Help‑desk 사용자 문의 처리, 티켓 Escalate
Regional Dev Lead 코드 변경·리뷰, 복잡 장애 분석
HQ SRE 글로벌 인프라, 보안 정책 승인
1.3 문서 구조·활용법
Quick‑Start 박스: 각 장 앞쪽 1‑2쪽에 필수 절차만 요약.
Revision History: 부록 D.
온·오프라인 모두 확인 가능(Confluence, PDF).
1.4 용어·약어 정의 (발췌)
약어 원어 설명
A′ A Prime 해외 지사용 커스터마이즈드 버전
RTO Recovery Time Objective 장애 발생 후 복구 목표 시간 (< 1 h)
P1 Priority 1 서비스 전체 중단급 심각도
---
2. 시스템 개요 (System Concept & Overview)
2.1 서비스 목표·주요 기능
> 비즈니스 목표: 현지 고객에게 X‑as‑a‑Service 기능 제공, 월 2만 활성 사용자(DAU) 달성.
핵심 기능 설명 샘플 KPI
Self‑service Portal 사용자‑주문 관리 일평균 3 000 로그인
Reporting Dash 매출·지표 시각화 월간 100 건 다운로드
Admin Console 계정·권한·설정 Avg session 15 min
2.2 A vs A′ 차이
로컬 규제: 개인정보 항목, VAT 계산 로직.
언어: UI 기본 영어 + 선택 언어(ES, FR).
지불 게이트웨이: Stripe → Adyen (EU), PayPay (JP).
2.3 프로세스 흐름도 (요약)
[User] → [Web Client] —rest→ [API Gateway] → [Service Mesh] →
├─ User‑svc —sql→ MySQL‑cluster
├─ Order‑svc —mq→ RabbitMQ
└─ Report‑svc —export→ S3
2.4 사용자 유형·권한
Role 권한 레벨 예시 기능
End User read/write own data 주문 생성, 상태 조회
Supervisor manage team data 팀원 계정, 통계 조회
SysAdmin full 시스템 설정, Feature Toggle
---
3. 아키텍처·인프라 (Architecture & Infrastructure)
3.1 논리·물리 아키텍처
Region: AWS eu‑central‑1 (프랑크푸르트)
AZ: 3개 (a/b/c) — multi‑AZ RDS
VPC CIDR: 10.42.0.0/16
┌────────────┐ ┌──────────────────┐
│ ALB │──────▶│ Kubernetes (EKS) │
└────────────┘ └──────────────────┘
▲︎ ▲︎
│ │
┌──────────┐ ┌──────────┐
│ RDS (MySQL) │ │ ElastiCache │
└──────────┘ └──────────┘
3.2 주요 마이크로서비스
Service 포트 설명
user‑svc 8080 인증, 프로필
order‑svc 8081 주문 로직
report‑svc 8082 PDF/CSV 생성
3.3 외부 연동
SSO : Azure AD OIDC
Payment : Adyen REST v68
SMS : Twilio
3.4 네트워크·보안
Security Group inbound: 80/443, 22(SSH‑bastion only)
WAF rules: SQLi, XSS OWASP CRS (score ≥ 5 block)
3.5 환경 구분
Env URL DB 이름 목적
dev dev‑a.example.eu a_dev 개발자 개인 QA
stg stg‑a.example.eu a_stg 사전 검증
prd app.example.eu a_prd 운영
---
4. 배포 & 릴리즈 관리 (Deployment & Release)
4.1 CI/CD 파이프라인 (GitHub Actions)
name: CD
on:
push:
branches: [ "main" ]
jobs:
build:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: Build
run: mvn package -DskipTests
- name: Docker Build
run: docker build -t registry/a:${{ github.sha }} .
- name: Deploy to EKS
run: helm upgrade a ./charts/a --set image.tag=${{ github.sha }}
4.2 버전 정책
YY.MM.patch 예) 25.06.1 → 긴급 hotfix.
4.3 롤백 절차
1. helm history a 확인
2. helm rollback a <REV> 실행
3. Smoke test /Health check
4.4 시크릿 관리
AWS Secrets Manager key‑value
Rotate every 90 days (auto).
---
5. 운영 모니터링 (Operations Monitoring)
5.1 주요 지표
Metric 목표 현재값(예시) 대시보드 ID
p95 Latency < 500 ms 320 ms grafana‑01
Error Rate < 0.3 % 0.12 % grafana‑02
CPU Util < 70 % 55 % grafana‑03
5.2 Alert 임계치
ALERT HighErrorRate
IF sum(rate(http_requests_total{status=~"5.."}[5m]))
/ sum(rate(http_requests_total[5m])) > 0.005
FOR 10m
LABELS { severity="critical" }
ANNOTATIONS {
summary="Error rate >0.5 % for 10m",
runbook="https://docs/runbook/high-error-rate"
}
5.3 로그 스택
Agent: FluentBit → Loki
Retention: 30 days (STD), 365 days (Audit)
5.4 헬스체크 & SLA
Uptime target : 99.9 % (≤ 43.2 min downtime/월)
Synthetic Pingdom checks every 30 sec.
---
6. 오류 로그 분석·대응 (Error Analysis & Troubleshooting)
6.1 로그 레벨 규칙
Level 예시 조치
ERROR DBConnFailed PagerDuty 호출
WARN SlowQuery > 2 s 관찰, 필요 시 인덱스
INFO UserLogin 통계 IRRELEVANT
6.2 대표 오류 코드
2025-06-23T03:15:04Z order-svc ERROR 5001 "PAYMENT_DECLINED" txId=7f3c…
> 5001 : 결제 게이트웨이 거절. 고객에 표시 "다시 시도".
6.3 진단 플로차트 (텍스트)
1. Alert 수신(PagerDuty) →
2. Dash 확인(p95↑?) →
3. Pod log tail →
4. DB slow‑query?
6.4 장애 시나리오 예시
시나리오 증상 1차 조치 Escalate 기준
RDS AZ‑down 전체 500 Fail‑over trigger 15 min 내 미복구
S3 Read slow 이미지 지연 Cache TTL 감소 > 30 % 오류
6.5 Escalation Contact
HQ SRE on‑call: +1‑555‑0100 (24×7)
Vendor gateway: support@adyen.com
---
7. 정기 유지보수 (Routine Maintenance)
주기 작업 스크립트/툴
매주 수 02:00 EKS 노드 패치 eksctl upgrade nodegroup
매월 1일 RDS 수동 스냅샷 AWS CLI create-db-snapshot
분기 펜테스트 External Vendor
> TIP : 예약 점검은 현지 공휴일을 피하고, 서비스 내 배너로 72 h 사전 공지.
---
8. 관리자 화면 가이드 (Admin Console Guide)
8.1 로그인
URL : https://admin.example.eu
기본 관리자 계정 예시 admin.ops@b‑corp.com
8.2 핵심 메뉴 요약
메뉴 경로 설명
Users /users 계정, 역할 변경
Orders /orders 주문 조회/취소
Settings /settings Feature Toggle
8.3 변경 시 주의
Feature Toggle betaNewUI 활성화 시 레거시 페이지 비활성화됨 → 사전 교육 필요.
8.4 실습 예제
1. “Users” → + New 클릭 → 이메일 입력 → Role Supervisor → Save.
2. 좌측 “Audit Log” 확인: USER_CREATED entry present.
---
9. 데이터 관리 & 백업·복구 (Data & BCDR)
9.1 데이터 구조 (요약 ERD)
Tables: users(id, email, locale,…), orders(id, user_id,…), payments(id,…)
9.2 개인정보 처리
PII 암호화 : AES‑256 at rest (RDS KMS key alias/a-prd)
DSR(데이터 삭제 요청) 처리 SLA : 14 days.
9.3 백업 정책
유형 보관기간 스케줄
Full 14 days 매일 02:00
Incremental 7 days 매 6 h
Logs 30 days 실시간
9.4 장애 복구 시나리오
RPO: ≤ 5 min (binlog)
테스트: aws rds restore-db-instance-to-point-in-time 진행, ReadOnly verify.
---
10. 보안 & 컴플라이언스 (Security & Compliance)
10.1 접근 제어 (RBAC 예시)
Role K8s Namespace DB Schema Grafana
sysadmin * * Admin
dev dev-* ro Viewer
ops prod rw Editor
10.2 감사 로그
CloudTrail → S3 (s3://audit‑logs‑eu/)
Retention : 365 days (immutable)
10.3 현지 규제 예시
GDPR Art. 32: Technical & Organisational Measures 문서화.
BDSG (DE): 로그 IP 마스킹.
10.4 취약점 진단
Tool: OWASP ZAP weekly scan (GitHub Action)
CVSS ≥ 7 발견 → 7 일 내 패치.
---
11. 현지화·언어 지원 (Localization)
11.1 리소스 관리
{
"login": {
"title": "Sign in",
"title_es": "Iniciar sesión"
}
}
11.2 포맷 규칙 예시
Locale Date Currency
en‑GB 23 Jun 2025 £1 234.56
fr‑FR 23/06/2025 1 234,56 €
11.3 현지 기능 차등
EU : Cookie Consent 모달 강제.
JP : Kana 검색 필터.
---
12. FAQ & 문제해결 사례 (Knowledge Base)
> FAQ‑01 : "Admin 비밀번호 분실 시?"
답: SSO 로그인이 기본. SSO 장애일 경우 HQ‑SRE에 임시 bypass 요청.
> Case‑05 – PDF Export 지연 (2025‑05‑28)
증상: p95 latency 2 s → 12 s.
원인: report‑svc 새 버전 이미지 메모리 제한 부족.
해결: limit 256 → 512 MiB, 배포 후 정상화.
---
13. 부록 (Appendix)
A. 필수 API 엔드포인트 (발췌)
Method Path Auth 설명
GET /v1/users/{id} JWT 사용자 상세
POST /v1/orders JWT 주문 생성
B. 연락처 목록
Regional Dev Lead : dev‑lead.eu@b‑corp.com, ‑210
HQ Product Owner : po@b‑corp.com, +82‑2‑000‑0000
C. 유지보수 체크리스트 템플릿
□ 로그 디스크 사용률 < 80 % 확인
□ SSL 만료 ≤ 30 d? — 갱신
□ Helm chart version drift 검사
D. Revision History
Ver Date Author 변경 요약
0.1 2025‑06‑23 ChatGPT 최초 초안 작성
---
End of Document
2025. 6. 23. 15:47