누구나 인생을 살면서 몇 번쯤은 도저히 말로 설명할 수 없는 우연한 만남을 경험한다. 너무나 뜻밖의 그 우연한 만남은 무척이나 떨리고 황홀하고 행복한 순간이다. 그러나 우연은 언제나 짧은 시간만을 허락한다. 그 우연한 만남을 계기로 다시 만남을 이어간다면 그 우연은 더 이상 우연이라고 불리지 않는다. 우연이 인연이 된 것이다.
- 하혜련의 《떠난 너, 기다리는 나에게》 중에서 -
* 우연은 정말 우연일까요? 우연은 무심한 듯 우리 곁에 다가와서 때로는 깊은 흔적을 남기고 사라집니다. 그렇듯 어느 날 우연히 다가온 인연은 운명입니다. 내 영혼을 밝힐 빛나는 불꽃입니다. 고마울 따름입니다.
입력된 웹 페이지 내에서 모든 <img> 요소를 추출하는 프로그램을 **requests**와 BeautifulSoup 라이브러리를 사용하여 구현해 드리겠습니다. 🔎
이 방법은 웹 크롤링(Web Crawling)의 가장 기본적인 형태이며, HTML을 파싱(Parsing)하여 원하는 특정 태그를 쉽게 찾아낼 수 있습니다.
_image_resource_extract.py
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
import sys
def extract_images_from_url(url):
"""
주어진 URL의 웹 페이지에서 모든 <img> 태그의 src 속성을 추출합니다.
:param url: 분석할 웹 페이지의 URL
:return: 이미지 URL 리스트
"""
if not (url.startswith('http://') or url.startswith('https://')):
# 사용자가 프로토콜을 생략했을 경우 https://를 기본으로 추가
url = 'https://' + url
image_list = []
print(f"URL에 접속 중: {url}")
try:
# 1. HTTP 요청 보내기
# User-Agent를 설정하여 봇 접근이 아님을 알리고 접속 거부를 방지합니다.
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status() # HTTP 오류가 발생하면 예외 발생
# 2. HTML 파싱 (BeautifulSoup 사용)
soup = BeautifulSoup(response.text, 'html.parser')
# 3. 모든 <img> 태그 찾기
img_tags = soup.find_all('img')
# 4. 각 태그에서 src 속성 추출
for img in img_tags:
src = img.get('src')
if src:
# 5. 상대 경로를 절대 경로로 변환
# <img src="/images/logo.png">와 같은 상대 경로를 처리하기 위해 필요합니다.
absolute_url = urljoin(url, src)
image_list.append(absolute_url)
except requests.exceptions.RequestException as e:
print(f"\n[오류] 웹 페이지에 접속할 수 없습니다: {e}")
return None
except Exception as e:
print(f"\n[오류] 예상치 못한 오류가 발생했습니다: {e}")
return None
return image_list
if __name__ == "__main__":
# 1. 사용자로부터 URL 입력 받기
target_url = input("이미지 리스트를 추출할 웹 페이지 URL을 입력하세요 (예: google.com): ").strip()
if not target_url:
print("URL이 입력되지 않았습니다. 프로그램을 종료합니다.")
sys.exit()
# 2. 이미지 추출 실행
images = extract_images_from_url(target_url)
# 3. 결과 출력
print("\n" + "="*50)
if images is not None:
print(f"📌 발견된 이미지 요소 개수: {len(images)}개")
print("--- 추출된 이미지 URL 리스트 ---")
# 최대 10개만 출력 (너무 길어지는 것을 방지)
for i, img_url in enumerate(images[:10]):
print(f"{i+1}. {img_url}")
if len(images) > 10:
print(f"...\n(총 {len(images)}개의 이미지 URL이 발견되었습니다.)")
print("="*50)
“개발과 운영의 벽을 허물어 더 빨리 더 자주 배포하자” 데브옵스(DevOps)의 핵심 개념을 나타내는 문장입니다. 2020년 소프트웨어 업계 종사자라면 데브옵스의 영향을 직접 혹은 간접적으로라도 받고 있을 것 입니다.(받고 있어야 합니다!)
데브옵스 개념이 등장한 지 10년이 흐른 지금, 가치를 따지는 것은 무의미한 일이 되었습니다. 그 동안 축적된 긍정적인 결과들은 데브옵스를 더이상 유행이 아니라 소프트웨어 개발과 운영에 꼭 필요한 표준의 영역으로 이끌었습니다.
개인적으로 데브옵스가 널리 사랑 받게 된 이유는 커다란 목표와 원칙을 공유할 뿐 상세한 규칙이나 절차는 비어 있다는 점, 즉 유연성과 확장성에 있다고 생각합니다. 이는 급변하는 시장에서 살아 남을 수 있는 원동력이 되었고 지금도 여러가지 방식으로 또 데브섹옵스(DevSecOps), 깃옵스(GitOps), AI옵스(AIOps) 등의 다양한 이름으로 진화를 계속해 나가고 있습니다.
이들 중에서 개인적으로 많은 공감을 하였고 최근에 진행한 프로젝트에 직접 적용해 본 “깃옵스(GitOps)”에 대해 설명드리고자 합니다. 깃옵스의 기본 원칙과 패턴에 대해 알아본 다음 구현체 중 하나인 아르고CD(ArgoCD)를 활용하여 샘플 프로젝트에 적용하는 과정을 보여 드리겠습니다.
깃옵스란?
깃옵스는 위브웍스(Weaveworks Inc.)에서 처음 사용한 용어로 프로젝트에 데브옵스를 적용하는 실천 방법 중 하나입니다. 그 중에서도 클라우드 네이티브 애플리케이션을 대상으로 한 지속적 배포(Continuous Deployment)에 초점을 두고 있습니다.
※ 클라우드 네이티브 애플리케이션이 아니어도 깃옵스를 적용할 수 있으나 아래에서 설명드릴 선언형 모델(Declarative Model)을 지원하는 최근 도구들이 클라우드 네이티브에 중점을 두기 때문에 어려움을 겪을 수 있습니다. 위브웍스는 아예 쿠버네티스 대상이라고 못박고 있습니다.
이름에서 나타나듯 애플리케이션의 배포와 운영에 관련된 모든 요소를 코드화하여 깃(Git)에서 관리(Ops)하는 것이 깃옵스의 핵심입니다. 기본 개념은 코드를 이용하여 인프라를 프로비저닝 하고 관리하는 IaC(Infrastructure as Code)에서 나온 것으로 깃옵스는 이를 인프라에서 전체 애플리케이션 범위로 확장하였습니다.
▲Guide to GitOps
깃옵스의 핵심 아이디어는 다음과 같습니다.
1) 배포에 관련된 모든 것을 선언형 기술서(Declarative Descriptions) 형태로 작성하여 Config Repository(혹은 Environment Repository)에서 관리한다. 2) Config Repository의 선언형 기술서와 운영 환경 간 상태 차이가 없도록 유지시켜주는 자동화 시스템을 구성한다.
깃옵스 환경에서 새로운 버전의 애플리케이션을 배포하거나 기존의 운영 환경을 바꾸고 싶다면 선언형 기술서를 수정한 뒤 Config Repository에 반영하기만 하면 됩니다. 나머지 과정은 자동화된 시스템이 알아서 수행할 것입니다.
깃옵스를 움직이는 핵심 개념들
1) 선언형 모델(Declarative Model)
여러분이 원격에 위치한 대상(서버)에 작업(애플리케이션 배포, 설정 관리 등)을 자동화 한다고 했을 때 가장 먼저 떠오르는 방법은 명령어를 순서대로 나열하는 명령형 모델(Imperative Model)일 것입니다. “ssh로 접속 → cd로 이동 → mkdir로 디렉토리 생성”
간단한 방법인 만큼 단점도 명확합니다. 우선 예외 상황을 모두 관리(이미 디렉토리가 존재한다면? 권한은? 등)해야 하며 원격 대상에 대한 지식(OS 종류에 따른 명령어 차이 등)도 필요합니다. 다른 방법으로 선언형 모델이 있습니다. 대상이 무엇이 되어야 하는지만 기술하면 됩니다. 이해 하기 쉽도록 예를 들어 보겠습니다.
원격 서버에 ‘/etc/some_directory’ 디렉토리가 필요한 상황입니다. 선언형 모델에서는 아래와 같이 코드 형태로 세부 내용을 작성하기만 하면 됩니다.
디렉토리가 이미 존재하는지 확인하거나 OS에 따라 바뀌는 명령어를 사용자가 알아야 할 필요가 없습니다. 이는 선언형 모델 구현체의 몫입니다. 이 중 가장 대표적인 것이 쿠버네티스이며 깃옵스와도 궁합이 잘 맞습니다. 무엇보다도 가장 큰 장점은 인프라를 포함한 애플리케이션 배포와 운영에 관련된 모든 것을 코드로 관리할 수 있다는 점과 이 코드를 이용하여 언제든 똑같은 환경을 다시 만들어내거나 부분 소실 시 복원할 수 있다는 점입니다.
2) 단일 진실 공급원(Single Source Of Truth, SSOT)
같은 데이터가 여러 곳에 있을 경우 문제를 일으킬 수 있습니다. 데이터의 중복은 당연하고 수정 시 한 곳이라도 빠지게 된다면 비정합성까지 발생합니다. 때문에 한 곳에 두고 관리하고 다른 곳에서 필요 시 참조만 하도록 하여 문제를 해결합니다.
대표적으로 데이터 정규화 작업에 이용됩니다. 예를 들어 보겠습니다. “Employee”와 “Employees' Skills” 테이블이 있습니다. 각 레코드들은 Employee Name, Employee Email 정보를 중복해서 포함 하고 있습니다. ‘Tom’의 이메일 주소가 변경되었습니다. 여러 개의 테이블의 레코드를 수정해야 합니다만 하나라도 수정이 이루어지지 않을 경우 모순 상태가 됩니다. 조회하는 테이블에 따라 ‘Tom’ 이메일이 다르게 조회되기 때문입니다.
[Employee]Table employee_name employee_email ——————————————— Jack abcd@email.com Tom efgh@email.com
[Employees' Skills]Table employee_name employee_email skill —————————————————————— Jack abcd@email.com Typing Tom 6456@email.com Speaking← 수정 실패
이런 경우 “Employees’ Skills” 테이블에서 Employee Email을 제거하고 employee_name를 이용해 “Employee” 테이블을 참조하도록 합니다. Employee Email 정보는 오직 “Employee”라는 하나의 테이블에서만 관리하도록 하는 것입니다.
깃옵스에서도 마찬가지입니다. 깃을 단일 진실 공급원으로 지정하고 오직 이 곳에서만 관리하도록 합니다. 모든 운영 활동의 시작은 깃이므로 사람 혹은 시스템 간의 혼선을 최소화 할 수 있습니다. 그리고 개발 단계에서만 누릴 수 있었던 깃의 강력하고 익숙한 기능을 운영 단계에서도 활용할 수 있게 됩니다. (History, Commit, Merge Request/ Review, Revert 등)
깃옵스 구현
실제로 깃옵스를 프로젝트에 적용할 때 고려해야 할 점들을 알아보겠습니다. 깃옵스는 어디까지나 방법론이기 때문에 정해진 도구가 따로 없습니다. 각자 익숙한 도구를 이용하면 됩니다. 그리고 깃옵스는 빌드와 테스트가 끝난 바이너리(이미지)를 저장소에 등록한 이후의 단계를 다루고 있기 때문에 지속적 통합(Continuous Integration) 부분은 생략하겠습니다.
1) 저장소 전략
최소 2개 이상의 Git 저장소를 사용하는 것을 권장합니다. • 애플리케이션 저장소: 애플리케이션 소스 코드와 애플리케이션 배포를 위한 배포 매니페스트(예: kubernetes yaml)를 포함합니다. • 배포 환경 구성 저장소: 배포 환경에 대한 모든 매니페스트를 포함합니다. 애플리케이션과 인프라 서비스(모니터링, 메시지 브로커 등)가 어떤 버전으로 어떻게 구성되어야 하는지에 대한 정보가 들어있습니다.
애플리케이션 배포 매니페스트를 별도의 깃 저장소에 보관해도 되고 템플릿 형태로만 가지고 있다가 배포 시 배포 환경 구성 저장소와 합쳐서 매니페스트를 생성하는 방식으로도 사용이 가능합니다.
2) 배포 전략
깃옵스에서는 푸시 타입(Push Type)과 풀 타입(Pull Type), 두 가지의 배포 전략을 가이드 하고 있습니다. 두 옵션 간의 차이점은 저장소에 있는 매니페스트와 배포 환경의 상태를 일치시키는 방법입니다. 무엇을 선택해도 상관없으나 깃옵스는 보안상의 이유로 풀 타입 배포 전략을 권장하고 있습니다. 각각에 대해 간략히 알아보겠습니다.
▲ Push Type
■ 푸시 타입(Push Type) 저장소에 있는 매니페스트가 변경되었을 때 배포 파이프라인을 실행시키는 구조입니다. 아키텍처가 단순하여 인기 있는 방법이며 젠킨스(Jenkins), 서클CI(CircleCI) 등의 구현에 사용할 수 있는 도구들도 다양합니다. 가장 큰 특징으로 배포 환경(Environment)의 개수에 영향을 받지 않습니다. 접속 정보를 추가하거나 수정하는 것만으로도 간단하게 배포 환경을 추가하거나 변경할 수 있습니다.
그러나 항상 연결되어 있는 상태가 아니라서 실제 배포 작업이 수행되는 시점에 실패할 수도 있습니다. 그리고 배포 환경이 손상되어 배포 환경 구성 저장소의 내용과 다를 경우 차이를 감지하고 배포 파이프라인을 다시 실행시키거나 알림을 줄 수 있는 별도의 모니터링 시스템이 필요합니다.
▲ Pull Type
■ 풀 타입(Pull Type) 배포 환경에 위치한 별도의 오퍼레이터가 배포 파이프라인을 대신합니다. 이 오퍼레이터는 저장소의 매니페스트와 배포 환경을 지속적으로 비교하다가 차이가 발생할 경우 저장소의 매니페스트를 기준으로 배포 환경을 유지시켜 줍니다. 만약 누군가가 직접 손으로(허가 받지 않은 작업) 배포 환경을 변경했을 때도 다시 되돌려지게 되는데 이는 배포 환경의 변경은 저장소의 매니페스트를 통해서만 유효하다는 것을 보장해줍니다. 다시 말해 배포 환경에 대한 모든 이력은 배포 환경 구성 저장소 즉, 깃에 존재한다는 것을 의미합니다. 이런 방식을 지원하는 도구로는 아르고CD, 젠킨스X(JenkinsX), 그리고 깃옵스라는 용어를 만든 위브웍스에서 제작한 플럭스(Flux)가 있습니다.
앞에서 보안상의 이유로 깃옵스는 풀 타입 배포 전략을 권장한다고 언급했습니다. 이는 구조적 차이에서 발생하는 것으로 푸시 타입의 경우 배포 환경에 대한 자격 증명 정보를 외부에서 관리할 수 밖에 없습니다. 배포 환경 입장에서는 배포 파이프라인 자체가 외부 도메인이기 때문입니다. 그리고 일반적으로 배포 파이프라인에게 배포 환경에 대한 읽기?쓰기 권한을 부여하기 때문에 만의 하나 노출된다면 큰 피해를 볼 수도 있습니다.
반면 풀 타입의 경우 오퍼레이터가 애플리케이션과 동일한 환경에서 동작 중이어서 자격 증명 정보가 외부에 노출될 일이 없습니다. 그리고 배포 환경에 대한 자격 증명 정보도 오퍼레이터 관리를 위한 최소한의 인력으로 한정 지을 수 있습니다. 신경 써야 할 것은 배포 환경에서 깃 저장소와 이미지 저장소로의 접근 정도입니다.
깃옵스 장점
배포 빈도 및 속도 상승, 생산성 향상, 오류 감소 등 여러 장점들이 있지만 이들 대부분은 다른 데브옵스 구현 방법을 사용해서도 달성할 수 있는 것들입니다. 그렇기 때문에 깃옵스만의 장점을 설명드리겠습니다.
1) 신뢰할 수 있는 정보의 공유
“스테이지 환경에 배포된 A 서비스의 설정 값이 뭐지?” 필자가 개발과 운영을 하던 당시 적지 않게 묻고 대답했던 것 같습니다. 적어도 깃옵스를 사용한다면 누군가의 희미한 기억에 의존하거나 제때 업데이트를 하고 있는지 파악하기 위해 문서를 찾아 본다거나 직접 서버에 접속하기 위해 힘겹게 ssh 명령어를 입력할 필요가 없습니다. 깃 이력을 보면 현재 상태는 물론 누가, 언제, 왜, 어느 곳을 수정했는지 쉽게 알 수 있기 때문입니다. 지금까지의 모든 이력을 포함하고 있는 이 시스템은 부가적인 문서 작업을 없애는 좋은 수단이기도 합니다.
※ 에러 복구 시간 감소 새롭게 서비스를 배포했는데 장애가 발생했을 때 해야 할 일은 ‘git revert’ 명령어, 그리고 배포 환경이 이전 버전으로 롤백될 때까지 기다리는 것입니다.
2) 익숙한 절차
“git commit → push → merge request → review → merge” 개발자에게 굉장히 익숙한 절차입니다. 그렇기 때문에 애플리케이션 배포를 위한 별도의 절차를 만들거나 교육시킬 필요가 없습니다. 그리고 리뷰 절차를 통해 휴먼 에러를 조기에 발견하고 책임을 나눌 수 있습니다.
GitOps 적용
풀 타입 구현체 중 하나인 아르고CD를 이용하여 깃옵스 시스템을 구축하겠습니다. 그리고 저장소에 있는 배포 관련 디스크립션을 수정했을 때 아르고CD가 배포 환경(Kubernetes)에 변경 사항을 잘 반영하는지도 확인해 보겠습니다.
import yt_dlp
import os
def download_youtube_video():
"""사용자 입력 URL을 기반으로 YouTube 영상을 다운로드하는 함수"""
url = input("다운로드할 YouTube 영상 URL을 입력하세요: ").strip()
if not url:
print("경고: 유효한 URL을 입력해야 합니다.")
return
# 📌 수정 1: 다운로드 폴더 경로 설정
current_dir = os.getcwd() # 현재 스크립트가 실행되는 디렉토리
download_dir = os.path.join(current_dir, 'downloads') # 'downloads' 하위 폴더 경로 생성
# 📌 수정 2: 'downloads' 폴더가 없으면 생성
if not os.path.exists(download_dir):
os.makedirs(download_dir)
print(f"[알림] 'downloads' 폴더를 생성했습니다: {download_dir}")
# 2. 다운로드 옵션 설정
ydl_opts = {
#'format': 'bestvideo[ext=mp4]+bestaudio[ext=m4a]/best[ext=mp4]/best',
'format': 'bestvideo+bestaudio/best',
# 📌 수정 3: outtmpl 옵션에 'download_dir' 경로 추가
# outtmpl 옵션: 저장될 파일의 템플릿 (경로 포함)
'outtmpl': os.path.join(download_dir, '%(title)s.%(ext)s'),
'postprocessors': [{
'key': 'FFmpegMetadata',
'add_metadata': True,
}],
}
# 3. 다운로드 실행
try:
print(f"\n[알림] 다운로드를 시작합니다: {url}")
with yt_dlp.YoutubeDL(ydl_opts) as ydl:
ydl.download([url])
print("\n🎉 다운로드가 성공적으로 완료되었습니다!")
print(f"저장된 위치: {download_dir}")
except yt_dlp.utils.DownloadError as e:
print(f"\n[오류] 다운로드 중 오류가 발생했습니다: {e}")
except Exception as e:
print(f"\n[오류] 예상치 못한 오류가 발생했습니다: {e}")
if __name__ == "__main__":
download_youtube_video()
