🐍 파이썬 초보자 가이드: 웹에서 데이터 쉽게 내려받기 (스크레이핑 기초)

안녕하세요! 데이터 분석에 관심 있는 파이썬 초보자 여러분! 👋

데이터 분석의 첫걸음은 당연히 데이터를 확보하는 것이겠죠? 하지만 매번 데이터를 수동으로 입력하거나 파일을 다운로드하는 건 너무 비효율적이에요. 😫

다행히도 파이썬에는 웹페이지에 있는 정보를 자동으로 추출해주는 강력한 도구들이 있습니다. 이를 보통 **웹 스크레이핑(Web Scraping)**이라고 부르는데요, 복잡하게 들릴 수 있지만 걱정 마세요! 몇 가지 간단한 예제를 통해 누구나 쉽게 웹에서 데이터를 내려받는 방법을 알려드릴게요! 이 블로그를 끝까지 읽으면 여러분도 웹 스크레이핑의 기초를 마스터할 수 있을 거예요! 💪

🚀 Step 1: 필수 라이브러리 설치하기

웹 스크레이핑을 위해 우리는 두 가지 핵심 라이브러리를 사용할 거예요:

requests: 웹페이지의 HTML 코드를 가져오는 역할을 합니다.
BeautifulSoup (bs4): 가져온 HTML 코드에서 우리가 원하는 데이터(텍스트, 링크 등)를 예쁘게 추출하는 역할을 합니다. 이름처럼 HTML을 분석하기 좋게 만들어줘요! 🤩

터미널이나 명령 프롬프트에서 다음 명령어를 입력하여 설치해 주세요.

Bash

pip install requests beautifulsoup4

🔍 Step 2: 웹페이지 HTML 코드 가져오기 (`requests`)

우리가 데이터를 내려받을 웹페이지의 주소(URL)가 필요해요. 여기서는 예를 들어, 가상의 단순한 웹페이지에서 데이터를 가져온다고 가정해 봅시다. 실제로는 뉴스 사이트, 공공 데이터 포털 등 다양한 곳에서 활용할 수 있어요.

먼저 requests 라이브러리를 사용해서 웹페이지에 접속하고 그 내용을 가져와볼게요.

Python
import requests

# 데이터를 가져올 웹페이지 URL
url = "https://example.com" 

# requests.get() 함수를 사용해 웹페이지에 요청(Request)을 보냅니다.
response = requests.get(url) 

# 요청이 성공했는지 확인합니다. (200이 뜨면 성공!)
print(f"응답 상태 코드: {response.status_code}") 

# 웹페이지의 HTML 코드를 텍스트 형태로 출력합니다.
html_content = response.text
# print(html_content[:500]) # 내용이 너무 길어 앞부분 500자만 출력해볼게요.

🤔 잠깐! HTML이란?

웹페이지는 **HTML(HyperText Markup Language)**이라는 언어로 만들어져요. HTML은 마치 건물의 설계도나 뼈대와 같아요. 이 뼈대 안에는 텍스트, 이미지, 링크 등이 **태그(<...>)**라는 약속된 형식으로 정리되어 있습니다. 우리의 목표는 이 복잡한 HTML 설계도에서 필요한 정보만 쏙쏙 빼내는 것입니다!

🎁 Step 3: 원하는 데이터 추출하기 (`BeautifulSoup`)

HTML 코드를 성공적으로 가져왔다면, 이제 BeautifulSoup의 마법을 부릴 차례입니다! ✨

BeautifulSoup은 HTML 코드를 분석하기 쉬운 객체(Soup)로 만들어줍니다. 그리고 우리가 원하는 정보를 HTML 태그와 **속성(Attribute, 예: class)**을 이용해서 찾을 수 있게 해줘요.

가상의 웹페이지 https://example.com에는 다음과 같은 내용이 있다고 가정하고, 여기서 <h1> 태그의 제목과 <p> 태그의 본문 내용을 추출해 보겠습니다.

Python
from bs4 import BeautifulSoup

# Step 2에서 가져온 HTML 내용을 BeautifulSoup 객체로 변환
soup = BeautifulSoup(html_content, 'html.parser')

# 1. 제목(<h1> 태그) 추출하기
# find() 함수는 해당 태그 중 가장 먼저 나오는 하나를 찾아줍니다.
title_tag = soup.find('h1')

if title_tag:
    # .text 속성을 사용하면 태그를 제외한 순수한 텍스트만 얻을 수 있어요.
    title_text = title_tag.text
    print(f"\n🌟 추출된 제목(<h1>): {title_text}")
else:
    print("<h1> 태그를 찾을 수 없습니다.")

# 2. 본문(첫 번째 <p> 태그) 추출하기
paragraph_tag = soup.find('p')

if paragraph_tag:
    paragraph_text = paragraph_tag.text
    print(f"📝 추출된 본문(<p>): {paragraph_text}")
else:
    print("<p> 태그를 찾을 수 없습니다.")

# 3. 모든 링크(<a> 태그) 추출하기
# find_all() 함수는 해당 태그를 가진 모든 요소를 리스트 형태로 찾아줍니다.
link_tags = soup.find_all('a')
print(f"\n🔗 발견된 링크 개수: {len(link_tags)}")

if link_tags:
    # 리스트를 반복문으로 돌면서 링크의 텍스트와 주소(href 속성)를 출력합니다.
    for link in link_tags:
        link_text = link.text       # 링크에 표시되는 텍스트
        link_url = link.get('href') # 링크의 실제 주소 (href 속성 값)
        print(f"  - [{link_text}]: {link_url}")

💡 Step 4: 데이터를 정리하고 저장하기 (CSV 파일로)

웹 스크레이핑으로 데이터를 추출했다면, 분석하기 쉽게 정리하고 저장해야겠죠? 가장 흔하게 사용하는 CSV(Comma-Separated Values) 파일로 저장해 보겠습니다. CSV는 데이터를 쉼표(,)로 구분한 단순한 텍스트 파일 형식이며, 엑셀이나 다양한 분석 프로그램에서 쉽게 열어볼 수 있습니다. 📊

이 예제에서는 추출한 제목과 본문을 데이터프레임으로 만들고 저장해 볼게요. 이 작업을 위해 pandas 라이브러리가 필요합니다.

Bash

pip install pandas

Python
import pandas as pd

# 추출한 데이터를 딕셔너리 형태로 준비
data = {
    'Category': ['Title', 'Paragraph'],
    'Content': [title_text, paragraph_text]
}

# 딕셔너리를 Pandas DataFrame으로 변환
df = pd.DataFrame(data)

# DataFrame을 CSV 파일로 저장합니다.
# encoding='utf-8-sig'는 한글 깨짐 방지에 유용합니다.
# index=False는 행 번호를 파일에 저장하지 않도록 합니다.
df.to_csv('web_scraped_data.csv', index=False, encoding='utf-8-sig')

print("\n✅ 데이터 추출 및 CSV 파일 저장 완료!")
print("    => 'web_scraped_data.csv' 파일을 확인해보세요.")
print("\n")

⚠️ 주의사항: 스크레이핑은 매너있게!

웹 스크레이핑은 강력한 도구이지만, 사용할 때 몇 가지 매너를 지켜야 해요. 🙏

서버에 과부하를 주지 마세요: 너무 짧은 시간에 많은 요청을 보내면 웹사이트 서버에 부담을 줄 수 있습니다. 연속적인 요청 사이에 time.sleep(1) 등을 사용해 잠시 쉬어주는 것이 좋습니다.
robots.txt 확인: 대부분의 웹사이트는 https://사이트주소/robots.txt 파일에 스크레이핑을 허용하는 영역과 금지하는 영역을 명시해 둡니다. 스크레이핑 전에 꼭 확인하세요!

🌟 마무리하며

오늘 우리는 파이썬의 requests와 BeautifulSoup을 사용해서 웹페이지에서 데이터를 내려받고 CSV 파일로 저장하는 기초적인 과정을 배워봤습니다.

requests로 HTML 가져오기
BeautifulSoup으로 데이터 추출하기
pandas로 CSV 파일로 저장하기

이것이 바로 웹 스크레이핑의 기본 원리입니다. 이제 여러분은 이 기초를 바탕으로 더 복잡한 웹사이트의 데이터를 다루거나, 주기적으로 데이터를 수집하는 자동화 프로그램을 만들 수 있게 되었어요! 🥳

데이터 분석, 이제 파이썬으로 더 쉽고 재미있게 시작해 보세요!

다음 시간에는 더 복잡한 데이터 구조(테이블, 동적으로 로딩되는 데이터)를 다루는 심화 내용을 준비해볼게요! 궁금한 점이 있다면 언제든지 댓글로 질문해 주세요! 👇

우리 모두 잘 먹고 잘 살자~~

이 블로그 검색