[Crawling] 크롤링 라이브러리 비교

크롤링 라이브러리 비교

---

1. 크롤링

2. 크롤링 라이브러리 비교

---

1. 크롤링

크롤링(Crawling)은 웹 페이지에서 데이터를 가져오는 작업입니다.

가져온 데이터를 추출하는 것을 스크래핑(Scraping)이라고 합니다.

 

2. 크롤링 라이브러리 비교

1. Beautiful Soup

정적인 웹 페이지의 데이터 추출에 적합합니다.

주로 Requests와 함께 사용됩니다.

 

2. Requests

웹 페이지의 HTML 소스를 가져오기 위해 활용됩니다.

Beautiful Soup과 조합하여 사용됩니다.

 

3. MechanicalSoup

Beautiful Soup을 기반으로 만들어진 라이브러리입니다.

가벼운 자동화 및 폼 제출 작업에 적합합니다.

 

4. Scrapy

대규모의 크롤링 작업에 적합합니다.

동적 콘텐츠 크롤링에는 추가적인 설정이나 Splash 같은 도구가 필요합니다.

비동기 방식으로 동작해 빠른 속도를 제공합니다.

 

5. Selenium

브라우저 자동화 도구로 동적 웹 페이지에서 데이터를 크롤링할 때 사용됩니다.

 

6. Playwright

최신 브라우저 자동화 라이브러리입니다.

Selenium보다 빠릅니다.

---

참고 사이트

[Python] 데이터 수집을 위한 웹 크롤링(Crawling)

 

[특강] 웹크롤링(Web Crowling) 기초 개념과 코드 구현(with Python)

 

 

[크롤링] 파이썬 라이브러리

 

문제가 있으면 댓글 남겨주세요 !

피드백은 언제나 환영입니다 <3