파이썬 HTML 파싱 하는 방법

파이썬(Python) beautifulSoup 사용해서 html page 파싱(parsing)

데이터 scrap을 할때 많이 사용하는 beautifulsoup을 이용해서
html page를 parsing 하는 코드 (아래 참고)

코드 간단 설명

• 특정 tag의 값(text)을 가져오기
  • html page의 값을 가져온 이후에 soup.p의 tag의 값을 가져온다
  • p의 tag를 갖고 있는 text를 가지고 와서 words로 split
  • p의 id로 가져오기
• 모든 paragraph의 리스트를 가져오기
• p의 tag 중 important class의 값을 갖고 있는 paragraphs 가져오기
• span의 요소 안에 포함된 모든 div를 가져오기

코드

	from bs4 import BeautifulSoup
	import requests
	html = requests.get("http://www.example.com").text
	soup = BeautifulSoup(html, 'html5lib')
	first_paragraph = soup.find('p') # soup.p
	first_paragraph_text = soup.p.text
	first_paragraph_words = soup.p.text.split()
	first_paragraph_id = soup.p['id'] # id가 존재하지 않으면 KeyError
	first_paragraph_id2 = soup.p.get('id') # id가 존재하지 않으면 None
	all_paragraphs = soup.find_all('p') # soup('p')
	paragraphs_with_ids = [p for p in soup('p') if p.get('id')]
	important_paragraphs = soup('p', {'class': 'important'})
	important_paragraphs2 = soup('p', 'important')
	important_paragraphs3 = [p for p in soup('p')
	if 'important' in p.get('class',[])]
	# <span> 요소 안에 포함된 모든 <div> 요소를 찾아보자.
	spans_inside_divs = [span
	for div in soup('div') # 모든 <div>
	for span in div('span')] # 포함된 <span>을

view raw parse_html.py hosted with ❤ by GitHub