네이버 쇼핑 상품리뷰를 크롤링 하는데 뒤로 갈수록(60페이지 이상?정도부터) 페이지 이동이 이상해서 질문드려요! 코드상 문제가 있는건지 궁금합니다! 

또 다시 크롤링 질문입니다...

https://www.une-une.co.kr/outer?productListFilter=120864

이 페이지를 크롤링하고 있는데요.
section.section div.productListPage > div.shopProductWrapper div.price > span 이렇게 선택자를 지정해주면 가격 정보를 크롤링해와야하는데 파이썬이 None을 출력합니다.

웹페이지 소스를 살펴보니 실제 코드에는 가격 정보가 값이 없더라고요. 구글 개발자 도구에서는 가격 정보가 나오는데 말이죠...식스샵의 개발팀에서 뭔가 개발할 때 이런식으로 정보가 노출되도록 개발을 한 것인지 어떤지 잘 모르겠으나...이럴 때는 어떻게 가격정보를 크롤링할 수 있을까요? ㅜㅜ

크롤링 관련 질문입니다.

div.box > div.description > div.price와 같은 형태의 HTML구조에서 가격 정보를 크롤링하고 있는데요. 상품이 품절인 경우에 div.box > div.description > div.price에서 div.price는 사라지고 대신 div.soldout이 생겨서 구조가 div.box > div.description > div.soldout으로 변합니다.

if price is None: 
 countine

이런식으로 조건문을 써봤는데 작동하지 않네요. 이번 뿐만 아니라 이런 경우가 꽤 있어서 해결하고 싶습니다.

질문을 요약하면 beautifulsoup의 select로 특정 class를 찾는데 실패한 경우, 해당 변수에 특정 조건을 걸어주고 싶습니다. continue한다던가 아니면 특정 string을 강제로 넣어준다던가 하고 싶습니다.

어떻게 해야할까요?

예전에 작성해놓은 정적페이지 크롤링 코드인데 다시 실행해보니 오류가 뜹니다! 다른 컴퓨터에서 같은 코드로 실행했을 때는 문제가 없어서 코드 문제는 아닌 거 같은데 어떤 부분이 잘못 됐을까요?ㅜㅡㅜ (beautifulsoup4 설치 되어있는 상태입니다!)

------------------------------------

import requests 

from bs4 import BeautifulSoup 

import openpyxl wb = openpyxl.Workbook() 

sheet = wb.active 

for page in range (1, 30,10): 

keyword = '미세먼지' 

url = "https://search.naver.com/search.naver?sm=tab_hty.top&where=news&query=" + keyword + "&start=" + str(page) 

raw = requests.get(url, headers={'User-Agent' : 'Mozilla/5.0'}) html = BeautifulSoup(raw.text, "html.parser") 

infos = html.select('ul.type01 > li') 

 for info in infos: 

 title = info.select_one('a._sp_each_title').text 

 press = info.select_one('ul.type01 > li a._sp_each_url').text 

 print(title, press) 

 sheet.append([title, press]) 

 wb.save('네이버기사_크롤링_'+keyword+'.xlsx')

3. 다음 영화 데이터 수집하기

#영화별 상세페이지 선택자
    #제목: strong.tit_movie
    #평점: div.subject_movie > a > em.emph_grade
    #장르: dd.txt_main:nth-of-type(1)
    #감독: dd.type_ellipsis:nth-of-type(1)
    #배우: dd.type_ellipsis:nth-of-type(2)

import requests
from bs4 import BeautifulSoup
from urllib.request import urlretrieve

raw = requests.get("http://ticket2.movie.daum.net/Movie/MovieRankList.aspx")
html = BeautifulSoup(raw.text, "html.parser")

# 컨테이너 div.desc_boxthumb
movies = html.select("div.desc_boxthumb")

for m in movies:
    title = m.select_one("strong.tit_join a")
    url = title.attrs["href"]
    raw_each = requests.get(url)
    html_each = BeautifulSoup(raw_each.text, 'html.parser')

    #상세페이지 컨테이너 div.detail_summarize
    movies2 = html.select("div.detail_summarize")

    for m2 in movies2:
        title2 = m2.select_one("div.subject_movie strong.tit_movie")
        stars = m2.select_one("div.subject_movie > a > em.emph_grade")
        genre = m2.select_one("dd.txt_main:nth-of-type(1)")
        director = m2.select_one("dd.type_ellipsis")
        actors = m2.select_one("dd.type_ellipsis")

        print("=" * 50)
        print("제목:", title2.text)

        print("-" * 50)
        print("평점:")
        for s in stars:
            print(s.text)

        print("-" * 50)
        print("장르:")
        for g in genre:
            print(g.text)

        print("감독:")
        for d in director:
            print(d.text)

        print("-" * 50)
        print("배우:")
        for a in actors:
            print(a.text)

2. iMDb 영화포스터 수집하기

import requests
from bs4 import BeautifulSoup
from urllib.request import urlretrieve

raw = requests.get("https://www.imdb.com/movies-in-theaters/?ref_=nv_mv_inth",
                   headers={"User-Agent":"Mozilla/5.0"})
html = BeautifulSoup(raw.text, "html.parser")

# 0. 컨테이너 table.nm-title-overview-widget-layout
movies = html.select("table.nm-title-overview-widget-layout")

for m in movies:
    print("="*50)
    # 1. 영화제목 td h4
    title = m.select_one("td h4 a")
    print("제목:", title.text)

    url = title.attrs["href"]
    print(url)

    print("-"*50)
    full_url = "https://www.imdb.com/" + url
    raw_each = requests.get(full_url, headers={"User-Agent":"Mozilla/5.0"})
    html_each = BeautifulSoup(raw_each.text, 'html.parser')

    # 포스터: div.mv_info_area div.poster img
    poster = html_each.select_one("div.poster img")
    poster_src = poster.attrs["src"]

    urlretrieve(poster_src, "poster/"+title.text[:5]+".jpg")

1번과제 IMDb페이지에서 현재 상영중인 영화의 제목/평점(metaccore)/감독/배우 찾기

#컨테이너: table.nm-title-overview-widget-layout
#제목: td h4
#평점: div.rating_txt span
#감독: div.txt-block a
#배우: div.txt-block a
#장르: p.cert-runtime-genre span


#2. 코드를 통해서 데이터 수집하기
import requests
from bs4 import BeautifulSoup

raw = requests.get("https://www.imdb.com/movies-in-theaters/?ref_=nv_mv_inth",
                   headers={'User-Agnet':'Mozilla/5.0'})
html = BeautifulSoup(raw.text, 'html.parser')

Imovie = html.select("table.nm-title-overview-widget-layout")

for m in Imovie:
    title = m.select_one("td h4")
    score = m.select_one("div.rating_txt > span")
    info = m.select("div.txt-block")
    directors = info[0].select("a")
    actors = info[1].select("a")
    genre = m.select("p.cert-runtime-genre span")

    genre_all = m.select_one("p.cert-runtime-genre").text

    # 3. (심화) 조건문을 활용하여 Action장르의 영화만 출력하기
    if "Action" not in genre_all:
        continue

    print("="*50)
    print("제목:", title.text)

    if score is None:
        score = "None"
    else:
        print("=" * 50)
        print("평점:", score.text)
        score = score.text

    print("-"*50)
    print("감독:")
    for d in directors:
        print(d.text)

    print("-"*50)
    print("배우:")
    for a in actors:
        print(a.text)

    print("-"*50)
    print("장르:")
    for g in genre:
        print(g.text.replace("|","").replace(" ",""))