동일한 코드가 제 PC에서 동작하는걸로 봐서는 CSS 문제일것 같습니다.

Chromedriver 같은 경우 요소를 찾아서 정가운데를 클릭하는데, 간혹 브라우저의 크기나 다른 어떤 방해요인에 의해 요소가 가려질수 있습니다. 사람 눈에는 그렇게 보이지 않더라도 CSS상에서 그럴수 있습니다.

우선 첫 번째로 시도해볼법한 방법은, 수집을 시작할때 브라우저 크기를 최대로 키워 오차를 줄이는 것입니다. 수집을 시작하기 전에 driver.maximize_window() 명령을 통해 일단 브라우저 크기를 최대로 키워보세요.

이렇게도 해결이 안 되면 다른 방법을 고안해 보겠습니다.

해결되었습니다! 감사합니다!

daum같은 경우에는 User-Agent에 Mozilla/5.0처럼 불완전한 형태의 문자열이 들어올 경우 결과를 제대로 보내주지 않는 안티크롤링 코드가 심어져 있습니다.

daum 일부 도메인들은 Mozilla/5.0을 쓸 바에 아예 안 넣으면 돌아갈때도 있는데요. 영화 도메인은 완전한 형태의 User-Agent를 넣어야 동작하네요. 일단 아래 붙여드린 User-Agent를 사용해주세요. 제가 브라우저에 추출한 실제 User-Agent입니다.

{'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_0_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.101 Safari/537.36'}

https://www.notion.so/WEEK3-9f008766023944fda6d94ad55741b243

위의 강의자료 맨 마지막 즈음에 user-agent를 생성해주는 라이브러리에 대해 짧게 소개해드렸습니다. 다음 시간에 짧게 한번 더 언급하고 넘어가면 좋을것 같네요.

print(type(raw)) # <class 'requests.models.Response'>
print(type(titles[0])) # <class 'bs4.element.Tag'>

raw와 titles[0]는 다른 type을 가지는 객체입니다. raw는 requests의 결과를 담는 객체고, titles[0]는 BeautifulSoup으로 파싱이 완료된 결과를 담는 객체입니다.

서로 다른 type의 객체인데 text라는 같은 이름의 요소를 가지고 있어서 헷갈리신것 같아요.

네네 괄호가 안 붙었으니 함수는 아닙니다. 

text같은건 프로그래밍 언어마다 부르는 말이 조금씩 다른데요, 파이썬에서는 보통 멤버변수, 속성 정도로 부릅니다. 메서드는 객체 안에 있는 함수고, 멤버변수는 객체 안에 있는 변수입니다.

raw와 titles[0]에서 .text라는 똑같은 이름의 멤버변수를 사용하는건 그냥 우연입니다.

requests 라이브러리와 BeautifulSoup4 라이브러리를 만든 사람이 각각 다르죠? 다른 사람이 다른 라이브러리에 각각 text라는 멤버변수를 정의했고, 서로 다른 목적으로 만들어진 라이브러리인만큼 기능이 다른 거라고 이해하시면 됩니다.

아마 text라는 말 자체가 워낙 흔한 말이기 때문에 파이썬 자체와 연관이 있는거라고 헷갈릴수도 있는데요. 만약에 requests 라이브러리 제작자가 문자열을 담는 멤버변수를 text라는 말 대신에 potato 라는 말을 써서 정의했으면 사용자도 마찬가지로 .potato라는 이름으로 접근해야 합니다.

아 헷갈렸네요. 함수가 되려면 ()가 뒤에 붙어야하는데 .text는 괄호가 안붙으니 함수는 아닌거죠? 근데 객체 뒤에 붙어서 데이터를 변환해주니까 함수처럼 느껴졌던 것 같습니다. 그러면 .text 같은거는 뭐라고 부르나요..? 사실 raw에 .text가 붙는거랑 titles[0]에 .text가 붙을 때 역할이 달라지는 것 같아서 아직 좀 헷갈리네요 ㅜㅜ 

import requests
from bs4 import BeautifulSoup

raw = requests.get("https://www.oliveyoung.co.kr/store/awards/getAwardsList.do", headers={"User-Agent" : "Mozilla/5.0"})

html = BeautifulSoup(raw.text, "html.parser")

products = html.select("a.products_detail")

for p in products:
    product_name = p.select_one("h5").find(text=True, recursive=False)
    print(product_name)

수업시간에 배운 내용은 아닌데, find 메서드에 인수로 text=True, recursive=False를 넣어주면 원하시는 데이터를 뽑을 수 있습니다.

recursive=False의 의미는 자손 태그를 검색하지 않겠다는 의미입니다.

현대적인 방식의 웹개발 방식에서는 사이트에 처음 접속했을때 최소한의 데이터만 로드하고 이후 클릭이 일어날 때마다 더 필요한 데이터를 불러와, 말씀해주신대로 HTML source code를 변화시킵니다. 이런 방식으로 제작되는 사이트가 점점 더 많아지고 있는 추세고, 글로우픽 사이트도 이와 마찬가지입니다.

이런 경우에는 지난 시간까지 배운 방법으로는 구현이 불가능하고, 크롬브라우저를 사람이 만지는 것과 동일하게 동작하도록 Python을 이용해 조작하는 방법을 사용합니다. 그리고 이 방법은 다음 시간에 배웁니다..!

글로우픽 사이트가 여러모로 예제로 사용하기도 좋을것 같아서 시간이 남을때 같이 해보면 좋을것 같습니다. 다음 시간에 위에서 언급한 개발방법론에 대한 간단한 배경지식부터 설명드리고 시작하겠습니다.

잘 작성해 주셨습니다!

제가 잘 이해한지 모르겠지만 sql 코드는 string 형식이겠죠?

time 모듈을 사용해서 seconds string을 time 형식으로 바꿨다가, 다시 time 형식을 string 형식으로 바꾸는 방법을 사용할 수 있습니다.

import time

n = 10
s = time.strftime("%H:%M:%S", time.gmtime(n)) 

print(type(s), s)

모듈을 사용하고 싶지 않으시다면 연산을 통해 변환하도록 직접 로직을 작성해도 괜찮습니다.

네네 time 모듈은 내장모듈이라 문제 없이 동작할거에요.

혹시 로직을 만드실거면

ONE_DAY = 86400
ONE_HOUR = 3600
ONE_MINUTE = 60

seconds = 10

seconds %= ONE_DAY
hour = seconds // ONE_HOUR
seconds %= ONE_HOUR
minutes = seconds // ONE_MINUTE
seconds %= ONE_MINUTE
    
print("%02d:%02d:%02d" % (hour, minutes, seconds))

저희가 안 배운 포매팅 문법도 있긴 한데, 저런 식으로 작성하시면 될것 같습니다.

감사합니다 재용님!! 저런 식으로 하면 되겠네요.
sql 코드는 str 타입 맞습니다.

prod에 반영가능한지 확인해보고 배포할 수 있겠네요.

만약 모듈이 없다면, 입력받은 값을 변환해서 str 값을 리턴하는 펑션을 만들어야겠네요.. 혹은 db에서 변환할 수 있는 함수를 찾던가요