6주차 수업시간에 사용한 코드입니다.

맨 위 주석에 간단한 설명이 적혀있어요.

강의자료 5주차 숙제 중에 다음의 영화 예매순위 페이지에서 데이터 수집하는게 있었는데.. 해당 페이지는 접속이 안되어서

https://movie.daum.net/premovie/released 로 들어가서 데이터 수집을 시도해보았는데, 제가 잘못한 것인지.. select로 원하는 데이터 선택이 안되는 것 같습니다.

제대로 수집이 되는지 확인하려고 i로 카운트를 해보려고 했는데 수집이 안되는 것 같습니다 ㅜㅜ

import requests from bs4 

import BeautifulSoup raw = requests.get("https://movie.daum.net/premovie/released", headers = {'User-Agent':'Mozilla/5.0'}) 

html = BeautifulSoup(raw.text, 'html.parser')

i = 1 

movies = html.select("ul.list_movie li")

for m in movies: 

     print(i)

     i += 1

복습하다가 궁금한게 생겨서 질문드립니다.

저희가 raw =  requests.get() 함수로 데이터를 가져와서

raw.text를 출력하면 태그 등이 다 살아있는데

예를 들어, titles = html.select() 함수로 가져온 데이터를

titles[0].text 로 출력하면 titles[0]에서 태그를 지우고 문자만 남겨주는 이유가 뭔가요?

같은 메서드 함수인데 작동하는 원리가 다른 것 같아서.. 데이터 타입에 따라 text 가 다르게 작동하는 것인지 갑자기 궁금해서 질문드립니다.

5주차 스터디에서 작성한 코드입니다.

4주차 수업시간에 작성한 beautifulsoup 태그 예외처리 함수입니다.

def get_text(tag, replace="N/A"):
    if not tag:
        return replace
    return tag.text

3주차 챌린지2 답안입니다.

# requests 라이브러리를 불러온다.
import requests
# bs4에서 BeautifulSoup만 불러온다.
from bs4 import BeautifulSoup

# 안티크롤링을 회피하기 위해 헤더의 User-Agent 요소를 가짜로 만든다.
h = {"User-Agent": "Mozilla/5.0"}

# range(1, 4) : [1, 2, 3] 형태의 리스트를 반환
# i에 차례대로 1, 2, 3이 할당됨
for i in range(1, 4):
    # headers 인수를 h로 지정해 ycombinator 뉴스 페이지를 요청한다.
    raw = requests.get("https://news.ycombinator.com?p=" + str(i), headers=h)

    # 의미 없는 html 문자열을 파싱해 의미를 가지는 객체로 만든다.
    html = BeautifulSoup(raw.text, "html.parser")

    # class가 athing인 모든 요소를 선택해 list 형태로 반환한다.
    # list 형태이기 때문에 articles[0], articles[1]... 처럼 인덱싱 가능
    articles = html.select(".athing")

    # articles list에서 요소를 하나씩 꺼내서 article에 할당한다.
    for article in articles:
        # article 요소에서 class가 rank인 첫번째 요소를 선택한다.
        rank = article.select_one(".rank").text
        title = article.select_one(".storylink").text
        print(rank, title)

간단한 파일 입출력 사용법입니다.

# 파일에 쓰기

# open 모드 r: 읽기, w: 쓰기, a: 이어쓰기
f = open("test.txt", "a")

# 파일에 한 줄 쓰기
f.write("hello world")
print("hi world", file=f)

# 파일 닫기
f.close()


#########################################

# 파일 읽기

# open 모드 r: 읽기, w: 쓰기, a: 이어쓰기
f = open("test.txt", "r")

for line in f.readlines():
    print(line.strip())

# 파일 닫기
f.close()

파이썬 코드 관련 질문이 있습니다.

기존 sql 코드에서 + str(number) 을 사용해서 바인드 변수형으로 사용하고자 합니다.

단, 여기서 숫자형 타입을 시간 형으로 변경을 하고자 하는데

기본 단위는 seconds입니다.

예를 들어 10을 입력을 받으면 00:00:10 으로 변경 후 sql 코드와 plus를 하고자 합니다.

파이썬에서 이를 표현할 수 있을까요?

아니면 db에서 함수를 사용해야하는 것일까요?

Week 6 숙제 제출합니다.

week6 숙제제출합니다.

숙제 제출합니다.

WEEK06 과제 제출합니다.

1.링크드인에서  채용정보를 수집

(HR, 인사, 직원경험 등 관련부분 24시간 기준)

https://www.linkedin.com

2. 키워드 분석

 1) Jop description에 자주 나오는 단어

 2) 해당 공고가 속한 업계

 3) 1)과 2)의 상관관계 분석

 3. 24시간 단위로 수행하며, 데이터가 누적되어 기간별로 비교분석이 되면 좋겠음