파이썬 크롤링 requests 사용

 

http 응답코드 확인해보는 테스트를 했다.

참고 영상은 다음과 같다. 나중에 다시 한 번 더 봐야겠다.

 

https://www.youtube.com/watch?v=yQ20jZwDjTE 

 

 

기본적으로 http 응답이 제대로 왔으면 200을 출력하는데, jupyter notebook으로 확인했을 때는

응답코드 200이 찍혔다.

import requests

res = requests.get("https://naver.com")
print("응답코드 :", res.status_code) # 200이면 정상

 

 

강제로 에러코드 생기게 url을 만들어서 응답코드 이상하게 나오도록 해보았다.

import requests

res = requests.get("http://naver.hello.com")
print("응답코드 :", res.status_code) # 200이면 정상

if res.status_code == requests.codes.ok:
    print("정상입니다.")
else :
    print("문제가 생겼습니다. 에러코드 [", res.status_code, "]")

 

 

 

 

res.raise_for_status()를 통해서 현재 발생한 에러를 확인할 수 있다.

문제가 있으면 바로 종료하고, 문제 없으면 스크래핑을 진행하도록 하면 된다. 

에러가 발생했을 때, 하단의 if ~ else문은 작동하지 않게 되고 발생하지 않으면 if문 내 "정상입니다"를 출력하게 된다.

res.raise_for_status() 사용해서 일부러 문제 발생시켜서 종료시켜버림, 문제 발생시 if문 안타고 바로 종료

 

res.raise_for_status() 사용해도 문제가 없도록 url 수정