크롤링 에러 requests.exceptions.SSLError: HTTPSConnectionPool

 

하.. 크롤링 돌려놓고 데이터 확인할려고 했는데

3시간쯤 ? 돌리고 나서 보니까 requests.exceptions.SSLError: HTTPSConnectionPool 에러났다고 멈췄다.

 

sleep도 걸고 했는데...ㅠㅠ 새벽작업을 해야했다...

 

찾아보니까 크게 2가지로 나뉘는 것 같다.

 

1. 신뢰할 수 없는 SSL 인증서로 인해 발생

2. 너무 많이 요청해서 네트워크 뻑남

 

 

내 경우는 HTTPSConnectionPoll이라고 했으니 2번인 것 같아서, 다시 돌리니까 다시 실행이되었따... 다행이다.

 

이거 SSL 관련 인스톨 한 것 같은데 내 서버가 아니라서,,ㅠ

 

만약 1번의 문제라면 다음과 같이 처리하면 된다.

import requests
from bs4 import BeautifulSoup

url = "https://www.daum.net"
result = requests(url, verify=false)

 

이렇게 해도 오류가 난다면,

또 찾아보니까 잘 설명해놓은 블로그가 있었다. (https://0ver-grow.tistory.com/1003)

 

pyOpenSSL 업데이트 관련 으로 보이는데,

 

pip install pyOpenSSL 로 설치하거나 업데이트 하면 되는 것으로 보인다.