Spring
Jsoup으로 로그인 후 웹 사이트 크롤링 하기
졸업 프로젝트에서 학교의 비교과, 리쿠르팅 정보들을 긁어와서 앱에 보여주기 위해 학교 사이트를 크롤링해야 해서 Jsoup으로 크롤링을 해보려고 한다. 우선 maven repository에서 Jsoup을 검색해 프로젝트에 추가하자 여기로 들어가면 된다. 난 최신버전을 선택했다. implementation group: 'org.jsoup', name: 'jsoup', version: '1.16.1' 이걸 dependency에 추가해준다. 코드 구현에 앞서 로그인 후 크롤링을 하는 방식은 해당 사이트의 인증을 세션으로 하냐 토큰으로하냐에 따라 다른데, 세션으로 하는 경우 인증된 세션 id를 가지고 요청을하면 되는 것이고, 토큰인 경우 해당 토큰을 발급받아 인증헤더와 같이 사이트에서 지정한 방식대로 넘겨주면 된..
