개인용 복습공간

bs4와 셀레니움을 이용한 크롤링을 다뤄보려 한다. pip install bs4와 pip install pandas를 cmd창에서 인스톨해줘야 사용 가능하다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 from selenium import webdriver from bs4 import BeautifulSoup as bs import pandas as pd from selenium.webdriver.common.keys import Keys import time keyword = '롤' url = 'https://www.youtube.com/results?sear..

text 크롤링을 위해 스크롤바를 내리는 코드를 작성하여 DB에 넣어보려고 한다. 저번에 이용한 테이블을 수정하여 Column을 추가한다. 유튜브에서 롤로 입력했을 때 유튜버의 이름, 채널 url을 가져와보려고 한다. 그리고 간단하게 스크롤바를 내리는 동작을 하는 코드를 작성했다. crawl_data.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 import selenium from selenium import webdriver from time i..

크롤링한 text를 pymysql을 이용해 DB에 넣어보려고한다. MySQL Workbench를 이용해 일단 DB와 테이블을 하나 만든다. pip install pymysql을 cmd창에서 설치해주고 import 해준다. dbtest.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 import selenium from selenium import webdriver from time import sleep import time import pymysql URL = 'https://www.youtube.com/c/yangdailOfficial/videos' driver = webdriv..

간단하게 유튜브에 text를 크롬 드라이버와 셀레니움을 이용해 가져와보려고 한다. 유튜브 채널에 들어가 우클릭 - 검사를 눌러서 가져올 텍스트를 확인한다. ctrl + shift+ i를 눌러서 할 수 있다. 동영상의 제목, 유튜버, 동영상 업로드 시기, 동영상 길이, 조회수, 동영상 url이 들어있는 text의 요소를 찾는다. XPath를 복사해서 코드에 넣어준다. 셀레니움은 pip install selenium으로 cmd창에서 설치할 수 있다. crawling_one.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 import selenium from selenium import webdriver from time import sleep import time ..