[설치] ubuntu에 selenium 설치해버리기~ (번외 api 크롤링)

 

나와쪄!

---

일단 우분투를 처음 깔아서 아무런 환경 설정이 되지 않은 상태를 가정하고 간다.

 

가보자고~

 

---

크롬드라이버 설치(크롬)

sudo apt install update   # 일단 업데이트

sudo apt install python3-pip  # python 설치
pip3 --version    # python 설치 됐는지 확인

sudo apt install wget -y   # 웹에서 크롬 등을 다운받기 위한 wget 다운

wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb  # 
sudo apt-get install -f  # 크롬이 zip파일이 아니라서 설치하는 듯
sudo dpkg -i ./google-chrome-stable_current_amd64.deb  # 언패킹
google-chrome --version   # 구글 크롬이 다운 됐는지랑 구글 버전 확인-크롬 드라이버 버전

wget 크롬 드라이버다운 주소
sudo apt install unzip   # unzip 다운
unzip chromedriver_linux64.zip

sudo apt install chromium-chromedriver  # 이렇게 하면 Chrome이 아니라 Chromium이 열리는데 안하면 에러남
chromedriver --version

find / -name chromedriver  # 크롬드라이버 위치 찾기

# 왠지 모르겠지만 설치해야하는 것들
sudo apt install xlrd
sudo apt-get install xvfb 
sudo pip install pyvirtualdisplay
pip install selenium  # 셀레니움 설치

 

게코드라이버 설치(파이어폭스)

sudo apt-get install firefox
mkdir firefoxDriver   # 파일 만들기, 게코드라이버는 여기 안에다가 저장하자
cd firefoxDriver  
wget https://github.com/mozilla/geckodriver/releases/download/v0.23.0/geckodriver-v0.30.0-linux64.tar.gz
gzip -d geckodriver-v0.23.0-linux64.tar.gz  # gz 압축풀기
tar -xvf geckodriver-v0.30.0-linux64.tar   # tar 압축풀기

몰랐는데 gz 압축풀고 tar 압축도 풀어야 된다...ㅎ 리눅스 안 배워서 둘다 압축파일인 줄 몰랐음...ㅜ

 

---

크롬 크롤링 코드 예시

from selenium import webdriver
# from selenium.webdriver import ActionChains
from pyvirtualdisplay import Display

display = Display(visible=0, size=(1920,1080))
display.start()

driver = webdriver.Chrome('/home/bongu/chromedriver')
url = "http://www.smartfarmkorea.net/Agree_WS/webservices/ProvideRestService/getIdentityDataList/"
service_key = # api 보안으로 삭제
# 브라우저 접속
driver.get(url+service_key)
driver.implicitly_wait(3)  #대기, 접속하는데 시간 걸림

import time
import random
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(ChromeDriverManager().install())

 

파이어폭스 크롤링 코드 예시

from selenium import webdriver

driver = webdriver.Firefox('/home/bongu/firefoxDriver/geckodriver')

# 브라우저 접속
driver.get(url+service_key+'PF_0000006')
driver.implicitly_wait(3)  #대기, 접속하는데 시간 걸림

 

 

---

 

 

끗!