[python] selenium 으로 geckodriver 실행

Selenium 문서를 보다가 파이어폭스 드라이버를 이용해서 브라우저를 제어하려고 하는데 ‘geckodriver’ executable to be in path 라는 메세지를 띄어서 구글링함

from selenium import webdriver
driver = webdriver.Firefox(executable_path='C:\yourpath\geckodriver.exe')
driver.get('https://github.com')

크롬드라이버를 사용할 경우

from selenium import webdriver
driver = webdriver.Chrome('C:\yourpath\chromedriver.exe')
driver.get('https://github.com')

 

[python] Requests 라이브러리 사용법

평소 크롤링에 관심이 있어 파이썬에 기웃거리다가 알게된 내용을 정리해봅니다.Requests 라이브러리는 해당 주소로 요청을 보내면 응답을 받도록 해주는 HTTP 클라이언트 입니다.

1.설치 및 모듈로드

#pip를 이용한 모듈설치
pip install requests
 
#requests 모듈 로드
>>>import requests

 

2.사용방법

*요청보내기

HTTP method GET, POST, PUT, DELETE, OPTION을 요청할 수 있습니다.

>>> r = requests.get('https://api.github.com/events', param = {'key':'value'})
>>> r = requests.post('https://httpbin.org/post', data = {'key':'value'})
>>> r = requests.put('https://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('https://httpbin.org/delete')
>>> r = requests.head('https://httpbin.org/get')
>>> r = requests.options('https://httpbin.org/get')

 

* 복잡한 요청

튜플이나, 딕셔너리 형태로 데이터를 전송해야하는 경우가 있을 수 있습니다.
아래의 코드중에 ‘payload_tuple’ 변수를 post로 전송한 뒤 r1.text을 확인해 보면 형태가 변경 되어 응답 된 것을 확인 할 수 있습니다.

>>> payload_tuples = [('key1', 'value1'), ('key1', 'value2')]
>>> r1 = requests.post('https://httpbin.org/post', data=payload_tuples)
>>> payload_dict = {'key1': ['value1', 'value2']}
>>> r2 = requests.post('https://httpbin.org/post', data=payload_dict)
>>> print(r1.text)
{
  ...
  "form": { 
    "key1": [
      "value1",
      "value2"
    ]
  },
  ...
}
>>> r1.text == r2.text
True

이러한 형태의 변환 없이 요청을 보내려면 json형식으로 변환하여 보내면 되겠습니다.
보내는 방법은 데이터 자체를 json으로 인코딩 해서 보내는방법과 v2.4.2버전 부터 에 추가된 json 파라메터를 이용하는 방법입니다.

– json으로 인코딩하기

>>> import json
 
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'} 
>>> r = requests.post(url, data=json.dumps(payload))

-json파라메터 이용하기

>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
 >>> r = requests.post(url, json=payload)

*파일보내기

>>> url = 'https://httpbin.org/post'
>>> files = {'file': open('report.xls', 'rb')}
 
>>> r = requests.post(url, files=files)
>>> r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

 

*응답컨텐츠

응답은 requests.text 또는 requests.content로 확인 할 수 있습니다. 이 방법의 차이는 전자는 텍스트 형식이고 후자는 바이트형식입니다.
또한 requests.encoding으로 인코딩을 확인 할 수 있으며 인코딩 변환은 requests.encoding = ‘utf-8’ 같이 원하는 형식을 지정해주면 됩니다.
>>> import requests
 
>>> r = requests.get('https://api.github.com/events')
>>> r.text
u'[{"repository":{"open_issues":0,"url":"https://github.com/...
...
...
...'
 
>>> r.encoding
'utf-8'
>>> r.encoding = 'ISO-8859-1'

 

*응답상태코드

응답에 서공하면 상태코드 200을 리턴합니다.
(400번대 코드를 리턴하면 클라이언트 에러, 500번대를 이런하면 서버측 에러입니다.)
>>> r = requests.get('https://httpbin.org/get')
>>> r.status_code
200
>>> r.status_code == requests.codes.ok
True
 
>>> bad_r = requests.get('https://httpbin.org/status/404')
>>> bad_r.status_code
404
 
>>> bad_r.raise_for_status()
Traceback (most recent call last):
  File "requests/models.py", line 832, in raise_for_status
    raise http_error
requests.exceptions.HTTPError: 404 Client Error

만약 status_code가 200이면 raise_for_status()를 사용하면 빈값을 리턴합니다.

*헤더변경

>>> url = 'https://api.github.com/some/endpoint'
>>> headers = {'user-agent': 'my-app/0.0.1'}
>>> r = requests.get(url, headers=headers)

 

*헤더응답

>>> r.headers
{
    'content-encoding': 'gzip',
    'transfer-encoding': 'chunked',
    'connection': 'close',
    'server': 'nginx/1.0.4',
    'x-runtime': '148ms',
    'etag': '"e1ca502697e5c9317743dc078f67693f"',
    'content-type': 'application/json'
}
 
>>> r.headers['Content-Type']
'application/json'
 
>>> r.headers.get('content-type')
'application/json'

 

* 쿠키

만약 응답에 쿠키가 포함 되어있다면 아래와 같이 접근할 수 있습니다.

>>> url = 'http://example.com/some/cookie/setting/url'
>>> r = requests.get(url)
 
>>> r.cookies['example_cookie_name']
'example_cookie_value'


출처: https://yoojisung.tistory.com/13 [개발자 유지성의 블로그]

반대로 서버에게 쿠키를 보내야할 경우 cookies 파라메터를 이용합니다.

>>> url = 'https://httpbin.org/cookies'
>>> cookies = dict(cookies_are='working')
 
>>> r = requests.get(url, cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "working"}}'

 

*리다이렉션 과 히스토리

경우에 따라서 해당페이지에서 리다이렉션이 되는 것을 방지하고자 할때 allow_redirects 매개변수를 사용합니다.

>>> r = requests.get('http://github.com/', allow_redirects=False)
 
>>> r.status_code
301
 
>>> r.history
[]
 
>>> r = requests.head('http://github.com/', allow_redirects=True)
 
>>> r.url
'https://github.com/'
 
>>> r.history
[<Response [301]>]

 

*타임아웃

timeout 매개변수를 사용해서 설정한 시간이 지나면 응답을 종료합니다. 응답이 돌아올때까지 서버가 일을 하는 것을 방지 하는 목적같습니다.

>>> requests.get('https://github.com/', timeout=0.001)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

requests 공식 사이트

http://docs.python-requests.org/en/master/

IFrame Player API을 이용한 유튜브 동영상 제어하기

작업을 하다보면 iframe으로 삽입한 유튜브 동영상을 제어해야하는 경우가 있어 구글링을 통해서 얻은 정보를 정리해봅니다.

  • events 속성에 onReady, onStateChange와 같이 콜백함수를 지정할수 있다.
  • 플레이어 매개변수 playerVars를 통해서 자동재생, 재생바 숨김, 관련동영상 표시 여부등을 설정할 수 있다.
  • YT.Player의 매서드를 이용해서 플레이어를 제어할 수 있다.
그밖에 다양한 기능을 제공하고 있습니다. 자세한 내용은 공식문서를 참고하세요.
<!DOCTYPE html>
<html>
  <body>
    <!-- 1. The <iframe> (and video player) will replace this <div> tag. -->
    <div id="player"></div>
 
    <script>
      // 2. This code loads the IFrame Player API code asynchronously.
      var tag = document.createElement('script');
 
      tag.src = "https://www.youtube.com/iframe_api";
      var firstScriptTag = document.getElementsByTagName('script')[0];
      firstScriptTag.parentNode.insertBefore(tag, firstScriptTag);
 
      // 3. This function creates an <iframe> (and YouTube player)
      //    after the API code downloads.
      var player;
      function onYouTubeIframeAPIReady() {
        player = new YT.Player('player', {
          height: '360',
          width: '640',
          videoId: 'M7lc1UVf-VE',
          playerVars : {
            'controls': 0, //플레이어 컨드롤러 표시여부
            'rel': 0, //연관동영상 표시여부
            'playsinline': 1, //ios환경에서 전체화면으로 재생하지 않게하는 옵션
            'autoplay': 1, //자동재생 여부(모바일에서 작동하지 않습니다. mute설정을 하면 작동합니다.)
'loop': 1,
'playlist': 'M7lc1UVf-VE' }, events: { 'onReady': onPlayerReady, 'onStateChange': onPlayerStateChange } }); } // 4. The API will call this function when the video player is ready. function onPlayerReady(event) { event.target.playVideo(); } // 5. The API calls this function when the player's state changes. // The function indicates that when playing a video (state=1), // the player should play for six seconds and then stop. var done = false; function onPlayerStateChange(event) { if (event.data == YT.PlayerState.PLAYING && !done) { setTimeout(stopVideo, 6000); done = true; } } function stopVideo() { player.stopVideo(); } </script> </body> </html>