疑念は探究の動機であり、探究の唯一の目的は信念の確定である。

数学・論理学・哲学・語学のことを書きたいと思います。どんなことでも何かコメントいただけるとうれしいです。特に、勉学のことで間違いなどあったらご指摘いただけると幸いです。 よろしくお願いします。くりぃむのラジオを聴くこととパワポケ2と日向坂46が人生の唯一の楽しみです。

近況報告

毎月のブログ更新のためサボり記事。
今日付で会社を辞めた。
2019年の4月1日からちょうど2年で辞めた。明日から別の会社で働く。
今の会社ではいろいろのことを学んだ。その内容は今は書かないが、それが次の会社で活かせればと思う。

当初は起業する予定で辞めたのだが、その後、代表取締役が採算が取れないと起業を諦めたため、起業は頓挫して、新しい会社に入った。
次の会社ではとりあえずなんとか受注を受けて生き抜くことが当面の目標である。その間に何か別のビジネスができればいいと思っている。

**********

在宅勤務をおこなっているとき、しばしば隣の家から怒号が聞こえていた。その家はおじいさんとおばあさんの二人暮らしであり、その罵声の主はおじいさんであった。
「ばばあ!!」と叫ぶ声は近所に広がり、業務に集中できなかった。じいさんはほぼ寝たきりの状態で体が悪く、たいしてばあさんは買い物に行くなど一通りのことはできる状態であった(と思う)。
私は「これから毎日のように在宅で仕事をしなければならないのに、この罵声を聞かなければならないのか」と嫌な気持ちになっていた。そして「おそらくこの怒号が消え去るのはじいさんが死んだ後のことになるだろう」と思っていた。
昨日、起きて窓を開けてみると隣の家に喪服姿の人たちが何人かいた。「どうしたのだとう」と眺めてしばらく観察してみた。どうやら隣の家に不幸があったようだった。いつも家の中にいるじいさんが車椅子に乗って、どこかへ出かけている。おばあさんが亡くなったようだった。
おばあさんとは関わりはなかった。しかし少しショックだった。亡くなったと知って(正確にはそのように推測したに過ぎないが)、振り返ってみると、最後におばあさんを見たのは1週間ぐらい前の夜であった。
夜10時ごろに家に帰った時、おばあさんが玄関前で猫に「もうそろそろ家にお入り」と話しているところだった。私はそれをじとっと見て、向こうも自分のことに気づき、お互いに目があったが、そのまま無視して家に入った。それが最後だった。部屋に入って「『こんばんは』と一言、言えばよかったな」と少し思ったが、まさかそれが最後になるとは夢にも思わなかった。人はあっけなく急に死ぬこともあるんだなと気づかされた。そして今のところおばあさんが可愛がっていた猫を見かけていない。あの猫はどこに行ったのだろうか。
葬儀が終わった後、家に戻ってきたおじいさんは少し弱気になっていたように見えた。というのも親族の一人にたいして「俺はもう一人なんだから、たまには顔を出しておくれ」と言っていたからである。じいさんもばあさんが死ぬことは想定していなかったのだろう。
個人的にはこれでもう近隣から罵声を聞かずに済むこととなるので嬉しいのだが、まさか罵声を浴びせるほうではなく、罵声を浴びせられていたほうが消えるとは思っていなかった。

母親にこのことを話したら、自分のじいさんとばあさんも似たようなものだったとのことだった。曰く、おばあさんは晩年、毎日のように「くそじじい、さっさと死ね!」と罵声を発していたが、いざおじいさんが死ぬと「なんで死ぬんだ! 悲しいよ」とおめおめと悲劇のヒロインとなっていたらしい。「そんな後悔するんだったら、最初っからそんな罵詈雑言、言わなきゃいいのに」と思うけども、キレやすくなる認知症のパターンがあるらしく、怒号を発せずにはいられない。そのようなケースが意外に多いのだとのことだった。

*********

とりあえずは私は自分のしたいことをしよう。いつ死ぬかもわからないから。


僕から以上

Pythonでコマンドライン引数を使って実行する方法

概要
コマンドライン引数を使ってPythonのファイルを実行する方法を示す。
コマンドライン引数を実行するためにはargparseをインポートすればよい。


ソースコード arg_parse.py

import argparse
parser = argparse.ArgumentParser()

num1 = 6
num2 = 3

#### Caution:
#### The command '-h' does not allowed
#### because '-h' is preserved that '-h' is '--help'.
parser.add_argument('-a', '--add', help='operation add', action='store_true')
parser.add_argument('-s', '--subtraction', help='operation subtraction', action='store_true')
parser.add_argument('-m', '--multiplication', help='operation multiplication', action='store_true')
parser.add_argument('-d', '--division', help='operation division', action='store_true')
parser.add_argument('-taa', '--two_args_add', nargs=2, type=int, help='two arguments add')

parser.add_argument('-t', '--test_one_arg', type=int, default=0, help='test one argument with default')

args = parser.parse_args()
print('args = {}'.format(args))
print('num1 = {}'.format(num1))
print('num2 = {}'.format(num2))

if args.add:
    print('num1 + num2 = {}'.format(num1 + num2))

if args.subtraction:
    print('num1 - num2 = {}'.format(num1 - num2))

if args.multiplication:
    print('num1 * num2 = {}'.format(num1 * num2))

if args.division:
    print('num1 / num2 = {}'.format(num1 / num2))

if args.two_args_add:
    args1 = args.two_args_add[0]
    args2 = args.two_args_add[1]
    print('args1 + args2 = {} + {} = {}'.format(args1, args2, args1 + args2))

####
print('type(args) = {}'.format(type(args)))
print('vars(args) = {}'.format(vars(args)))
print('type(vars(args)) = {}'.format(type(vars(args))))

####
dict_args = vars(args)
bool_flag = False
for var in list(dict_args.values()):
    if var:
        bool_flag = True

if not bool_flag:
    print('NO OPTION')

####
for key, value in dict_args.items():
    if value:
       print('key: {}, value: {}'.format(key, value))


実行結果
(I) NO OPTIONS:
f:id:yoheiwatanabe0606:20210228223042p:plain

(II) OPTION: f:id:yoheiwatanabe0606:20210228223202p:plain

(III) TWO ARGUMENTS:
f:id:yoheiwatanabe0606:20210228223404p:plain

(IV) help option:
f:id:yoheiwatanabe0606:20210228223451p:plain

(未完)

PythonでChromeDriverを自動更新するプログラムを作った(再掲)。

概要
Seleniumchrome driverを使ってスクレイピングをおこなうが、Googleクロムのアプリは自動的に最新版となる。それによって、chrome driverのバージョンとクロムのバージョンが異なることによって、次のようなエラーが生じる。

selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 83

通常は最新のchrome driverをウェブ上からダウンロードして新しいchrome driverに替えなければならない。
今回はchrome driverを最新版のバージョンに自動的にアップデートするようなプログラムをrequestsBeautifulSoupなどを用いて作る。


プログラム

### import Selenium
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys

import subprocess
import re
import os
import urllib.request
import requests
from bs4 import BeautifulSoup

### get the current chrome version
def get_chrome_version():
    chrome = '/Applications/Google Chrome.app/Contents/MacOS/Google Chrome'

    chrome_data = subprocess.run([chrome, '--version'], stdout=subprocess.PIPE, encoding='UTF-8')

    chrome_str  = chrome_data.stdout
    ch_reg_exp  = re.findall('\d+', chrome_str)
    ch_full_ver = '.'.join(ch_reg_exp)
    ch_int_ver  = ch_reg_exp[0]

    chrome_version = ch_full_ver, ch_int_ver

    return chrome_version


### download the suitable chrome driver
def download_chrome_driver(chrome_version):
    download_return = False
    download_dir = '/Users/USERNAME_XXXXX/Downloads'
    url = 'https://chromedriver.chromium.org/downloads'
    res   = requests.get(url)
    soup  = BeautifulSoup(res.text, 'html.parser')
    list_notes_txt = soup.find_all('a', href=re.compile('notes.txt'))

    download_url = None
    mac_file     = '/chromedriver_mac64.zip'
    for notes_txt in list_notes_txt:
        match = re.search(r'\d+', notes_txt.get('href'))
        if match.group(0) == chrome_version:
            notes_txt = notes_txt.get('href')
            download_url = os.path.dirname(notes_txt) + mac_file
            break

    if download_url != None:
        new_chrome_driver = download_dir + mac_file
        ### download
        urllib.request.urlretrieve(download_url, new_chrome_driver)

        ### unzip the file 'chromedriver_mac64.zip'
        subprocess.run(['unzip', new_chrome_driver], stdout=subprocess.PIPE, encoding='UTF-8')

        ### delete the zip file
        subprocess.run(['rm', new_chrome_driver])

        ### Because the unzipped chrome driver lies in the current directory, move it to the directory 'download_dir'
        subprocess.run(['mv', './chromedriver', download_dir])
        download_return = True

    return download_return

### change the new chrome driver
def change_new_chrome_driver():
    old_chrome_driver = '/Users/USERNAME_XXXXX/opt/anaconda3/lib/python3.7/site-packages/chromedriver_binary/chromedriver'
    new_chrome_driver = '/Users/USERNAME_XXXXX/Downloads/chromedriver'

    subprocess.run(['open', new_chrome_driver])
    subprocess.run(['rm', old_chrome_driver])
    subprocess.run(['mv', new_chrome_driver, old_chrome_driver])

### main
### Initialize Chrome
try:
    ### Success
    DRIVER_PATH = r'/Users/USERNAME_XXXXX/opt/anaconda3/lib/python3.7/site-packages/chromedriver_binary/chromedriver'
    options = Options()
    options.add_argument('--headless')

    driver = webdriver.Chrome(executable_path=DRIVER_PATH, options=options)

except Exception:
    #### Version Error
    ### STEP 1: get the current chrome version
    ret_val_1 = get_chrome_version()

    ### STEP 2: download the suitable chrome driver
    ret_val_2 = download_chrome_driver(ret_val_1[1])

    ### STEP 3: change the new chrome driver
    if ret_val_2 == True:
        change_new_chrome_driver()


プログラムの方針
STEP 1: 現在のGoogle Chromeのバージョンを取得する。
1.1: subprocessを使って、Chromeのバージョンを取得する。
ターミナル上で次のコマンドを打つと、現在使用中のChromeのバージョンがわかる。

$ Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --version
$ Google Chrome 87.0.4280.67

このコマンド操作をsubprocessを使って、Pythonのファイルでおこなう。

1.2: reを使って、取得したChromeの情報からバージョンの数値のみを取得する。
(87.0.4280.67, 87)


STEP 2: requestsBeautifulSoupで適切なバージョンのchrome driverを取得する。
2.1: バージョンに合うURLを取得する。
https://chromedriver.storage.googleapis.com/87.0.4280.88/chromedriver_mac64.zip

2.2: urllib.request.urlretrieveを使って、ダウンロードする(requestsでもできると思う)。

2.3: subprocessを使って、zip形式を解凍して、zipファイルを捨てる。


STEP 3: subprocessを使って、すでにあるchrome driverをDownloads配下にある最新のchrome driverに変更させる。

(だいたい完)

C言語の文字列について: 完全攻略ガイド

概要
C言語において文字列の扱いは極めて難しい。
今回はC言語の文字列についてステップバイステップで説明する。

対象者
とりあえずC言語の配列やポインタを一通り勉強したけれども、まだ全然よくわからない人。


プログラム

#include <stdio.h>
#include <stdlib.h>
int main(void)
{
    // STEP 1
    printf("-----STEP 1-----\n");
    printf("Hello, World!\n");
    printf("\n");

    // STEP 2: use place holders 
    printf("-----STEP 2-----\n");
    printf("%s\n", "Hello, World!!");
    printf("Addr of \"Hello, World!!\"  = %p\n", "Hello, World!!");
    printf("Addr of &\"Hello, World!!\" = %p\n", &"Hello, World!!");
    printf("\"Hello, World!!\"[0]  = %c\n", "Hello, World!!"[0]);
    printf("\"Hello, World!!\"[1]  = %c\n", "Hello, World!!"[1]);
    printf("\"Hello, World!!\"[2]  = %c\n", "Hello, World!!"[2]);
    printf("\"Hello, World!!\"[3]  = %c\n", "Hello, World!!"[3]);
    printf("\"Hello, World!!\"[4]  = %c\n", "Hello, World!!"[4]);
    printf("\"Hello, World!!\"[5]  = %c\n", "Hello, World!!"[5]);
    printf("\"Hello, World!!\"[6]  = %c\n", "Hello, World!!"[6]);
    printf("\"Hello, World!!\"[7]  = %c\n", "Hello, World!!"[7]);
    printf("\"Hello, World!!\"[8]  = %c\n", "Hello, World!!"[8]);
    printf("\"Hello, World!!\"[9]  = %c\n", "Hello, World!!"[9]);
    printf("\"Hello, World!!\"[10] = %c\n", "Hello, World!!"[10]);
    printf("\"Hello, World!!\"[11] = %c\n", "Hello, World!!"[11]);
    printf("\"Hello, World!!\"[12] = %c\n", "Hello, World!!"[12]);
    printf("\"Hello, World!!\"[13] = %c\n", "Hello, World!!"[13]);
    printf("\"Hello, World!!\"[14] = %c\n", "Hello, World!!"[14]);
    printf("\n");

    printf("\\x020 = %c\n", '\x020');
    printf("\\0 = %c\n", '\0');

    printf("Hello,\\x020World! = %s\n", "Hello,\x020World!");

    // STEP 3: use variables
    // 3.1: Initialize
    // Pointers 
    char *ptr_str_init  = "PTR INIT: Hello, World!!!";

    // Arrays
    char arr_str_init[] = "ARR INIT: Hello, World!!!";
    printf("-----STEP 3.1-----\n");
    printf("%s\n", arr_str_init);
    printf("%s\n", ptr_str_init);
    printf("\n");

    // 3.2: Declaration and Substitution
    // Pointers
    char *ptr_str_dec;
    ptr_str_dec = "PTR DEC: Hello, World!!!";

    // Arrays
    char arr_str_dec[30];
    arr_str_dec[0] = 'A';
    arr_str_dec[1] = 'R';
    arr_str_dec[2] = 'R';
    arr_str_dec[3] = ' ';
    arr_str_dec[4] = 'D';
    arr_str_dec[5] = 'E';
    arr_str_dec[6] = 'C';
    arr_str_dec[7] = ':';
    arr_str_dec[8] = ' ';
    arr_str_dec[9] = 'H';
    arr_str_dec[10] = 'e';
    arr_str_dec[11] = 'l';
    arr_str_dec[12] = 'l';
    arr_str_dec[13] = 'o';
    arr_str_dec[14] = ',';
    arr_str_dec[15] = ' ';
    arr_str_dec[16] = 'W';
    arr_str_dec[17] = 'o';
    arr_str_dec[18] = 'r';
    arr_str_dec[19] = 'l';
    arr_str_dec[20] = 'd';
    arr_str_dec[21] = '!';
    arr_str_dec[22] = '!';
    arr_str_dec[23] = '!';
    arr_str_dec[24] = '\0';

    // Mallocs
    char *mlc_str_dec;
    mlc_str_dec = malloc(30);
    mlc_str_dec[0] = 'M';
    mlc_str_dec[1] = 'L';
    mlc_str_dec[2] = 'C';
    mlc_str_dec[3] = ' ';
    mlc_str_dec[4] = 'D';
    mlc_str_dec[5] = 'E';
    mlc_str_dec[6] = 'C';
    mlc_str_dec[7] = ':';
    mlc_str_dec[8] = ' ';
    mlc_str_dec[9] = 'H';
    mlc_str_dec[10] = 'e';
    mlc_str_dec[11] = 'l';
    mlc_str_dec[12] = 'l';
    mlc_str_dec[13] = 'o';
    mlc_str_dec[14] = ',';
    mlc_str_dec[15] = ' ';
    mlc_str_dec[16] = 'W';
    mlc_str_dec[17] = 'o';
    mlc_str_dec[18] = 'r';
    mlc_str_dec[19] = 'l';
    mlc_str_dec[20] = 'd';
    mlc_str_dec[21] = '!';
    mlc_str_dec[22] = '!';
    mlc_str_dec[23] = '!';
    mlc_str_dec[24] = '\0';


    printf("-----STEP 3.2-----\n");
    printf("%s\n", ptr_str_dec);
    printf("%s\n", arr_str_dec);
    printf("%s\n", mlc_str_dec);
    printf("\n");
    free(mlc_str_dec);


    printf("-----STEP 4-----\n");
    // Pointers
    printf("Addr of \"PTR STO: Hello, World!!!!\" = %p\n", "PTR STO: Hello, World!!!!");
    char *ptr_str_sto;
    ptr_str_sto = "PTR STO: Hello, World!!!!";

    /* Notes:   */
    /*
    error: redefinition of 'ptr_str_sto'
    char *ptr_str_sto = "PTR STO: hello, world!!!!"; 
    */

    printf("Addr of ptr_str_sto       = %p\n", ptr_str_sto);
    printf("%s\n", ptr_str_sto);
    
    printf("Addr of \"ptr sto: hello, world!!!!\" = %p\n", "ptr sto: hello, world!!!!");
    ptr_str_sto = "ptr sto: hello, world!!!!"; 
    printf("Addr of ptr_str_sto                 = %p\n", ptr_str_sto);
    printf("%s\n", ptr_str_sto);
    
    
    /* -------- */
    char arr_str_sto[30] = {'A', 'R', 'R', ' ', 'S', 'T', 'O', ':', ' ', 'H', 'e', 'l', 'l', 'o', ',', ' ', 'W', 'o', 'r', 'l', 'd', '!', '!', '!', '!', '\0'};

    printf("Addr of arr_str_sto = %p\n", arr_str_sto);
    printf("%s\n", arr_str_sto);
    printf("\n");
    arr_str_sto[0] = 'a';
    arr_str_sto[1] = 'r';
    arr_str_sto[2] = 'r';
    arr_str_sto[4] = 's';
    arr_str_sto[5] = 't';
    arr_str_sto[6] = 'o';
    arr_str_sto[9] = 'h';
    arr_str_sto[16] = 'w';

    printf("Addr of arr_str_sto = %p\n", arr_str_sto);
    printf("%s\n", arr_str_sto);
    
   //copy
   int i = 1;
   int j = 2;
   printf("Addr of int i = %p\n", &i);
   printf("int i         = %d\n", i);
   i = j;
   printf("Addr of int i = %p\n", &i);
   printf("int i         = %d\n", i);

   char *mlc_string1 = malloc(10);
   char *mlc_string2 = malloc(10);
   mlc_string1[0] = 'H';
   mlc_string1[1] = 'e';
   mlc_string1[2] = 'l';
   mlc_string1[3] = 'l';
   mlc_string1[4] = 'o';

   mlc_string2[0] = 'h';
   mlc_string2[1] = 'e';
   mlc_string2[2] = 'l';
   mlc_string2[3] = 'l';
   mlc_string2[4] = 'o';

//Error: Abort   mlc_string2 = "hello";   
   printf("mlc_string1 = %s\n", mlc_string1);
   printf("mlc_string2 = %s\n", mlc_string2);
   
//Error: Abort   mlc_string1 = mlc_string2;

   printf("mlc_string1 = %s\n", mlc_string1);
   free(mlc_string1);
   free(mlc_string2);


    return 0;
}


実行結果

-----STEP 1-----
Hello, World!

-----STEP 2-----
Hello, World!!
Addr of "Hello, World!!"  = 0x103f71b99
Addr of &"Hello, World!!" = 0x103f71b99
"Hello, World!!"[0]  = H
"Hello, World!!"[1]  = e
"Hello, World!!"[2]  = l
"Hello, World!!"[3]  = l
"Hello, World!!"[4]  = o
"Hello, World!!"[5]  = ,
"Hello, World!!"[6]  =  
"Hello, World!!"[7]  = W
"Hello, World!!"[8]  = o
"Hello, World!!"[9]  = r
"Hello, World!!"[10] = l
"Hello, World!!"[11] = d
"Hello, World!!"[12] = !
"Hello, World!!"[13] = !
"Hello, World!!"[14] = 

\x020 =  
\0 = 
Hello,\x020World! = Hello, World!
-----STEP 3.1-----
ARR INIT: Hello, World!!!
PTR INIT: Hello, World!!!

-----STEP 3.2-----
PTR DEC: Hello, World!!!
ARR DEC: Hello, World!!!
MLC DEC: Hello, World!!!

-----STEP 4-----
Addr of "PTR STO: Hello, World!!!!" = 0x103f71e77
Addr of ptr_str_sto       = 0x103f71e77
PTR STO: Hello, World!!!!
Addr of "ptr sto: hello, world!!!!" = 0x103f71edb
Addr of ptr_str_sto                 = 0x103f71edb
ptr sto: hello, world!!!!
Addr of arr_str_sto = 0x7ffeebc8f860
ARR STO: Hello, World!!!!

Addr of arr_str_sto = 0x7ffeebc8f860
arr sto: hello, world!!!!
Addr of int i = 0x7ffeebc8f834
int i         = 1
Addr of int i = 0x7ffeebc8f834
int i         = 2
mlc_string1 = Hello
mlc_string2 = hello
mlc_string1 = Hello


(未完)

PythonでChromeDriverを自動更新するプログラムを作った。

概要
Seleniumchrome driverを使ってスクレイピングをおこなうが、Googleクロムのアプリは自動的に最新版となる。それによって、chrome driverのバージョンとクロムのバージョンが異なることによって、次のようなエラーが生じる。

selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 83

通常は最新のchrome driverをウェブ上からダウンロードして新しいchrome driverに替えなければならない。
今回はchrome driverを最新版のバージョンに自動的にアップデートするようなプログラムをrequestsBeautifulSoupなどを用いて作る。


プログラム

### import Selenium
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys

import subprocess
import re
import os
import urllib.request
import requests
from bs4 import BeautifulSoup

### get the current chrome version
def get_chrome_version():
    chrome = '/Applications/Google Chrome.app/Contents/MacOS/Google Chrome'

    chrome_data = subprocess.run([chrome, '--version'], stdout=subprocess.PIPE, encoding='UTF-8')

    chrome_str  = chrome_data.stdout
    ch_reg_exp  = re.findall('\d+', chrome_str)
    ch_full_ver = '.'.join(ch_reg_exp)
    ch_int_ver  = ch_reg_exp[0]

    chrome_version = ch_full_ver, ch_int_ver

    return chrome_version


### download the suitable chrome driver
def download_chrome_driver(chrome_version):
    download_return = False
    download_dir = '/Users/USERNAME_XXXXX/Downloads'
    url = 'https://chromedriver.chromium.org/downloads'
    res   = requests.get(url)
    soup  = BeautifulSoup(res.text, 'html.parser')
    list_notes_txt = soup.find_all('a', href=re.compile('notes.txt'))

    download_url = None
    mac_file     = '/chromedriver_mac64.zip'
    for notes_txt in list_notes_txt:
        match = re.search(r'\d+', notes_txt.get('href'))
        if match.group(0) == chrome_version:
            notes_txt = notes_txt.get('href')
            download_url = os.path.dirname(notes_txt) + mac_file
            break

    if download_url != None:
        new_chrome_driver = download_dir + mac_file
        ### download
        urllib.request.urlretrieve(download_url, new_chrome_driver)

        ### unzip the file 'chromedriver_mac64.zip'
        subprocess.run(['unzip', new_chrome_driver], stdout=subprocess.PIPE, encoding='UTF-8')

        ### delete the zip file
        subprocess.run(['rm', new_chrome_driver])

        ### Because the unzipped chrome driver lies in the current directory, move it to the directory 'download_dir'
        subprocess.run(['mv', './chromedriver', download_dir])
        download_return = True

    return download_return

### change the new chrome driver
def change_new_chrome_driver():
    old_chrome_driver = '/Users/USERNAME_XXXXX/opt/anaconda3/lib/python3.7/site-packages/chromedriver_binary/chromedriver'
    new_chrome_driver = '/Users/USERNAME_XXXXX/Downloads/chromedriver'

    subprocess.run(['open', new_chrome_driver])
    subprocess.run(['rm', old_chrome_driver])
    subprocess.run(['mv', new_chrome_driver, old_chrome_driver])

### main
### Initialize Chrome
try:
    ### Success
    DRIVER_PATH = r'/Users/USERNAME_XXXXX/opt/anaconda3/lib/python3.7/site-packages/chromedriver_binary/chromedriver'
    options = Options()
    options.add_argument('--headless')

    driver = webdriver.Chrome(executable_path=DRIVER_PATH, options=options)

except Exception:
    #### Version Error
    ### STEP 1: get the current chrome version
    ret_val_1 = get_chrome_version()

    ### STEP 2: download the suitable chrome driver
    ret_val_2 = download_chrome_driver(ret_val_1[1])

    ### STEP 3: change the new chrome driver
    if ret_val_2 == True:
        change_new_chrome_driver()


プログラムの方針
STEP 1: 現在のGoogle Chromeのバージョンを取得する。
1.1: subprocessを使って、Chromeのバージョンを取得する。
ターミナル上で次のコマンドを打つと、現在使用中のChromeのバージョンがわかる。

$ Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --version
$ Google Chrome 87.0.4280.67

このコマンド操作をsubprocessを使って、Pythonのファイルでおこなう。

1.2: reを使って、取得したChromeの情報からバージョンの数値のみを取得する。
(87.0.4280.67, 87)


STEP 2: requestsBeautifulSoupで適切なバージョンのchrome driverを取得する。
2.1: バージョンに合うURLを取得する。
https://chromedriver.storage.googleapis.com/87.0.4280.88/chromedriver_mac64.zip

2.2: urllib.request.urlretrieveを使って、ダウンロードする(requestsでもできると思う)。

2.3: subprocessを使って、zip形式を解凍して、zipファイルを捨てる。


STEP 3: subprocessを使って、すでにあるchrome driverをDownloads配下にある最新のchrome driverに変更させる。

(だいたい完)

C言語の構造体とtypedefとsizeofについて

C言語の構造体の書き方についてまとめました。
また、構造体のサイズを取得するときのsizeofについてまとめました。
typedefをtypedefすることは基本的にないそうです。
また、構造体をsizeofをすると自動的にパディングします。余計なビットが加わります。

ソースコード

#include <stdio.h>

// without typedef
struct st_example {
    char char_;
    int  int_;
};

// with typedef (1)
typedef struct {
    char char_;
    short short_;
} st_example_typedef;


//with typedef (2)
typedef struct _st_example {
    char char_;
    int int_;
} st_example_;

// we do not define typedef struct st_example_ *example_ptr;
typedef struct _st_example *example_ptr;

int main(void) {

// without typedef
struct st_example ins;
ins.char_ = 'a';
ins.int_ = 1;

printf("ins.char_ = %c\n", ins.char_);
printf("ins.int_ = %d\n", ins.int_);
printf("sizeof(struct st_example) = %lu\n", sizeof(struct st_example));
printf("-------------------\n");

// with typedef (1)
st_example_typedef ins_td;
ins_td.char_ = 'b';
ins_td.short_ = 2; 

printf("ins_td.char_ = %c\n", ins_td.char_);
printf("ins_td.short_ = %d\n", ins_td.short_);

printf("sizeof(st_example_typedef) = %lu\n", sizeof(st_example_typedef));


実行結果

ins.char_ = a
ins.int_ = 1
sizeof(struct st_example) = 8
ーーーーーーーーーー
ins_td.char_ = b
ins_td.short_ = 2
sizeof(st_example_typedef) = 4

最初の構造体st_exampleのサイズはintが4バイトであるため、charの1バイトプラス3バイト分、追加されます。したがって、sizeof(struct st_example)は4 + 1 + 3 = 8バイトとなります。

一方で、次の構造体st_example_typedefのサイズはshortが2バイトですので、charの1バイトプラス1バイト分、追加されます。したがって、sizeof(st_example_typedef)は2 + 1 + 1 = 4バイトとなります。


また、一度typedefしたものをさらにtypedefはしないそうです。
つまり、typedef struct _st_example *example_ptr;はしますが、typedef st_example_ *example_ptr;はしません。理由はよくわかりませんが。



僕から以上

PythonのSeleniumでWebスクレイピングをする(Mac): 基本編

概要
PythonSeleniumはウェブ上のサイトを自動で探索する。それを利用して必要なデータを自動的に取得するプログラムをつくる。
今回はSeleniumの使用する環境構築を主として述べる。
Seleniumのテスト試験として次のようなプログラムを作成する。つまり、Googleのホームページに入って、検索欄に「ゼロからはじめるPython」を入力して、検索ボタンを押すというものである。

さらに、よく使う機能をまとめる。


ソースコード

# test.py

import time 
from selenium import webdriver

# 1) Initialize Chrome
# DRIVER_PATH is dependent on your environment.

DRIVER_PATH = '/Users/USERNAME/opt/anaconda3/lib/python3.7/site-packages/chromedriver_binary/chromedriver'
driver = webdriver.Chrome(DRIVER_PATH)

# 2) Open the Google page
driver.get('https://www.google.com')

#### Fig.1

# 3) Wait until the page
time.sleep(3) 

# 4) Get an object of the search box
q = driver.find_element_by_name('q')

# 5) Send the key to the search box
q.send_keys('ゼロからはじめるPython')

#### Fig.2

# 6) submit the form
q.submit()

# 7) Wait in 10 seconds
time.sleep(10)

#### Fig.3

# 8) Finalize the driver
driver.quit()


実行結果
(1) Googleのホームページが自動的に立ち上がる
f:id:yoheiwatanabe0606:20200930200413p:plain
Fig.1


(2) 検索欄に「ゼロからはじめるPython」が自動的に入る
f:id:yoheiwatanabe0606:20200930200418p:plain
Fig.2


(3) 自動的にクリックされて検索結果が表示される
f:id:yoheiwatanabe0606:20200930200424p:plain
Fig.3


(4) 10秒待って、終わるページが消える

  • はじめに
  • 注意点
  • 環境構築の方法
    • STEP 1: Google Chromeをインストール
    • STEP 2: pipでseleniumおよびchromedriver-binaryをインストール
    • STEP 3: chromedriverの場所を見つける。
      • 3.1: Finderからcommand + Fを押す(Find)
      • 3.2: Searchボックスに「chromedriver」と検索する
      • 3.3: chromedriverをクリックして、パスを右クリックする
      • 3.4: 「Copy "chromedriver" as Pathname」をクリック
    • STEP 4: テストソースを書く
  • うまくいかなかった場合の対処法
  • よく使うテクニック
  • 最後に
続きを読む