sample

Serposcopeのインストール(Mac)と基本設定

前に Serposcope の検索順位の取得エラーが頻発したので、使用を止めていましたが、再開したので、備忘録を兼ねてインストールから基本設定までを記事にしました。macOS High Sierra (10.13.6) にインストールしています。 Java (JRE) のバージョンは 13.0.1 です。

Google 検索順位チェックツール Serposcope の特徴

Google で任意のキーワードを検索した時に表示されるウェブサイトの順位を取得するアプリケーションです。順位はデーターベースに保存されるので、順位の変遷を確認できます。

MIT license の元で配布されているオープンソースで、無料で使用する事ができます。

Serposcope は、プログラミング言語の Java で作成された Java アプリで、Safari や Chrome などのウェブブラウザでアプリを実行します。
Java アプリにデーターベースや HTTP サーバーが組み込まれているので、簡単な設定で登録したキーワードを元に Google の検索順位を取得する事が可能です。

Serposcope の特徴は以下になります。

  • キーワードとウェブサイトの登録が無制限(※1)
  • 競合相手の検索順位も取得可能
  • キーワードに国や地域を指定したりラメーターを付けることも可能
  • 複数のアカウントを作成でき、個別に閲覧制限が可能
  • パソコン上だけでなくサーバー上でも動作可能
  • プロキシと CAPTCHA 認証回避サービスに対応
  • GitHub でソースを公開

※1 キーワードとウェブサイトは、無制限に登録は可能ですが、短時間に多くのキーワードで検索すると アクセス制限の為、Google 側で CAPTCHA 認証が表示される場合があります。
回避策として、Serposcope の基本設定で、検索順位をチェックする間隔を短く調整、プロキシ経由で取得、CAPTCHA 認証を回避するサービスを登録する事が可能です。

Serposcope の対応 OS とダウンロード先

Java のバージョン 8 以上がインストールされている事が必須で、対応 OS は、Windows、Mac/Linuxなど、Ubuntu/Debian となっています。

ダウンロードは、serposcope の公式サイト から可能です。

Serposcope をインストールする前に Java の確認

この記事の公開時点(2019年11月30日)での、最新バージョンは Java 13.0.1 です。Java 13 は、2019年9月17日に正式リリースされました。

Java の有無とバージョンをチェックするには、ターミナル.app(※1)で、以下のコマンドを実行してチェックします。※1 アプリケーション フォルダのユーティリティの中にあります。

Mac のターミナル.app の場所
Mac のターミナル.app の場所

java -version

Java がインストールされていれば、以下のようなバージョン情報が表示されます。


java version "13.0.1" 2019-10-15
Java(TM) SE Runtime Environment (build 13.0.1+9)
Java HotSpot(TM) 64-Bit Server VM (build 13.0.1+9, mixed mode, sharing)

バージョン 8 までは、java version “1.8.0” のように先頭に 1 が付きます。
バージョン 9 以降は、先頭の 1 が無くなり、java version “9” のように、そのままのバージョン表記になります。

Serposcope は、バージョン 8 以上の Java がインストールされている必要があります。

Mac に Java をインストール

Java がインストールされていない場合は、ORACLE の java.com 無料Javaソフトウェアをダウンロード からダウンロードして、インストールすることができます。

2019年11月30日時点では、ダウンロードされたファイル名は、jre-8u231-macosx-x64.dmg となっています。

※ ORACLE の本家ウェブサイトでは色々と Java の種類があり、名称がややこしいので覚書です。

  • Java SE (Java Standard Edition)
    Java 言語で開発する最低限の機能
  • Java EE(Java Enterprise Edition)
    Java SE にサーバーサイドの機能を追加
  • JRE (Java Runtime Environment)
    Java アプリを動かすための環境
  • JDK (Java SE Development Kit)
    Java 言語の開発キット

ここの紹介している Java のダウンロード先は、JRE ( Java Runtime Environment ) なので、Java アプリである Serposcope を動かすだけだと問題はありません。

ちなみに、Java をインストールすると Mac の「システム環境設定…」に Java のコントロールパネルがインストールされていましたが、Java のバージョン 11 から無くなったようです。

The deployment stack, required for Applets and Web Start Applications has been removed. This includes the Java Control Panel used for configuring the deployment technologies
JDK 11 Is Released!

Mac に Serposcope をインストール(ダウンロード)

Google 検索順位チェックツール Serposcope のダウンロード
Google 検索順位チェックツール Serposcope のダウンロード

以上で、Serposcope を実行する環境が整いましたので、Serposcope の公式サイトjar (Mac, other Linux…) の Download をクリックしてダウンロードします。

2019年11月30日時点での Serposcope の最新バージョンは、2.11.0 なので、serposcope-2.11.0.jar という JAR ファイルがダウンロードされます。

ダウンロード後は、JAR ファイルを任意の場所(アプリケーションetc)に移動してください。serposcope.jar とファイル名をリネームしても問題ありません。

Serposcope の起動は、「serposcope-2.11.0.jar をダブルクリック」か「ターミナル.appで以下のコマンドを実行」の2種類になります。

ターミナル.app から起動する場合


cd /Applications/ && java -jar serposcope-2.11.0.jar

上記は、/Applications/ フォルダにある serposcope-2.11.0.jar を実行するといった意味になります。
アプリケーションフォルダに配置していない場合や、ファイル名を変更している場合は変更してください。

Serposcope を起動した後、Safari や Chrome などのウェブブラウザで、以下のURLにアクセスして、管理者アカウントの登録画面が表示されれば成功です!


http://127.0.0.1:7134/

serposcope ログイン画面
serposcope ログイン画面

表示された管理者アカウントの登録画面で、メールアドレスとパスワードを登録してログインできれば起動成功です。 ※ 最初の起動は、30秒ほど時間がかかる場合があります。

Serposcope の基本設定

Serposcope 基本設定 ADMIN
Serposcope 基本設定 ADMIN

Serposcope の画面上部にあるメニュー ADMIN から基本動作を設定します。
ADMIN には色々と項目がありますが、SETTINGS にある GENERAL と GOOGLE の2箇所が重要な設定部分になります。

ADMIN – GENERALの設定

Serposcope が検索順位の自動取得をスタートする時間と検索順位の履歴を保存する期間を設定します。

Cron time(定時実行)

Serposcope が自動で取得を開始する時間を設定します。
13:00 のように HH:MM 形式になります。空白の場合は自動取得しません。

Serposcope を立ち上げていないと検索順位を自動取得できません。スリープ時も同じく取得できません。

History limit(履歴の保存期間)

検索順位を保存する期間を設定できます。
0 なら履歴は無制限になります。デフォルトは365回です。

DISPLAY(表示設定)

取得した検索順位の履歴の表示形式を設定します。

  • Search default display mode
    トップページで表示されるサマリーの表示形式を設定します。
  • Website default display mode
    登録したウェブサイトの検索順位の表示形式を設定します。
  • Search default display mode
    キーワードの検索順位の表示形式を設定します。

CAPTCHA(キャプチャ認証)

Google の CAPTCHA 認証を回避するサービスを登録する事ができます。
キーワード数や検索順位を取得する間隔が短いと必要になるかも知れません。

設定を変更した場合は、ページの下部にある「Save」ボタンをクリックしてください。

ADMIN – GOOGLE の設定

Serposcope が Google での検索順位を取得する際の動作を設定する事ができます。

Number of pages(取得するページ数)

Google 検索結果で、何ページ取得するかを設定します。
次の項目 Results per page と合わせて 「 1 ページ 100 件」取得が良いかと思います。

「 4 ページ 25 件」でも 100 件取得する事になりますが、Google へのリクエストが増えるので、負荷やエラーの原因になるかも知れないので少ない方が良いかと思います。

Results per page(1ページに表示される件数)

Google の検索結果 1 ページあたり何件表示するかを設定します。
上記の理由で 100 件で良いかと思います。

Pause(リクエストを送る間隔)

Google へリクエストを送る間隔(秒)を設定します。
キーワードの数が多く、間隔が短いと Google からアクセス制限( CAPTCHA 認証)を受ける可能性が高いと思います。

最小待ち時間( Min )と最大待ち時間( Max )の間で、ランダムにリクエストを送るので、ある程度間隔が空いている方が良いかと思います。

私の場合、キーワードは 27 個登録していて、Min 100 Max 130 で、エラーなく検索順位を取得できています。 30 分ほどで終了しています。

Maximum threads(最大スレッド数)

ADMIN メニューの SETTINGS -> PROXIES でプロキシの登録が必要ですが、異なる IP で同時に検索順位の取得をする事ができます。
私は試していませんが、Google へリクエストを送る IP を分散した方がエラーになる可能性は少なくなりそうです。
検索順位の取得でエラーが頻発した場合に CAPTCHA 認証回避のサービスと共に検討するのが良いかと思います。

Fetch retries(リトライ回数)

エラーが出た場合に再試行する回数です。
何度もリクエストすると、アクセス制限で更にエラーになる可能性を考えると、デフォルトの 3 で良いかと思います。
私の環境では、2 回に減らすと ERROR_NETWORK とネットワークエラーが出るようになりました。

Country(特定の言語の検索結果)

特定の言語のページを検索します。
日本語のページの検索結果を取得したい場合は、JP – JAPAN を選択します。

キーワードを登録する際にデフォルトで設定される項目です。キーワードの登録時に変更可能です。

Serposcope のログを見ると GET https://www.google.com/search?q=キーワード&gl=jp&num=100 と gl=jp で日本語ページを取得しているようです。

Datacenter( Google のデータセンター)

Google のデータセンターの IP を入力して、直接リクエストします。

キーワードを登録する際にデフォルトで設定される項目です。キーワードの登録時に変更可能です。

Device(モバイル検索 / デスクトップ検索)

検索順位を取得したいデバイス(モバイル / デスクトップパソコン)の検索結果を設定します。
Desktop はデスクトップパソコンで、Mobile はモバイル端末(スマホやタブレットなど)になります。

キーワードを登録する際にデフォルトで設定される項目です。キーワードの登録時に変更可能です。

Local(地域)

任意の都市などの場所を指定して、検索結果を取得する設定です。

キーワードを登録する際にデフォルトで設定される項目です。キーワードの登録時に変更可能です。

Custom parameters(変数値)

例えば、「セーフモードがオンで画像検索」の検索結果を得たい場合は、safe=on& tbm=isch とURLに変数を追加します。追加していく場合は、& で区切ります。


https://www.google.com/search?q=キーワード&safe=on&tbm=isch

キーワードを登録する際にデフォルトで設定される項目です。キーワードの登録時に変更可能です。

設定を変更した場合は、ページの下部にある「Save」ボタンをクリックしてください。

ADMIN – USERS AND PERMISSIONS の設定

管理者や一般ユーザーの追加と閲覧制限を設定します。
Permissions タブでは、ユーザーが閲覧できる Groups を設定できます。

以上で Serposcope の初期設定は終了です。

キーワードの登録

キーワードの登録は、まず Serposcope のメニュー「Groups」から New Group でグループを作成します。

Serposcope Group の設定
Serposcope Group -> Websites

次に Add website で検索順位を取得したいドメインを設定します。
その後、Add Search でキーワードを登録していく流れになります。

Serposcope が動かない / 使えない場合

Serposcope 自体は Java アプリなので、Java の有無や古いバージョンなどで Serposcope が動かない状態になるかと思います。ターミナル.app で以下のコマンドを実行してみてください。


java -version

Java の最新バージョンは、ORACLE の java.com 無料Javaソフトウェアをダウンロード からダウンロードして、インストールすることができます。
もしくは、バージョンが古い場合で、Mac の「システム環境設定…」に Java の項目がある場合は、そこからアップデートを試してみてください。

実際のトラブル – Serposcope が動作しない

Java をインストール後にアクセスしても、真っ白なページが表示される状況になりました。
どうやら何故か JDK( jdk-13.0.1_osx-x64_bin.dmg )が原因だったようで、Java JDK をアンインストールして、JRE(上記の java.com のリンク先) をインストールし直したところ、正常に動作するようになりました。

実際のトラブル – サーバーに接続できません

「サーバーに接続できません」と表示される場合は、Serposcope に組み込まれている HTTP サーバーが立ち上がっていない状況だと推測できます。Serposcope を立ち上げてみてください。

実際のトラブル – 真っ白なページが表示される

真っ白なページが表示される状況になりました。
アクティビティモニター.app で、Java のプロセスを停止して、Java を立ち上げ直したところ正常に表示されるようになりました。

実際のトラブル – エラーで使えない

ADMIN -> GENERAL -> NETWORKING OPTIONS -> Pause にある設定 Min Max の数値を増やしてみてください。
私の場合、キーワード 27個で、Min 100 Max 130 でエラー無しで取得できています。
※ CAPTCHA 認証で制限を受けてる場合も考えられるので、少し時間を置いてから取得してみてください。

まとめと雑記

Seposcope の 公式ウェブサイト(英語)の Documentation にインストールの説明、クイックスタート、よくある質問、フォーラムへのリンクがあります。

前回 Serposcope を使用していた時は、少ないキーワードでも CAPTCHA 認証のエラーが出てしまい検索順位を取得できない状態でしたが、現バージョンでは問題はなさそうです。

ウェブブラウザを閉じても、Java は動いているので、気になる方は、アクティビティモニター.app で Java と検索してプロセスを終了してください。
ターミナル.app で Serposcope を起動させた場合は、ターミナル.app を終了すると Java のプロセスも終了します。

記事が長くなりましたが、ご参考になれば幸いです。

コメントをどうぞ

コメントは確認後に反映されます。
コメント内容、名前(ニックネーム可)、メールアドレスの項目は必須となります。メールアドレスは公開されません。