PHPでAPIとWebコンテンツを効率的に取得する方法

PHP
2025.01.07

PHPを使用して外部APIやWebコンテンツを取得する際、file_get_contents()のような簡単な方法に頼ると、タイムアウトやエラー制御が不十分でトラブルが生じることがあります。

本記事では、cURLライブラリを活用し、効率的かつ信頼性の高いデータ取得を実現する方法を解説します。

本記事は、PHPを活用してシステム開発を行う初心者から中級者のWeb開発者を対象にしています。

はじめに

PHPでWebコンテンツを取得する際、単純にfile_get_contents()関数を使用する方法がよく知られています。

しかし、この方法には以下のような制限や課題があります。

  1. タイムアウト制御が不十分
  2. エラーハンドリングが困難
  3. ヘッダー情報の詳細な制御が難しい
  4. SSL/TLS接続における制限

これらの課題を解決し、より柔軟で信頼性の高いコンテンツ取得を実現するための実装方法を紹介します。

効率的なコンテンツ取得の実装

cURLライブラリを使用した実装により、以下の利点が得られます。

  1. 詳細なエラーハンドリング
  2. 正確なタイムアウト制御
  3. HTTPヘッダーの柔軟な設定
  4. SSL/TLS接続のサポート
  5. プロキシサーバー経由のアクセス対応

以下が実装例です。

<?php
/**
 * getContents
 *
 * @param array $params パラメーター
 *   ['responseType']：レスポンスタイプ(デフォルト：html)
 *   ['timeout']：タイムアウト時間(デフォルト：30)
 *   ['agent']：ユーザーエージェント
 *   ['referer']：リファラー
 *   ['ssl_verifypeer']：サーバ証明書の検証
 *   ['header']：HTTPリクエストヘッダー
 *   ['proxy']：プロキシアドレス
 * @return array 受信結果
 *   ['status']：成功 -> true, 失敗 -> false
 *   ['http_code']：ステータスコード
 *   ['body']：受信内容
 *   ['message']：エラーメッセージ
 */
function getContents($url, $params = []) {
	if (empty($url) || !filter_var($url, FILTER_VALIDATE_URL)) {
		return [
			'status' => false,
			'http_code' => '',
			'body' => '',
			'message' => 'Invalid URL specified',
		];
	}

	$defaults = [
		'responseType' => 'html',
		'timeout' => 30,
		'agent' => '',
		'referer' => '',
		'header' => [],
		'proxy' => '',
	];
	$params = array_merge($defaults, $params);

	$option = [
		// 文字列として返す
		CURLOPT_RETURNTRANSFER => true,
		// タイムアウト時間
		CURLOPT_TIMEOUT => $params['timeout'],
		// サーバ証明書の検証
		CURLOPT_SSL_VERIFYPEER => true,
		// Locationをたどる
		CURLOPT_FOLLOWLOCATION => true,
		// 最大何回リダイレクトをたどるか
		CURLOPT_MAXREDIRS => 10,
		// リダイレクトの際にヘッダのRefererを自動的に追加させる
		CURLOPT_AUTOREFERER => true,
		// クッキーの "セッション" を新しく開始
		CURLOPT_COOKIESESSION => true,
	];

	if (!empty($params['agent'])) {
		// UserAgentを指定
		$option[CURLOPT_USERAGENT] = $params['agent'];
	}
	if (!empty($params['referer'])) {
		$option[CURLOPT_REFERER] = $params['referer'];
	}
	if (!empty($params['ssl_verifypeer'])) {
		$option[CURLOPT_SSL_VERIFYPEER] = $params['ssl_verifypeer'];
	}
	if (!empty($params['proxy'])) {
		// プロキシの有効化
		$option[CURLOPT_HTTPPROXYTUNNEL] = true;
		//使用するプロキシの指定
		$option[CURLOPT_PROXY] = $params['proxy'];
	}

	$defaultHeaders = [
		'Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8',
		'Accept-Language:ja,en-US;q=0.7,en;q=0.3',
		'Connection: keep-alive',
	];
	$option[CURLOPT_HTTPHEADER] = array_merge($defaultHeaders, (isset($params['header']) ? $params['header'] : []));

	if ($params['responseType'] === 'header') {
		$option[CURLOPT_HEADER] = true;
		$option[CURLOPT_NOBODY] = true;
	}

	$ch = curl_init($url);
	curl_setopt_array($ch, $option);

	$body = curl_exec($ch);
	$info = curl_getinfo($ch);
	$errorNo = curl_errno($ch);
	$errorMsg = curl_error($ch);
	curl_close($ch);

	// 「CURLE_OK」以外はエラーなのでエラー情報を返す
	if ($errorNo !== CURLE_OK) {
		// 詳しくエラーハンドリングしたい場合はerrorNoで確認
		// タイムアウトの場合はCURLE_OPERATION_TIMEDOUT
		return [
			'status' => false,
			'http_code' => (isset($info['http_code']) ? $info['http_code'] : ''),
			'body' => '',
			'message' => $errorNo . ' : ' . $errorMsg,
		];
	}

	// 200未満・400以上のステータスコードは失敗なのでそのステータスコードを返す
	if ($info['http_code'] < 200 || $info['http_code'] >= 400) {
		return [
			'status' => false,
			'http_code' => $info['http_code'],
			'body' => '',
			'message' => 'Request failed with HTTP code: ' . $info['http_code'],
		];
	}

	if ($params['responseType'] === 'header') {
		// headerのみ取得
		$responseArray = explode("\n", $body);
		$responseArray = array_map('trim', $responseArray);
		$responseArray = array_filter($responseArray, 'strlen');
		$responseArray = array_values($responseArray);
	} else if ($params['responseType'] === 'json') {
		// JSONで取得した情報を配列に変換して取得
		$responseArray = json_decode($body, true);
		if (json_last_error() !== JSON_ERROR_NONE) {
			return [
				'status' => false,
				'http_code' => $info['http_code'],
				'body' => '',
				'message' => 'JSON decode error: ' . json_last_error_msg(),
			];
		}
	} else {
		// HTMLの本体を取得
		$responseArray = $body;
	}

	return [
		'status' => true,
		'http_code' => $info['http_code'],
		'body' => $responseArray,
		'message' => $errorMsg,
	];
}

重要な実装ポイント

ヘッダー情報の適切な設定

    APIやWebサービスにアクセスする際は、適切なヘッダー情報を設定することが重要です。

    $defaultHeaders = [
    'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language: ja,en-US;q=0.7,en;q=0.3',
    'Connection: keep-alive'
];

    これにより、サーバー側で適切なコンテンツタイプやエンコーディングが選択されます。

    タイムアウト制御

      ネットワーク状況に応じた適切なタイムアウト設定が重要です。

      CURLOPT_TIMEOUT => 30,  // 30秒でタイムアウト
CURLOPT_CONNECTTIMEOUT => 5  // 接続開始から5秒でタイムアウト

      SSL/TLS対応

        セキュアな通信のための設定：

        CURLOPT_SSL_VERIFYPEER => true,
CURLOPT_SSL_VERIFYHOST => 2

        リダイレクト制御

          適切なリダイレクト処理の実装：

          CURLOPT_FOLLOWLOCATION => true,
CURLOPT_MAXREDIRS => 10

          一般的な使用例

          地域別コンテンツの取得

            異なる地域のコンテンツを取得する際のプロキシ設定：

            $result = getContents('https://api.example.com/content', [
    'proxy' => 'http://proxy.example.com:8080',
    'timeout' => 30
]);

            負荷分散のための実装

              大規模なデータ取得時の負荷分散：

              $proxies = [
    'proxy1.example.com:8080',
    'proxy2.example.com:8080'
];
foreach ($urls as $url) {
    $proxy = $proxies[array_rand($proxies)];
    $result = getContents($url, ['proxy' => $proxy]);
    // 処理
}

              APIデータの取得

                JSON形式のAPIレスポンス取得：

                $apiKey = getenv('API_KEY');
$result = getContents('https://api.example.com/data', [
    'responseType' => 'json',
    'header' => [
        'Authorization: Bearer ' . $apiKey
    ]
]);

                技術的な考慮点

                エラーハンドリング

                  • ネットワークエラー
                  • タイムアウト
                  • 無効なレスポンス
                  • SSL証明書エラー

                  パフォーマンス最適化

                    • 接続の再利用
                    • 適切なタイムアウト設定
                    • メモリ使用量の制御

                    セキュリティ考慮

                      • SSL証明書の検証
                      • リクエストヘッダーの適切な設定
                      • センシティブデータの保護

                      まとめ

                      本記事で紹介した実装方法により、以下の利点が得られます。

                      1. 信頼性の高いコンテンツ取得
                      2. 詳細なエラー制御
                      3. 柔軟な設定オプション
                      4. 効率的なリソース利用

                      実装の際は、対象となるAPIやWebサービスの利用規約を遵守し、適切なアクセス制御を行うことが重要です。

                      取得したデータは、API提供者の利用規約に準拠した範囲内でのみ使用してください。

                      また、スクレイピングを行う際には、対象サイトのロボット排除プロトコル（robots.txt）や法令を確認してください。

                      本実装を基に、各プロジェクトの要件に応じたカスタマイズを行うことで、効率的で信頼性の高いWebコンテンツ取得機能を実現できます。

                      タイトルとURLをコピーしました