Получите окончательный URL-адрес перенаправления на Tricky Redirects

Здравствуйте, я пытаюсь получить конечный URL-адрес после перенаправления HTTP в PHP, который я использовал это решение:

но для некоторых веб-сайтов эта функция не работает, например http://tassels.com.hk --- будет --> http://www.tassels.com.hk/en/index.php

/**
 * get_redirect_url()
 * Gets the address that the provided URL redirects to,
 * or FALSE if there's no redirect. 
 *
 * @param string $url
 * @return string
 */
function get_redirect_url($url){
    $redirect_url = null; 

    $url_parts = @parse_url($url);
    if (!$url_parts) return false;
    if (!isset($url_parts['host'])) return false; //can't process relative URLs
    if (!isset($url_parts['path'])) $url_parts['path'] = '/';

    $sock = fsockopen($url_parts['host'], (isset($url_parts['port']) ? (int)$url_parts['port'] : 80), $errno, $errstr, 30);
    if (!$sock) return false;

    $request = "HEAD " . $url_parts['path'] . (isset($url_parts['query']) ? '?'.$url_parts['query'] : '') . " HTTP/1.1\r\n"; 
    $request .= 'Host: ' . $url_parts['host'] . "\r\n"; 
    $request .= "Connection: Close\r\n\r\n"; 
    fwrite($sock, $request);
    $response = '';
    while(!feof($sock)) $response .= fread($sock, 8192);
    fclose($sock);

    if (preg_match('/^Location: (.+?)$/m', $response, $matches)){
        if ( substr($matches[1], 0, 1) == "/" )
            return $url_parts['scheme'] . "://" . $url_parts['host'] . trim($matches[1]);
        else
            return trim($matches[1]);

    } else {
        return false;
    }

}

/**
 * get_all_redirects()
 * Follows and collects all redirects, in order, for the given URL. 
 *
 * @param string $url
 * @return array
 */
function get_all_redirects($url){
    $redirects = array();
    while ($newurl = get_redirect_url($url)){
        if (in_array($newurl, $redirects)){
            break;
        }
        $redirects[] = $newurl;
        $url = $newurl;
    }
    return $redirects;
}

/**
 * get_final_url()
 * Gets the address that the URL ultimately leads to. 
 * Returns $url itself if it isn't a redirect.
 *
 * @param string $url
 * @return string
 */
function get_final_url($url){
    $redirects = get_all_redirects($url);
    if (count($redirects)>0){
        return array_pop($redirects);
    } else {
        return $url;
    }
}

echo get_final_url("http://tassels.com.hk");

person Adel Bachene    schedule 13.10.2014    source источник
comment
я пробовал много функций curl ....ect, но всегда не работает для некоторых веб-сайтов   -  person Adel Bachene    schedule 13.10.2014
comment
Это перенаправление через JavaScript: window.location = "http://www.tassels.com.hk/en/index.php". cURL никогда этого не найдет.   -  person cmbuckley    schedule 13.10.2014
comment
@cbuckley есть ли какая-нибудь библиотека для обработки всех этих типов перенаправления?   -  person Adel Bachene    schedule 13.10.2014
comment
Вам нужно что-то, что могло бы выполнять JavaScript; вы видели что-то вроде PhantomJS?   -  person cmbuckley    schedule 13.10.2014


Ответы (1)


Я обнаружил, что моя функция не следует перенаправлению javascript и метатегов, вы можете использовать регулярное выражение для чтения html-кода и поиска перенаправления javascript/jQuery или метатегов

код для получения URL-адреса формы javascript и перенаправления метатега:

if (preg_match('/window\.location\.replace\([\s]{0,}[\"\'](.*)[\"\'][\s]{0,}\)/i', $response, $redirect_result['1']) ||
      preg_match('/\$\(location\)\.attr\([\s]{0,}[\"\'][\s]{0,}href[\s]{0,}[\"\'][\s]{0,}\,[\s]{0,}[\"\'][\s]{0,}(.*)[\s]{0,}[\"\'][\s]{0,}\)/i', $response, $redirect_result['2']) ||
      preg_match('/window\.location[\s]{0,}\=[\s]{0,}[\"\'](.*)[\"\']/i', $response, $redirect_result['3']) ||
      preg_match('/window\.location\.href[\s]{0,}\=[\s]{0,}[\"\'](.*)[\"\']/i', $response, $redirect_result['4']) ||
      preg_match('/window\.href[\s]{0,}\=[\s]{0,}[\"\'](.*)[\"\']/i', $response, $redirect_result['5']) ||
      preg_match('/<[\s]*meta[\s]*http-equiv="?REFRESH"?' . '[\s]*content="?[0-9]*;[\s]*URL[\s]*=[\s]*([^>"]*)"?' . '[\s]*[\/]?[\s]*>/si', $response, $redirect_result['6'])) {
    for ($i = 1; $i <= 6; $i++) {
      if ($redirect_result[$i]) {
        $window_location_final = $redirect_result[$i];
        break;
      }
    }
    $window_location_final = end($window_location_final);
    if (substr($window_location_final, 0, 1) === '/' && valid_url(trim($redirect_url))) {
      $window_location_final = rtrim($redirect_url, '/') . $window_location_final;
    }
    $window_location_final = valid_url(trim($window_location_final), TRUE) ? trim($window_location_final) : '';
    if ($window_location_final) {
      $redirect_url = $window_location_final;
    }    
    return $redirect_url;
}
person Adel Bachene    schedule 15.10.2014