<?php
include_once '/var/www/shaxt180/data/www/wapxl.ru/shaxty.php';

function check_http_status($url)
   {
   $user_agent = 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)';
   $ch = curl_init();
   curl_setopt($ch, CURLOPT_URL, $url);
   curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
   curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
   curl_setopt($ch, CURLOPT_VERBOSE, false);
   curl_setopt($ch, CURLOPT_TIMEOUT, 10);
   curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
   curl_setopt($ch, CURLOPT_SSLVERSION, 3);
   curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
   $page = curl_exec($ch);

   $err = curl_error($ch);
   if (!empty($err))
     return $err;

   $httpcode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
   curl_close($ch);
   return $httpcode;
   }

require_once '/var/www/shaxt180/data/www/wapxl.ru/shaxty/simple_html_dom.php';



$_POST['groups-on-page'] = 100;



$cron = core:: $db -> queryFetch("SELECT * FROM `cron` WHERE `progon`=? ORDER BY `id` DESC LIMIT 1;", array(0));
if(!isset($cron['id'])){

exit();

echo "добавили запись";

}else{



$_POST['site'] = $cron['search'];


$_POST['page'] = $cron['page'];
if($_POST['page']==0)$_POST['page'] = 1;



$cats = $cron['cat'];




 $i=0;
$ok = 0;
$sitemap = '';


@set_time_limit(0); // разграничиваем время работы скрипта


/*
$data = file_get_html('https://yandex.ru/search/xml?user=shaxty&key=03.100334990:d51a18138958b2185f5ee6ceb48c0cb6&l10n=ru&query='.urlencode($_POST['site']).'&groupby=attr%3Dd.mode%3Ddeep.groups-on-page%3D'.$_POST['groups-on-page'].'.docs-in-group%3D3&page='.$_POST['page'].'');

// если нет ни одного адреса сайта в ответе яндекса, заканчиваем работу скрипта
if(count($data->find('domain')) == 0){*/
$data = file_get_html('https://yandex.com/search/xml?user=shaxty&key=03.100334990:d51a18138958b2185f5ee6ceb48c0cb6&l10n=en&filter=none&query='.urlencode($_POST['site']).'&groupby=attr%3Dd.mode%3Ddeep.groups-on-page%3D'.$_POST['groups-on-page'].'.docs-in-group%3D3&page='.$_POST['page'].'');
echo "yandex.com - ";
//}
echo $data->innertext;

// Изменяем номер страници
$dbi = core::$db -> prepare("UPDATE `cron` SET `page`=`page`+1 WHERE `search`=? LIMIT 1");

$dbi -> execute($_POST['site']);

if($data->innertext!='' and count($data->find('domain'))){
  foreach($data->find('domain') as $a){


$a->plaintext = str_replace("https://","",$a->plaintext);
$a->plaintext = str_replace("http://","",$a->plaintext);
$a->plaintext = str_replace("www.","",$a->plaintext);



$t = $data->find("title", $i);  // title из яндекса
//echo $t->plaintext.'<br />';


$e = $data->find("passages", $i);  // описание из яндекса
//echo $e->plaintext.'<br />';

// проверяем сайт на доступность... пока отключим
/*$answer = check_http_status('http://'.$a->plaintext);


if($answer!=200){
continue;
}*/




if (empty($a->plaintext)){
continue;
}

/*if (!preg_match('|^[0-9a-zA-Zа-яА-Я\-\.]+$|i', $a->plaintext)){
continue;
}

if (func::utf_strlen($a->plaintext) < 3){
continue;
}*/



$m= core::$db -> queryFetch("SELECT * FROM `sites` WHERE `url`=?;", array($a->plaintext));
if ($m != 0) {
continue;
}

$name = getTitle($a->plaintext);

$sites = getSite($a->plaintext);
$res['keywords'] 		= $sites[0];
$res['description'] 	= $sites[1];

$key = $sites[0];

$abaut = $sites[1];

$abaut = func::checkin($abaut);
$name = func::checkin($name);
$key = func::checkin($key);


if (func::utf_strlen(trim($abaut)) < 4){
$abaut = func::checkin($e->plaintext);
}




if (func::utf_strlen(trim($name)) < 4){
$name = func::checkin($t->plaintext);
}


if (func::utf_strlen($key) < 4){
$key = $_POST['site'];
}




//if ($err[$i]!='') {




	$yandex = new SimpleXMLElement('http://bar-navig.yandex.ru/u?ver=2&show=32&url=http://'.$a->plaintext, NULL, TRUE);

			$alexaa = 'no';

		$seo = new Seo();

		$res['url'] 			= $a->plaintext;

		$res['google_pr'] 		= pr($a->plaintext);
		$res['yandex_cy'] 		= $yandex->tcy['value'];
		$res['yandex_rank'] 	= $yandex->tcy['rang'];
		$res['alexa'] 			= $alexaa;
		$res['google_index'] 	= $seo->google_index($a->plaintext);
		$res['yandex_index'] 	= $seo->Yandex_Index($a->plaintext);
		$res['bing_index'] 		= getBing($a->plaintext);
		$res['yahoo_index'] 	= getYahoo($a->plaintext);
		$res['google_link'] 	= $seo->google_links($a->plaintext);
		$res['yandex_link'] 	= $seo->Yandex_Links($a->plaintext);
		$res['bing_link'] 		= getBingLink($a->plaintext);
		$res['yahoo_link'] 		= getYahooLink($a->plaintext);
		$res['rambler_link'] 	= getBackRambler($a->plaintext);
		$res['google_blog'] 	= $seo->google_blogs($a->plaintext);
		$res['yandex_cat'] 		= yaca($a->plaintext);
		$res['dmoz'] 			= getDmoz($a->plaintext);
		$res['time'] 			= time();
		$res['number'] 			= 1;



$web = 2;



if (func::utf_strlen(trim($name)) < 5){

continue;
}


if (func::utf_strlen(trim($key)) < 5){

continue;
}

if (func::utf_strlen(trim($abaut)) < 5){

continue;
}


 $dbi = core::$db -> prepare("INSERT INTO `sites` SET `web`=?, `url`=?, `name`=?, `title`=?, `abaut`=?, `key`=?, `description`=?, `keywords`=?, `time_add`=?,`google_pr`=?,`yandex_cy`=?,`yandex_rank`=?,`alexa`=?,`google_index`=?,`yandex_index`=?,`bing_index`=?,`yahoo_index`=?,`google_link`=?,`yandex_link`=?,`bing_link`=?,`yahoo_link`=?,`rambler_link`=?,`google_blog`=?,`yandex_cat`=?,`dmoz`=?,`number`=?,`time`=?,`cat`=?,`user_id`=?");

$dbi -> execute($web,$a->plaintext,$name,func::checkin(getTitle($a->plaintext)),$abaut,$key,func::checkin($sites[1]),func::checkin($sites[0]),core::$realtime,$res['google_pr'],$res['yandex_cy'],$res['yandex_rank'],$res['alexa'],$res['google_index'],$res['yandex_index'],$res['bing_index'],$res['yahoo_index'],$res['google_link'],$res['yandex_link'],$res['bing_link'],$res['yahoo_link'],$res['rambler_link'],$res['google_blog'],$res['yandex_cat'],$res['dmoz'],$res['number'],core::$realtime,$cats,0);


$sitemap .= '<url>
<loc>http://wapxl.ru/cat/'.$a->plaintext.'</loc>
<changefreq>monthly</changefreq>
</url>';

$ok++;

/*

$wer .= $ok.' -<b> '.$a->plaintext.'</b> -  <u>'.$name.' </u>-  '.$abaut.' - OK<br />';

*/



/*}else{
$ok++;
$wer .= $ok.' -<b> '.$a->plaintext.'</b> -  <u>'.$name.' </u>-  '.$abaut.' - '.$err[$i].'<br />';
}*/






$i++;

}


}


if($i>=1){

echo "добавили ".$i." сайтов и изменили номер страницы";


}else{
$dbi = core::$db -> prepare("UPDATE `cron` SET `progon`=1 WHERE `search`=? LIMIT 1");

$dbi -> execute($_POST['site']);
    echo "добавили ".$i." сайтов и закрыли прогон";
}


// изменяем кол-во добавленных сайтоы
$dbi = core::$db -> prepare("UPDATE `cron` SET `saitov`=`saitov`+".$i." WHERE `search`=? LIMIT 1");

$dbi -> execute($_POST['site']);


if($sitemap!=''){
// открываем карту
$file = 'sitemap3.xml';
$fil = file($file);




$fil = file($file);
$fp=fopen($file,"a+");
$total=count($fil);
if (!$total){ $total=''; }
for ($i=0; $i<$total; $i++){
if(($total-2)==$i){
flock ($fp,LOCK_EX);
ftruncate($fp,0);
for($i=0; $i<sizeof($fil); $i++){
if (($total-2)!=$i){

fputs($fp,$fil[$i]);
}else{

$bizname=$fil[$i]; fputs($fp,$bizname.$sitemap."\r\n");
}}
fflush ($fp); flock($fp,LOCK_UN);
fclose($fp);
}
}
}




}
?>