求 php 循環(huán)執(zhí)行大量數(shù)據(jù) 解決辦法。

你用網(wǎng)頁的方式，讓人點擊，服務器采集，簡直是弱爆了。每個人的點擊循環(huán)1000次，來個100人同時點，你要用的是普通的虛擬機就不行了。

成都創(chuàng)新互聯(lián)公司長期為數(shù)千家客戶提供的網(wǎng)站建設服務，團隊從業(yè)經(jīng)驗10年，關注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為衡東企業(yè)提供專業(yè)的做網(wǎng)站、成都網(wǎng)站建設，衡東網(wǎng)站改版等技術服務。擁有十載豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

最好是換種方式實現(xiàn)，不要通過網(wǎng)頁進行采集。

可以非常簡單的在數(shù)據(jù)庫的表，創(chuàng)建一個采集隊列，后臺執(zhí)行一個crontab的計劃任務，去完成隊列里的采集任務。

php處理大量數(shù)據(jù)時，運行到一定時間就中斷了，請問如何解決

php處理數(shù)據(jù)時會有一個等待時間，就是所說的超時時間，而且如果使用mysql的話，它也有一個超時時間，運行一串代碼時間如果超過配置文件的時間，會被中斷不運行。第一種你可以修改php配置文件timeout的運行時間，第二你可以分批處理大量數(shù)據(jù)，注意是分批處理，就OK了。

如何使用純PHP實現(xiàn)定時器任務

我用PHP寫了下面的延時代碼，主要用來作為BAT文件調用進行倒計時：

?php?

//批處理延時工具

if?($argc==2){

set_time_limit(0);

$v=$argv[1]+0;

while($v0){

echo?"\r請等待?".sec2str($v)."?秒。。。??????????";

$n=$v600?600:($v60?60:($v10?10:1));

sleep($v$n?$n:$v);

$v-=$n;

}

$v=$argv[1]+0;

echo?"\r".sec2str($v)."?秒延時完畢。????????????????\n";

}

else?echo?"使用方法：\nsleep.php?演示秒數(shù)";

function?sec2str($v){

$s='';

if?($v3600)?{$s.=floor($v/3600).':';$v%=3600;}

if?($s''?||?$v60)?{$s.=floor($v/60).':';$v%=60;}

$s.=$v;

return?$s;

}

?

在PHP中怎么解決大量數(shù)據(jù)處理的問題

mysql_query函數(shù)查詢的方式是查詢出全部結果后緩存到內(nèi)存中，這樣就會出現(xiàn)超內(nèi)存的現(xiàn)象，使用另外一個函數(shù)mysql_unbuffered_query可以解決這個問題，mysql_unbuffered_query不會緩存結果集，而是查詢出來數(shù)據(jù)后立馬對結果集進行操作，也就是便查詢邊返回，這樣就不會出現(xiàn)超出內(nèi)存的現(xiàn)象，但是使用mysql_unbuffered_query的是時候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 發(fā)送一條新的 SQL 查詢之前，必須提取掉所有未緩存的 SQL 查詢所產(chǎn)生的結果行。例如：

使用緩存結果集的代碼：

function selecttest()

{

try {

$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');

// 不使用緩存結果集方式

// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$sth = $pdo-prepare('select * from test');

$sth-execute();

echo '最初占用內(nèi)存大小：' . memory_get_usage() . "\n";

$i = 0;

while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {

$i += 1;

if ($i 10) {

break;

}

sleep(1);

print_r($result);

echo '占用內(nèi)存大小：' . memory_get_usage() . "\n";

}

} catch (Exception $e) {

echo $e-getMessage();

}

}

執(zhí)行時將會報超出內(nèi)存的錯誤：

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0

0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85

0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56

將上面代碼中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注釋去掉后將不在緩存結果集，這時運行該函數(shù)的結果如下：

最初占用內(nèi)存大小：144808

Array

(

[id] = 1

[a] = v

[b] = w

[c] = i

)

占用內(nèi)存大小：145544

Array

(

[id] = 2

[a] = b

[b] = l

[c] = q

)

占用內(nèi)存大小：145544

Array

(

[id] = 3

[a] = m

[b] = p

[c] = h

)

占用內(nèi)存大小：145536

Array

(

[id] = 4

[a] = j

[b] = i

[c] = b

)

占用內(nèi)存大小：145536

可以看到，這時返回一條數(shù)據(jù)內(nèi)存占用非常的小，也就700多字節(jié)，這樣就不會出現(xiàn)超出內(nèi)存的錯誤了。