PHP+mysql插入上千万条数据,导致内存不足,寻求释放内存方法

用的是ThinkPHP框架,主要不释放内存的语句是$re = $M->execute($value);
我想要做的主要是执行完$M->execute($value);操作后释放内存,而不是等整个方法执行完才释放。
修改php.ini里的设置只能插入相对多的数据而已,我寻求稳定的方法,求大神。
以上代码片段是在一个foreach循环里的,每次执行一千条数据,一共执行几百次内存就受不住了,最内一直没释放, $M->execute($value);这句去掉后内在是稳定的,没有存在不释放现象。所以……有大神知道什么原因否?

第1个回答  2013-10-08
一次性插入1000条数据比一条一条的插入速度会提升N倍,主要技巧就是在写SQL的上面
insert into table1 value (v1, v2, v3), (x1,x2,x3),....

而不是
insert into table1 value (v1, v2, v3);
insert into table1 value (x1, x2, x3);追问

嗯,本来就是每次执行的一千条,然后还有什么优化的方法吗?

第2个回答  2013-09-24
我给你个思路,利用游览器的刷新机制,每执行10秒刷新一下自动更新下一串数据,一串多少数据,看你的SQL效率而定。就这样一直刷新更新,到结束为止。追问

其实你这个思路是挺好的,我也知道一种类似方法,就是跳页面,通过get或post传参来接力。都是不错的,只是我现在用的是ajax,所以一刷新或跳转的话,返回值就拿不到了,呵呵,其实我真的想知道为什么查询的时候内存就能释放,插入的时候内存就不释放。

追答

循环的次数过多就会内存不够,总的来说要么减少循环的次数,要么刷新页面重新释放内存

本回答被提问者采纳
第3个回答  2013-09-24
1 给出获取 $value 的方法,以便检查其中的逻辑是否有问题。

2 请给出 $M->execute() 代码,以便检查内部是否有逻辑问题。
3 $M 可以不要每次都销毁,可以创建因此对象,之后所有 $value 均用和一个,直到你完成了所有操作再unset掉。
4 除了前面几位所说的,调整php配置之外,还可以使用shell方式执行该文件。shell可以不受php本身的时间和内存限制。追问

谢谢你的回答,shell的确是加一个好出路。
thinkPHP里的,原码一我都看过了,也没找出原因,贴出来的话,好几页去,所以在这就不搞了。

合并起来一次插入的话,那更加不得了,数据很大的,所以一次插一部分,插了就放内存才是最好的办法。只是找不到不放内存的原因。

伤心呐,好想找出原因,只是水平不够。不过问题我到是用页面跳接力的类似方式搞定了。

第4个回答  2013-09-23
没办法 只能暂时扩大内存
set_time_limit(0);
ini_set( 'memory_limit', '1000M' );

要么你分几次执行$re = $M->execute($value);追问

谢谢你的回答,不过不消内存是不行的,有些数据好几千万条。老实说,我调试时用1024M都不够用

追答

那你要优化 你的代码 记住 array 是超级占内存的. 尽量用完就清理

第5个回答  2013-09-27
你别这样搞,你用分页的模式搞,一批批的添加

相关了解……

你可能感兴趣的内容

本站内容来自于网友发表,不代表本站立场,仅表示其个人看法,不对其真实性、正确性、有效性作任何的担保
相关事宜请发邮件给我们
© 非常风气网