利用curl模拟多线程

关键词：

所谓多线程就是多个 程序同时运行，单线程：执行一段逻辑，等待完成后 在执行另外一个。

多线程：几个逻辑同时进行处理，不需要相互等待，提高了总的执行时间

接下来就用curl实现多线程

实现逻辑

1. fcsv.php 是csv生成文件。生成csv文件的时候，等待10秒钟。

2. curl.php 模拟多线程文件。 同时curl请求fcsv.php。

    如果单线程，第二个csv文件需要 等10秒后，第一个csv文件结束了才开始做动作。

    如果多线程，就是同时生成5个csv文件 。因为是并行的，所以相加也就10秒。

开始上代码

fcsv.php

 1 <?php 
 2 $p = isset($_POST['type']) ? $_POST['type'] : 0;
 3 $fp = fopen("file/demo_csv".$p.".csv","a"); //打开csv文件，如果不存在则创建
 4 $data_arr1 = array("10001","10002","10003","10004","10005"); //第一行数据
 5 $data_arr2 = array("20001","20002","20003","20004","20005"); //第二行数据
 6 $data_str1 = implode(",",$data_arr1); //用 ' 分割成字符串
 7 $data_str2 = implode(",",$data_arr2); //用 ' 分割成字符串
 8 $data_str = $data_str1.PHP_EOL.$data_str2.PHP_EOL; //加入换行符
 9 fwrite($fp,$data_str); //写入数据
10 fclose($fp); //关闭文件句柄
11 sleep(5);
12 return $p;
13 ?>

什么是PHP_EOL

curl.php

<?php

$mh = curl_multi_init();
$conn = [];
$res = [];
$url = "localhost/fcsv.php";

for ($i=0;$i<=5;$i++) {
     $data = array('type' => $i);
     $conn[$i]=curl_init($url);
      curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1); //如果成功只将结果返回，不自动输出任何内容
      curl_setopt($conn[$i], CURLOPT_POSTFIELDS, $data); //post 传参
      curl_multi_add_handle ($mh,$conn[$i]);
}
do { $n=curl_multi_exec($mh,$active); }
while ($active);

for ($i=0;$i<=5;$i++) {
      $res[$i]=curl_multi_getcontent($conn[$i]);
      curl_close($conn[$i]);
}
print_r($res);


?>

   运行curl.php文件

    如果单线程，第二个csv文件需要 等10秒后，第一个csv文件结束了才开始做动作。

    如果多线程，就是同时生成5个csv文件 。因为是并行的，所以相加也就10秒。

　文件同时生成了，差不多10秒后浏览器返回值，停止请求。说明运行了多线程

这个多线程的写法步骤：
第一步：调用curl_multi_init
第二步：循环调用curl_multi_add_handle
这一步需要注意的是，curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步：持续调用curl_multi_exec
第四步：根据需要循环调用curl_multi_getcontent获取结果
第五步：调用curl_multi_remove_handle，并为每个字handle调用curl_close
第六步：调用curl_multi_close

java-利用多线程runnable，公用一个参数问题(代码片段)

.../线程函数：MyThread3.java/***售票线程*进行售票线程的模拟,利用Run 查看详情

java多线程下模拟抢票(代码片段)

我们设置三个对象分别同时抢20张票,利用多线程实现.1publicclassWeb123506implementsRunnable2privateintticteksNums=20;//票数34@Override5publicvoidrun()6while(true)7if(ticteksNums<0)8break;910/*try11//睡眠12Thread.sleep(200 查看详情

php利用curl实现多进程下载文件类(代码片段)

...用多进程进行下载可以大大提高下载的效率。本文介绍PHP利用curl的多进程请求方法，实现多进程同时下载文件。原理：使用curl的批处理方法，开启多进程，实现批量下载文件。主要方法：curl_multi_init：返回一个新cURL批处理句柄... 查看详情

php通过curl模拟登录并获取数据

<?php/*通过CURL模拟登录并获取数据 一些网站需要权限认证，必须登录网站后，才能有效地抓取网页并采集内容， 这就需要curl来设置cookie完成模拟登录网页，php的curl在抓取网页内容方 面效率是比较高的，而且支持多线程，而fi... 查看详情

多线程 curl 同时处理多个连接

】多线程curl同时处理多个连接【英文标题】：Multithreadedcurlhandlingmultipleconnectionsatthesametime【发布时间】：2017-06-2417:38:22【问题描述】：curl_multi接口是否在内部产生新线程以同时处理多个请求？是否等于手动生成线程并仅使用curl... 查看详情

jmeter多用户利用集合点瞬压并发测试

    在测试一些限时秒杀类似的接口时，需要模拟多用户同时一瞬间访问接口，我们这里简单模拟多用户同时访问百度。1、首先打开Jmeter,在测试计划下添加线程组。2.在线程组下添加HTTP请求。3.在HTTP请求下添加察... 查看详情

如何利用curl向网页提交数据

参考技术APHPcURL提交数据，可以参考我的博客《PHPcURL应用》http://www.zjmainstay.cn/php-curl上面基本覆盖所有的PHPcURL使用示例。模拟登录和模拟发帖，从原理上来说，都只是对一个urlpost必需的数据，达到类似真实用户请求的效果。 查看详情

phpcurl多线程方法

<?php/*curl多线程抓取*//***curl多线程**@paramarray$array并行网址*@paramint$timeout超时时间*@returnarray*/functionCurl_http($array,$timeout){$res=array();$mh=curl_multi_init();//创建多个curl语柄$startime=getmicrotime();f 查看详情

c++多线程学习笔记：读者-写者问题模拟

...包含读者写者共同共享数据区，和对这个数据的读写操作利用C++11提供的​​mute 查看详情

java多线程——线程的同步

...、重票的问题，本文来讲讲如何解决此问题。本文例子：利用多线程模拟3个窗口卖票实现Runnable接口publicclassTestThread2{publicstaticvoidmain(String[]args){Windowwindow=newWindow();Threadthread1=newThread(window,"窗口一");Thr 查看详情

怎样用php中的curl模拟登陆

...置【网络】为[保持]状态6. 填写表单，提交登录请求7. 利用【网络】，分析提交信息8. 复制请求的cURL命令9. 分析命令传输的参数与Cookie和前面页面响应内容的关联性10. 如果遇到Cookie和响应内容都无法查找到的参数，Ctrl+S保存... 查看详情

php多线程curl_multi_init的使用(代码片段)

php中可以通过CURL处理HTTP请求，其中curl_init()是单线程模式，如果需要对事务处理走多线程模式，那么就需要用到curl_multi_init()函数。本案例用来测试大并发的情况下curl_multi_init()到底比 curl_init()快多少。话不多少，直接上代... 查看详情

java多线程

...本文的范围之内。用多线程只有一个目的，那就是更好的利用cpu的资源，因为所有的多线程代码都可以用单线程来实现。说这个话其实只有一半对，因为反应“多角色”的程序代码，最起码每个角色要给他一个线程吧，否则连实... 查看详情

多线程如何利用多个内核？

】多线程如何利用多个内核？【英文标题】：Howdoesmultithreadingutilizesmultiplecores?【发布时间】：2020-12-1418:59:53【问题描述】：所以最近我学习了一些关于多线程的基础知识。我的理解是，线程是一个轻量级的进程，通过共享内存... 查看详情

java多线程学习

用多线程只有一个目的，那就是更好的利用cpu的资源，因为所有的多线程代码都可以用单线程来实现。说这个话其实只有一半对，因为反应“多角色”的程序代码，最起码每个角色要给他一个线程吧，否则连实际场景都无法模拟... 查看详情

玩儿虫那些事——使用curl

目录一、爬一个简单的网站二、模拟登录新浪三、各种请求的发送四、使用curl五、模拟登录QQ空间六、selenium的使用七、phantomjs的使用八、开源框架webmagic九、开源框架scrapy十、多线程爬取与反爬策略十一、加密与解密十二、APP... 查看详情

使用curl进行模拟登录

...采集方式（例如file_get_contents）就无法做到了，我们可以利用PHP的CURL扩展库来进行模拟登录，下面给出代码示例：<?php$cookie_path=‘./‘;//设置cookie保存路径//-----登录要提交的表单数据---------------$vars[‘username‘]=‘张三‘;$vars[... 查看详情

phpcli是守护进程的吗

...线程应用，虽然大家都普遍认为php没有多线程（curl属于模拟多线程而不是真实的），但是在php_cli模式下的php彻底的是属于多线程。这个时候php属于linux的一个守护进程。在本人之前写过的《PHP多线程批量采集下载美女图片(续)》... 查看详情