关键词：

原文出处： 淘宝UED - 筱谷   

Nginx + Node.js + Java 的软件栈部署实践

起

关于前后端分享的思考，我们已经有五篇文章阐述思路与设计。本文介绍淘宝网收藏夹将 Node.js 引入传统技术栈的具体实践。

淘宝网线上应用的传统软件栈结构为 Nginx + Velocity + Java，即：

在这个体系中，Nginx 将请求转发给 Java 应用，后者处理完事务，再将数据用 Velocity 模板渲染成最终的页面。

引入 Node.js 之后，我们势必要面临以下几个问题：

1. 技术栈的拓扑结构该如何设计，部署方式该如何选择，才算是科学合理？
2. 项目完成后，该如何切分流量，对运维来说才算是方便快捷？
3. 遇到线上的问题，如何最快地解除险情，避免更大的损失？
4. 如何确保应用的健康情况，在负载均衡调度的层面加以管理？

承

系统拓扑

按照我们在前后端分离的思考与实践（二）- 基于前后端分离的模版探索一文中的思路，Velocity 需要被 Node.js 取代，从而让这个结构变成：

 

这当然是最理想的目标。然而，在传统栈中首次引入 Node.js 这一层毕竟是个新尝试。为了稳妥起见，我们决定只在收藏夹的宝贝收藏页面（shoucang.taobao.com/item_collect.htm）启用新的技术，其它页面沿用传统方案。即，由 Nginx 判断请求的页面类型，决定这个请求究竟是要转发给 Node.js 还是 Java。于是，最后的结构成了：

 

部署方案

上面的结构看起来没什么问题了，但其实新问题还等在前面。在传统结构中，Nginx 与 Java 是部署在同一台服务器上的，Nginx 监听 80 端口，与监听高位 7001 端口的 Java 通信。现在引入了 Node.js ，需要新跑一个监听端口的进程，到底是将 Node.js 与 Nginx + Java 部署在同一台机器，还是将 Node.js 部署在单独的集群呢？
我们来比较一下两种方式各自特点：

 

淘宝网收藏夹是一个拥有千万级日均 PV 的应用，对稳定性的要求性极高（事实上任何产品的线上不稳定都是不能接受的）。如果采用同集群部署方案，只需要一次文件分发，两次应用重启即可完成发布，万一需要回滚，也只需要操作一次基线包。性能上来说，同集群部署也有一些理论优势（虽然内网的交换机带宽与延时都是非常乐观的）。至于一对多或者多对一的关系，理论上可能做到服务器更加充分的利用，但相比稳定性上的要求，这一点并不那么急迫需要去解决。所以在收藏夹的改造中，我们选择了同集群部署方案。

灰度方式

为了保证最大程度的稳定，这次改造并没有直接将 Velocity 代码完全去掉。应用集群中有将近 100 台服务器，我们以服务器为粒度，逐渐引入流量。也就是说，虽然所有的服务器上都跑着 Java + Node.js 的进程，但 Nginx 上有没有相应的转发规则，决定了获取这台服务器上请求宝贝收藏的请求是否会经过 Node.js 来处理。其中 Nginx 的配置为：

只有添加了这条 Nginx 规则的服务器，才会让 Node.js 来处理相应请求。通过 Nginx 配置，可以非常方便快捷地进行灰度流量的增加与减少，成本很低。如果遇到问题，可以直接将 Nginx 配置进行回滚，瞬间回到传统技术栈结构，解除险情。

第一次发布时，我们只有两台服务器上启用了这条规则，也就是说大致有不到 2% 的线上流量是走 Node.js 处理的，其余的流量的请求仍然由 Velocity 渲染。以后视情况逐步增加流量，最后在第三周，全部服务器都启用了。至此，生产环境 100% 流量的商品收藏页面都是经 Node.js 渲染出来的（可以查看源代码搜索 Node.js 关键字）。

转

灰度过程并不是一帆风顺的。在全量切流量之前，遇到了一些或大或小的问题。大部分与具体业务有关，值得借鉴的是一个技术细节相关的陷阱。

健康检查

在传统的架构中，负载均衡调度系统每隔一秒钟会对每台服务器 80 端口的特定 URL 发起一次 get 请求，根据返回的 HTTP Status Code 是否为 200 来判断该服务器是否正常工作。如果请求 1s 后超时或者 HTTP Status Code 不为 200，则不将任何流量引入该服务器，避免线上问题。

这个请求的路径是 Nginx -> Java -> Nginx，这意味着，只要返回了 200，那这台服务器的 Nginx 与 Java 都处于健康状态。引入 Node.js 后，这个路径变成了 Nginx -> Node.js -> Java -> Node.js -> Nginx。相应的代码为：

但是在测试过程中，发现 Node.js 在转发这类请求的时候，每六七次就有一次会耗时几秒甚至十几秒才能得到 Java 端的返回。这样会导致负载均衡调度系统认为该服务器发生异常，随即切断流量，但实际上这台服务器是能够正常工作的。这显然是一个不小的问题。

排查一番发现，默认情况下， Node.js 会使用 HTTP Agent 这个类来创建 HTTP 连接，这个类实现了 socket 连接池，每个主机+端口对的连接数默认上限是 5。同时 HTTP Agent 类发起的请求中默认带上了 Connection: Keep-Alive，导致已返回的连接没有及时释放，后面发起的请求只能排队。

最后的解决办法有三种：

• 禁用 HTTP Agent，即在在调用 get 方法时额外添加参数 agent: false，最后的代码为：

 

设置 http 对象的全局 socket 数量上限：

在请求返回的时候及时主动断开连接：

实践上我们选择第一种方法。这么调整之后，健康检查就没有再发现其它问题了。

合

Node.js 与传统业务场景结合的实践才刚刚起步，仍然有大量值得深入挖掘的优化点。比比如，让 Java 应用彻底中心化后，是否可以考分集群部署，以提高服务器利用率。或者，发布与回滚的方式是否能更加灵活可控。等等细节，都值得再进一步研究。

由react引发的前后端分离架构的思考

...主分享我们在大规模企业应用建设过程中遇到的问题，对前后端分离架构的思考，前后端分离的技术方案，前后端分离过程中的实践经验，前后端分离带来的效果与价值，以及目前存在的问题与未来可能的尝试。应用的现状我们... 查看详情

浅谈前后端分离与实践(代码片段)

一、起源（故事纯属虚构，如有雷同，纯属巧合）传说在很久很久以前，我们有志之士有了个创业的想法，于是乎开始了自己的创业之梦，但是人手不足啊，于是乎所有角色老子一个人全包了：Roles:PM,DBA,RD,FED,Designer,...Skills:Linux,... 查看详情

前后端分离实践

...方案都大同小异。痛定思痛，今天我们重新思考了“前后端”的定义，引入前端同学都熟悉的NodeJS，试图探索一条全新的前后端分离模式。随着不同终端(Pad/Mobile/PC)的兴起，对开发人员的要求越来越高，纯浏览器端的响应... 查看详情

nodejs--jwt在前后端分离中的应用与实践

nodejs--JWT在前后端分离中的应用与实践   http://www.cnblogs.com/lidongyue/p/5269695.html 查看详情

前后端分离实践：基于vue实现网站前台的权限管理(代码片段)

Javascript做为当下的热门语言，用途很广泛，从前端到后端处处可见其存在，该技术如今在我们项目内部也大量使用来开发诸如CMS系统以及其他其他一些数据分析系统的前端页面，为此个人非常感兴趣并将其作为帽子卡的扩展内... 查看详情

前后端分离实践—如何解决跨域问题

随着前端越来越火，越来越多的人推崇前后端分离，后端只提供API，前端只负责消费API。这样我们就能更加专注自己的事情了，比如前端可以使用任何想要的工具（Webpack、Gulp等等），后端也不用因为集成前端的代码而苦逼加班... 查看详情

基于vue的前后端分离项目实践

一、为什么需要前后端分离1.1什么是前后端分离 前后端分离这个词刚在毕业（15年）那会就听说过，但是直到17年前都没有接触过前后端分离的项目。怎么理解前后端分离？直观的感觉就是前后端分开去做，即功能和职责上... 查看详情

前后端分离实践

前后端分离并不是什么新鲜事，到处都是前后端分离的实践。然而一些历史项目在从一体化Web设计转向前后端分离的架构时，仍然不可避免的会遇到各种各样的问题。由于层出不穷的问题，甚至会有团队质疑，一体化好好的，为... 查看详情

前后端分离：分离开发，一体发布(代码片段)

前后端分离开发实践了很久了，前两天需要把一个项目上线，准备SSL证书时发现，居然需要申请3个证书（1年期免费的证书只能对单个子域名申请），这3个域名是：sys.project.cn，Web应用前端api.project.cn，应用后端RESTfulAPIm.project.cn... 查看详情

django前后端不分离&前后端分离&模板引擎(代码片段)

一、前后端不分离与前后端分离的比较前后端不分离特点：后端需控制数据的展示前后端不分家，耦合严重返回的是HTML页面，适应性、拓展性差只能用于浏览器，其它终端不匹配前后端分离的特点：当前主流后端只对数据进行... 查看详情

9-3前后端分离与restful常见面试题(代码片段)

一、考点聚焦什么是前后端分离？什么是RESTful1.前后端分离的意义和方式2.什么是RESTful3.如何设计RESTful二、什么是前后端分离？有哪些优点？后端只负责提供数据接口，不再渲染模板，前端获取数据并呈现1.前... 查看详情

前后端分离介绍(代码片段)

我们为什么要尝试前后端分离尝试与改变如果你没有尝试过前后端分离的工作流程，那么可以先试想一下这样的流程改变：把流程从 PM：“我要这个功能”后端：“这个先找前端做个模板”前端：“模板做完了”后端：“我... 查看详情

无需cors，用nginx解决跨域问题，轻松实现低代码开发的前后端分离(代码片段)

近年来，前后端分离已经成为中大型软件项目开发的最佳实践。在技术层面，前后端分离指在同一个Web系统中，前端服务器和后端服务器采用不同的技术栈，利用标准的WebAPI完成协同工作。这种前后端分离的"... 查看详情

什么是前后端分离与前后端不分离

　　我起初认为前后端分离是，在软件开发过程中前后端分工就叫做前后端分离，其实是前端所有用到的数据都是后端通过异步接口的方式提供的，前端只管页面的展示及效果。 　　前端和后端不分离的时候，前端的页面也... 查看详情

我们为什么要尝试前后端分离(代码片段)

这不是一篇纯技术文章，而是一篇分享我个人在前后端分离路上收获的点点滴滴的文章，以此来为准备尝试前后端分离或者想了解前后端分离的童鞋做一个大体的讲解。 尝试与改变如果你没有尝试过前后端分离的工作流程，... 查看详情

前后端分离实践

...重要的功能迁移到Nodejs上面来，也有一些公司将NodeJS作为前后端分离的一个解决方案去施行。而像淘宝网这类的大型网站也很早的完成了前后端的分离，给我们这样的后来者提供了宝贵的经验。同样，我们的大网盘团队也早在去... 查看详情

ininginx的前后端分离配置文件(代码片段)

查看详情

前后端分离架构概述(代码片段)

...in05/article/details/815910721、背景      前后端分离已成为互联网项目开发的业界标准使用方式，通过nginx+tomcat的方式（也可以中间加一个nodejs）有效的进行解耦，并且前后端分离会为以后的大型分布式架构、弹... 查看详情