关键词：

Portal门户集成平台作为统一的门户搭建和展现平台，提供综合门户、信息门户、应用门户、数据门户等不同类型门户的建设能力，可以为企业构建门户网站、内部业务中心，同时对企业文档资料进行整合、统一归档，对内部、外部提供资料。通过门户平台的搭建，为企业内部管理提供统一入口，并对外部宣传、客户服务等提供便捷的通道。

Portal门户集成平台提供多种门户的建设方案，在配置和功能完善的过程中，对Portal的相关功能进行升级，使其更好地支撑门户建设，同时对Portal中的历史数据进行清理，保证数据更加准确。

1总体说明 

为了满足Portal功能调整以及网站配置的需要，同时也为了保证后续Portal产品数据的准确全面，对Portal中预置的门户数据进行整合清理，主要针对信息门户的相关文档和图片资源等进行清理。

1.1业务需求

1.对标准产品中信息门户相关的资源进行整合清理，主要是预置门户网站、知识中心、技术博客等相关的文档；

2.在清理过程中对文档涉及的相关图片进行清理，包括平台显示的相关图片记录信息，以及在Portal产品中存储的图片资源等需要一并清理；

3.在清理时需要保证文档、平台的图片数据以及产品中的图片资源保持一致，避免垃圾数据的产生；

4.后续Portal上线，需要在Portal标准产品数据的基础上，将现有的网站中的信息门户数据统一迁移合并，重新构建信息门户。

1.2需求说明

1.明确文档、图片数据、图片资源的清理方式，三者统一，避免垃圾数据；

2.对标准产品的数据进行清理，包括不再使用的文档、图片等；

3.数据库图片记录与产品中的图片资源一一对应，数据、名称、路径保持一致，不能出现无法对应的数据；

4.文档中使用的图片都能找到对应的记录，同时有对应的图片资源保证文档正常显示；

5.平台所有的图片都有在文档或其他功能中使用，没有使用的图片作为垃圾数据删除；

1.3清理思路

1.首先对数据库中的图片记录进行清理，删除重复数据； 

2.建立文档和图片的关联表，并初始化关联数据，为每一个图片找到对应的应用场景；

3.对于无法关联，没有应用场景的图片作为垃圾数据删除；

4.对server中的图片资源进行梳理，并根据图片名称、路径等和数据库记录建立一对一关联；

5.对于无法和数据库记录建立关联的图片资源，作为垃圾数据删除，同时对server图片资源的目录进行清理，删除空目录；

6.将图片资源数据整理成数据，导入数据库的临时表中；

7.通过数据库图片记录和临时表进行比对，对于图片记录中多出来的数据作为垃圾数据删除；

8.根据删除的图片记录，对图片关联的文档作为垃圾数据进行删除；

9.根据图片的使用场景（导航、组件、文档）的不同，对图片进行重命名处理，网站图片：web-文档短标题 + 序号，文档图片：art-文档短标题 + 序号。

2数据记录

数据记录主要是对Portal数据库中的记录进行删除，主要是针对图片信息表中重复记录进行删除，同时建立图片和文档的关联信息。

2.1重复数据

1.数据库图片信息重复数据的判断主要依赖于图片名称和图片路径，名称和路径相同即为重复数据；

2.通过ESB创建一个Http流程用于图片重复数据清理；

3.查询wcm_picture_resource获取全部图片记录； 

4.循环图片记录，将图片名称和路径拼接存储到集合中，并判断如果集合中存在相同记录，说明图片重复，进行删除处理；

5.ESB流程如下：

6.关键判断代码：

2.2建立关联

1.主要建立图片资源与文档的关联，通过关联表存储关联信息；

2.通过ESB创建一个Http流程用于更新图片和文档关联信息；

3.分别查询图片wcm_picture_resource和文档wcm_information数据；

4.先循环图片，再循环文档，通过文档的内容以及文档封面匹配图片的路径，建立图片和文档关联；

5.将关联后的数据写入关联表wcm_info_pic_rel；

6.ESB流程如下：

7.关键处理代码：

2.3数据清理

1.主要用于清理数据库中无法建立关联或没有使用场景的数据；

2.查询图片数据wcm_picture_resource；

3.由于图片除文档正文外，还在组件模板、静态数据中有使用，所以需要查询文档、组件模板、静态数据三个场景应用的图片；

4.比对查询结果，如果图片在三个场景中都没有关联，直接进行删除；

5.ESB流程如下：

6.关键处理代码：

    

3资源文件

文件清理主要是对server中存储的图片资源进行清理，主要是无法和数据库中的图片信息表无法关联的数据，对于这些数据要进行统一清理。如果是在产品中使用（页面、文档）但是在数据库中没有图片记录的，也作为垃圾数据删除，后续手动进行维护补充。

3.1文件查询

1.创建一个图片文件服务，主要用于对server中的文件资源进行操作，包括查询、删除、修改等；

2.通过ESB创建Rest服务ImageFilesService，并手动扩展query方法，用于对server中的图片资源进行查询，入参为portal_server的主目录；

3.通过server路径读取uploads文件夹中的图片数据；

4.构建图片名称、相对路径、绝对路径、略缩图路径、后缀等信息，并通过json数组存储，再将数组存储到一个json对象中，并指定key；

5.查询数据库的图片记录wcm_picture_resource，通过比对图片相对路径（包括图片名）进行图片资源和记录的关联，并更新关联标识；

6.不能进行关联的单独作为一个json数组存储到json对象中；

7.将json对象以字符串方法作为返回值输出；

8.ESB流程如下：

9.文件读取代码：

10.资源关联代码：

3.2文件删除

1.在ImageFilesService服务中扩展一个删除方法，用于删除无法和数据库记录建立管理的图片资源；

2.先调用ImageFilesService服务中的query查询接口获取图片数据；

3.解析数据获取需要删除的图片信息，根据路径进行图片删除，删除时同步删除略缩图；

4.ESB流程如下：

5.文件删除处理代码：

3.3目录清理

1.在ImageFilesService服务中扩展一个删除目录方法，用于删除server中uploads下的空目录；

2.由于目录是多级，所以需要通过递归的方式进行删除；

3.ESB流程如下：

4.删除处理代码：

4数据比对

数据对比主要是图片清理后的数据库数据处理，因为存在部分数据是数据库有记录，但是图片资源已经被删除了，所以需要回查数据库，将数据库中多余的记录删除，同时也要对应用的功能进行处理。

4.1数据导入

1.数据对比主要是通过查询接口查出server中的图片资源，并导出到数据库的临时表中；

2.先调用查询接口获取图片数据（json对象）：

3.手动处理结果，提取json对象中存储全部图片信息的json数组，并保存成.json格式文件：

4.将json数据导入数据库临时表中：

4.2图片删除 

1.通过数据库关联查询，对比图片资源表wcm_picture_resource多出来的图片记录；

2.将多出来的图片记录在数据库中进行删除，同时将图片文档关联表wcm_info_col_rel中的关联删除；

3.图片表关联查询：

4.关联表查询：

4.3文档处理

1.基于处理后的图片对文档进行处理；

2.通过数据库关联查询确定无法关联图片的文档：

3.对查询到的结果进行手动处理：

(1)历史文档不在应用：直接删除；

(2)在使用文档但图片已缺失：找到对应图片重新上传，并调整文档配置；

(3)文档中图片目录存在问题导致无法关联的：重新配置文档，缺少图片就重新上传。

5总结分析

本次数据清理是基于Portal门户集成功能完善的需要进行的一次整体梳理，在这过程中对标准产品中的内容进行了整体检查，结合ESB对历史数据进行清理，保障了后续产品数据的准确性。

5.1功能优化

针对Portal中图片以及使用图片的相关功能进行了整体优化，加强的了文档和图片的强关联，保证图片和文档对应的有效性，图片随文档进行管理维护，与文档的生命周期保持同频，杜绝了后续图片、文档无法有效对应的问题。统一了图片的维护入口，使后续文档和图片的维护更加便捷，在使用性能上有了全面的提升。

5.2应用模式

Portal门户集成平台作为门户的统一配置和展现平台，通过构建应用门户，为企业提供了统一的应用入口，并通过集成各个系统的核心业务数据，使企业员工可以在应用中心中完成大部分业务操作，提高了工作效率；同时Portal还具备门户网站、信息门户、外部门户等多种门户构建能力，能为企业内外部的宣传和业务往来提供全面支撑。

5.3集成场景

Portal门户集成平台作为企业统一的门户和应用入口，虽然具备独立的应用能力，但是对于应用门户、数据门户等集成性门户需要和各个业务系统进行集成对接，将业务系统的入口、应用、数据等集成到门户中进行统一管理，如消息、待办、日程、人事、运营、财务等数据集成到门户展现，但一般Portal采用接口集成，不做数据落地。

在目前主推的技术解决方案，如集成底座、数据中台等，都结合Portal产品作为统一入口，通过菜单、应用、数据集成的方式将产品功能统一到门户中，一般的业务类操作直接在Portal上完成。对企业而言，在进行信息化建设的过程中，打通系统壁垒、实现数据互通、统一监管、统一维护是提升信息化价值的重要方式，而通过应用系统的整合、管理入口的统一能大大提升管理的效率。 

门户（portal）安全（security）单点登录（sso）文档说明

项目介绍：分为三个部分：1、门户模块(系统首页的组成、动态发布存储在企业内部和外部的各种组件与模块，简单理解为对已存在的和第三方应用的系统菜单、组件等进行管理)2、安全模块（用户角色、授权、组... 查看详情

一个低级的ora-01017错误

事件缘由：使用sys账户创建了一个数据清理的存储过程，再创建一个Oraclejob定时运行这个存储过程，用于做表数据的清理。第二天看表数据未删除，说明job执行有错，打算使用sys账号登录查看job运行情况，反复输入sys账户信息，... 查看详情

如何使用 fastlane Fastfile 通道自动化 xcode 清理过程

...动化xcode清理过程的方法。我想要实现的目标：清除派生数据文件夹清理构建文件夹干净构建到目前为止，我自动化了派生数据文件夹lane:cleand 查看详情

ngfw的portal认证实验

目录实验拓扑实验说明基础配置防火墙配置测试配置Portal认证测试实验拓扑实验说明内网允许Web网关主机使用防火墙的G1/0/0接口登录管理防火墙在防火墙上配置SNAT，Client使用公网地址202.1.1.1-202.1.1.5访问互联网内网的Client访... 查看详情

ngfw的portal认证实验

目录实验拓扑实验说明基础配置防火墙配置测试配置Portal认证测试实验拓扑实验说明内网允许Web网关主机使用防火墙的G1/0/0接口登录管理防火墙在防火墙上配置SNAT，Client使用公网地址202.1.1.1-202.1.1.5访问互联网内网的Client访... 查看详情

信息采编功能扩展开发心得

AEAIPortal门户为前端页面集成层而设计，在使用上简单、便捷，即使是非技术人员，通过操作文档也能够很好地将网站配置出来，不需要自身有很强的代码能力。同时门户平台搭配数通畅联的其他产品和组合方案&#x... 查看详情

sparkstreaming源码解读之数据清理内幕彻底解密

本期内容:SparkStreaming数据清理原理和现象SparkStreaming数据清理代码解析 　　SparkStreaming一直在运行的，在计算的过程中会不断的产生RDD，如每秒钟产生一个BachDuration同时也会产生RDD，　　在这个过程中除了基本的RDD外还有累... 查看详情

怎样利用jetspeed进行2次开发

参考技术A　　jetspeed二次开发：Portlet应用开发　　一、portal　　Portal是一种基于web的应用，通常用来提供个性化、单点登陆、内容集合、信息系统表现层。其中，内容集合指把不同源头的内容整合成一个网页。Portal可提供高级... 查看详情

一个低级的ora-01017错误

事件缘由：使用sys账户创建了一个数据清理的存储过程，再创建一个Oraclejob定时运行这个存储过程，用于做表数据的清理。第二天看表数据未删除，说明job执行有错，打算使用sys账号登录查看job运行情况，... 查看详情

apollo配置教程以及踩坑总结(代码片段)

一、Apollo包的介绍apollo一共三个包：apollo-portal.zip、apollo-configservice.zip、apollo-adminservice.zip说明：portal：后台配置管理页面；config：提供配置的读取、推送等功能；admin：提供配置的修改、发布等功能二... 查看详情

数据库定期清理

】数据库定期清理【英文标题】：Databaseperiodiccleansing【发布时间】：2011-10-0109:48:33【问题描述】：我正在创建一个公共消息服务，我想知道，为了清除最旧的消息，是否可以在每次提交新消息时删除最旧的消息？还是由于某种... 查看详情

数据库导出导入过程详细说明

导出前分析表格垃圾数据select us.BYTES/1024 kb,us.SEGMENT_NAME from user_segmentsus where us.segment_type=‘TABLE‘ order by BYTES desc truncatetable垃圾数据过多的表;& 查看详情

linux清理java环境

1.清理Java环境rm-f/usr/bin/javarm-f/etc/alternatives/javarm-f/usr/bin/javacrm-f/etc/alternatives/javacrm-f/usr/bin/jarrm-f/etc/alternatives/jar说明：清理掉安装的Java环境到系统的软连接，执行过程中报错，也不影响，继续。2.清理系统vi/etc/profile删除 查看详情

ossh免费版华为portal系统iso镜像版发布

...-1811:08:51 4082 收藏分类专栏：OSSH文章标签：免费PORTAL认证华为Portal认证交换机Portal系统ISO镜像版版权  三个月前我们发布了OSSH免费版华为Portal系统，期间得到了很多爱好者和群友的咨询，也收到了很多用户的咨... 查看详情

ossh免费版华为portal系统iso镜像版发布

...-1811:08:51 4082 收藏分类专栏：OSSH文章标签：免费PORTAL认证华为Portal认证交换机Portal系统ISO镜像版版权  三个月前我们发布了OSSH免费版华为Portal系统，期间得到了很多爱好者和群友的咨询，也收到了很多用户的咨... 查看详情

portal是用来干啥的？

如题。我们为什么要去使用Portal？他都带来什么好处？Portal比Servelet好在哪里？最好举个例子说明Portal是是一款由Valve所开发的第一人称射击/解谜游戏，主要是使用Source引擎。游戏的特色是不寻常的逻辑思考部份，玩家必须解决... 查看详情

在没有 DQS 的 SSIS 中使用知识库进行数据清理

】在没有DQS的SSIS中使用知识库进行数据清理【英文标题】：DatacleansingwithaknowledgebaseinSSISwithoutDQS【发布时间】：2018-04-0513:23:39【问题描述】：对于一项学校作业，我们必须为一家虚构的航运公司设计和填充一个数据仓库。我用所... 查看详情

R - 为 Google BigQuery 导入清理数据

】R-为GoogleBigQuery导入清理数据【英文标题】：R-CleaningDataforGoogleBigQueryImport【发布时间】：2020-03-0116:43:42【问题描述】：我正在清理R中的一些数据集以导入GoogleBigQuery。清理过程涉及用NA替换极端/不正确的值，但保留行中的其余... 查看详情