数据采集上报服务,主要针对于政务、个人、单位等通用型的通用数据采集上报平台,用于数据入湖的方式之一。此处主要包括非结构化数据和半结构化数据、结构化数据等场景,同时便于收集多种数据来源,同时包含有资源目录的规划和划分功能,是数字化平台的前置应用,同时后期加上数据上链功能。
业务操作人员
非 IT 类人员
熟悉计算机人员
主要包含的功能如下:
非结构化数据采集:包括 word/excel/pdf/cvs/图片(jpg/png/gif/tif 等)/音频/视频等数据上传分析和提取
半结构化数据采集:包括相关 excel 文件,报告,工作文档,日志等数据采集
结构化数据采集:包括 mysql/oracle/nosql/kafka 等数据采集上报,并保存到上报系统中
数据目录的分类:自定义资源目录分析,目录结构定义,行业术语和专业性业务分类服务
在线修改编辑:文档在线修改编辑
数据目录自动识别:文档信息提取,自动提取关键词,进行资源目录分类建议
文档修改记录:包括文档修订记录,文件对比分析
人员自定义工作流审核:数据目录创建分析,数据目录自动分类处理,数据共享人工审核操作,集成 oa 系统
数据目录共享:提供数据的下载链接,订阅,多数据类型(比如 http/excel/cvs 等)下载等
数据采集业务架构设计
架构描述:
非结构化数据采集上报针对于非业务性人员,同时提供数据共享和分享服务
半结构化数据数据采集来自第三方梳理和采集管理
数据源采集通过 etl 和数据同步等方式进行数据的传输梳理
主要针对于各个场景的整合以及结合 alinesno-cloud-platform(ACP)平台进行的上层业务建设,主要功能如下:
序号 | 模块 | 描述 | 进度 | 备注 |
---|---|---|---|---|
2 | 分布式文件存储 | 完成 | ||
4 | 组织权限管理 | 完成 | ||
7 | 文件网关服务 | 完成 | ||
9 | 数据上报服务 | 完成 | ||
10 | 网盘管理服务 | 完成 | ||
11 | 数据提取服务 | 完成 | ||
12 | 数据识别服务 | 完成 | ||
13 | 数据共享服务 | 完成 | ||
14 | 数据目录服务 | 完成 | ||
16 | 数据上报门户 | 完成 |
对外提供服务能力,主要针对于多种业务场景的对外提供服务,包括各种场景下的数据分析提取,智能算法分析,业务数据分析下载等。
数据下载
数据上报
数据分析
数据门户