自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 34.session随机抽取之本地测试

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍session聚合统计模块的本地测试。

2017-03-25 17:27:07 737 0

原创 33.session随机抽取之获取抽取session的明细数据

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍session随机抽取模块中的获取抽取session明细数据的实现过程。

2017-03-25 16:59:39 1451 0

原创 32.session随机抽取之根据随机索引进行抽取

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍用户访问session随机抽取模块中实现根据随机索引进行抽取这一过程。

2017-03-25 16:23:52 859 0

原创 31.session随机抽取之按时间比例随机抽取算法实现

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍用户访问session随机抽取模块中实现按时间比例随机抽取算法这一步骤。

2017-03-25 15:57:08 1496 0

原创 30.session随机抽取之计算每天每小时session数量

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍用户访问session随机抽取中的计算每天每小时session的数量这一过程。

2017-03-25 15:23:18 1203 0

原创 29.session随机抽取之实现思路分析

本文为《Spark大型电商项目实战》 系列文章之一,主要分析用户访问session随机抽取的实现思路,并创建所需的MySQL表,为后面的编码实现做准备。

2017-03-25 15:17:31 976 0

原创 28.使用Scala实现自定义Accumulator

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍使用Scala实现自定义Accumulator的功能。

2017-03-24 12:10:45 2115 0

原创 27.session访问时长和步长占比本地测试

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍之前实现的访问时长和访问步长所占比例在本地进行测试。

2017-03-24 11:35:46 2015 0

原创 26.session聚合统计之计算统计结果并写入MySQL

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍计算各session范围占比,并写入MySQL的实现步骤。

2017-03-24 10:57:39 1515 0

原创 25.session聚合统计之重构过滤进行统计

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍重构过滤方法,并且在过滤的同时进行计数统计。

2017-03-24 09:56:20 850 0

原创 24.session聚合统计之重构实现思路与重构session聚合

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍重构的原因、思路以及开发Spark等大型复杂项目的一些经验准则,最后进行代码实现。

2017-03-10 14:42:43 1169 0

原创 23.session聚合统计之自定义Accumulator

本文为《Spark大型电商项目实战》系列文章之一,主要介绍自定义Accumulator原因、方法及代码实现,统计出用户访问时长和访问步长。

2017-03-10 11:09:22 1244 4

原创 22.按筛选参数对session粒度聚合数据进行过滤

本文主要介绍在session粒度聚合数据的基础上进行过滤,筛选参数主要有年龄范围、职业范围、城市范围、性别、搜索词、点击品类等进行筛选。

2017-03-10 11:08:10 1457 5

原创 21.按session粒度进行聚合

目录目录 本文为《Spark大型电商项目实战》 系列文章之一,主要介绍session聚合分析。

2017-03-10 10:14:50 2363 9

原创 20.Spark上下文构建以及模拟数据生成

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍Spark上下文构建和模拟数据生成方式。

2017-03-06 23:03:53 3091 4

转载 19.JSON数据格式讲解以及fastjson介绍

本文主要介绍JSON数据格式和阿里巴巴fastjson工具包

2017-03-06 22:45:02 1380 0

原创 18.工厂模式讲解以及DAOFactory开发

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍工厂模式和DAOFactory开发,并进行测试。

2017-03-06 22:15:16 1987 0

原创 17.DAO模式讲解及TaskDAO开发

本文主要介绍DAO模式、domain概念以及代码实现任务管理DAO接口和实现类。

2017-03-06 21:29:29 1344 0

原创 16.开发JDBC辅助组件

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍JDBC辅助组件的开发与测试,JDBC辅助组件包括创建数据库连接池、单例化、执行增删改查等功能。

2017-03-06 20:12:48 1389 0

原创 15.单例设计模式

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍单例模式及代码示范。

2017-03-06 16:38:23 1300 0

原创 14.JDBC原理介绍及增删改查示范

本文主要介绍JDBC的原理以及对MySQL数据库增删改查的具体实现过程。

2017-03-06 15:25:26 1722 0

原创 13.开发配置管理组件

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍配置管理组件及静态代码块的概念,并且进行管理组件的初步开发并测试。配置管理组件介绍 配置管理组件可以复杂,也可以很简单,对于简单的配置管理组件来说,只要开发一个类,可以在第一次访问它的时候,就从对应的properties文件中,读取配置项...

2017-03-06 14:41:01 1619 0

原创 12.会话分析-Eclipse工程搭建及工具类说明

本文主要介绍在Eclipse中搭建Maven项目,并且介绍五个常用的工具类,分别是日期时间工具类、数字工具类、参数工具类、字符串工具类和校验工具类

2017-03-06 11:30:59 1549 0

转载 11.会话分析-模块介绍

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍本实验项目的主要模块、用户访问session介绍、模块目标以及在实际企业项目中的使用架构。

2017-03-03 12:01:10 1954 1

原创 10.环境搭建-Maven安装及配置Eclipse

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在windows宿主机上安装Maven及在Eclipse中配置Maven的详细过程。

2017-03-01 21:44:58 3822 0

原创 9.环境搭建-MySQL及客户端安装

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在在windows主机上安装MySQL的详细过程,并且创建项目所需的数据库。

2017-03-01 17:16:20 1302 5

提示
确定要删除当前文章?
取消 删除