自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 56.JVM调优之调节executor堆外内存与连接等待时长

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在实际大型Spark项目中通过调节 executor 堆外内存与连接等待时长进行 JVM 调优,从而解决一些报错现象

2017-04-25 16:58:13 1349 1

原创 55.JVM调优之原理概述以及降低cache操作的内存占比

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍性能调优的分类,重点介绍 JVM 调优的原理以及降低 cacahe 内存占比的原因和方法。

2017-04-25 16:25:56 1012 0

原创 54.性能调优之调节数据本地化等待时长

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在实际项目中通过调节数据本地化等待时长进行性能优化。

2017-04-24 22:38:27 671 0

原创 53.性能调优之使用 fastutil 优化数据格式

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在实际项目中使用 fastutil 优化数据格式的方法。

2017-04-24 21:40:27 1172 0

原创 52.性能调优之Kryo序列化

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在实际项目中使用Kryo序列化的方式进行性能优化。

2017-04-24 18:16:17 1868 0

原创 51.性能调优之广播大变量

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在实际项目中广播大变量的原因、原理和具体在代码中实现的方法。

2017-04-23 18:33:20 1889 0

原创 50.性能调优之重构RDD架构以及RDD持久化

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍重构RDD及持久化的原因及方法,并在代码中实现优化。

2017-04-23 12:53:58 3852 1

原创 49.性能调优之调节并行度

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍使用调节并行度的方式进行性能调优,重点讲解 Spark并行度原理以及如何调节并行度。

2017-04-21 22:46:47 1058 0

原创 48.性能调优之分配更多资源

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍从分配更多资源的角度进行性能调优,并且详细介绍其工作原理,从原理上分析为什么分配更多资源后会带来性能提升。

2017-04-21 17:49:14 884 0

原创 47.top10活跃session之本地测试以及阶段总结

本文为《Spark大型电商项目实战》 系列文章之一,主要进行本地测试,并进行阶段总结。

2017-04-14 23:04:29 1074 0

原创 46.top10活跃session之分组取TopN算法获取top10活跃session

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍本模块的核心,也就是实现TopN算法,以获取top10活跃session。

2017-04-14 22:35:47 1490 0

原创 45.top10活跃session之计算top10品类被各sessoin点击的次数

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10活跃session模块中第二步计算top10品类被各session点击的次数。

2017-04-14 22:20:04 864 3

原创 44.top10活跃session之开发准备以及top10品类RDD生成

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍需求回顾和思路分析,然后将之前的代码重构,最后进行获取top10活跃session的方法。

2017-04-14 22:09:10 1040 0

原创 43.top10热门品类之使用Scala实现二次排序

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍使用Scala实现二次排序。

2017-04-13 23:18:55 1670 0

原创 42.top10热门品类之本地测试

本文为《Spark大型电商项目实战》 系列文章之一,主要进行top10热门品类模块中的本地测试环节。

2017-04-13 23:08:26 1395 0

原创 41.top10热门品类之获取top10品类并写入MySQL

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍top10热门品类模块中的第六步:获取top10品类并写入MySQL。

2017-04-13 22:46:05 1273 0

原创 40.top10热门品类之进行二次排序

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10热门品类模块中的第五步:二次排序。

2017-04-13 22:41:09 867 0

原创 39.top10热门品类之自定义二次排序key

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10热门品类模块中的第四步:自定义二次排序key。

2017-04-13 22:35:38 826 0

原创 38.top10热门品类之join品类与点击下单支付次数

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10热门品类模块中的第三步:join各品类与它的点击、下单和支付的次数。

2017-04-13 22:29:56 1199 0

原创 37.top10热门品类之计算各品类点击、下单和支付的次数

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10热门品类模块中的第二步:计算各品类的点击、下单和支付的次数。

2017-04-13 22:21:57 1855 3

原创 36.top10热门品类之获取session访问过的所有品类

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10热门品类模块中的第一步:获取符合条件的session访问过的所有品类。

2017-04-13 22:16:19 958 0

原创 35.top10热门品类之需求回顾以及实现思路分析

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍session访问分析里的top10热门品类模块,本文主要进行需求分析和实现思路。

2017-04-13 21:48:12 1262 0

提示
确定要删除当前文章?
取消 删除