自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(22)
  • 资源 (11)
  • 论坛 (1)
  • 收藏
  • 关注

原创 56.JVM调优之调节executor堆外内存与连接等待时长

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在实际大型Spark项目中通过调节 executor 堆外内存与连接等待时长进行 JVM 调优,从而解决一些报错现象

2017-04-25 16:58:13 1426 1

原创 55.JVM调优之原理概述以及降低cache操作的内存占比

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍性能调优的分类,重点介绍 JVM 调优的原理以及降低 cacahe 内存占比的原因和方法。

2017-04-25 16:25:56 1099

原创 54.性能调优之调节数据本地化等待时长

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在实际项目中通过调节数据本地化等待时长进行性能优化。

2017-04-24 22:38:27 708

原创 53.性能调优之使用 fastutil 优化数据格式

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在实际项目中使用 fastutil 优化数据格式的方法。

2017-04-24 21:40:27 1338

原创 52.性能调优之Kryo序列化

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在实际项目中使用Kryo序列化的方式进行性能优化。

2017-04-24 18:16:17 2014

原创 51.性能调优之广播大变量

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍在实际项目中广播大变量的原因、原理和具体在代码中实现的方法。

2017-04-23 18:33:20 2361

原创 50.性能调优之重构RDD架构以及RDD持久化

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍重构RDD及持久化的原因及方法,并在代码中实现优化。

2017-04-23 12:53:58 3972 1

原创 49.性能调优之调节并行度

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍使用调节并行度的方式进行性能调优,重点讲解 Spark并行度原理以及如何调节并行度。

2017-04-21 22:46:47 1252

原创 48.性能调优之分配更多资源

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍从分配更多资源的角度进行性能调优,并且详细介绍其工作原理,从原理上分析为什么分配更多资源后会带来性能提升。

2017-04-21 17:49:14 969

原创 47.top10活跃session之本地测试以及阶段总结

本文为《Spark大型电商项目实战》 系列文章之一,主要进行本地测试,并进行阶段总结。

2017-04-14 23:04:29 1163

原创 46.top10活跃session之分组取TopN算法获取top10活跃session

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍本模块的核心,也就是实现TopN算法,以获取top10活跃session。

2017-04-14 22:35:47 1677

原创 45.top10活跃session之计算top10品类被各sessoin点击的次数

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10活跃session模块中第二步计算top10品类被各session点击的次数。

2017-04-14 22:20:04 1012 3

原创 44.top10活跃session之开发准备以及top10品类RDD生成

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍需求回顾和思路分析,然后将之前的代码重构,最后进行获取top10活跃session的方法。

2017-04-14 22:09:10 1281

原创 43.top10热门品类之使用Scala实现二次排序

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍使用Scala实现二次排序。

2017-04-13 23:18:55 1827

原创 42.top10热门品类之本地测试

本文为《Spark大型电商项目实战》 系列文章之一,主要进行top10热门品类模块中的本地测试环节。

2017-04-13 23:08:26 1525

原创 41.top10热门品类之获取top10品类并写入MySQL

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍top10热门品类模块中的第六步:获取top10品类并写入MySQL。

2017-04-13 22:46:05 1455

原创 40.top10热门品类之进行二次排序

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10热门品类模块中的第五步:二次排序。

2017-04-13 22:41:09 1027

原创 39.top10热门品类之自定义二次排序key

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10热门品类模块中的第四步:自定义二次排序key。

2017-04-13 22:35:38 909

原创 38.top10热门品类之join品类与点击下单支付次数

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10热门品类模块中的第三步:join各品类与它的点击、下单和支付的次数。

2017-04-13 22:29:56 1286

原创 37.top10热门品类之计算各品类点击、下单和支付的次数

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10热门品类模块中的第二步:计算各品类的点击、下单和支付的次数。

2017-04-13 22:21:57 2085 3

原创 36.top10热门品类之获取session访问过的所有品类

本文为《Spark大型电商项目实战》 系列文章之一,主要代码实现top10热门品类模块中的第一步:获取符合条件的session访问过的所有品类。

2017-04-13 22:16:19 1080

原创 35.top10热门品类之需求回顾以及实现思路分析

本文为《Spark大型电商项目实战》 系列文章之一,主要介绍session访问分析里的top10热门品类模块,本文主要进行需求分析和实现思路。

2017-04-13 21:48:12 1517

Nmap 常用命令总结(思维导图整理)

使用 XMind 思维导图整理常用的 Nmap 命令

2017-06-13

WinSCP绿色免安装版

直接解压运行WinSCP.exe即可,无需注册码,不用安装,解压即用,亲测好用

2016-09-10

笨方法学Python中文高清版(带目录/可复制)

经典书籍,中文高清版,非扫描,可以复制粘贴,适合初学者。

2016-09-14

《Spark快速大数据分析》XMind思维导图笔记

本资源为《Spark快速大数据分析》一书的笔记,使用XMind思维导图制作而成,相对比较详细

2016-09-18

Spark快速大数据分析(带目录/非扫描/可复制)

本书由 Spark 开发者及核心成员共同打造,讲解了网络大数据时代应运而生的、能高效迅捷地分析处理数据的工具——Spark,它带领读者快速掌握用Spark 收集、计算、简化和保存海量数据的方法,学会交互、迭代和增量式分析,解决分区、数据本地化和自定义序列化等问题。

2016-09-10

PPT,要你好看(第二版)XMind思维导图

杨臻《PPT,要你好看》(第二版)自己总结的读书笔记XMind思维导图

2017-08-13

Java工具类

本资源有五个Java工具类,分别是日期时间工具类、数字格式工具类、参数工具类、字符串工具类和校验工具类。

2017-03-06

Spark机器学习(高清文字版/可复制/带目录)

本书每章都设计了案例研究, 以机器学习算法为主线, 结合实例探讨了Spark 的实际应用。 书中没有让人抓狂的数据公式, 而是从准备和正确认识数据开始讲起, 全面涵盖了推荐系统、 回归、 聚类、 降维等经典的机器学习算法及其实际应用。本书适合互联网公司从事数据分析的人员, 以及高校数据挖掘相关专业的师生阅读参考。

2016-09-14

Spark大数据处理:技术、应用与性能优化(全本/带目录/非扫描/可复制)

全本,非扫描版,带目录,可以复制粘贴

2016-09-10

鸟哥的Linux私房菜基础篇第三版

详细分析linux操作,带目录,非扫描版,可复制粘贴,可全局搜索

2016-09-10

电商数据模拟生成程序

电商数据模拟生成程序

2017-03-06

Erik_ly的留言板

发表于 2020-01-02 最后回复 2020-04-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除