《深入浅出Hadoop实战开发(HDFS实战图片、MapReduce、HBase实战微博、Hive应用)》
课程讲师:明义(robby)
课程分类:Java
涉及项目:图片服务器、微博、流量统计、话单查询系统
用到技术:Hadoop、MapReduce、HBase、Hive等
其他特性:MapReduce算法、HDFS命令
涵盖内容:代码、ppt、视频
课时数量:30
第1章节:
> Hadoop背景
> HDFS设计目标
> HDFS不适合的场景
> HDFS架构详尽分析
> MapReduce的基本原理
第2章节
> Hadoop的版本介绍
> 安装单机版Hadoop
> 安装Hadoop集群
第3章节
> HDFS命令行基本操作
> Namenode的工作机制
> HDFS基本配置管理
第4章节
> HDFS应用实战:图片服务器(1) - 系统设计
> 应用的环境搭建 php + bootstrap + java
> 使用Hadoop Java API实现向HDFS写入文件
第5章节
> HDFS应用实战:图片服务器(2)
> 使用Hadoop Java API实现读取HDFS中的文件
> 使用Hadoop Java API实现获取HDFS目录列表
> 使用Hadoop Java API实现删除HDFS中的文件
第6章节
> MapReduce的基本原理
> MapReduce的运行过程
> 搭建MapReduce的java开发环境
> 使用MapReduce的java接口实现WordCount
第7章节
> WordCount运算过程分析
> MapReduce的combiner
> 使用MapReduce实现数据去重
> 使用MapReduce实现数据排序
> 使用MapReduce实现数据平均成绩计算
第8章节
> HBase详细介绍
> HBase的系统架构
> HBase的表结构,RowKey,列族和时间戳
> HBase中的Master,Region以及Region Server
第9章节
> 使用HBase实现微博应用(1)
> 用户注册,登陆和注销的设计
> 搭建环境 struts2 + jsp + bootstrap + jquery + HBase Java API
> HBase和用户相关的表结构设计
> 用户注册的实现
第10章节
> 使用HBase实现微博应用(2)
> 使用session实现用户登录和注销
> “关注"功能的设计
> “关注"功能的表结构设计
> “关注"功能的实现
第11章节
> 使用HBase实现微博应用(3)
> “发微博"功能的设计
> “发微博"功能的表结构设计
> “发微博"功能的实现
> 展现整个应用的运行
第12章节
> HBase与MapReduce介绍
> HBase如何使用MapReduce
第13章节
> HBase应用实战:话单查询与统计(1)
> 应用的整体设计
> 开发环境搭建
> 表结构设计
第14章节
> HBase应用实战:话单查询与统计(2)
> 话单入库单设计与实现
> 话单查询的设计与实现
第15章节
> HBase应用实战:话单查询与统计(3)
> 统计功能设计
> 统计功能实现
第16章节
> 深入MapReduce(1)
> split的实现详解
> 自定义输入的实现
> 实例讲解
第17章节
> 深入MapReduce(2)
> Reduce的partition
> 实例讲解
第18章节
> Hive入门
> 安装Hive
> 使用Hive向HDFS存入结构化数据
> Hive的基本使用
第19章节
> 使用MySql作为Hive的元数据库
> Hive结合MapReduce
第20章节
> Hive应用实战:数据统计(1)
> 应用设计,表结构设计
第21章节
> Hive应用实战:数据统计(2)
> 数据录入与统计的实现
《Hadoop应用开发实战(flume应用开发、搜索引擎算法、Pipes、集群、PageRank算法)》
课程讲师:明义(robby)
课程分类:Java
涉及项目:搜索引擎自动推荐、PageRank算法、 最短路径算法、好友智能推荐
用到技术:flume应用开发、Pipes、Hadoop Streaming
其他特性:Hadoop集群管理、flume分布式应用
涵盖内容:视频、代码、ppt
课时数量:28
第1章节: (4课时)
搜索引擎自动推荐(4课时)
> 新平台搭建: 使用VirtualBox创建CentOs虚拟机,并使用RPM的方式安装和使用Hadoop
> 内存数据库Redis的安装和基本使用
> 搜索引擎自动推荐算法讲解
> 使用JqueryUI + Ajax + Redis搭建前后台框架
> 使用Map Reduce实现数据统计算法
> 定制Map Reduce输出,将数据直接写入Redis内存数据库
第2章节: (3课时)
好友智能推荐 (3课时)
> 应用背景和算法详细讲解
> Web框架搭建Struts2 + Redis
> 使用Map Reduce结合Redis实现潜在好友查找算法
> 完整的应用逻辑实现:前台好友关注,后台潜在好友查找,再到前台潜在好友推荐
第3章节:(2课时)
Hadoop Streaming(2课时)
> 非Java的Map Reduce实现
> 如何使用脚本语言实现一个Map Reduce任务
> 如何使用C语言实现一个Map Reduce任务
第4章节: (1课时)
Hadoop Pipes (1课时)
> 基于Hadoop Pipes,使用C++实现Map Reduce任务
第5章节: (2课时)
Apache Flume基础 (2课时)
> Apache Flume概述
> Flume Agent详细介绍及使用
> 深入Flume子模块: Source, Sink及Channel的使用
第6章节: (3课时)
Flume实践及分布式应用 (3课时)
> 与搜索引擎自动推荐应用的结合
> 搭建分布式的flume应用
第7章节: (5课时)
最短路径算法的Hadoop实现(约5课时)
> 最短路径算法介绍
> 如何使用MapReduce实现最短路径算法
> 找到城市任意公交站点之间的最短路径
第8章节: (3课时)
Hadoop集群管理(约3课时)
> Hadoop的日志管理
> 动态添加和删除Hadoop节点
> Namenode和Datanode目录结构介绍
> HDFS的数据安全性:fsimage和editlog
> Hadoop管理工具dfsadmin和fsck的使用
第9章节:(5课时)
PageRank算法的Hadoop实现(约5课时)
> Google的成名之作:PageRank算法介绍
> 如何使用Hadoop实现PageRank算法
《Cloudera Hadoop 4系列实战课程(电商业日志流量分析项目)》
课程讲师:Cloudy
课程分类:Java
涉及项目:电商业日志流量分析项目
用到技术:CDH4,Cloudera Manager,Hive,HBase,Sqoop
其他特性:Hbase
涵盖内容:视频、代码、ppt
课时数量:40
第一章(9讲)
·cloudera manager 介绍和安装
·chd4.1 介绍
·chd4.1 安装
·chd4.1 集群环境搭建、相关组件安装
·cloudera manager管理集群
·cloudera manager下集群高级管理
第二章(约10讲)
·Hive原理
·Hive元数据管理
·Hive数据表和数据存储
·Hive的Java扩展开发
·Hive UDF和UDAF开发
·Hive JDBC连接
·Hive常见场景,实战练习
·Hive -f 传参框架开发
由于hive自带命令hive -f无法传参数,导致hive跨文件的使用基本瘫痪,
无法大量推广。该框架可以任意传参,让hive企业级应用开发更高效和简洁。
第三章(约5讲)
·Sqoop原理
·Sqoop使用详解
·用Sqoop实现HDFS/Hive与关系数据库的数据交互
·用Sqoop实现HBase与关系数据库的数据交互
第四章(约8讲)
·Hbase原理
·Hbase系统架构
·Hbase存储机制
·Hbase基本使用
·Hbase表设计思路和方案
·常见应用场景
·和Hive交互
·Java访问、WEB开发
第五章 项目实战(约8讲)
电商业日志流量分析项目,互联网企业对海量日志的分析是Hadoop应用的一个重要用途,也是对网站流量、客户行为分析的重要途径。该项目整合Hive、Hbase、Sqoop等常用组件,涉及从后台处理到前台呈现的每一个技术环节。
包括:
·业务需求介绍
·数据建模
·后台算法设计
·后台业务处理
·前台WEB展示等
...
需要者三套完整版hadoop的教程的朋友们,赶紧加我拿教程 1767991082
大讲台(搜索即可)自适应IT技术学习平台低调上线,首推hadoop培训课程,效果三包“包就业、包跳槽、包涨薪”,薪资涨幅超40%或offer薪资8000+,达不到全额退费;原价2999元,7月15日前报名享受优惠价1999元,更有优惠码秒杀活动等你来动手!最低仅需1000元!
6年前错过了安卓,3年前错过了iOS,今天如果再错过Hadoop,活该你继续租房住!国内首个自适应大井台(百度搜索即可)IT技能学习平台将于7月10日上线,首推hadoop培训课程,效果三包“包就业、包跳槽、包涨薪”,薪资涨幅超40%或offer薪资8000+,达不到全额退费;原价2999元,7月15日前报名享受优惠价1999元,更有优惠码秒杀活动等你来动手!最低仅需1000元!
天天上网泡QQ群、泡论坛,就没想过系统的学习一下hadoop?没想过。谁信啊!!晚上想想千条路,早上醒来走老路?大讲台Hadoop培训课程即将上线,自适应学习平台,保证很懂你,快到碗里来!
世界那么大,你还这么小!别在QQ群\论坛里潜水捡面包屑了,花钱学个系统的课程,一口气月薪上10000+,不费劲!大讲台Hadoop自适应IT技能在线学习平台,等你来。
在网上下了1T视频想好好学门技术,但是三天新鲜过后,怎么也坚持不下去了,有木有?大讲台自适应智能学习引擎为坚持而生,让你学得下去,根本停不下来!原价2999元,7月15日前报名享受优惠价1999元,更有优惠码秒杀活动等你来动手,最低仅需1000元!效果三包“包就业、包跳槽、包涨薪”,薪资涨幅超40%或offer薪资8000+,达不到全额退费。
免费的目前好像还没有,收费的也不是很多,价格高的离谱!这个东西门槛相对高一点,我只有一台电脑就不好搞这玩意!老衲最近也再搞这个!看视频也就加深一点概念的理解!还是多看书,多练习吧!
我这里有,邮箱地址:1752255613@qq.com。 虽然是QQ邮箱,但我不上QQ的。
好与不好。值 与不值,看过就知道了。
hadoop贴吧里有,可以去看看