如题所述
在学习大数据,教材比较容易找hadoop权威指南就可以,大家一件比较统一。但是视频教程比较多,也没看到有公认比较突出的。所以我决定一点点看并把感想分享在这里。
1,马士兵老师的Hadoop教程以及相关大数据教程
我刚看完,实在斗鱼直播上进行的,所以含有大量冗余。但是作为入门教程是十分合适的。首先因为马士兵老师是个明白人,说话都准确干练,入门的思路也很简单。
看完这个教程可以搭建一个集群环境,并且进行文件上传管理,一个mapreduce的例子。学完应该对HDFS,MapReduce,Yarn三个主要模块有个比较清晰的认识。
2,尚学堂肖斌的hadoop100课,正在看
目前感觉比较啰嗦,也不是没用,只是不太适合我。重点不够精炼,看完之后在做评价。
1,马士兵老师的Hadoop教程以及相关大数据教程
我刚看完,实在斗鱼直播上进行的,所以含有大量冗余。但是作为入门教程是十分合适的。首先因为马士兵老师是个明白人,说话都准确干练,入门的思路也很简单。
看完这个教程可以搭建一个集群环境,并且进行文件上传管理,一个mapreduce的例子。学完应该对HDFS,MapReduce,Yarn三个主要模块有个比较清晰的认识。
2,尚学堂肖斌的hadoop100课,正在看
目前感觉比较啰嗦,也不是没用,只是不太适合我。重点不够精炼,看完之后在做评价。
温馨提示:答案为网友推荐,仅供参考
第1个回答 2018-02-23
Hadoop入门、进阶及实战视频教程下载:
第2个回答 2020-07-27
Hadoop中有很多方法可以加入多个数据集。MapReduce提供了Map端和Reduce端的数据连接。这些连接是非平凡的连接,并且可能会是非常昂贵的操作。Pig和Hive也具有同等的能力来申请连接到多个数据集。Pig提供了复制连接,合并连接和倾斜连接(skewed join),并且Hive提供了map端的连接和完整外部连接来分析数据。
一个重要的事实是,通过使用各种工具,比如MapReduce、Pig和Hive等,数据可以基于它们的内置功能和实际需求来使用它们。至于在Hadoop分析大量数据,Anoop指出,通常,在大数据/Hadoop的世界,一些问题可能并不复杂,并且解决方案也是直截了当的,但面临的挑战是数据量。在这种情况下需要不同的解决办法来解决问题。
一些分析任务是从日志文件中统计明确的ID的数目、在特定的日期范围内改造存储的数据、以及网友排名等。所有这些任务都可以通过Hadoop中的多种工具和技术如MapReduce、Hive、Pig、Giraph和Mahout等来解决。这些工具在自定义例程的帮助下可以灵活地扩展它们的能力。
一个重要的事实是,通过使用各种工具,比如MapReduce、Pig和Hive等,数据可以基于它们的内置功能和实际需求来使用它们。至于在Hadoop分析大量数据,Anoop指出,通常,在大数据/Hadoop的世界,一些问题可能并不复杂,并且解决方案也是直截了当的,但面临的挑战是数据量。在这种情况下需要不同的解决办法来解决问题。
一些分析任务是从日志文件中统计明确的ID的数目、在特定的日期范围内改造存储的数据、以及网友排名等。所有这些任务都可以通过Hadoop中的多种工具和技术如MapReduce、Hive、Pig、Giraph和Mahout等来解决。这些工具在自定义例程的帮助下可以灵活地扩展它们的能力。