2021-04-05
Spark 从零到开发(五)初识Spark SQL
Spark SQL是用于结构化数据处理的Spark模块。 与基本的Spark RDD API不同,Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。 在内部,Spark SQL使用此额外信息来执行额外的
2021-04-05
其他框架
Spark 从零到开发(六)HiveContext
Spark SQL执行引擎的一个实例,它与存储在Hive中的数据集成在一起。从类路径上的hive-site.xml读取Hive的配置。
1. java本地执行1.1 json文件:123456{"id":1,"name":"FantJ"
2021-04-05
其他框架
Spark 从零到开发(七)Spark SQL和DataFrame
话不多说,直接代码。概念还是spark sql中的概念。
方式一:使用java反射来推断RDD元数据
从文本文件拿到RDD对象-利用反射机制将RDD转换为DataFrame-注册为一个临时表-执行sql语句-再次转换为RDD-将RDD中
2021-04-05
其他框架
Spark 从零到开发(八)nginx日志清洗并持久化实战
本文将介绍如何清洗nginx日志并存储到mysql中,附带azkaban定时任务协作完成对
access.log的清洗任务。
1. 查看nginx日志格式
cd /var/log/nginx
1234567[root@FantJ ngi
2021-04-05
其他框架
关于redis,学会这8点就够了
来源:中间件小哥链接:blog.csdn.net/middleware2018/
链接:blog.csdn.net/middleware2018/
一、redis是什么redis是一种支持Key-
2021-04-05
其他框架
nginx反向代理转发apache配置 之 cookie去哪儿了?
作者:等你归去来链接:www.cnblogs.com/yougewe
在公司接手了个微信项目,由于微信环境下访问网站需要使用对外开放的域名,所以有相关问题,都是直接运维同事帮忙处理。
原理是这样:方案一:
将域名解析指向测试服务器的地址
2021-04-05
其他框架
史上最详细、最全面的Hadoop环境搭建
[root@bigdata-senior01 Desktop]# java –version
注意:Hadoop机器上的JDK,最好是Oracle的Java JDK,不然会有一些问题,比如可能没有JPS命令。
如果安装了其他版本的JDK
2021-04-05
其他框架
Redis之集群环境搭建
前面文章介绍了Redis的主从复制,虽然该模式能够在一定程度上提高系统的稳定性,但是在数据访问量比较大的情况下,单个master应付起来还是比较吃力的,这时我们可以考虑将redis集群部署,本文就来重点给大家介绍下Redis的集群部署操作。
2021-04-05
其他框架