本站是 好好学java 的技术分享博客,涵盖Java后端技术、SpringBoot、微服务架构、分布式、Java面试等知 ...
正在加载今日诗词...
Spark 从零到开发(五)初识Spark SQL Spark 从零到开发(五)初识Spark SQL
Spark SQL是用于结构化数据处理的Spark模块。 与基本的Spark RDD API不同,Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。 在内部,Spark SQL使用此额外信息来执行额外的
2021-04-05
Spark 从零到开发(六)HiveContext Spark 从零到开发(六)HiveContext
Spark SQL执行引擎的一个实例,它与存储在Hive中的数据集成在一起。从类路径上的hive-site.xml读取Hive的配置。 1. java本地执行1.1 json文件:123456{"id":1,"name":"FantJ"
2021-04-05
Spark 从零到开发(七)Spark SQL和DataFrame Spark 从零到开发(七)Spark SQL和DataFrame
话不多说,直接代码。概念还是spark sql中的概念。 方式一:使用java反射来推断RDD元数据 从文本文件拿到RDD对象-利用反射机制将RDD转换为DataFrame-注册为一个临时表-执行sql语句-再次转换为RDD-将RDD中
2021-04-05
Spark 从零到开发(八)nginx日志清洗并持久化实战 Spark 从零到开发(八)nginx日志清洗并持久化实战
本文将介绍如何清洗nginx日志并存储到mysql中,附带azkaban定时任务协作完成对 access.log的清洗任务。 1. 查看nginx日志格式 cd /var/log/nginx 1234567[root@FantJ ngi
2021-04-05
关于redis,学会这8点就够了 关于redis,学会这8点就够了
来源:中间件小哥链接:blog.csdn.net/middleware2018/ 链接:blog.csdn.net/middleware2018/ 一、redis是什么redis是一种支持Key-
2021-04-05
nginx反向代理转发apache配置 之 cookie去哪儿了? nginx反向代理转发apache配置 之 cookie去哪儿了?
作者:等你归去来链接:www.cnblogs.com/yougewe 在公司接手了个微信项目,由于微信环境下访问网站需要使用对外开放的域名,所以有相关问题,都是直接运维同事帮忙处理。 原理是这样:方案一: 将域名解析指向测试服务器的地址
2021-04-05
Redis学习指南 Redis学习指南
来源:hoojo链接:www.cnblogs.com/hoojo/p/4466024.html 链接:www.cnblogs.com/hoojo/p/4466024.html 一、介绍Redis是一个开源的使用ANSI C语言编写、支持
2021-04-05
史上最详细、最全面的Hadoop环境搭建 史上最详细、最全面的Hadoop环境搭建
[root@bigdata-senior01 Desktop]# java –version 注意:Hadoop机器上的JDK,最好是Oracle的Java JDK,不然会有一些问题,比如可能没有JPS命令。 如果安装了其他版本的JDK
2021-04-05
Redis之集群环境搭建 Redis之集群环境搭建
前面文章介绍了Redis的主从复制,虽然该模式能够在一定程度上提高系统的稳定性,但是在数据访问量比较大的情况下,单个master应付起来还是比较吃力的,这时我们可以考虑将redis集群部署,本文就来重点给大家介绍下Redis的集群部署操作。
2021-04-05
5 / 15