张杰部落格
最新博客
  • Centos 7.5 YUM安装Mysql 摘要: 下载Mysql源安装包1,wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpmyum安装mysql源2,yum localinstall mysql57-community-release-el7-8.noarch.r... 发表于 2018-12-14 20:22 阅读(88) 评论(0)

  • linux安装redis 完整步骤 摘要: 安装:1.获取redis资源  wget http://download.redis.io/releases/redis-4.0.8.tar.gz2.解压  tar xzvf redis-4.0.8.tar.gz3.安装  cd redis-4.0.8  make(如果报错可以试试make MALLOC=li... 发表于 2018-12-14 19:42 阅读(73) 评论(0)

  • Docker安装应用(CentOS 6.5_x64) 摘要: Docker安装应用(CentOS 6.5_x64)Authoer::jom_ch@2014/7/23Docker官网 http://www.docker.com/一,安装EPEL 关于EPEL:https://Fedoraproject.org/wiki/EPEL/zh-cn >rpm -ivh http:... 发表于 2018-01-30 14:38 阅读(327) 评论(0)

  • spark-sql读取映射hbase数据的hive外部表需要的jar包 摘要: 之前在业务处理中建立的一个hive映射hbase数据的外部表,通过hive查询成功,但是通过spark-sql去查询报了缺包异常。解决方式前提是你已经可以通过spark-sql读取hive的数据了。 解决方式非常简单。1.拷贝如下jar包到${spark_home}/jars(spark2.0之前是${spa... 发表于 2018-01-19 16:39 阅读(359) 评论(0)

  • 查询hbase映射到Hive表的诡异问题及总结 摘要: hive中dmp_device_info为映射到hbase中的dmp:device_info表,表结构如下:CREATE EXTERNAL TABLE if not exists dmp_device_info( device_id_md5 string, device_ty... 发表于 2017-12-27 14:12 阅读(438) 评论(0)

  • 机器学习算法之聚类算法Kmeans并找出最佳K值的Python实践 摘要: Kmeans聚类算法的大概流程是:①从样本中随机找出K个样本作为中心点;②求所有样本到这些样本的距离,按照最短的进行归类; ③求每个聚类中的样本的元素的平均值,作为新的中心点; ④继续②,③,知道所有样本再也无法找到新的聚类,就算完成。一、接下来使用Numpy实现python代码,测试有效并且带注释:Kmea... 发表于 2017-12-13 18:14 阅读(349) 评论(0)

  • Spark Standalone Cluster模式安装和配置及高可用 摘要: 1、手动启动一个spark集群启动standalone的master节点./sbin/start-master.sh一旦启动后,master会打印一个spark的地址,例如:spark://HOST:PORT。这个地址可以作为SparkContext的master参数。你可以访问http://HOST:808... 发表于 2017-12-06 16:21 阅读(307) 评论(0)

  • Java,Python,Scala三种语言开发并部署Spark的WordCount程序 摘要: 一、Java开发并部署Spark的wordcountJava实现WordCount程序:package com.spark.wordcount;import java.util.Arrays;import java.util.Iterator;import java.util.Map;import org.a... 发表于 2017-11-29 19:52 阅读(414) 评论(0)

  • JAVAEE进阶大数据之路:从搜索引擎实战到大数据学习 摘要: 做JAVAEE,如何进阶大数据呢?仅仅看视频学习,而没有机会实践,学了感觉好像没学一样。是否可以自己实现一个大数据项目增加自己的实践经验?如果还能对外发布,那就更有成就感了。做过Java的可以全栈实现一个项目,弄懂每一个细节,还能增加成就感。1、如何实现一个垂直爬虫和搜索引擎?1.1爬虫实现①实现逻辑②网址队... 发表于 2017-11-22 15:13 阅读(400) 评论(0)

  • hive jdbc调用hbase的映射表未设置zk的问题 摘要: 问题发现:hbase的映射到hive的表直接在安装了hive的命令中执行没有问题,但是通过hive的jdbc调用发现无法正常运行。集群机器为:master1,master2,dmp3,dmp4,dmp5,dmp6。zk安装在master1,master2,dmp3上。后查看任务调用情况有一部分containe... 发表于 2017-10-19 15:51 阅读(320) 评论(0)

Powered by IMZHANGJIE.CN Copyright © 2015-2018 粤ICP备14056181号