0%

Hue is a Web applications that enables you to easily interact with an Hadoop cluster. Hue applications let you browse HDFS, Jobs, run Hive, Pig and Cloudera Impala queries, manage the Hive Metastore, HBase, Sqoop, ZooKeeper, MapReduce jobs, and create and schedule worklows with Oozie.

更加关于HUE的介绍及演示可访问其官方网站: http://gethue.com

在程序遇到问题需要DEBUG时,通过会增加一些**print**语句输出。于是乎按惯例也在Python的代码中加入print调试,然后输入python xxxx.py,满怀信心的期待着调试信息的满屏滚动,结果是过了好阵子才显示出来。为何会这样呢?

根据网友建议增加个-u参数就OK,后来查了下原因:Python在默认情况会先把print输出到缓冲中,待缓冲满或程序后才会输出。所以可以在运行Python程序时加入此参数是非常的有用。

今天在安装一个Python模块–>pymysql结果等待时间特别的长,最后超时失败啦,起初是以为是网络带宽问题,让IT调整后仍是失败,随后尝试查找国内的镜像,还有真人也遇到过相同的问题。镜像列表如下:

1
2
3
4
5
6
https://pypi.douban.com/simple/ 豆瓣
http://mirrors.aliyun.com/pypi/simple/ 阿里
http://pypi.hustunique.com/simple/ 华中理工大学
http://pypi.sdutlinux.org/simple/ 山东理工大学
http://pypi.mirrors.ustc.edu.cn/simple/ 中国科学技术大学
https://pypi.tuna.tsinghua.edu.cn/simple 清华

对于项目开发常见的前后端分离模式来说,中间在后端完成接口开发交付对接时,前端人员往往苦于没有接口文档会经常"跑去"骚扰后端人员,真是苦不堪言哪。要是此时有个文档化的说明那就轻松多啦,现在后端流行的文档生成利器有Swagger,它虽然方便,但是也有弊端得写在的后台的代码中,而且启动整个后台项目才能访问。或许有时还真不太方便的,另外就是项目初期要对接口做个规划也无法用这个方法,难道就没有别的办法了嘛?

实际上kylin自带的WEB UI已经集成了建议的图形报表,有常见的线形,柱形及饼图,用于数据的初步展示是完全够用的。如果要更加丰富的展示,那可以考虑使用别的工具,现在就试试官方推荐的Apache Zeppelin。

最近正在捣鼓构建数据仓库的事宜,正好有部分维度表的数据需要来自于RDBMS的数据,在HADOOP环境最流行的莫过于Apache的Sqoop工具,按官方的文档操作下来也很顺畅的,不过当要应用到业务场景上时问题便出现了。

很多时候我们自己开发的或别的服务都没有后台的守护进程,那么进程很容易就会被不小心的杀死,此时就需要有个程序去监控和维护这些程序服务。网上搜罗了一番后发现Supervisor组件正好能实现我们想要的,同时还支持对这些程序的统一管理,Nice!

有许久没维护自己开源的项目了,此次在修复BUG发布时遭遇失败,检查后发现原因是因为gpg签名失败,没办法换了MAC电脑有些操作不熟悉是有点郁闷的。

关于如何将自己的JAR共享到Maven中央仓库,网上有很多的资源,大家可以自行尝试一下,其实也不难的,完全没必要担心英语的问题。

分享一个别人整理的GitBook: 发布到中央仓库

平时最常用的git push命令突然间居然不可以用(错误日志如下),脑子首先蹦出的想法就是:难道Github又被墙了么!以前出现过类似这样的现象,需要通过指定hosts来加速访问。

git push 执行后返回的错误日志:

1
2
3
4
ssh: Could not resolve hostname github.com:elkan1788: nodename nor servname provided, or not known
fatal: Could not read from remote repository.

Please make sure you have the correct access rights

今天在生产的HDP环境中,遇到一件非常诡异的事情。明明搭建了2台zookeeper集群,却是莫明其妙的不见了,而且HDP服务还不报错,认真的检查过环境还是没有找到异常的信息,真是说不明白了。

言归正传, 还是说说后面遇的问题吧: 生产环境zookeeper崩溃,查看日志发现是磁盘空间已经写满。起初以为是很简单的操作,删除无用的日志文件释放磁盘空间(这是不得不吐槽下HDP的日志文件是超多的,奈何生产环境又不敢不预留长些的时间),然后重启zookeeper满心欢喜的等待着服务恢复正常。然而这次没有看到成功的提示,异常不断各服务连接zookeeper都失败了。这时真的是郁闷了,空间明明已经是充足的。异常信息如下: