Sqoop工具导入数据到Hive小记

最近正在捣鼓构建数据仓库的事宜,正好有部分维度表的数据需要来自于RDBMS的数据,在HADOOP环境最流行的莫过于Apache的Sqoop工具,按官方的文档操作下来也很顺畅的,不过当要应用到业务场景上时问题便出现了。

Supervisor介绍与使用

很多时候自己开发的或别的服务都没有的后台的守护进程,有时会被不小心的杀死进程,那么就需要这么个程序去监控和维护这些服务。

发布jar到Maven时遭遇gpg签名失败

有许久没维护自己开源的项目了,此次在修复BUG发布时遭遇失败,检查后发现原因是因为gpg签名失败,没办法换了MAC电脑有些操作不熟悉是有点郁闷的。

Github push失败:Could not resolve hostname

平时最常用的git push命令突然间居然不可以用(错误日志如下),脑子首先蹦出的想法就是:难道Github又被墙了么!以前出现过类似这样的现象,需要通过指定hosts来加速访问。

Zookeeper崩溃后无法加载事务日志

今天在生产的HDP环境中,遇到一件非常诡异的事情。明明搭建了2台zookeeper集群,却是莫明其妙的不见了,而且HDP服务还不报错,认真的检查过环境还是没有找到异常的信息,真是说不明白了。

Linux使用SSH免密码登录

现在分布式集群非常的流行, 经常在不同的机器上面切换来回那是家常便饭. 如果每次切换都需要输入用户名与密码, 那就是要崩溃的节奏啊. 好在SSH-KEY给我们提供了便利, 只要在master生成一个PUB_KEY, 然后拷贝到clusters中, 以后便可以直接使用ssh hostname即能快速,方便的切换到需要操作的机器上面.

Git 操作命令收集

都说好性不如烂笔头, 一点也没有错呀. 虽然学习Git已经有1个多年头, 但是有些时候那比较少用的命令总是一时想不起来.所以还是决定把它写到blog里面, 不仅把经验分享出去, 而且也便于自己查找, 此博文会持续累加.

mpsdk4j的点滴记录--MPAccount

mpsdk4j是在实际的生产项目中抽离出来的开源分享项目,它的成长至今也算是有不少的经历吧, 最近一直忙于工作与生活上的事情疏忽了对它的关心. 自去年下决心对它重构并建立了QQ交流群(486192816)后, 逐渐的有不业界朋友前来关注, 在此非常感谢他们的支持. 都说用过方知其好, 可实际情况确不是这么乐观呀,在大家的使用过程中发现mpsdk4j有不少欠缺与不足的地方. 之前一直想在元旦发布的2.b.1版本也拖延至今还没有交工, 在此对大家说声抱歉, 以后定会嘉勉.下面还是先进入此次的主题–初识mpsdk4jMPAccount. (注: 对于有微信开发基础与项目经验的可略过)

MapDB 同步读写示例

MapDB 是一个快速、易用的嵌入式Java数据库引擎. 最主要的特点之一就是支持磁盘存储,直接把内存中的Hash Map同步写入到磁盘. 另外特别惊喜的是它支持ACID事务,MVCC隔离, 且有全职的开发者支持.

Nutz源码Jdoc在IDE中补全提示时出现乱码解决办法

接触Nutz也有一段时间,随着对它使用的不断深入了解,才越发觉它的强悍与作者的设计巧妙,特别喜欢它那个JUnit测试报告,而且更新的速度也挺快的,到现在的1.b.44版本,ssh所拥有的功能可以说它也已经完全具备了。对于程序员来说学习一种新技术最快捷的办法就是Demo+API,这两样也是必备之需哪。Nutz在这方面做的也是相当的不错,比如在Demo方面有人贡献出了整个CMS的源码(非常感谢作者的分享哪,从里面学习了不少知识),API方面提供了常见的CHM格式和JAR包。不过这个JAR的API在实现应用中却是出了点小问题,下面就来详细说说。