亘古
gengu · 共 38 篇文章
hive调优 ------- 竖表变横表
好久没有更新博客了 来公司三个多月,别的没学到,天天写sql hive,本来很反感这样的重复性劳动,不过呢!既来之则安之 工作中遇到这样一个需求 有这这样一张表t_buy_buyer_time_hongbao_asc 用户id 次序 购买时间 25560 1 1325345254 25560 2 1331043510 25560 3 1331999999 25720 1 1320381121 25720 2 1320461154 25720 3 1320639271 26840 1 1337214675 26840 2 1337214694 26840 3 1337214768 37160 …
2012-10-11 17:10 · hive脚本 · 评论(0)
在tomcat中运行得nutch加入中文分词后的检索
nutch-0.9加入中文分词之后的索引有很多博客已经讲到过 我没有使用Cygwin模拟linux环境,而是在Tomcat中运行的nutch。这个项目工程文件是在我们的项目中的一个war包,而这个war包却是最开始的版本,因此我们要在特定的时候修改掉里面的一些文件。 但遇到一个问题是,加入分词之后放到tomcat里面发现搜索不好使了,用Luke打开索引文件可以看到中文分词的效果明显 可是用nutch查询结果却很多时候查不出来 其实原因是因为你加入的中文分词在查询里面没有被应用到,因为war包还是最老版本的war包,其中的一些修改没有体现到 修改以下几个地方,把nutch的中文分词器换成自己的…
2012-05-05 20:01 · java 搜索引擎 nutch · 评论(0)
大学最后半年
大学就剩下半年时间,转瞬就要完结。 六月份去公司报道,很期待,也很纠结... 不断的有人问我现在在哪里,现在在干嘛,我确实不知道该怎么说,我没有去公司实习,没有做毕业设计,也没有兼职,我只是在宿舍里做着一些想做的事... 以前觉得没去公司实习是件很没面子,新年就碰到公司分拆无线部门成立新公司,很纠结,觉得前途很渺茫,现在想想,其实,我比别人多了半年完整的时间可以做自己想做的事,有什么不好的呢? 现在在完善一个android的项目,也许过段时间就可以发布,有什么比这更有成就感的么? 一直就在筹划着完成这个项目,可是一拖再拖,现在我有大把的时间,有大把的资源,有大把的兄弟和关系,借口什么都弱爆了…
2012-03-01 16:53 · 生活 · 评论(4)
是你的跑不掉 不是你的求不来
创新工场 2012年校招,最开始的是九月份的创新工场,第一场笔试没过,很郁闷。跑到华科参加第二场笔试,又没过,于是更郁闷了,第二天跑去霸面,见过了蔡学镛,过了一面,然后我相信了有些机会是要自己去争取的。 淘宝 那段时间又来了淘宝,我一直想去的一个公司,笔试题挺难,但我蒙对了很多,然后进了面试,一面,二面,HR面在四个小时内搞定了,一路顺风顺水,我强烈的感觉到我要进淘宝了,然后是一天两天三天的等待,然后就木有然后了,于是我明白,有得时候越想得到一件东西反而得不到,太强烈的想做成某件事有时适得其反,最重要的是要勇敢做你自己,保持自己的本色。 百度 做了百度的笔试题,我觉得世间应该不会有比这更难的…
2011-10-19 07:39 · 面试经历 · 评论(1)
树的相关操作
最近很多大公司的笔试题都考到了树这个数据结构 淘宝武汉地区的笔试题倒数第二题是关于树中两个节点找父节点的 搜狗昨天又考到了,是找树中两个距离最远节点的题。 所以树被考到的概率很高啊,今天又java把树的基本操作都写了一遍,需要的童鞋果断分享吧 package com.gengu.树; import java.util.Queue; import java.util.Stack; import java.util.concurrent.ConcurrentLinkedQueue; import org.junit.Test; /** * 这里测试树的相关算法 * 1:构造一个树 * 2:先序遍…
几种常见排序算法的实现[内部排序]
马上要找开始找工作了 抽点空对各种排序算法进行一下总结,随手从维基百科上搜索了一下。 排序算法大概分这么多种 稳定的 冒泡排序(bubble sort) — O(n2) 鸡尾酒排序 (Cocktail sort, 双向的冒泡排序) — O(n2) 插入排序 (insertion sort)— O(n2) 桶排序 (bucket sort)— O(n); 需要 O(k) 额外空间 计数排序 (counting sort) — O(n+k); 需要 O(n+k) 额外空间 合并排序 (merge sort)— O(n log n); 需要 O(n) 额外空间 原地合并排序 — O(n2) 二叉排…
2011-09-06 18:54 · 算法,数据结构 · 评论(0)
CPU,主存,外设I/O读写速度不匹配的解决
CPU与主存 我们都知道计算机的存储器分为:寄存器,主存,辅存,更加具体的分类如下 CPU寄存器 寄存器 主存 高速缓存 主存 磁盘缓存 辅存 磁盘 可移动存储介质 在计算机存储层次中,寄存器和主存储器都是可执行存储器,存储于其中的信息与存放在辅存中的信息相比较而言,计算机所采取的访问机制是不一样的,所需耗费的时间也不同,进程可以在很少的始终周期使用一条load和store指令对可执行存储器进行访问,但对辅存的访问则需要I/O设备来实现,因此,访问中将涉及到中断,设备驱动程序以及物理设备的运行,所需耗费的时间远远高于对可执行存储器访问的时间。 主存储器:计算机系统中的一个主要部件,用于存储进…
2011-09-03 20:49 · 操作系统 · 评论(0)
java NIO学习笔记 非阻塞IO编程
我们都知道TCP是面向连接的传输层协议,一个socket必定会有绑定一个连接,在普通的BIO(阻塞式IO)中,需要有三次握手,然后一般的socket编程就是这样的形式。 Socket服务器端流程如下:加载套接字->创建监听的套接字->绑定套接字->监听套接字->处理客户端相关请求。 Socket客户端同样需要先加载套接字,然后创建套接字,不过之后不用绑定和监听了,而是直接连接服务器,发送相关请求。 他们一直就占用这个连接,如果有信息发送,那么就响应,否则就一直阻塞着。如果有多连接,那么就要使用多线程,一个线程处理一个连接,在连接还少的情况下,是允许的,但如果同时处理的连接过多比如说1000,…
2011-09-01 21:20 · java io · 评论(0)
java IO学习笔记[2]
我昨天在写java网络编程的时候想到这样几个问题,现在总结一下。 一:TCP编程是面向字节流的 我用socket编程,是基于TCP/IP的,而TCP协议是传输层的协议,它是面向连接的,与UDP很大的不同在于前者是面向字节流的协议,而后者是用户数据报协议(User Datagram Protocol ),面向字节流有一个很大的好处,那就是可以进行拥塞控制,进行流量控制,进行差错控制。 为什么UDP不行呢?是因为UDP应用层给传输层什么数据报,传输层就发送什么数据报,根本不管它有多少个字节,传输太多是不是会造成阻塞。而TCP就不一样了,应用层让传输层传输数据的时候,传输层并不会直接发送,而是从缓…
2011-08-30 12:44 · java io · 评论(0)
java IO学习笔记[1]
每次看javaIO的时候就很烦躁,一是因为太繁琐了,看到这么多类,又是字节流又是字符流的,二是我做javaEE开发的时候用的实在不多,过两天就忘了。 流又分为输入流和输出流:这个是以内存为参照的,如果是向内存存入的就是输入流,从内存流出就是输出流。 java的IO分为字符流和字节流,字节输入流每次都是从文件或者内存中的读取都是以字节为单位的,在abstract类InputStream中有一个abstract的read方法 /** Reads the next byte of data from the input stream. The value byte is * returned as…
2011-08-29 16:12 · java io · 评论(0)
再次理解下OOP(读书笔记)
目前的主流开发领域有两种开发方法,即结构化开发方法和面向对象开发方法,早期的语言C,Basic等都是结构化编程语言。 结构化程序设计 结构化程序设计方法主张按照功能来分析系统需求,其主要原则可概括为自顶向下,逐步求精,模板化等,结构化程序设计首先采用结构化分析方法对系统进行需求分析,然后采用结构化设计方法对系统进行概要设计,详细设计,最后采用结构化编程方法来实现系统。 因为结构化程序设计方法主张按照把软件系统逐步细分,因此这种方法也叫做面向功能的程序设计或者面向过程的程序设计。 结构化程序设计里最小的程序单元是函数,每个函数都负责完成一个功能,用于接收一些输入数据,函数对这些输入数据进行处理…
2011-08-19 12:34 · java · 评论(0)
mysql存储引擎MyISAM的并发插入
都知道MySQL数据库是一个具有多种存储引擎的数据库,最常用的有MyISAM和InnoDB,两种存储引擎。 InnoDB支持外键,支持事务安全,数据多版本读取,锁定机制的改进等诸多优点,这里就不多说了。 那么MyISAM,是一个sun公司自己开发的存储引擎,只支持表级锁定。 我做了这样一个测试,使用root登录然后创建一个数据库test1 mysql> create database test1; Query OK, 1 row affected (0.00 sec) 创建一张表book mysql> create table book(id int primary key, -> name…
2011-08-15 20:37 · MySQL数据库 · 评论(0)
java的异常处理机制
异常机制已经成为很多语言的一种判断其成熟度的标准,除了C之外,其他的主流编程语言比如java,C#,Ruby等都提供了成熟的异常处理机制,异常机制可以使得程序中异常处理代码和正常业务代码的分离,保证程序代码更加优雅,并可以提高程序的健壮性。 网上关于java异常处理机制的文章有很多,我只写一下我觉得可能需要注意的地方。 1:在java中处理异常主要有五个关键字:try catch finally throw throws。 throw与throws的区别是前者可以可以直接抛出一个异常,可以当做单独的语句使用,后者主要是在方法签名中使用,用于申明该方法可能抛出的异常。 2:java将异常分为两…
2011-08-12 11:08 · java · 评论(0)
观察者模式
恩,今天看了一道面试题说到了观察者模式,还不是很懂,看了看书,将代码实现了一遍。 有个大致的了解了。 观察者模式的定义:定义对象间一种一对多的依赖关系,使得每当一个对象改变状态,则所有依赖于它的对象都会得到通知并自动更新。 在《设计模式之禅》一书中,做着打了一个韩非子的比方,说的是这样一件事:韩非子是一个很有名的人,很多人在他身边安排了细作,监视他的一言一行,比如他吃饭了,那就通知敌人头目他吃饭了等等,我们在韩非子类里面定义了一个链表,然后加入了所有的细作进去,监视韩非子的言行......但是我不是很想用这个比方,因为韩非子它自己不应该知道自己被监视了,或者说就算他是个名人,他也不应该告诉间…
2011-07-25 17:08 · 模式 · 评论(0)
访问者模式
今天在使用dom4j进行xml解析的时候使用到了访问者模式。 它的使用是这样的,由于dom4j的Node接口中定义了一个accept(Visitor visitor)方法,而Node虚类是dom4j中所有的节点的父类,就相当于Object类一样,但是我们对于xml中的节点的访问应该是不一样的,对于属性,我们应当访问属性名和属性值,对于元素我们应当访问元素值和元素名,对于处理指令我们又要使用不一样的方法访问,他们的调用方法不尽相同。 为了方便,我们定义了一个访问者接口:Visitor接口; Visitor接口提供了这样一些方法: void visit(Document document); v…
2011-07-23 16:59 · 模式 · 评论(3)