Mr_Tank_
Mr_Tank_ · 共 32 篇文章
Windows下Redis2.6.12的使用
因为一直没有装Linux,所以最近学Redis也干脆使用Windows了。使用起来很简单,下载解压拷到相应的盘里面就可以直接使用了 1、启动服务器 成功 下面就是客户端了 接下来就可以进行一些操作了。比如,可以使用info命令查看Server的一些信息。刚开始学,还有很多疑惑的地方,欢迎各位大神们指导啊。 因为学的是java,所以之前也在花时间在看jedis,直接下源代码来看的【虽然很多地方不懂 】,不过操作都是一样的。 最后,附上huangz翻译的 《Redis命令参考》 - -
2013-12-05 11:47 · redis · 评论(0)
使用Selenium渲染页面并提取数据
最近使用java爬虫收集数据,遇到js动态数据的时候使用如jsoup是获取不到数据的,所以要先进行页面的渲染。 下面是以京东商城数据为例,使用Selenium需要先下好相应的驱动,我使用的是Chrome;还需要加入common-exec包 import org.openqa.selenium.By; import org.openqa.selenium.WebDriver; import org.openqa.selenium.WebElement; import org.openqa.selenium.chrome.ChromeDriver; /** * Created with Inte…
2013-11-30 17:31 · 评论(0)
Python3 自定义迭代器
1、迭代器基于下面两个个方法: (1)__next__ 返回容器的下一个项目 (2)__iter__ 返回迭代器本身 2、当序列遍历完时,将抛出StopIteration异常,所以通过捕获这个异常来停止循环 下面是自定义迭代器的示例代码: #encoding:UTF-8 class MyIterator(object): def __init__(self,step): self.step=step def __next__(self): if self.step==0: raise StopIteration self.step-=1 return self.step def __iter…
2013-11-21 23:18 · 评论(0)
Python3 pickle序列化
1、什么东西能用 pickle 模块存储? 所有Python支持的 原生类型 : 布尔, 整数, 浮点数, 复数, 字符串, bytes (字节串)对象, 字节数组, 以及 None . 由任何原生类型组成的列表,元组,字典和集合。 由任何原生类型组成的列表,元组,字典和集合组成的列表,元组,字典和集合(可以一直嵌套下去,直至 Python支持的最大递归层数 ). 函数,类,和类的实例(带警告)。 【摘自《 深入Python 》】 2、示例(保存数据到PICKLE文件): #encoding:UTF-8 import pickle #序列化 def dump_pickle(): user={…
2013-11-06 11:21 · 评论(0)
github简单使用
1、创建repository 2、在本地创建一个目录(这个目录名需要和上一步创建的项目名相同),如下: $ mkdir PythonThreadingTest 3、进入 “PythonThreadTest”目录 cd PythonThreadingTest/ 4、git初始化文件夹 git init 5、创建一个“README” 文件 touch README 6、添加到本地 git add README 7、将文件提交到github中的库中,执行下列命令行 git remote add origin git@github.com:mrtanweijie/PythonThreadingTes…
2013-11-04 15:37 · 评论(0)
Python3 urllib GET方式获取数据
GET方式示例【百度搜索】 #encoding:UTF-8 import urllib import urllib.request #数据字典 data={} data['word']='python3' #注意Python2.x的区别 url_values=urllib.parse.urlencode(data) print(url_values) url="http://www.baidu.com/s?" full_url=url+url_values data=urllib.request.urlopen(full_url).read() z_data=data.decode('UTF…
2013-11-03 13:04 · 评论(0)
Python3 urllib抓取指定URL的内容
最近在研究Python,熟悉了一些基本语法和模块的使用;现在打算研究一下Python爬虫。学习主要是通过别人的博客和自己下载的一下文档进行的,自己也写一下博客作为记录学习自己过程吧。Python代码写起来和Java的感觉很不一样。 Python爬虫主要使用的是urllib模块,Python2.x版本是urllib2,很多博客里面的示例都是使用urllib2的,因为我使用的是Python3.3.2,所以在文档里面没有urllib2这个模块,import的时候会报错,找不到该模块,应该是已经将他们整合在一起了。 下面是一个简单的代码示例: #encoding:UTF-8 import urlli…
2013-11-03 11:16 · 评论(0)
使用Maven构建Spring MVC项目的简单示例
1、首先看一下项目结构: 总结:主要是将配置文件配置好之后就不会有什么问题了。在阅读《Maven实战》这本书的时候可以知道有一章是讲解关于继承和聚合的知识,这里主要的是Maven构建SpringMVC项目,所以DAO等这些都写到一起了。因为我也没有只用Maven进行过一个完整项目的实践,所以独立模块开发+聚合可以参考《Maven实战》这本书上面的示例讲解。作为初学者,有很多的东西要学。 附源代码地址: 点击打开链接 下面是配置文件及代码: 2、pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:…
2013-09-29 12:40 · 评论(0)
JSP URL重写-urlrewrite
URL重写的目的不言而喻,首先引入urlrewrite-4.0.0.jar【或者其他版本】包,可以从官方下载。 1、web.xml【官方配置】 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun…
2013-09-22 11:45 · 评论(0)
【Lucene】挖掘相关搜索词
搜索引擎中往往有一个可选的搜索词的列表,当搜索结果太少时,可以帮助用户扩展搜索内容,或者搜索结果太多的时候可以帮助用户深入定向搜索。一种方法是从搜索日志中挖掘字面相似的词作为相关搜索词列表。另一种方法是把用户共同查询的词作为相关搜索词,需要有搜索日志才能实现。【摘自《Lucene In Action》】 下面使用的是第一种方法: package com.tan.code; //省略引入 public class RelateWords { private static final String TEXT_FIELD = "text"; /** * * @param words 候選相関詞列表…
2013-09-16 16:04 · 评论(0)
java实现从实体到SQL语句的转换(二)
前面写过一篇生成insert语句的博客,今天把CRUD的都完善了一下,需要的上次写的获取实体信息的类,这里就不贴出来了【 点击打开查看 】 下面是完整的代码: package tan.code.utils; import java.util.List; import java.util.Map; /** * 简单的SQL语句拼装类 ;要求数据库表名及列命和实体保持一致; * * @author Mr_Tank_ * * @param <T> */ public class SQLStringHelper<T> { private EntityHelper entityHelper = new…
2013-09-13 11:53 · 评论(0)
【Lucene】三个高亮显示模块的简单示例-Highlighter
Lucene针对高亮显示功能提供了两种实现方式,分别是Highlighter和FastVectorHighlighter 这里的三个示例都是使用Highlighter; 示例代码: package com.tan.code; import java.io.File; import java.io.IOException; import java.io.StringReader; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.core.SimpleAnalyzer; import…
2013-09-11 10:54 · 评论(0)
【Lucene】安全过滤器,限制搜索范围(一)
安全过滤器:限制匹配范围 下面的例子里面,有两个索引文档,两者在关键字域里面都包含info项,但是每个文档属于不同的所有者;如果不使用过滤器的话,我们会搜索召两个文档。考虑到安全性,这当然不是我们想要的结果,因此我们可以使用 QueryWrapperFilter 将搜索空间限制在某个用于所拥有的文档范围之内。 示例代码: package com.tan.code; import java.io.IOException; import java.util.logging.Filter; import org.apache.lucene.analysis.standard.StandardAna…
2013-09-06 11:47 · 评论(0)
【Lucene】TokenStream-语汇单元的项、偏移量、类型和位置增量
代码: package com.tan.code; import java.io.IOException; import java.io.StringReader; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.analysis.tokenattributes.CharTermAttrib…
2013-09-05 11:04 · 评论(0)
【Lucene】近实时搜索
**近实时搜索:**可以使用一个打开的IndexWriter快速搜索索引的变更内容,而不必首先关闭writer,或者向该writer提交;这是2.9版本之后推出的新功能。 代码示例(本例参考《Lucene In Action》): package com.tan.code; import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.document.Document; import org.apache.lucene…
2013-09-03 15:44 · 评论(0)