`
Mr_Tank_
  • 浏览: 21213 次
  • 性别: Icon_minigender_1
社区版块
存档分类
最新评论

Python3 urllib GET方式获取数据

 
阅读更多

GET方式示例【百度搜索】

#encoding:UTF-8
import urllib
import urllib.request
#数据字典
data={}
data['word']='python3'

#注意Python2.x的区别
url_values=urllib.parse.urlencode(data)

print(url_values)

url="http://www.baidu.com/s?"
full_url=url+url_values

data=urllib.request.urlopen(full_url).read()
z_data=data.decode('UTF-8')
print(z_data)


分享到:
评论

相关推荐

    python利用urllib和urllib2访问http的GET/POST详解

    本文主要给大家介绍了关于python如何访问http的GET/POST的相关内容,使用urllib和urllib2,可以轻松实现对http的访问,下面话不多说了,来一起看看详细的介绍吧。 示例详解 以下给个例子,实现对...

    python中urllib.unquote乱码的原因与解决方法

    Python中的urllib模块用来处理url相关的操作,unquote方法对应javascript中的urldecode方法,它对url进行解码,把类似”%xx”的字符替换成单个字符,例如:“法国红酒”解码后会转换成“法国红酒”,但是使用过程中...

    Python3.6通过自带的urllib通过get或post方法请求url的实例

    下面小编就为大家分享一篇Python3.6通过自带的urllib通过get或post方法请求url的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

    【Python爬虫】 基于 urllib 抓取指定贴吧的指定页的数据,保存到本地文件

    此资源是一个基于Python的爬虫脚本,利用urllib库抓取指定贴吧的指定页数据,并将抓取到的内容保存到本地文件中。该脚本可以帮助用户快速获取贴吧中的帖子标题、内容、发布时间等信息,并可以用于数据分析、内容提取...

    python爬虫之urllib3的使用示例

    许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多python标准库urllib里所没有的重要特性: 线程安全 连接池 客户端SSL/TLS验证 文件分部编码上传 协助处理重复请求和HTTP重定位 支持压缩编码 ...

    python2与python3爬虫中get与post对比解析

    python2中的urllib2改为python3中的urllib.request 四种方式对比: python2的get # coding=utf-8 import urllib import urllib2 word = urllib.urlencode({wd:百度}) url = 'http://www.baidu.com/s' + '?' + word ...

    python爬虫 urllib模块发起post请求过程解析

    urllib模块发起的POST请求 案例:爬取百度翻译的翻译结果 1.通过浏览器捉包工具,找到POST请求的url 针对ajax页面请求的所对应url获取,需要用到浏览器的捉包工具。查看百度翻译针对某个字条发送ajax请求,所对应...

    python爬虫 urllib模块反爬虫机制UA详解

    #将get请求中url携带的参数封装至字典中 param = { 'query':'周杰伦' } #对url中的非ascii进行编码 param = urllib.parse.urlencode(param) #将编码后的数据值拼接回url中 url += param response = urllib.request....

    Python3爬虫之urllib携带cookie爬取网页的方法

    #正常的方式进行访问 # headers = { # 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36' # } # 携带cookie进行访问 headers = { '...

    Python中用post、get方式提交数据的方法示例

    最近在使用Python的过程中,发现网上很少提到在使用post方式时,怎么传一个数组作为参数的示例,此处根据自己的实践经验,给出相关示例,下面话不多说了,来一起跟着小编学习学习吧。 示例如下: 单纯的post请求: ...

    urllib3:一个具有线程安全连接池,支持文件 post,清晰友好的 HTTP 库。-python

    许多 Python 生态系统已经使用 urllib3,您也应该使用。 urllib3 带来了 Python 标准库中缺少的许多关键特性:线程安全。 连接池。 客户端 SSL/TLS 验证。 使用多部分编码上传文件。 重试请求和处理 HTTP ...

    Python urllib、urllib2、httplib抓取网页代码实例

    使用urllib2,太强大了 试了下用代理登陆拉取cookie,跳转抓图片…… 文档:http://docs.python.org/library/urllib2.html 直接上demo代码了 包括:直接拉取,使用Reuqest(post/get),使用代理,cookie,跳转处理 #!/...

    urllib爬取网页.py

    python爬虫代码,rullib爬网页。 #读取一行 #data = response.readline() #读取 文件 的全部内容. 会把读取道德数据 赋值给 一个列表 #data = response.readlines() #返回当前环境的有关信息 #print...

    python 实现分页显示从es中获取的数据方法

    注意:使用该方法,获取的数据总数目不能超过1万,否则出错 #在python3上运行 from elasticsearch import Elasticsearch from urllib3.connectionpool import xrange def get_page_data(result): for hit in ...

    python爬虫之urllib,伪装,超时设置,异常处理的方法

    Urllib 1. Urllib.request.urlopen().read().decode() 返回一个二进制的对象,对这个对象进行read()操作,可以得到一个包含网页的二进制字符串,然后用decode()解码成html源码 2. urlretrieve() 将一个网页爬取到...

    Python使用post及get方式提交数据的实例

    最近在使用Python的过程中,发现网上很少提到在使用post方式时,怎么传一个数组作为参数的示例,此处根据自己的实践经验,给出相关示例: 单纯的post请求: def http_post(): url = http://152.1.12.11:8080/web ...

    python通过get,post方式发送http请求和接收http响应的方法

    主要介绍了python通过get,post方式发送http请求和接收http响应的方法,涉及Python使用urllib模块与urllib2模块实现get与post发送数据的相关技巧,需要的朋友可以参考下

    python爬取天气数据

    第二步:用python的urllib2库爬取对应城市的天气数据。 第三步:打印天气数据 有了思路,开始打代码: import urllib.request import gzip import json def get_weather_data() : city_name = input('请输入要查询的...

    详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

    接下来,详细看下urlopen的两个重要参数url和data,学习如何发送数据data 一、urlopen的url参数 Agent url不仅可以是一个字符串,例如:http://www.baidu.com。url也可以是一个Request对象,这就需要我们先定义一个...

Global site tag (gtag.js) - Google Analytics