Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算);用于数据挖掘和数据分析,同时也提供数据清洗功能。
# 1、安装包
$ pip install pandas
# 2、进入python的交互式界面
$ python -i
# 3、使用Pandas>>> import pandas as pd>>> df = pd.DataFrame() >>> print(df)
# 4、输出结果
Empty DataFrame
Columns: []
Index: []
Selenium是一个用于Web应用程序测试的工具,可以从终端用户的角度来测试应用程序。通过在不同浏览器中运行测试,更容易发现浏览器的不兼容性。并且它适用许多浏览器。
可以通过打开浏览器并访问Google的主页做一个简单的测试:
from selenium import webdriver
import time
browser = webdriver.Chrome(executable_path ="C:\Program Files (x86)\Google\Chrome\chromedriver.exe")
website_URL ="https://www.google.co.in/"
brower.get(website_URL)
refreshrate = int(3) #每3秒刷新一次Google主页。
# 它会一直运行,直到你停掉编译器。
while True:
time.sleep(refreshrate)
browser.refresh()
Flask是一个轻量级的可定制框架,使用Python语言编写,较其他同类型框架更为灵活、轻便、安全且容易上手。Flask是目前十分流行的web框架。开发者可以使用Python语言快速实现一个网站或Web服务。
from flask import Flask
app = Flask(__name__)
@app.route('/')
def hello_world():
return 'Hello, World!'
Scrapy能够为你提供强大支持,使你能够精确地从网站中爬取信息。是非常实用。
现在基本上大部分开发者都会利用爬虫工具来实现爬取工作的自动化。所以编写爬虫编码时就可以用到这个Scrapy。
启动Scrapy Shell也是十分的简单:
scrapy shell
我们可以试着提取百度主页上搜索按钮的值,首先要找到按钮使用的类,一个inspect element显示该类为“ bt1”。
具体执行以下操作:
response = fetch("https://baidu.com")
response.css(".bt1::text").extract_first()
==> "Search"
Requests是一个功能强大的HTTP库。有了它可以轻松地发送请求。无需手动向网址添加查询字符串。除此之外还有许多功能,比如authorization处理、JSON / XML解析、session处理等。
官方例子:
>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
'{"type":"User"...'
>>> r.json()
{'private_gists': 419, 'total_private_repos': 77, ...}
Faker是一个Python包,为您生成假数据。无论是需要引导数据库、创建好看的 XML 文档、填写您的持久性来强调测试它,还是从生产服务中获取的同名数据,Faker 都适合您
有了它,你可以非常快速地生成假的names、addresses、descriptions等!以下脚本为例,我创建一个联系人条目,包含了姓名、地址和一些描述文本:
安装:
pip install Faker
from faker import Faker
fake = Faker()
fake.name()
fake.address()
fake.text()
Python图像处理工具——Pillow有相当强大的图像处理功能。当平时需要做图像处理时就可以用到,毕竟作为开发人员,应该选择功能更强大的图片处理工具。
简单示例:
from PIL import Image, ImageFilter
try:
original = Image.open("Lenna.png")
blurred = original.filter(ImageFilter.BLUR)
original.show()
blurred.show()
blurred.save("blurred.png")
except:
print "Unable to load image"
有效的工具可以帮助我们更快捷地完成工作任务,所以就给大家分享几个认为好用的工具,也希望这7个Python的效率工具能够帮助到你。
往期文章
推荐3款自动爬虫神器,再也不用手撸代码了
新式爬虫利器,网页解锁能力非常强大!
使用八爪鱼爬虫+Kimi AI分析小米SU7舆情数据,终于知道它为什么火了
推荐我常用的爬虫工具,三种爬虫方式,搞定反爬和动态页面
加入知识星球【我们谈论数据科学】
提供100节专属Pandas数据分析视频教程
600+小伙伴一起学习!