Python on 子恒的博客

[Python]Scrapy Scan

Wed, 20 Mar 2019 23:00:25 +0800

scrapy是个很简单强大的python爬虫框架，不需要处理网络相关逻辑就可以轻松爬取。本文介绍了一些基本的内容。需要注意的是，本文档中所有的●表示非必须内容。
本教程基于官方文档：官方文档

安装scrapy

CentOS

1
2

yum install python34-devel.x86_64
pip3 install scrapy

创建项目

//创建项目hello
scrapy startproject hello
//创建一个爬虫（在项目根目录运行，不要加http://），名字为baidu，域名为www.baidu.com
scrapy genspider baidu "www.baidu.com"

● 需要注意的是，如果要无视robots.txt文件，请在下面的settings.py中设置ROBOTSTXT_OBEY = False
● 刚才建好的项目目录文件树如下：

tree hello 
hello
|-- hello
|   |-- __init__.py
|   |-- items.py            // 输出结构体定义
|   |-- middlewares.py
|   |-- pipelines.py
|   |-- __pycache__
|   |-- settings.py         // 设置，记得把 ROBOTSTXT_OBEY = False
|   |-- spiders
|       |-- __init__.py
|       |-- baidu.py        // 刚创建的爬虫
|       |-- __pycache__
|-- scrapy.cfg

Shell：测试代码

使用shell可以帮助实现爬虫的代码，查看网页的相关信息。结合浏览器中的审查元素查看会让你构造出需要选择的数据部分。

[Python]Python版socket十行模板

Fri, 20 Jan 2017 10:15:13 +0800

以下的socket
都是python实现的服务端接受客户端键盘输入的信息，改为大写返回客户端的模板
都是同步、阻塞的
都会在数据长度大于1024时产生错误，请自己写协议
端口都是8080，请确保未被占用

tcp_server.py

6行控制监听的最大tcp链接数。
tcp是有链接的。9行建立链接，10行接受数据，11行发送数据，12行关闭链接。

    import socket

    server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    server.bind(("0.0.0.0", 8080))
    server.listen(1)

    while True:
        conn, addr = server.accept()
        data_from_client = conn.recv(1024).decode('utf8')
        conn.sendall(data_from_client.upper().encode('utf8'))
        conn.close()

tcp_client.py

5行链接，6行发送数据，7行接收数据，9行关闭链接。

    import socket

    while True:
        client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        client.connect(("0.0.0.0", 8080))
        client.sendall(input().encode('utf8'))
        data_from_server = client.recv(1024).decode('utf8')
        print('GET ' + data_from_server)
        client.close()

udp_server.py

8行收，10行发。
需要注意的是，发送时的地址写收数据时得到的地址。

    import socket

    SERVER_ADDR =  ("0.0.0.0", 8080)
    server = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
    server.bind(SERVER_ADDR)

    while True:
        data, client_addr = server.recvfrom(1024)
        sending = data.decode('utf8').upper()
        server.sendto(sending.encode('utf8'), client_addr)

udp_client.py

7行发，8行收。

[Python]Python性能分析工具

Tue, 09 Aug 2016 13:04:30 +0800

时间分析

time 命令

用*nix自带的系统命令

$ time python3 reg.py 

real	0m1.617s
user	0m1.504s
sys	0m0.112s

sys 系统调用时间
user 用户空间花费时间
real 实际时间
如果user + sys < real 说明时间被花费在IO上。

profile和cProfile

python自带了两个函数时间分析工具，cProfile和profile。cProfile是纯C写的，所以用起来快了很多。
查看帮助:

$ python3 -m cProfile -h
Usage: cProfile.py [-o output_file_path] [-s sort] scriptfile [arg] ...

Options:
  -h, --help            show this help message and exit
  -o OUTFILE, --outfile=OUTFILE
                        Save stats to <outfile>
  -s SORT, --sort=SORT  Sort order when printing to stdout, based on
                        pstats.Stats class

-o 输出的文件只能给pstats.Stats类使用。
-s 是对结果按照关键字排序，关键字有
calls, cumulative, file, line, module, name, nfl, pcalls, stdname, time