分类目录归档：语言 & 开发

语言 & 开发

Functional Programming With Python

This article was created for those who want to use functional programming in their career or who are learning new programming paradigms.

We will examine the basics of functional programming and how to apply it in Python. Good readings!

Introduction to Functional Programming

Functional Programming is a popular programming paradigm closely linked to the mathematical foundations of computer science.

Python is not a functional programming language, but it supports it because it is a multi-paradigm programming language.

Since Python is a common and easy language, it is used in this article, but if you know a functional programming language, you can use it (Javascript, Haskell, Swift).

继续阅读 →

Python装饰器

发表评论

Python装饰器使用一个函数去包装另一个函数，本质是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。

装饰器的思想，就是把函数中除了正常行为之外的部分抽象出去，这样有很多好处，比如很容易进行代码复用，能遵守科里定律（即一次只做一件事）。

科里定律：一个变量应该代表一样东西，并且只能代表一样东西。它不应该在一种情况下代表这个意思，而在另一种情况下又代表不同的意思。它不能一次代表两样东西。它不能既是地板蜡，又是甜点上的打顶。它应该只有一个含义，并且自始至终只有一个含义。

继续阅读 →

Python 函数装饰器

发表评论

装饰器(Decorators)是 Python 的一个重要部分。简单地说：他们是修改其他函数的功能的函数。他们有助于让我们的代码更简短，也更Pythonic（Python范儿）。大多数初学者不知道在哪儿使用它们，所以我将要分享下，哪些区域里装饰器可以让你的代码更简洁。首先，让我们讨论下如何写你自己的装饰器。

这可能是最难掌握的概念之一。我们会每次只讨论一个步骤，这样你能完全理解它。

一切皆对象

首先我们来理解下 Python 中的函数

def hi(name="yasoob"):
    return "hi " + name
 
print(hi())
# output: 'hi yasoob'
 
# 我们甚至可以将一个函数赋值给一个变量，比如
greet = hi
# 我们这里没有在使用小括号，因为我们并不是在调用hi函数
# 而是在将它放在greet变量里头。我们尝试运行下这个
 
print(greet())
# output: 'hi yasoob'
 
# 如果我们删掉旧的hi函数，看看会发生什么！
del hi
print(hi())
#outputs: NameError
 
print(greet())
#outputs: 'hi yasoob'

继续阅读 →

Python 装饰器详解

发表评论

1、闭包

要想了解装饰器，首先要了解一个概念，闭包。什么是闭包，一句话说就是，在函数中再嵌套一个函数，并且引用外部函数的变量，这就是一个闭包了。光说没有概念，直接上一个例子。

def outer(x):
    def inner(y):
        return x + y
    return inner

print(outer(6)(5))
-----------------------------
>>>11

如代码所示，在outer函数内，又定义了一个inner函数，并且inner函数又引用了外部函数outer的变量x，这就是一个闭包了。在输出时，outer(6)(5),第一个括号传进去的值返回inner函数，其实就是返回6 + y，所以再传第二个参数进去，就可以得到返回值，6 + 5。

2、装饰器

接下来就讲装饰器，其实装饰器就是一个闭包，装饰器是闭包的一种应用。什么是装饰器呢，简言之，python装饰器就是用于拓展原来函数功能的一种函数，这个函数的特殊之处在于它的返回值也是一个函数，使用python装饰器的好处就是在不用更改原函数的代码前提下给函数增加新的功能。使用时，再需要的函数前加上@demo即可。

def debug(func):
    def wrapper():
        print("[DEBUG]: enter {}()".format(func.__name__))
        return func()
    return wrapper

@debug
def hello():
    print("hello")

hello()
-----------------------------
>>>[DEBUG]: enter hello()
>>>hello

例子中的装饰器给函数加上一个进入函数的debug模式，不用修改原函数代码就完成了这个功能，可以说是很方便了。

3、带参数的装饰器

上面例子中的装饰器是不是功能太简单了，那么装饰器可以加一些参数吗，当然是可以的，另外装饰的函数当然也是可以传参数的。

def logging(level):
    def outwrapper(func):
        def wrapper(*args, **kwargs):
            print("[{0}]: enter {1}()".format(level, func.__name__))
            return func(*args, **kwargs)
        return wrapper
    return outwrapper

@logging(level="INFO")
def hello(a, b, c):
    print(a, b, c)

hello("hello,","good","morning")
-----------------------------
>>>[INFO]: enter hello()
>>>hello, good morning

如上，装饰器中可以传入参数，先形成一个完整的装饰器，然后再来装饰函数，当然函数如果需要传入参数也是可以的，用不定长参数符号就可以接收，例子中传入了三个参数。

4、类装饰器

装饰器也不一定只能用函数来写，也可以使用类装饰器，用法与函数装饰器并没有太大区别，实质是使用了类方法中的call魔法方法来实现类的直接调用。

class logging(object):
    def __init__(self, func):
        self.func = func

    def __call__(self, *args, **kwargs):
        print("[DEBUG]: enter {}()".format(self.func.__name__))
        return self.func(*args, **kwargs)

@logging
def hello(a, b, c):
    print(a, b, c)

hello("hello,","good","morning")
-----------------------------
>>>[DEBUG]: enter hello()
>>>hello, good morning

类装饰器也是可以带参数的，如下实现

class logging(object):
    def __init__(self, level):
        self.level = level

    def __call__(self, func):
        def wrapper(*args, **kwargs):
            print("[{0}]: enter {1}()".format(self.level, func.__name__))
            return func(*args, **kwargs)
        return wrapper

@logging(level="TEST")
def hello(a, b, c):
    print(a, b, c)

hello("hello,","good","morning")
-----------------------------
>>>[TEST]: enter hello()
>>>hello, good morning

好了，如上就是装饰器的一些概念和大致的用法啦，想更深入的了解装饰器还是需要自己在平时的练习和应用中多体会，本篇只是给出一个概念。

Python日志logging模块功能与用法详解

发表评论

本文实例讲述了Python日志logging模块功能与用法。分享给大家供大家参考，具体如下：

本文内容：

logging模块的介绍
logging模块的基础使用
logging模块的扩展使用
logging中的Filter
使用配置文件配置logging和logger
小技巧
想要了解更多？不如看看官方文档。

继续阅读 →

A quick md5sum equivalent in python

发表评论

This post will show you how to write a function to compute md5 sum of a file using the hashlib module, the with statement and being memory efficient by not reading the whole file in memory.

from __future__ import with_statement
from hashlib import md5

def md5sum(filename, buf_size=8192):
    m = md5()
    # the with statement makes sure the file will be closed
    with open(filename, 'b') as f:
        # We read the file in small chunk until EOF
        data = f.read(buf_size)
        while data:
            # We had data to the md5 hash
            m.update(data)
            data = f.read(buf_size)
    # We return the md5 hash in hexadecimal format
    return m.hexdigest()

if __name__ == '__main__':
    import sys
    print md5sum(sys.argv[1])

Now let’s see how quick it is against the real md5sum using a test file of 10Go!

The real md5sum:

$ time md5sum /data/testfile
b215f7bf5b09fa3e9848a6a66f3f3172  /data/testfile

real    0m31.148s
user    0m27.738s
sys     0m3.408s

The python version of md5sum:

$ time python md5sum.py /data/testfile
b215f7bf5b09fa3e9848a6a66f3f3172

real    0m27.791s
user    0m24.514s
sys     0m3.276s

The python based version is almost 4 seconds quicker than the C based version!

PowerShell提速和多线程

发表评论

本文目录

继续阅读 →

WebConfig特殊字符的转义

发表评论

Web.Config默认编码格式为UTF-8，对于XML文件，要用到实体转义码来替换。对应关系如下：

字符		转义码
& 符号	&	&
单引号	‘	'
双引号	“	"
大于	>	>
小于	<	<

App.config：

 <?xml version="1.0" encoding="utf-8" ?>
 <configuration>
     <startup> 
         <supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.5" />
     </startup>
   <connectionStrings>
     <add name="DBconnString" connectionString="Data Source=.;Initial Catalog=MyTest123456;User ID=sa;PassWord=123&456"/>
   </connectionStrings>
 </configuration>

由于数据库连接的密码中含有特殊字符”&”，编译时出现如下如下错误信息：

显然编译器不认识”&456″，怎么解决呢，总不能更换密码吧？

事实上App.config是xml文件，在xml文件中特殊字符要进行HTML转义。

HTML中<，>，&等有特殊含义（<，>，用于链接签，&用于转义），不能直接使用。这些符号是不显示在我们最终看到的网页里的，那如果我们希望在网页中显示这些符号，就要用到HTML转义字符串（Escape Sequence）了

HTML特殊转义字符列表

最常用的字符实体

显示　　　　说明　　　　 实体名称 　　　　实体编号

　　　　　空格　　　　  　　　　  

< 　　　　小于　　　　 <　　　　　　<

>　　　　　　大于　　　　>　　　　　　>

&　　　　　　&符号　　　　&　　　　　&

“　　　　　　双引号　　　　"　　　　　"

®　　　　已注册商标　　　　®　　　　®

™　　　　商标（美国）　　　　™　　　　™

×　　　　乘号　　　　　　×　　　　×

÷　　　　　除号　　　　　　÷　　　　÷

所以只要把”&”进行转义就可以了,将PassWord改为PassWord=123&456″成功通过编译。

Python日志监控系统处理日志（pyinotify）

发表评论

前言

最近项目中遇到一个用于监控日志文件的Python包pyinotify，结合自己的项目经验和网上的一些资料总结一下，总的原理是利用pyinotify模块监控日志文件夹，当日志到来的情况下，触发相应的函数进行处理，处理完毕后删除日志文件的过程，下面就着重介绍下pyinotify

pyinotify

Pyinotify是一个Python模块，用来监测文件系统的变化。 Pyinotify依赖于Linux内核的功能—inotify（内核2.6.13合并）。 inotify的是一个事件驱动的通知器，其通知接口通过三个系统调用从内核空间到用户空间。pyinotify结合这些系统调用，并提供一个顶级的抽象和一个通用的方式来处理这些功能。

pyinotify 说百了就是通过调用系统的inotify来实现通知的
inotify 既可以监视文件，也可以监视目录
Inotify 使用系统调用而非 SIGIO 来通知文件系统事件。

Inotify 可以监视的文件系统事件包括：

Event Name	Is an Event	Description
IN_ACCESS	Yes	file was accessed.
IN_ATTRIB	Yes	metadata changed.
IN_CLOSE_NOWRITE	Yes	unwrittable file was closed.
IN_CLOSE_WRITE	Yes	writtable file was closed.
IN_CREATE	Yes	file/dir was created in watched directory.
IN_DELETE	Yes	file/dir was deleted in watched directory.
IN_DELETE_SELF	Yes	自删除，即一个可执行文件在执行时删除自己
IN_DONT_FOLLOW	No	don’t follow a symlink (lk 2.6.15).
IN_IGNORED	Yes	raised on watched item removing. Probably useless for you, prefer instead IN_DELETE*.
IN_ISDIR	No	event occurred against directory. It is always piggybacked to an event. The Event structure automatically provide this information (via .is_dir)
IN_MASK_ADD	No	to update a mask without overwriting the previous value (lk 2.6.14). Useful when updating a watch.
IN_MODIFY	Yes	file was modified.
IN_MOVE_SELF	Yes	自移动，即一个可执行文件在执行时移动自己
IN_MOVED_FROM	Yes	file/dir in a watched dir was moved from X. Can trace the full move of an item when IN_MOVED_TO is available too, in this case if the moved item is itself watched, its path will be updated (see IN_MOVE_SELF).
IN_MOVED_TO	Yes	file/dir was moved to Y in a watched dir (see IN_MOVE_FROM).
IN_ONLYDIR	No	only watch the path if it is a directory (lk 2.6.15). Usable when calling .add_watch.
IN_OPEN	Yes	file was opened.
IN_Q_OVERFLOW	Yes	event queued overflowed. This event doesn’t belongs to any particular watch.
IN_UNMOUNT	Yes	宿主文件系统被 umount

IN_ACCESS，即文件被访问
IN_MODIFY，文件被write
IN_ATTRIB，文件属性被修改，如chmod、chown、touch等
IN_CLOSE_WRITE，可写文件被close
IN_CLOSE_NOWRITE，不可写文件被close
IN_OPEN，文件被open
IN_MOVED_FROM，文件被移走,如mv
IN_MOVED_TO，文件被移来，如mv、cp
IN_CREATE，创建新文件
IN_DELETE，文件被删除，如rm
IN_DELETE_SELF，自删除，即一个可执行文件在执行时删除自己
IN_MOVE_SELF，自移动，即一个可执行文件在执行时移动自己
IN_UNMOUNT，宿主文件系统被umount
IN_CLOSE，文件被关闭，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE，文件被移动，等同于(IN_MOVED_FROM | IN_MOVED_TO)

pyinotify使用例子

#!/usr/bin/python
# coding:utf-8
 
import os
from pyinotify import WatchManager, Notifier,ProcessEvent,IN_DELETE, IN_CREATE,IN_MODIFY
   
class EventHandler(ProcessEvent):
 """事件处理"""
 def process_IN_CREATE(self, event):
  print  "Create file: %s " %  os.path.join(event.path,event.name)
   
 def process_IN_DELETE(self, event):
  print  "Delete file: %s " %  os.path.join(event.path,event.name)
  
 def process_IN_MODIFY(self, event):
   print  "Modify file: %s " %  os.path.join(event.path,event.name)
   
def FSMonitor(path='.'):
  wm = WatchManager() 
  mask = IN_DELETE | IN_CREATE |IN_MODIFY
  notifier = Notifier(wm, EventHandler())
  wm.add_watch(path, mask,auto_add=True,rec=True)
  print 'now starting monitor %s'%(path)
  while True:
   try:
     notifier.process_events()
     if notifier.check_events():
       notifier.read_events()
   except KeyboardInterrupt:
     notifier.stop()
     break
   
if __name__ == "__main__":
 FSMonitor('/root/softpython/apk_url')

用pip命令安装第三方包出现retrying且ssl error问题汇总

发表评论

今天pip包时一直retrying且报ssl error的错误，我弄了一上午才好，网上有很多解决方案，但是没有pip安装失败的汇总情况，如有同错，请对比以下情况，希望能解决你的问题，也烦请对不足之处指出。

一、

错误：CouldnotfetchURLhttps://pypi.python.org/simple/pytest-xdist/: There wasaproblem confirmingthessl certificate: [SSL: TLSV1_ALERT_PROTOCOL_VERSION] tlsv1 alert protocolversion(_ssl.c:590)

原因：python.org已经不支持TLSv1.0和TLSv1.1，需要升级pip，但是pip用不了，所以手动升级

解决方案：

1.mac或者linux操作系统：在终端下执行命令：

curl https://bootstrap.pypa.io/get-pip.py | python3。

2.windows操作系统：从https://bootstrap.pypa.io/get-pip.py下载get-pip.py文件，然后使用python运行这个文件python get-pip.py

二、

错误：Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None))

after connection broken by ‘SSLError(SSLError(1, u'[SSL: CERTIFICATE_VERIFY_FAI

LED] certificate verify failed (_ssl.c:661)’),)’

原因：可能用国外镜像源连接不好

解决方案：

1.mac或者linux操作系统：

修改 ~/.pip/pip.conf (没有就创建一个)，更换 index-url

[global]

index-url = http://pypi.douban.com/simple

2.windows操作系统：

直接在user目录中创建一个pip目录，如：C:\Users\xx\pip，新建文件pip.ini，内容同上

附：镜像源

阿里云 http://mirrors.aliyun.com/pypi/simple/

中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/

豆瓣 http://pypi.douban.com/simple

Python官方 https://pypi.python.org/simple/

v2ex http://pypi.v2ex.com/simple/

中国科学院 http://pypi.mirrors.opencas.cn/simple/

清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/

三、

错误：Could not fetch URL https://pypi.org/simple/pip/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host=’pypi.org’, port=443): Max retries exceeded with url: /simple/pip/ (Caused by S

SLError(SSLError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:833)’),)) – skipping

原因：在最新的 pip 版本(>=7)中，使用镜像源时，会提示源地址不受信任或不安全

解决方案1：

pip install –trusted-host pypi.org –trusted-host files.pythonhosted.org 包名

解决方案2：(推荐)

在第二个解决方案中：添加一项配置

[install]
trusted-host=http://pypi.douban.com/simple

flyinweb's blog

不积跬步，无以致千里；不积小流，无以成江海。

分类目录归档：语言 & 开发

Functional Programming With Python

Introduction to Functional Programming

Python装饰器

Python 函数装饰器

一切皆对象

Python 装饰器详解

1、闭包

2、装饰器

3、带参数的装饰器

4、类装饰器

Python日志logging模块功能与用法详解

本文内容：

A quick md5sum equivalent in python

PowerShell提速和多线程

WebConfig特殊字符的转义

Python日志监控系统处理日志（pyinotify）

前言

pyinotify

Inotify 可以监视的文件系统事件包括：

pyinotify使用例子

用pip命令安装第三方包出现retrying且ssl error问题汇总