Python requests库的一些实用经验


Python的requests库应该是Python里最常用也是最好用的HTTP库。相较于之前的urllib、httplib等库,requests的封装更友好,上手更加容易。

show me the code

使用requests库完成一次http请求非常简单,代码如下:

import requests

url = "https://www.baidu.com"
resp = requests.get(url)

requests库在拥有高级封装的同时,也提供了一些有用的request hooks。它们可以帮助我们更好的处理请求中出现的问题。

request hooks

当我们在调用一个第...

Read more

Python的异常使用经验总结


在Python中,BaseException是所有异常的基类。但是通常我们不应该直接使用它来捕获异常(虽然它都可以捕获),取而代之的是我们需要针对于具体的业务场景,自定义适合的异常类型。

BaseException的实现在CPython源码中的Objects/exceptions.c这个文件中。如下文:

/*
 *    Exception extends BaseException
 */
SimpleExtendsException(PyExc_BaseException, Exception,
                       "Common base class fo...

Read more

Python的垃圾回收


在介绍垃圾回收之前,我们先来看看什么是内存管理。

内存管理

在任意一种编程语言中,都是通过声明对象、操作对象来完成某项任务。这里的对象可以是简单类型,比如:字符串、整数等等。也可以是像数字、哈希、类等复杂的数据结构。这些对象的值保存在内存中,可以方便程序快速读取数据进行操作。 编程语言的内存管理是编程语言设计的一个重要方面。它是决定编程语言性能的重要因素。无论是C语言的手工管理,还是Java的垃圾回收,都成为编程语言最重要的特征。

手工年代

在使用早年的编程语言(C、C++等)开发时,开发人员需要自己在代码中对内存进行管理。也就是说,在声明一个对象之前需要先进行内存分配,分配完毕之后才能...

Read more

Kubernetes基础


Kubernetes

Kubernetes是由Google开源的,用于自动部署、扩展和管理容器化应用程序的开源系统。 它将组成应用程序的容器组合成逻辑单元,以便于管理和服务发现。 通常我们会叫它:k8s,这是因为它用8代替8个字符“ubernete”而组成的缩写。Kubernetes的目标是让部署容器化的应用简单并且高效(powerful) 下文将以k8s来代替kubernetes。

背景知识

要了解k8s,首先需要弄清楚几个概念:

  1. 虚拟机
  2. 容器
  3. Docker、rkt

虚拟机

虚拟机(Virtual Machine)指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完...

Read more

对稳定性工作的一些思考 - 什么是SRE


什么是SRE

最早接触SRE这个名词还是在跟CloudFlare进行一些业务合作的时候,当时他们有一个专门的SRE团队来负责整个CDN系统的稳定性。 本着好奇的心态去了解,发现SRE的全称是(Site Reliability Engineering,aka:站点可靠性/稳定性工程师)成为一名合格的SRE需要同时具备研发(Dev)和运维(OP)的能力。同时它又不仅仅是2个职能的叠加,而是一种对系统稳定性、可用性、团队持续迭代喝持续建设的体系化解决方案。

如何做一名SRE

研发和SRE的区别

那些跟我一样从研发开始接触稳定性工作的选手在刚开始时可能会有类似的问题那就是对于稳定性相关的工作不知...

Read more

Django将数据从Sqlite迁移到MySQL


背景

最近在做一个内部项目时,为了开发效率,所以选择了Sqlite作为数据库,在项目上线时需要将数据库切换到MySQL。

操作步骤

  1. 使用dumpdata将数据导出到文件
python manage.py dumpdata -> data.json
  1. 修改django的settings配置,改为MySQL

  2. 使用loaddata将数据导入到新数据库

python manage.py loaddata data.json

等待命令执行完毕之后,可以自行检查数据是否正确导入。

常见问题

由于字段过长导致的导入失败

这种问题是因为Sqlite对于字段长度并不做校验,比如我们定义一个...

Read more

Django使用fixture简化测试用例


在编写测试用例时需要提前准备测试用的数据。在Django中,有2种比较推荐的准备测试数据的办法:

  1. 在测试用例的setUp方法种添加测试用数据
  2. 使用fixture将测试数据导入到数据库

使用setUp添加数据

在setUp方法中添加测试数据的写法比较简单,例如:

class EXPtest(TestCase):
    def setUp(self):
        self.level0 = Level.objects.create(level=0, exp=0)
        self.level1 = Level.objects.create(level=1, exp=5)
...

Read more

好玩的博弈论 - 什么是博弈论


博弈论

博弈论是指双方或者多方存在竞争、合作、冲突等情况下,通过充分了解各方信息,并依此选择一种能为本方争取最大利益的最优决策的理论。日常生活中有很多的事情和故事都有博弈论的应用,比如“田忌赛马”。

田忌赛马

齐国大将田忌平日里喜欢跟贵族赛马赌钱。赛马的规则是每一方出上等马、中等马、下等马各一匹,共赛三场,三局两胜制。由于田忌的马比贵族的马略逊一筹,所以十赌九输。当时孙膑在田忌的府中做客,经常看见田忌同贵族赛马,对赛马的规则和双方马的实力差距都比较了解。某天孙膑看见田忌赛马又输了之后对田忌说:“明天你尽管同那些贵族们下大注,我保证让你把输的钱赢回来。”田忌相信了孙膑,第二天约贵族赛马,并...

Read more

好玩的博弈论 - 生活中的“囚徒困境”


“囚徒困境”在生活中经常能见到。比如之前我们提到的某东和某猫的价格战。虽然对于2家平台而言,都不降价才是最好的策略,但是往年每年都要进行降价促销,因此今年谁也不能保证对方不降价,此时单方面的选择降价是最好的选择,这样的话利润至少为8,但是运气好的话可能为14。如果选择不降价,虽然有可能保住10的利润,但是根据以往经验来看,利润最后更有可能为6。因此,双方都会选择降价,得到(8, 8)的结局。

但是如果2家之前就沟通好,都不降价的话,双方就能得到最好的均衡,就是(10, 10)。但是这样也构成了垄断。违反了反托拉斯法。

除了某猫和某东之外,外卖平台的价格战、滴滴和快旳打车的价格战、ofo和...

Read more

好玩的博弈论 - 纳什均衡


均衡

均衡在英文中是equilibrium,是来自经济学中的一个概念。均衡也就是平衡的意思,在经济学中是指相关因素处在一种稳定的关系中,相关因素的量都是稳定值。比如,我们去商场买东西,那我们作为买家和卖家之间是买卖关系,经过讨价还价最终将商品的价格定在了一个数值上,这个数值买卖双方都能结束,这个时候我们就说买家和卖家之间达成了一种均衡。

博弈论中的均衡是指参与者之间经过博弈,最终达成了一个稳定的结果。均衡只是博弈的一种结果,但并不是唯一的结果。博弈的均衡是稳定的,这种稳定点是可以通过计算找到的。我们以一个例子来分析一下博弈中的均衡。

女孩Alice和男孩Bob青梅竹马,对彼此都有好感,但...

Read more