Aliyun API 签名算法的 Python 实现

Posted by JenI on 2017-10-11 00:00:00+08:00

前言

阿里对自家的云产品基本都提供了API接口,而且为API提供了相应的访问工具,也就是SDK。阿里云SDK支持多种主流语言,例如Java、Python、C#、PHP等。阿里虽然提供了SDK,但依然对API所使用的签名算法进行了详细说明,以方便有特殊要求的用户在自己的项目中更好的使用阿里云API。

阿里云 API 所使用的签名算法看起来不难,但是在实现时却遇到了许多小问题,而且当签名结果存在问题时,服务器返回的错误信息只有 "Specified signature is not matched with our calculation." ,所以也不太好查找到底错误在哪。经过反复尝试,终于成功解决了所有问题,这里记录一下。

阿里云签名机制官方说明

1 使用请求参数构造规范化的请求字符串(Canonicalized Query String)

1-1 参数排序。 按照参数名称的字典顺序对请求中所有的请求参数(包括“公共请求参数”和接口的自定义参数,但不能包括“公共请求参数”中提到的 Signature 参数本身)进行排序。注:当使用 GET 方法提交请求时,这些参数就是请求 URI 中的参数部分(即 URI 中“?”之后由“&”连接的部分)。

1-2 参数编码。 对排序之后的请求参数的名称和值分别用UTF-8字符集进行URL编码。编码的规则如下:

1-2-1 对于字符 A-Z、a-z、0-9 以及字符“-”、“_”、“.”、“~”不编码;

1-2-2 对于其他字符编码成 “%XY” 的格式,其中 XY 是字符对应 ASCII 码的 16 进制表示。比如英文的双引号(”)对应的编码就是 %22

1-2-3 对于扩展的 UTF-8 字符,编码成 “%XY%ZA…” 的格式;

1-2-4 需要说明的是英文空格( )要被编码是 %20,而不是加号(+)。

注:该编码方式和一般采用的“application/x-www-form-urlencoded” MIME格式编码算法(比如Java标准库中的 java.net.URLEncoder的实现) 相似, 但又有所不同。 实现时, 可以先用标准库的方式进行编码, 然后把编码后的字符串中加号(+)替换成 %20、星号(*)替换成 %2A、%7E 替换回波浪号(~),即可得到上述规则描述的编码字符串。这个算法可以用下面的percentEncode方法来实现:

private static final String ENCODING = "UTF-8";
private static String percentEncode(String value) throws UnsupportedEncodingException {
    return value != null ? URLEncoder.encode(value, ENCODING).replace("+", "%20").replace("*", "%2A").replace("%7E", "~") : null;
}

1-3 将编码后的参数名称和值用英文等号(=)进行连接。

1-4 再把英文等号连接得到的字符串按参数名称的字典顺序依次使用&符号连接,即得到规范化请求字符串。

2 将上一步构造的规范化字符串按照下面的规则构造成待签名的字符串:

StringToSign= HTTPMethod + “&” + percentEncode(“/”) + ”&” + percentEncode(CanonicalizedQueryString)

其中 HTTPMethod 是提交请求用的 HTTP 方法,比如 GET。

percentEncode(“/”) 是按照 1-2 中描述的 URL 编码规则对字符 “/” 进行编码得到的值,即 “%2F”。

percentEncode(CanonicalizedQueryString) 是对第 1 步中构造的规范化请求字符串按 1-2 中描述的 URL 编码规则编码后得到的字符串。

3 按照 RFC2104 的定义,计算待签名字符串StringToSign的 HMAC 值。注意:计算签名时使用的 Key 就是用户持有的Access Key Secret并加上一个 “&” 字符(ASCII:38),使用的哈希算法是 SHA1。

4 按照 Base64 编码规则把上面的 HMAC 值编码成字符串,即得到签名值(Signature)。

5 将得到的签名值作为Signature参数添加到请求参数中,即完成对请求签名的过程。

注意:得到的签名值在作为最后的请求参数值提交给ECS服务器的时候,要和其他参数一样,按照RFC3986的规则进行 URL 编码。 以 checkDomain 为例,假设使用的Access Key Id是 “testid”,Access Key Secret是 “testsecret”。 那么签名前的请求 URL 为:

http://domain.aliyuncs.com/?TimeStamp=2016-05-19T09:06:05Z&Format=JSON&AccessKeyId=testid&Action=CheckDomain&SignatureMethod=HMAC-SHA1&SignatureNonce=5033a7d9-dfeb-417d-9fdf-13459fe90c1a&Version=2016-05-11&SignatureVersion=1.0

而计算得到的待签名字符串 StringToSign 为:

GET&%2F&AccessKeyId%3Dtestid%26Action%3DCheckDomain%26Format%3DJSON%26SignatureMethod%3DHMAC-SHA1%26SignatureNonce%3D5033a7d9-dfeb-417d-9fdf-13459fe90c1a%26SignatureVersion%3D1.0%26TimeStamp%3D2016-05-19T09%253A06%253A05Z%26Version%3D2016-05-11

因为Access Key Secret 是 “testsecret”,所以用于计算 HMAC 的 Key 为 “testsecret&”,计算得到的签名值是:

WXkgFH4ymmnCjSUM65f6I1n7%2FUs=

将签名作为Signature参数加入到URL请求中, 得到最后的URL 为:

http://domain.aliyuncs.com/?Format=JSON&AccessKeyId=testid&Action=CheckDomain&SignatureMethod=HMAC-SHA1&RegionId=cn-hangzhou&DomainName=abc.com&SignatureNonce=5033a7d9-dfeb-417d-9fdf-13459fe90c1a&SignatureVersion=1.0&Version=2016-05-11&Signature=WXkgFH4ymmnCjSUM65f6I1n7%2FUs%3D&Timestamp=2016-05-19T09%3A06%3A05Z

阿里云签名机制的 PYTHON 实现

使用阿里云 API 时,需要在请求中添加各种参数,包括一些必须的公共参数和接口的自定义参数。以 whois 查询为例,请求中需要包含的自定义参数为:

Action=GetWhoisInfo
DomainName=

公共参数时每个请求里都必须包含的

params

这些参数中有些值是固定的,所以可以直接定义一个字典:

PARAMETERS = {
        'Action': 'GetWhoisInfo',
        'Format': 'JSON',
        'SignatureMethod': 'HMAC-SHA1',
        'SignatureVersion': '1.0',
        'Version': '2016-05-11'
}

对于剩下的参数,DomainName 可以作为脚本的输入,AccessKeyId 是阿里云颁发给用户的,在用户自己的控制台可以查看,SignatureMethod 是一串随机数,只要保证和之前的请求不一样就可以,这个随机值可以自己编写函数生成,也可以使用 uuid 模块进行生成,如下:

import uuid

SignatureMethod = str(uuid.uuid1())

Timestamp 参数为 UTC 时间戳:

import time

Timestamp = time.strftime("%Y-%m-%dT%H:%M:%SZ", time.gmtime())

这样就只剩下 Signature 一个参数了,这个参数相对复杂,需要按照上面提供的阿里云签名机制说明,一步一步生成。假设我们在某一时刻想要查询 google.com 的 whois 信息,那么我们请求中除去 Signature 外的所有参数为:

PARAMETERS = {
    "AccessKeyId": "LTxxxxxxxxxxxxp8",
    "Action": "GetWhoisInfo",
    "DomainName": "google.com",
    "Format": "JSON",
    "SignatureMethod": "HMAC-SHA1",
    "SignatureNonce": "9cf49f80-b24e-11e7-b1bf-28c2ddd1cd56",
    "SignatureVersion": "1.0",
    "Timestamp": "2017-10-11T08:47:16Z",
    "Version": "2016-05-11"
}

首先对所有参数进行排序:

list_params = sorted(PARAMETERS.iteritems(), key=lambda x: x[0])

将排序后的参数使用 "=" 和 "&" 拼接成 URL格式,之后使用 UTF-8 字符集进行 URL 编码,阿里云的签名说明中提供了 JAVA 语言的编码方法,将该方法使用 PYTHON 语法改写:

encode_str = urllib.urlencode(list_params)
if sys.stdin.encoding is None:
    res = urllib.quote(encode_str.decode('cp936').encode('utf8'), safe='-_.~')
else:
    res = urllib.quote(encode_str.decode(sys.stdin.encoding).encode('utf8'), safe='-_.~')
res = res.replace("+", "%20").replace("*", "%2A").replace("%7E", "~")

在编码后的 URL 参数前添加 'GET&%2F&'

StringToSign = 'GET&%2F&' + res

使用 hmac-sha1 算法对上面得到的请求 URL 进行签名,计算签名时需提供 Access Key Secret,需要注意的是,Access Key Secret后面要添加一个 "&" 符。再将得到的结果进行 Base64 编码,如下:

SignedString = base64.b64encode(hmac.new(dHxxxxxxxxxxxxxxxxxxxxxxxxxxTp&, StringToSign, hashlib.sha1).digest()).rstrip()

得到签名后的值后,将这个值添加到 PARAMETERS 中

PARAMETERS['Signature'] = SignedString

然后重新将 PARAMETERS 拼接成 URL,并添加到接口的请求域名后面:

url = 'https://domain.aliyuncs.com/?' + urllib.urlencode(PARAMETERS)

之后再请求这个 URL,页面相应的内容也就是 google.com 的 whois 查询信息了。

阿里云 Whois 查询完整脚本

# -*- coding:utf-8 -*-

import time
import uuid
import sys
import hmac
import hashlib
import base64
import urllib
import urllib2
import json

# 阿里云申请的 Access Key ID 和 Access Key Secret
API_ID = ''
API_KEY = ''

# 设置固定请求参数
PARAMETERS = {
        'Action': 'GetWhoisInfo',
        'Format': 'JSON',
        'SignatureMethod': 'HMAC-SHA1',
        'SignatureVersion': '1.0',
        'Version': '2016-05-11'
}

# 格式化输出 json 数据
def printer(string):
    jsonContent = json.loads(string)
    print json.dumps(jsonContent, sort_keys=True, indent=4, separators=(',', ': '))

# 生成请求参数和值
def get_encode_str(params):
    list_params = sorted(params.iteritems(), key=lambda x: x[0])
    encode_str = urllib.urlencode(list_params)
    if sys.stdin.encoding is None:
        res = urllib.quote(encode_str.decode('cp936').encode('utf8'), safe='-_.~')
    else:
        res = urllib.quote(encode_str.decode(sys.stdin.encoding).encode('utf8'), safe='-_.~')
    res = res.replace("+", "%20").replace("*", "%2A").replace("%7E", "~")
    return res    

# 定义签名函数,使用 hmac-sha1 签名算法对字符串进行加密
def hmacSha1(Api_Key, StringToSign):
    res = base64.b64encode(hmac.new(Api_Key, StringToSign, hashlib.sha1).digest()).rstrip()
    return res

def main(domain):
    # 第一步,添加其他参数
    PARAMETERS['DomainName'] = domain
    PARAMETERS['AccessKeyId'] = API_ID
    PARAMETERS['SignatureNonce'] = str(uuid.uuid1())
    PARAMETERS['Timestamp'] = time.strftime("%Y-%m-%dT%H:%M:%SZ", time.gmtime())

    # 第二步,对所有参数进行排序,拼接成待签名的字符串
    StringToSign = 'GET&%2F&' + get_encode_str(PARAMETERS)

    # 第三步,使用 hmac-sha1 算法进行签名,得到签名值
    SignedString = hmacSha1(API_KEY+'&', StringToSign)
    PARAMETERS['Signature'] = SignedString
    # print PARAMETERS

    # 发送请求,接收返回数据并输出
    url = 'https://domain.aliyuncs.com/?' + urllib.urlencode(PARAMETERS)
    # print url
    try:
        req = urllib2.urlopen(url)
        res = req.read()
        printer(res)
    except urllib2.HTTPError, e:
        res = e.read()
        printer(res)

if __name__=='__main__':
    if len(sys.argv) != 2:
        print 'Usage: python %s <domain>' % sys.argv[0]
    else:
        main(sys.argv[1])

使用效果

whois_query

作者:   JenI   转载请注明出处,谢谢


Comments !