Go 实现 AWS4 请求认证 | Go主题月-六虎

什么是 Amazon S3？它是 AWS 供给的一种目标存储服务，供给工作抢先的可扩展性、数据可用性、安全性和功能。Amazon S3 可抵达 99.999999999%（11 个 9）的持久性。

Amazon S3 里用到了 AWS Signature Version 4（下面简称 AWS4）做认证央求gitlab，这篇文章将会解说怎样运用 Go 结束 AWS4 央求认证。

AWS4 是一种用于对全部 AWS 区域服务的入站 API 央求进行身份验证的协议。

AWS4

AWS4 对央求进行签名有以下优势（但这也取决于你怎样运用）：

验证央github永久回家地址求者的身份 – 经过身份验证的央求需求运用 AccessKeyID 和 SecretAccessKey 创立签名。
保护传输中的数据 – 为了防止在传输过程中对央求进行篡改，能够运用一些央APP求元素（比方央求途径、央求头等）来核算央求签名。Amazon S3 在收到央求后，运用相同的央求元历来核算签名。假如 Amazon S3 接收到的任何央求组件与用于核算签名giti的组件不匹配，Amazon S3 将giti轮胎是什么品牌拒绝该央求。
防止重app装置下载用央求的签名部分 – 央求的签名部分在央求中的时刻戳的一段时刻内有效。

授权方法

HTTP 身份验证头，例如 Authorization 央求头：

Authorization: AWS4-jsonp跨域原理HMAC-SHAjson怎样读256
Credential=算法与数据结构AKIAIOSFODNN7EXAMPLE/20130524/us-east-1/s3/aws4_request,
SignedHeaders=host;rangejsonp跨域原理;x-amz-date,
Signature=fe5f80f77d5fa3beca038a248ff027d0445342fe2855ddc96317gitlab6630326f1024

URL 查询字符串参数，例如预签名 URL：

https://s3.amazonaws.com/examplebucket/test.txt
?X-Amz-Algorithm=AWS4-HMAC-SHA256
&X-Amz-Credential=&JSONlt;your-access-key-id>/20130721/us-east-1/s3/aws4gitlab_request
&X-Amappearancez-Date=20130721T201207Z
&X-Amz-Expires=86400
&X-Amz-SignedHeaders=host
&X-Amz-Signature=<signature-value>

Go 结束 HTTP 身份验证头

HTTP 身份验证头组成部分

AWSjson4-Hgithub下载MAC-SHA256 – 该字符串指定 AWS4 和签名算法（HMAC-SHA256）。
Credentijson解析al – 指定 AccessKeyIDappstore、核算签名的日期、区域和服务。它的格算法剖析的意图是局是 <your-acapprovecess-key-id>/<date>/<aws-region>/<aws-service>/awgithub怎样下载文件s4_request，date 的格局是 YYYYMMDD。
SignedHeaders – 指定用于核算签名的github打不开央求头列表，以分号分隔。仅包含央求头的称谓github中文社区，且必须是小写application，例如：host;range;x-amz-date。
Siggitinature – 表示为 64 个小写十六进github中文社区制字符的 256 位签名，例如：fe5f80f77d5fa3jsonpbeca038a248ff027d04453appointment42fe2855ddc963176630326f1024。

上传图片至

根据对 AWS4 央求认证的学习GitHub，并参阅 simples3 的代码结束了 上传图片至（字节跳动的存储服务，其服务称谓是 imagex）的功用，下面是github永久回家地址部分的代码结束（首要省掉了 Client 部分的结束，无缺代码有待后续完善后进行开源）：

package jue算法导论jin
import (
"bytes"
"crypto/hmac"
"crypto/sha256"
"encoding/heapproachx"
"encod算法与数据结构ing/json"
"fmt"
"hash/crc32"
"io"
"ijson格局怎样翻开o/ioutil"
"net/http"
"net/url"
"os"
"pajson怎样读th/filepath"
"regexp"
"sort"
"github打不开strings"
"time"
"github.com/tidwa算法的五个特性ll/gjson"
)
const (
amzDateISO8601TimeFormat = "20060102T150405Z"
shortTimeFormat          = "20060102"
algorithm                = "AWS4-HMAgithub直播渠道永久回家C-SHA256"
serviceName              = "imagex"
serviceID                = "k3u1fbpfcp"
version                  = "201算法的时刻复杂度是指什么8-08-01"
uploadURLFormat          = "https://%s/%s"
RegionCNNorth = "cn-north-1"
actionApplyImageUpload  = "ApplyImageUpload"
actionCommitImageUplgithub敞开私库oad = "CommitImageUpload"
polynomialCRC32 = 0xEDB88320
)
var (application
newLine = []byte{'n'}
//json if object matches reserved string, no need to enjson格局code them
reservedObjectNames = regexpgithub官网.MustComp算法的时刻复杂度取决于ile("^[a-zA-Z0-9-_.~/]+$")
)
type ImageX struct {
AccessKey string
SecretKey sgiti轮胎是什么品牌tring
Region    string
Client    *http.Client
Token   string
Version string
BaseURLgit命令 string
}
type Upljson解析oajson怎样读dTokgithub中文官网网页en struct {
AccessKeyID     string `json:"AccessKeyID"`
SecretAccessKey string `json:"SecretAccessKey"`
SessionToken    string `json:"SessionToken"`
}
func (c *Client) UploadImage(region, iJSONmgPath string) (string, error) {
uploadToken, err := c.GetUpgithub中文官网网页loadToken()
if err != nil {
return "", e算法导论rr
}
ix := &ImageX{
AccessKey: uploadToken.AccessKeyID算法的有穷性是指,
SecretKey: uploadToken.SecretAccessKey,
Token:     uploadToken.SessionToken,
Region:    region,
}
applyRes, err := ix.ApplyIappstoremageUpload()
if err != nil {
return "", err
}
storeInfo := gjson.Get(applyRes, "Resultappointment.UploadAddress.StoreInfos.0")
storeURI := storeInfo.Get("StoreUri").String()
storeAuth := storeInfo.Get("Auth").String()
uploadHost := gjson.Get(applyRes, "Result.UploadAddress.UploadHosts.0").String()
uploadURL := fmjsont.Sprintf(uploadURLFormat, uploadHost, storeURI)
if err := ix.Upload(uploadURL, igithub怎样下载文件m算法的时刻复杂度是指什么gPath, storeAuth); err != nil {
return "", eappearancerr
}
sessionKey := gjson.Get(app算法剖析的意图是lyRes, "Result.UploadAddress.SesAPPsionKey").String()
if _, err = ix.CommitImageUpload(sessionKey); err != nil {
return ""apple, err
}
return算法导论 c.GetImageURL(storeURIGitHub)
}
func (c *Client) GetImageURL(uri string) (string, error) {
endpoint := "/imagex/gejson怎样读t_img_url"
params := &url.Values{
"uri": []string{uri},
}
raw, err := c.Get(APIBaseURL, endpoint, params)
if err != niljsonp跨域原理 {
return "", err
}
rawurl := gjson.Get(raw, "data.main_url").String()
return r算法的时刻复杂度是指什么awurl, nil
}
func算法设计与剖析 (cgiti轮胎是什么品牌 *Client) GetUploadToken() (*UapproachploadToken, error)github下载 {
endpoint := "/imajsongex/gen_token"
params := &url.Values{
"client": [application]string{"web"},
}
raw, err := c.Get(APIBaseURL, endpoint, p算法剖析的意图是arams)
if err != nil {
return nil, err
}
var token *UploadToken
err = json.Unmarshal([]byte(gjson.Get(raw, "data.token").String()), &token)
return token, err
}
func (ix *ImageX) ApplyImageUpload() (string, erro算法的时刻复杂度取决于r) {
rawurl :appstore= fmt.Sprintf("htjson怎样读tps://imagex.bytGitHubeappstoredanceapi.com/?Action=json%s&Version=%s&appearanceamp;ServiceId=%s",
actionApplyImageUpload, version, serviceID)
req, err := htgithub敞开私库tp.NewRequest(http.MethodGet, rawurl, nil)
if err != nil {
return "", err
}
if err :Git= ix.signRequest(req); err != nil {
return算法的时刻复杂度取决于 "", err
}
res, err := ix.getClient().Do(req)
if err != nil {
return "", err
}
defer res.Body.Cgiti轮胎是什么品牌lose()
b, err := ioutil.ReadAll(res.Body)
if err != nil {
return "", erappreciater
}
raw := string(b)
if res.approachStatusCode != 200 || gjson.Get(raw, "giti轮胎是什么品牌ResponseMetadata.Error").Exijson解析sts() {
return "", fmt.Errorf("raw: %s, response: %+v", raw, res)
}
return raw, nil
}
func (ix *ImageX) CommitImageUplgithub中文官网网页oad(sessionKey string) (string, error) {
rawurl := fmt.Sprintf("https://imagex.bytedanceapi.com/?ActionJSON=%s&Version=%s&SessionKey=%s&ServiceId=%s",
actionCommitImageUpload, version, sessionKey, serviceID)
req, err := http.NewRequest(htgithub永久回家地址tp.MethodPost, rawurl, nil)
if err !=github直播渠道永久回家 nil {
return "", err
}
if errjson转map := ix.signRequest(req); err != nil {
return "", err
}
res, err := ix.getClient().Do(regithub打不开q)
if err != nil {
return "", err
}
defer rejsonps.Body.Close()
b, err := ioutil.ReadAll(res.Body)
if err != nil {
return "", err
}
raw := sapp装置下载tring(bappearance)
if res.StatusCode != 200 || gjson.Get(raw, "Respojson格局怎样翻开nseMetadata.Error").Exists() {
return "", fmt.Errorf("raw: %s, response: %+v", raw, res)
}
return raw, nil
}
func (ix *ImageX) getClient() *http.Client {
if ix.Client == nil {
return http.DefaultClient
}
return ix.Client算法与数据结构
}
func (ix *ImageX) siggithub怎样下载文件nKeys(t time.Time) []byte {
h := makeHMacGit([]byte("AWS4"+ix.SecretKey), []byte(t.Format(shortTimeFormat)))
h = makeHMac(h, []byte(ix.Region))
h = makeHMac(h, []byte(se算法剖析的意图是rviceName))
h = makeHMac(h, []b算法的有穷性是指yte(appearance"aws4_request"))
return h
}
func (ix *ImageX) writeRequest(w io.Writer, r *http.Request) error {
r.Header.Set("host", r.Host)
w.Write([]byte(r.Method))
w.Write(newLine)
writeURI(w, r)
w.Write(newgithub永久回家地址Line)
writeQuery(w, r)
w.Write(newLine)
writeHeader(w, r)
w.Write(newLine)
w.Write(newLine)
writeHeaderList(w, r)
w.Write(newLine)
return writeBody(w, r)
}
func (ix *ImageX) writeStringToapplicationSign(w io.Write算法的有穷性是指r, t time.Time, r *http.Request)github是干什么的 error {
w.Write([]byte(algorithm))
w.Write(newLine)
w.Writegithub中文社区([]byte(t.Format(amzDateISO8601TimeFormat)))
w算法是什么.Write(newLine)
w.Write([]byte(ix.creds(t)github下载))
w.Write(newLine)
h := sha256.New()
if err := ix.writeRequest(h, r); err != nil {
return err
}
fmt.Fprintf(w, "%x", h.Sum(niGitHubl))
return nil
}
func (ix *ImageX) creds(t time.Time) string {
return t.Format(shortTimeFormat) + "/" + ix.Region +GitHub "/" + serviceName + "/aws4_req算法的有穷性是指uest"
}approve
func (ix *ImageX) signRequest(req *http.Request) error {
t := time.Now().UTC()
req.Header.Set("x-amz-date", t.Format(amzDateISO8601TimeFormat))
req.Header.Set("x-amz-security-token", ix.Token)
k := ix.signKeys(t)
h := hmac.New(sha256.New, k)
if err := ix.writeStringToSign(h, t, req); err != nil {
return err
}
auth := byt算法是什么es.NappearanceewBufferString(algorithm)
auth.Write([]byte(" Credentiappreciateal=" + ix.AccessKey + "/" + ix.creds(t)))
auth.Write([]byte{',', ' '})
auth.Write([]byte("SignedH算法的时刻复杂度是指什么eaders="))
writeHeaderList(auth, req)
auth.Write([giti轮胎是什么品牌]byte{',', ' '})
auth.Write([]bytejson是什么意思("SiGitHubgnature=" + fmt.Sjson解析printf("%x", h.Su算法工程师m(nil))))
req.Headergithub敞开私库.Set("authorization", auth.String())
return nil
}
func writeURI(w io.Writer, r *http.Request) {
path := r.URL.RequestUgithub是干什么的RI()
if r.URL.RawQuery != "" {
path = path[:len(path)-len(r.URL.RawQuery)-1]
}
slash := strings.HasSuffixjson是什么意思(path, "/")
path = filepathgithub怎样下载文件.github敞开私库Clean(path)
if p算法与数据结构ath != "/" &&agit教程mp; slash {
path += "/"
}Git
w.Write([]byte(path))
}
func writeQuer算法剖析的意图是y(w io.Writer, r *http.Request) {
var a []string
for k, vs := range r.URapp装置下载L.Query() {
k = url.QueryEscape(k)
for _, v := range vs {
if v == "" {
a = append(a, k)
} else {
v = url.QueryEscape(v)
agithub永久回家地址 = appengitlabd(a, k+"="+v)
}
}
}
sortgiti轮胎是什么品牌.Strings(a)
fgithub中文社区or i, s := rjsonange a {
if i &gtgithub中文官网网页; 0 {
w.Write([]byte{'&'})
}
w.Write([]byte(s))
}
}approach
func writeHeader(w io.Writer, r *http.Request) {
i, a := 0, make([]string, len(r.Heaapplicationder))
for k, v := range r.Header {
sort.Strings(v)
a[i] = strings.ToLower(k) + ":" + strings.Join(v, ",")
i++
}
sort.Strigiteengs(a)
for i, s := range a {
if i > 0 {
w.Write(newLine)
}
io.WriteString(w, s)
}
}
func writeHe算法的时刻复杂度取决于adegithub永久回家地址rList(w io.Writer, r *http.Request) {
i, a := 0, make([]stringgithub直播渠道永久回家, len(r.Header))
for k := range r.Header {
a[i] = strings.appointmentToLower(k)
i++
}
sort.Strings(a)
for i, s := range a {
if i > 0 {
w.Write([]bytgithub永久回家地址e{';'})
}
w.Write([]byte(s))
}
}
func writeBody(w io.Writer, r *http.Request) error {
var (
b   []byte
err eappearrror
)
//gitee If the payload is empty, use the empty string as the input to thgithub怎样下载文件eapprove SHA256 function
// http://docs.amazonwebservices.com/general/latest/gr/sigv4-create-canonical-request.html
if r.Body == nil {
b = []byte("")
} else {
b, err = ioutil.ReadAll(r.Body)
if err != nil {
return err
}
r.Body = ioutil.NopCloser(bgithub中文官网网页ytes.NewBuffer(b))
}
h := sha25github永久回家地址6.Nappstoreew()
h.Write(b)
fmt.Fprintf(w, "%x", h.Sum(nil))
return ni算法的时刻复杂度取决于l
}
func makeHMac(kegiti轮胎是什么品牌y []byte, data []byte) []byte {
hash := hmac.Napplicationew(算法sha256.New, key)
hash.Write(data)
return hash.Sum(nil)
}
func (ix *ImageX) Upload(rawurl, fp, auth string) error {
crc32,json err := hashFileCRC32(fp)
if err != nil {
return err
}
file, err := os.Open(fp)
if err != nil {
return errjson是什么意思
}APP
defer file.Close()
req, err := http.NewRequest(http.MethodPosjsonp跨域原理t, rawurl, file)
if err != nil {
return err
}
req.Head算法的五个特性er.Add("aapp装置下载uthoGitHubrization", auth)
req.Header.Add(github中文官网网页"Content-Type", "application/octet-stream")
req.Header.Add("contentjson怎样读-crc32算法与数据结构", crc32)
res, err := http.DefaultClient.jsonDo(r算法与数据结构eq)
if err != nil {
return err
}
defer res.Body.Close()
b, err := ioutil.ReadAll(res.Body)
if err != nil {
reapplicationturn err
}
raw := string(b)
if gjson.Get(ragithub永久回家地址w, "success").Int() != 0 {
return fmt.Errorf("raw: %s, response: %+v", raw, res)
}
return nil
}
//json hashFileCRC32 generate CRC32 hash of a file
// Refer https://mrwaggel.be/pjson格局怎样翻开ost/gengithub永久回家地址erate-crc32-hash-of-a-file-in-golang-turorial/
funcgithub hashFileCRC32(filePath stringjsonp跨域原理) (stringjsonp跨域原理, error) {
file, err := os.Open(filePath)
if err != nil {
return "", err
}
defer file.Close()
tablePolynomial := crc32.MakeTable(polynomialCgithub中文社区RC32)
hash := crc32.New(tablePolynomial)
if _, err := io.Copy(hash, file); err != nil {
return "", err
}
return hex.Encode算法的时刻复杂度是指什么ToSgiti轮胎是什么品牌tring(hash.Sum(nil)), nil
}

总结

就一句话，牛啊牛啊！

Go 实现 AWS4 请求认证 | Go主题月

AWS4

授权方法

Go 结束 HTTP 身份验证头

HTTP 身份验证头组成部分

上传图片至

总结

相关文章

Nodejs 第四十一章（项目架构MVC,IoC,DI）

AI 绘画工具 Stable Diffusion 本地安装使用

XCode打包IOS应用发布App Store和Ad Hoc测试

我为什么用TheRouter而不玩Arouter了呢

作者信息