你刷短视频的时候,有没有刷到过那种“乔丹10大逆天拉杆”或者“库里三分集锦，看到第3个我跪了”的视频？说实话，我每次刷到这种NBA锦集视频，手就停不下来，但问题来了——我想把这些视频存下来，回头慢慢看，结果发现很多平台根本不让下载，或者下载下来格式乱七八糟，还得转码。
作为一个写过几年Go代码的人,我第一反应就是：要不我鼓捣一个程序，自动化搞定这事儿？说干就干，今天我就把我折腾这段时间踩的坑、学到的技巧、整理出的思路，原原本本写出来，虽然不完美，但至少能让你少走点弯路。
为什么选Golang来做这个事？
你可能觉得,Python不是更流行吗？数据爬虫、视频处理，Python的库那么多，为啥非要跟Go较劲？
我的回答很简单：稳定和效率，Python写起来快，但一旦涉及并发下载、内存管理，Go的goroutine和channel简直是降维打击。
举个例子,你要下载一个NBA锦集视频，如果视频源是分段的（m3u8格式那种），你需要同时拉几十个小片段，然后合并成一个完整的MP4文件，在Python里做多线程并发下载，你得处理锁、队列，一个不小心就死锁了，在Go里，你只需要：
var wg sync.WaitGroup
for _, segment := range segments {
wg.Add(1)
go func(s string) {
defer wg.Done()
// 下载片段
}(segment)
}
wg.Wait()
代码简洁,逻辑清晰，跑起来稳稳当当，而且Go编译出来的就是二进制文件，扔服务器上就能运行，连依赖环境都不用配。
第一步：找到NBA锦集视频的真实地址
这是最让人头疼的一步,不是所有网站都像YouTube那样有公开的API，大多数视频网站都把真实地址藏得特别深，甚至动态加密，我自己试过的几个思路，成功率还不错的，分享给你：
从页面HTML里扒
很多视频网站会在页面的<script>标签里埋一个JSON对象，里面包含视频源信息，你可以用Go的net/http库先抓取页面内容，然后用正则或者字符串查找的方法，把那段JSON抠出来。
resp, _ := http.Get("https://example.com/nba-highlights/12345")
body, _ := ioutil.ReadAll(resp.Body)
// 搜索 "videoUrl" 或者 "playUrl" 之类的关键词
注意：这个方法的成功率大概在30%左右，有些网站会把地址藏在别的接口里，需要模拟点击或者先拿到token。
抓包分析法
说实话,这招最原始也最管用，打开浏览器的开发者工具，切到Network标签，找到播放NBA锦集视频时发出的请求，一般会有一个.mp4、.m3u8或者.ts结尾的链接，把那个复制下来，直接怼到你写的Go程序里。
重要提醒：有些视频地址会带一个过期时间戳，过了几个小时就失效了，所以最好是播放的时候立刻抓，立刻下。
用第三方解析API
市面上有一些公开或者半公开的视频解析服务,你把网页链接传过去，它返回视频直链，但说实话，大部分都不稳定，而且容易封IP，我没怎么用这招，不太推荐。
第二步：用Go写下载逻辑，顺便处理反爬
拿到视频地址后,你以为直接http.Get()就完事了？太天真了，现在的视频网站反爬手段一个比一个狠。
常见反爬手段和我破它们的土办法
| 反爬手段 | 表现 | 我的解决办法 |
|---|---|---|
| User-Agent检测 | 拒绝非浏览器请求 | 伪装成Chrome，req.Header.Set("User-Agent", "Mozilla/5.0...") |
| Referer验证 | 必须从特定页面发起请求 | 设置Referer为视频所在的页面地址 |
| Cookie验证 | 需要登录状态或者session | 从浏览器开发者工具里偷一个Cookie粘过去 |
| IP限制 | 短时间内大量请求被封 | 加延时，或者用代理池 |
说实话,Referer验证是我遇到最多的，很多NBA锦集视频的网站，你直接请求视频地址会返回403，但只要在请求头里加上Referer: https://哪个网页来的，立马就好了。
req, _ := http.NewRequest("GET", videoURL, nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
req.Header.Set("Referer", "https://example.com/nba-highlights/12345")
resp, _ := client.Do(req)
这招大概能解决70%的问题，剩下的30%，我还没找到通用解法，基本都是针对某个网站写死代码。
第三步：处理m3u8分片视频
很多NBA锦集视频为了提高加载速度和防盗链,采用HLS协议，也就是m3u8索引文件，这个文件本身不是视频，而是一个“菜单”，里面列出了几十个.ts分片文件的地址。
用Go处理这个东西的思路很简单：
- 下载m3u8文件
- 解析里面的分片地址
- 并发下载所有分片
- 按顺序合并成一个完整的.ts或者.mp4文件
合并的时候用Go标准库os和io就够了，把每个分片读出来，写到同一个文件里，顺序别搞错就行。
outFile, _ := os.Create("nba_highlight.mp4")
for _, seg := range segments {
data, _ := ioutil.ReadFile(seg.filename)
outFile.Write(data)
}
这一段代码,我跑起来大概20秒能合并完一个3分钟的集锦视频，比用命令行工具快不少。
第四步：考虑边缘情况——别让程序崩在半夜
我写的第一个版本,跑得好好的，结果某天半夜它突然不工作了，查了半天才发现：视频网站换了域名。
写这种爬虫程序,你永远要假设外部的接口会变，一个比较土但管用的做法是：把解析视频地址的逻辑单独拎出来，做成可配置的，比如用一个JSON文件记录每个网站的解析规则：
{
"site_a": {
"url_pattern": ".*example\\.com/video/(\\d+)",
"video_url_selector": "#playurl",
"header_referer": "https://example.com"
}
}
这样网站更新了,改一下配置就行，不用重新编译程序。
另外还有一些小坑：
- 有些NBA锦集视频是竖屏的，下载下来你在电脑上看就两边黑边，可以考虑用FFmpeg命令行工具裁剪，Go里用
os/exec调用就行。 - 视频文件可能非常大,别一次性读到内存里，用流式写入，Go的
io.Copy方法配合http.Response.Body，边下载边写磁盘，内存占用可以稳定在50MB以下。
一些真实感：我失败的那些尝试
不是所有尝试都成功了,我试过用OpenCV在Go里直接分析NBA锦集视频中的精彩瞬间（比如扣篮、三分），做一个自动剪辑工具，想法挺美，但现实是OpenCV的Go绑定库支持有限，而且视频解析的速度慢得让人抓狂，一个10分钟的全场比赛集锦，分析一次要跑40分钟，还不一定准。
后来我放弃了。有些事儿，交给专业的人做，现在我只写下载器和简单的合并器，真正剪片子，还是用Premiere吧。
写在最后
写到这儿,我发现自己并没有给你一套“万能代码”，更多的是把这段时间的踩坑经历摊开给你看，如果你也想自己搞一个NBA锦集视频下载工具，建议你从最简单的开始：找个你常看的网站，手动抓一次包，然后用Go的net/http先下载一段视频试试看。
能跑起来,就是胜利，跑不起来，多看几遍错误日志，别急。
我这套代码到现在还经常改,今天加点反爬，明天加点新功能，说实话，写程序这事儿，跟看NBA锦集一个道理：没有完美的版本，只有不断迭代的过程，你说是吧？
本文来自作者[kyadmin]投稿，不代表ac米兰官网立场，如若转载，请注明出处：http://www.milanomuse.com/nba/807.html
评论列表（4条）
我是ac米兰官网的签约作者“kyadmin”！
希望本篇文章《用Golang写一个NBA锦集视频爬虫？这事儿我试过了，结果挺有意思》能对你有所帮助！
本站[ac米兰官网]内容主要涵盖：AC米兰,ac米兰中文,AC米兰官网
本文概览：你刷短视频的时候,有没有刷到过那种“乔丹10大逆天拉杆”或者“库里三分集锦，看到第3个我跪了”的视频？说实话，我每次刷到这种NBA锦集视...