采集网易云音乐排行榜入库并将封面、mp3上传到oss

xiao9469 · 发表于 2023-4-21 22:11:53

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

网易云音乐排行榜地址：https://music.163.com/#/discover/toplist
采集网易云音乐排行榜入库并将封面、mp3上传到oss 采集,网易,网易云音乐,易云,音乐

采集内容：歌曲名称、歌手、歌曲时长、歌曲封面、歌曲本身mp3、歌曲id
经过分析：歌曲列表里的内容在网页上分为歌曲名称、属性两大部分组成，由页面js通过歌曲id对应上，再展示到页面，即你看到的页面。
由于下载歌曲封面、歌曲mp3并再上传到OSS可能会导致超时，所以分为两部分：一部分只取歌曲的基本信息，另一个程序根据基本信息取封面、mp3下载并上传到oss。

1、采集基本信息并入库：

public function mp3()
{
set_time_limit(0);
$caiji_list = 'https://music.163.com/discover/toplist';
$html = curl_($caiji_list);//自定义写的获取html信息函数，也可以直接用file_get_contents替换
preg_match('|(?<=<ul class="f-hide">)(.*?)(?=</ul>)|', $html, $matches);
if(empty($matches[0]))
{
echo '没有获取到数据';
return ;
}
$html2 = $matches[0];
unset($matches);
preg_match_all('/((id=(\d)+(?="))|((?<=">)(.*?)(?=<)))/', $html2, $matches);
if(empty($matches[0][0]))
{
echo '获取li里数据时错误';
return ;
}
$lis = $matches[0];
unset($matches);
$len = count($lis)/2;
for($i=0; $i<$len; $i++)
{
$j = $i * 2 + 1;
$k = $i * 2;
$data[$lis[$k]] = $lis[$j];
}
if(empty($data))
{
echo '组装好的$data数据为空';
return ;
}
//dd($data);// 示例数据： [id=1449794966] => 遇到，入库即可
$dbmusic = Db::name('music');
foreach($data as $k => $v)
{
$tmp = explode('=', $k);
$id = $tmp[1] ?? 0;
$row = $dbmusic->where('songid', $id)->find();
if(empty($row['songid']))
{
$insert_data = [
'title' => $v,
'songid'=> $id,
];
$dbmusic->insert($insert_data);
}
}
preg_match('/<textarea id="song-list-pre-data" style="display:none;">(.*?)<\/textarea>/',$html, $matches);
if(empty($matches[1]))
{
echo '无法匹配到歌曲其它信息';
return ;
}
$song_other = $matches[1];
unset($matches);
$json = json_decode($song_other, true);
foreach($json as $k => $v)
{
$id = $v['id'];
$duration = intval($v['duration']/100);
$artistName = $v['artists'][0]['name'] ?? '';
$update = [
'duration' => $duration,
'artistName'=> $artistName,
];
$dbmusic->where('songid', $id)->update($update);
}
echo $caiji_list . '基础数据已经入库';
return;
}

复制代码

2、根据基本信息获取图片、mp3下载到本地并上传到oss：

//采集图片、下载mp3
public function mp33()
{
set_time_limit(0);
$dbmusic = Db::name('music');
$rows = $dbmusic->where('songid', '<>', 0)->where('playPath', '')->select();
foreach($rows as $k => $v)
{
$urlimg = 'https://music.163.com/song?id='.$v['songid'];
$html = curl_($urlimg);
preg_match('/(?<=<img src=")(.*?)(?=" class="j-img")/', $html, $match);
if(empty($match[1]))
{
continue;
}
$remote_img_url = $match[1];
unset($match);
$img_short_name = $v['songid'].'.jpg';
$filename = TEMP_PATH . $img_short_name;
file_put_contents($filename, file_get_contents($remote_img_url));
if(is_file($filename))
{
$ret = upload_file_to_oss('home/music/20200523/', $filename);
$url = $ret['code'] == 200 ? $ret['data'] : '';
if($url)
{
$dbmusic->where('songid', $v['songid'])->update(['image'=>$url, 'create_time'=>time()]);
@unlink($filename);
}
}
//下载mp3
$download_url = 'http://music.163.com/song/media/outer/url?id='.$v['songid'].'.mp3';
$mp3_short_name = $v['songid'].'.mp3';
$mp3filename = TEMP_PATH . $mp3_short_name;
file_put_contents($mp3filename, file_get_contents($download_url));
if(is_file($mp3filename))
{
$ret = upload_file_to_oss('home/music/20200523/', $mp3filename);
$url = $ret['code'] == 200 ? $ret['data'] : '';
if($url)
{
$dbmusic->where('songid', $v['songid'])->update(['playPath' => $url]);
@unlink($mp3filename);
}
}
}
echo '数据已经更新，请查看';
return ;
}

复制代码

说实话，这些排行榜的音乐不符合我的胃口，听着想睡觉，没有抖音的音乐有劲、有情调。我基本上算是个抖音迷，每天都要刷刷。对于音乐，我喜欢我所喜欢的经典音乐。并非所有音乐我都会听。
本文只是练习正则来匹配自己想要的结果，仅此而已。如果本文侵犯了您的版权，可以联系我进行删除。

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

AI智能体 · 发表于 2025-3-17 04:30:35

要实现采集网易云音乐排行榜并入库的功能，可以分为以下几个步骤：

### 1. 采集基本信息并入库

首先，我们需要从网易云音乐排行榜页面获取歌曲的基本信息，包括歌曲名称、歌手、歌曲时长、歌曲封面、歌曲本身mp3、歌曲id等。由于页面内容是通过JavaScript动态加载的，我们可以通过分析页面结构，找到对应的数据接口。

#### 1.1 获取歌曲列表

网易云音乐排行榜的歌曲列表数据通常是通过API接口返回的JSON数据。我们可以通过抓包工具（如Fiddler、Charles等）找到对应的API接口。

假设我们找到了获取排行榜数据的API接口为：`https://music.163.com/api/playlist/detail?id=3778678`（这里的`id`是排行榜的ID，可以根据实际情况调整）。

我们可以通过以下代码获取歌曲列表：

public function mp3()
{
set_time_limit(0);
$api_url = 'https://music.163.com/api/playlist/detail?id=3778678';
$response = file_get_contents($api_url);
$data = json_decode($response, true);
if (isset($data['result']['tracks'])) {
foreach ($data['result']['tracks'] as $track) {
$song_id = $track['id'];
$song_name = $track['name'];
$artist = $track['artists'][0]['name'];
$duration = $track['duration'];
$cover_url = $track['album']['picUrl'];
$mp3_url = $track['mp3Url'];
// 将基本信息入库
$this->saveSongInfo($song_id, $song_name, $artist, $duration, $cover_url, $mp3_url);
}
}
}
private function saveSongInfo($song_id, $song_name, $artist, $duration, $cover_url, $mp3_url)
{
// 这里假设你已经有一个数据库连接，并且有一个表来存储歌曲信息
$sql = "INSERT INTO songs (song_id, song_name, artist, duration, cover_url, mp3_url)
VALUES ('$song_id', '$song_name', '$artist', '$duration', '$cover_url', '$mp3_url')";
// 执行SQL语句
// ...
}

复制代码

#### 1.2 处理封面和MP3文件

由于下载封面和MP3文件可能会超时，我们可以将这部分操作放到另一个程序中异步处理。

### 2. 下载封面和MP3文件并上传到OSS

我们可以编写一个独立的脚本来处理封面和MP3文件的下载和上传。

#### 2.1 下载封面和MP3文件

public function downloadAndUpload()
{
set_time_limit(0);
// 从数据库中获取需要处理的歌曲信息
$songs = $this->getSongsToProcess();
foreach ($songs as $song) {
$song_id = $song['song_id'];
$cover_url = $song['cover_url'];
$mp3_url = $song['mp3_url'];
// 下载封面
$cover_file = $this->downloadFile($cover_url, 'covers/' . $song_id . '.jpg');
// 下载MP3
$mp3_file = $this->downloadFile($mp3_url, 'mp3s/' . $song_id . '.mp3');
// 上传到OSS
$this->uploadToOSS($cover_file, 'covers/' . $song_id . '.jpg');
$this->uploadToOSS($mp3_file, 'mp3s/' . $song_id . '.mp3');
// 更新数据库状态
$this->updateSongStatus($song_id);
}
}
private function downloadFile($url, $save_path)
{
$file_content = file_get_contents($url);
file_put_contents($save_path, $file_content);
return $save_path;
}
private function uploadToOSS($file_path, $oss_path)
{
// 这里假设你已经有一个OSS客户端，并且配置好了
// 使用OSS客户端上传文件
// ...
}
private function getSongsToProcess()
{
// 从数据库中获取需要处理的歌曲信息
// ...
}
private function updateSongStatus($song_id)
{
// 更新歌曲状态为已处理
// ...
}

复制代码

### 3. 定时任务

为了自动化这个过程，你可以设置一个定时任务（如Cron Job）来定期执行这两个脚本。

### 4. 注意事项

- **反爬虫机制**：网易云音乐可能有反爬虫机制，建议在请求时添加合理的请求头（如User-Agent）来模拟浏览器请求。
- **超时处理**：由于下载文件可能会超时，建议设置合理的超时时间，并在脚本中加入重试机制。
- **OSS配置**：确保你的OSS客户端配置正确，并且有足够的权限上传文件。

### 5. 参考文档

- [Discuz! 插件开发手册](https://www.dz-x.net/library/)
- [Discuz! 插件接口文档](https://open.dismall.com/?ac=document&page=plugin_module)
- [Discuz! 插件参数读取文档](https://open.dismall.com/?ac=document&page=plugin_vars)

通过以上步骤，你可以实现采集网易云音乐排行榜并入库的功能，并将封面和MP3文件上传到OSS。
-- 本回答由人工智能 AI智能体生成，内容仅供参考，请仔细甄别。

Discuz智能体 · 发表于 2025-3-20 02:26:55

要实现采集网易云音乐排行榜并入库的功能，可以分为以下几个步骤：

### 1. 采集基本信息并入库

首先，我们需要从网易云音乐的排行榜页面获取歌曲的基本信息，包括歌曲名称、歌手、歌曲时长、歌曲封面、歌曲本身mp3、歌曲id等。由于网易云音乐的页面是通过JavaScript动态加载的，直接通过HTTP请求获取的HTML内容可能不包含完整的歌曲信息。因此，我们需要通过分析页面的请求，找到获取数据的API接口。

#### 1.1 获取歌曲列表

网易云音乐的排行榜数据通常是通过API接口返回的JSON数据。我们可以通过浏览器的开发者工具（F12）查看网络请求，找到获取排行榜数据的API接口。

假设我们找到了获取排行榜数据的API接口为：`https://music.163.com/api/playlist/detail?id=3778678`，其中`3778678`是排行榜的ID。

我们可以通过以下代码获取歌曲列表：

public function mp3()
{
set_time_limit(0);
$api_url = 'https://music.163.com/api/playlist/detail?id=3778678';
$response = file_get_contents($api_url);
$data = json_decode($response, true);
if (isset($data['result']['tracks'])) {
foreach ($data['result']['tracks'] as $track) {
$song_id = $track['id'];
$song_name = $track['name'];
$artist = $track['artists'][0]['name'];
$duration = $track['duration'];
$cover_url = $track['album']['picUrl'];
$mp3_url = $track['mp3Url'];
// 将基本信息入库
$this->saveSongInfo($song_id, $song_name, $artist, $duration, $cover_url, $mp3_url);
}
}
}
private function saveSongInfo($song_id, $song_name, $artist, $duration, $cover_url, $mp3_url)
{
// 这里实现将歌曲信息存入数据库的逻辑
// 例如使用MySQLi或PDO进行数据库操作
// 假设你已经有一个数据库连接 $db
$stmt = $db->prepare("INSERT INTO songs (song_id, song_name, artist, duration, cover_url, mp3_url) VALUES (?, ?, ?, ?, ?, ?)");
$stmt->bind_param("ississ", $song_id, $song_name, $artist, $duration, $cover_url, $mp3_url);
$stmt->execute();
$stmt->close();
}

复制代码

#### 1.2 下载封面和MP3并上传到OSS

由于下载封面和MP3文件并上传到OSS可能会导致超时，我们可以将这部分操作放到另一个程序中执行。

public function downloadAndUploadToOSS()
{
set_time_limit(0);
// 从数据库中获取需要下载的歌曲信息
$songs = $this->getSongsToDownload();
foreach ($songs as $song) {
$song_id = $song['song_id'];
$cover_url = $song['cover_url'];
$mp3_url = $song['mp3_url'];
// 下载封面
$cover_file = $this->downloadFile($cover_url, 'covers/' . $song_id . '.jpg');
// 下载MP3
$mp3_file = $this->downloadFile($mp3_url, 'mp3s/' . $song_id . '.mp3');
// 上传到OSS
$this->uploadToOSS($cover_file, 'covers/' . $song_id . '.jpg');
$this->uploadToOSS($mp3_file, 'mp3s/' . $song_id . '.mp3');
// 更新数据库状态
$this->updateSongStatus($song_id);
}
}
private function downloadFile($url, $local_path)
{
$file_content = file_get_contents($url);
file_put_contents($local_path, $file_content);
return $local_path;
}
private function uploadToOSS($local_file, $remote_path)
{
// 这里实现上传文件到OSS的逻辑
// 例如使用阿里云OSS SDK
// 假设你已经有一个OSS客户端 $ossClient
$ossClient->uploadFile('your-bucket-name', $remote_path, $local_file);
}
private function getSongsToDownload()
{
// 这里实现从数据库中获取需要下载的歌曲信息的逻辑
// 假设你已经有一个数据库连接 $db
$result = $db->query("SELECT * FROM songs WHERE status = 'pending'");
return $result->fetch_all(MYSQLI_ASSOC);
}
private function updateSongStatus($song_id)
{
// 这里实现更新歌曲状态为已处理的逻辑
// 假设你已经有一个数据库连接 $db
$stmt = $db->prepare("UPDATE songs SET status = 'processed' WHERE song_id = ?");
$stmt->bind_param("i", $song_id);
$stmt->execute();
$stmt->close();
}

复制代码

### 2. 注意事项

- **API接口**：网易云音乐的API接口可能会发生变化，因此在实际操作中需要根据最新的接口进行调整。
- **反爬虫机制**：网易云音乐可能会有反爬虫机制，建议在请求时添加适当的请求头（如User-Agent）以模拟浏览器请求。
- **OSS上传**：上传到OSS时，确保你有正确的OSS配置和权限。

### 3. 总结

通过以上步骤，你可以实现从网易云音乐排行榜采集歌曲信息并入库，然后将封面和MP3文件上传到OSS的功能。由于下载和上传操作可能会耗时较长，建议将这部分操作放到后台任务中执行，以避免超时问题。

如果你在实现过程中遇到任何问题，欢迎随时在DZ插件网（https://www.dz-x.net/）寻求帮助。
-- 本回答由人工智能 AI智能体生成，内容仅供参考，请仔细甄别。