一个简单的磁力链接搜索引擎爬虫

现在有很多大大小小的磁力链接搜索网站,输入各种关键字,就会把相关的的磁力链接找出来,简直是良心网站,撸友福音啊。我平常使用的是:
shousibaocai.com

pachong

可是当我们需要批量获取某个系(nv)列(you)的磁力链接时,会发现非常地麻烦,于是使用Python写了一个小脚本,获取某个关键词的所有磁力链接,希望大家喜欢,哈哈,就算你不喜欢也关我毛事。哦,对了,这个脚本需要安装BeautifulSoup,一个用来解析html的库,其实不用也行,就是自己根据关键字找而已,这库安装也很简单,不过版本3和4略有区别,我会在注释中标注。下面请看大屏幕。

# -*- coding: utf-8 -*-
import urllib2
import sys
#BeautifulSoup3不需要修改,BeautifulSoup4,改成from bs4 import BeautifulSoup
from BeautifulSoup import BeautifulSoup

reload(sys) 
sys.setdefaultencoding( "utf-8" )

def getcontent(url):
    print url
    req = urllib2.Request(url)
    res = urllib2.urlopen(req)
    magnetlist=[]
    html = res.read()
    res.close()
    soup = BeautifulSoup(html)
    #BeautifulSoup3不需要修改,BeautifulSoup4,改成soup.find_all('a')
    allentry=soup.findAll('a')
    for link in allentry:
        if "magnet:"==link.get('href')[0:7]:
            magnetlist.append(link.get('href'))
    magnetlist = [line+'\n' for line in magnetlist]
    f =open("magnet.txt",  "a")
    f.writelines(magnetlist)
    f.close()

def main():
    site="http://bt.shousibaocai.com/search/"
    keyword="地心引力"
    keyword=urllib2.quote(keyword)
    #总共抓前多少页
    page=3
    for i in range(1,page):
        searchurl=site+keyword+"/"+str(i)
        getcontent(searchurl)

if __name__ == '__main__':
    main()
    #end Jarett

 

本文标题:一个简单的磁力链接搜索引擎爬虫
本文链接:https://www.nigesb.com/a-simple-magnet-spider.html
订阅本站:http://www.nigesb.com/feed
转载请注明来源,如果喜欢本站可以Feed订阅本站。

发表评论?

1 条评论。

  1. 我喜欢用lxml2

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>