ITBooks—简单的书籍下载小工具

Published on Jan 26, 2017 ,2 min reading time

run

1.前言

我有个习惯就是收藏一些书籍,比如说编程类的,总是会去某些网站刷刷,若有新书籍更新恰又是自己感兴趣的,自然会立马下载下来,写程序的都知道,编程书籍更新换代太快,国内的翻译的速度很难全面地跟上,对此,阅读国外的电子书籍是个途径。

很早就想写个书籍集成的脚本,本周女朋友回学校改论文,鬼使神差地做起了这件事,白天上班,晚上撸,准备集成四个网站,目前实现了两个,可以进行搜索和下载。前后花了四个晚上,有点黑眼圈。

下面展示下0.1版本的成果,比如说检索Mastering python,空格用+代替。 python abook.py search Mastering+python Hattem

2.说明

项目名称叫做ITBooks,当然不准备只做IT方面书籍,文学名著也是可以的。

literature

ITBooks,是一个查询和下载书籍的python脚本。 目前只存储了allitebooks blah网站的书籍信息,接下来会更多的集成各个网站,因为想写成个人服务脚本,故使用sqlite3数据库,使用 scrapy爬取信息,具体看ITBooks/spider/allitebooks,爬虫部分可直接运行从而进行书籍信息更新;你可以通过变写爬虫来添加自己喜欢的网站。 添加爬虫只需要在ITBooks/spider/allitebooks/spider,下新建一个scrapy的爬虫脚本即可,对于数据的存储,具体在ITBooks/database ,当然,你可以直接新建一个库。 这里放个allitebooks的爬虫脚本,这里说明下,这个良心网站很不错,希望各位爬的时候慢点。不然崩了大家都玩完

# -*- coding: utf-8 -*-
import datetime
import sys
import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose, TakeFirst, Join
from scrapy.http import Request
from allitebooks.items import AllitebooksItem
from allitebooks.pipelines import AllitebooksPipeline

if sys.version_info[0] > 2:
    from urllib.parse import urljoin
else:
    from urlparse import urljoin


class AllitebooksSpider(scrapy.Spider):
    name = "allitebooks"
    allowed_domains = ["allitebooks.com"]
    start_urls = ('http://www.allitebooks.com', )

    def parse(self, response):
        """
        Get the next pages and yield requests
        :param response:
        :return: request url
        """
        pages = response.css('.pagination>a::text').extract()[-1]
        for page in range(int(pages)):
            # Generate a list of urls
            url = urljoin(response.url, '/page/' + str(page + 1))
            yield Request(url, callback=self.parse_detail)

    def parse_detail(self, response):
        """
        Get item URLs and yield Requests
        :param response:
        :return: request url
        """
        urls = response.css(
            'article>div.entry-body>header>.entry-title>a::attr(href)'
        ).extract()
        for url in urls:
            # Remove duplicate links
            sqlDb = AllitebooksPipeline()
            isExist = sqlDb.search_url('allitebooks', url)
            if not isExist:
                yield Request(url, callback=self.parse_item)

    def parse_item(self, response):
        """
        This function parses a property page.
        :param response:
        :return: item
        """
        # Create the loader using response
        l = ItemLoader(item=AllitebooksItem(), response=response)
        # Load primary fields using css expressions
        l.add_css('title', '.single-title::text', MapCompose(str.strip))
        l.add_css('cover', '.entry-body-thumbnail>a>img::attr(src)')
        book_details = response.css('.book-detail>dl>dd::text').extract()
        author_list = response.css(
            '.book-detail>dl>dd:nth-child(2)>a::text').extract()
        category_list = response.css(
            '.book-detail>dl>dd:nth-child(16)>a::text').extract()
        author = ','.join(author_list)
        category = ','.join(category_list)
        book_details = book_details[len(author_list):(-len(category_list))]
        l.add_value('author', author, MapCompose(str.strip))
        l.add_value('category', category, MapCompose(str.strip))
        item_name = "isbn year pages language file_size file_format".split()
        for index, value in enumerate(item_name):
            l.add_value(value, book_details[index], MapCompose(str.strip))
        l.add_css('description', '.entry-content')
        l.add_css('download', 'span.download-links>a::attr(href)',
                  MapCompose(str.strip), TakeFirst())
        # Housekeeping fields
        l.add_value('url', response.url)
        l.add_value('spider', self.name)
        l.add_value('date', datetime.datetime.now())
        yield l.load_item()

现在就是由于想在本地运行,对于自动更新是个问题,本来想使用celeryscrapy爬虫弄成一个个任务,我是可以在机器上这样部署,可是这对于使用者不大现实,目前是手动更新(确实很挫)。

接下来说说使用方法,如果你感兴趣,可以试试^_^ 脚本在python2.7+和python3下都可以运行,我测试过,但是爬虫却没在python2下测过,所以我建议还是用3吧。 运行以下命令:

git clone https://github.com/howie6879/ITBooks
cd /ITBooks/ITBooks
python abook.py search Mastering+Python Hattem

具体使用方法如下:

  python abook.py search <title> <author>
  python abook.py title <title>
  python abook.py author <author>

也在根目录下写了个bash,其实没什么差别:

bash run.sh [search|title|author] <value>

search

command

download

总结

写在最后,本人技术微末,如果错漏,欢迎指教,项目github地址在这里ITBooks,欢迎各位添砖加瓦。