分类目录数据分析

1、需求：

在用户行为分析中重要的一环是对用户行为路径的分析，如先访问什么再访问什、现购买什么再购买什么。找到用户的访问或购买路径，有助于我们对商业流程的理解，也可以帮助我们改善和优化企业产品。

2、题设：

假设我们是一家家电电商网站，拥有所有客户的购买每种家电的详细记录（包括客户id，购买产品，购买日期）。

客户购买记录，数据全是瞎编的

我们希望通过这个数据分析出社会用户在购买家电先后顺序的行为路径。
这个结果的实际用途，例如客户在装修新房后购置抽油烟机，那么我们很可能希望给他推荐热水器或者空调等。我们总不至于像某东网站一样，客户购买了一个冰箱后还给推荐另一个冰箱吧？

3、结果示例：

希望能够得到类似下图的结果：

结果示例

这是百度echarts的Sankey（桑基图）图示例，我们将通过Python+R实现类似的效果。

4、技术路线：

如标题所述，使用Python进行数据处理，形成R绘图直接可用的数据结构；再使用R绘制Sankey图（之所以不使用Python直接绘图，是因为Python在绘制桑基图方面还不够完善——好吧，是我不会！）。
先来看R绘制桑基图networkD3官方给出的示例代码：

#R code
# Load energy projection data
# Load energy projection data
URL <- paste0(
        "https://cdn.rawgit.com/christophergandrud/networkD3/",
        "master/JSONdata/energy.json")
Energy <- jsonlite::fromJSON(URL)
# Plot
sankeyNetwork(Links = Energy$links, Nodes = Energy$nodes, Source = "source",
             Target = "target", Value = "value", NodeID = "name",
             units = "TWh", fontSize = 12, nodeWidth = 30)

访问上述url指向的地址，可以看到数据文件格式，这是一个json文件，结构如下：

#R networkD3绘制桑基图所需的数据格式
{"nodes":[
{"name":"Agricultural 'waste'"},
{"name":"Bio-conversion"},
……
],
"links":[
{"source":0,"target":1,"value":124.729},
{"source":1,"target":2,"value":0.597},
{"source":1,"target":3,"value":26.862}],
……
]}

数据主要包含两个部分：nodes的每条记录表示桑基图中每个节点位置的名称；links的每条记录表示从某个节点到另一个节点出现的次数。source和target后面所跟的数字顺序和nodes后面的数据顺序一致。如0表示节点名字是Agricultural ‘waste’，1表示节点Bio-conversion，{“source”:0,”target”:1,”value”:124.729}表示从Agricultural ‘waste’到Bio-conversion有124.729大的量。
因此，剩下的工作就是如何将上述分笔交易数据转化成上述符合要求的格式。

5、数据整理：

大致分析一下，我们首先需要找到购买了两笔及以上的客户。然后将这些客户中，每个客户成交商品的顺序进行处理。
如一个客户先后购买了：冰箱——洗衣机——电视机，整理出的关系则是：

source    target    value
冰箱       洗衣机     1
洗衣机     电视机     1

（1）首先，需要将购买有2次记录及以上的所有数据筛选出来备用。

#Python code
import pandas as pd
#读取所有数据
base_data=pd.read_excel('C:/Users/Administrator/Desktop/家电购买记录.xlsx')
#找出购买了两次及以上的用户（通过user_id统计次数再作筛选）
buy_times=base_data.groupby('user_id')['product'].count()
re_buy_userid=buy_times[buy_times>1].reset_index()
#筛选所有购买两次及以上用户的购买记录
rebuy_data=base_data[base_data['user_id'].isin(re_buy_userid['user_id'])]

（2）第二步，分析购买先后次序。思路是对每个客户的购买记录进行分析，形成第5部分开头所示的明细列表，然后再对这个明细列表进行汇总，计算出每种对应关系的汇总结果。

#Python code
#分析流向
source_name=[]
target_name=[]
num=[]
#遍历每个购买两次及以上的用户id
for user_id in re_buy_userid['user_id']:
    #取出每个用户购买记录明细，按时间升序排列，重建索引，以便后面取结果时使用
    each_buy=rebuy_data[rebuy_data['user_id']==user_id].sort_values(by='buytime',ascending=True).reset_index()
    #按顺序对上述明细数据进行遍历，分别取当前记录的product和下一条记录的product，即可构成购买先后关系
    for i in range(len(each_buy)-1):
        each_source=each_buy['product'][i]
        each_target=each_buy['product'][i+1]
        source_name.append(each_source)
        target_name.append(each_target)
        num.append(1)
#对结果进行整理，形成一个表格
st_result=pd.DataFrame([source_name,target_name,num],index=['source_name','target_name','num']).T
#获取统计结果
group_result=st_result.groupby(['source_name','target_name']).count().reset_index().sort_values(by='num',ascending=False)

这里我们得到的结果如下：

客户购买路径数据统计结果

实际上，到这里，基本上已经是我们R所需要的数据了，只需要将其转换成json格式即可。
同时，我们可以得出结论：我们的客户通常情况下买了电视机会接着买空调，买了电饭锅通常会买电磁炉，买了空调通常会买微波炉（千万别拿这个当决策，前面说了数据都是我瞎编的）…
（3）第三步，将上述数据转换成json格式，并存储成文件。

#Python code
#转化json所需格式
#定义names，以确定nodes的name顺序
names=group_result['source_name'].append(group_result['target_name']).drop_duplicates().reset_index(drop=True)
#将确定好的name顺序固定，生成一个对应表，用以对group_result里面的中文补充相应的name顺序代号
names_order=names.reset_index().reset_index().rename(columns={'level_0':'source','index':'target',0:'product'})
#添加source_name对应的name代号
mid_data=pd.merge(group_result,names_order[['source','product']],left_on='source_name',right_on='product',how='left')
#添加target_name对应的name代号
path_data=pd.merge(mid_data,names_order[['target','product']],left_on='target_name',right_on='product',how='left')

#生成nodes
name_list=[]
for i in names:
    each_name={'name':i}
    name_list.append(each_name)
#生成links
source_target=[]
for i in range(len(path_data)):
    each_links={'source':path_data['source'][i],'target':path_data['target'][i],'value':path_data['num'][i]}
    source_target.append(each_links)

#生成json格式
rebuy_dict={"nodes":name_list,"links":source_target}
rebuy_json=str(rebuy_dict).replace("'",'"')

#存储为json格式
f=open("d:/rebuy.json","w",encoding="utf-8")
f.write(str(rebuy_json))
f.close()

（4）第四步，使用R绘图

#R code
library(networkD3)
rebuy <- jsonlite::fromJSON('D:/rebuy.json')
sankeyNetwork(Links = rebuy$links, Nodes = rebuy$nodes, Source = "source",
              Target = "target", Value = "value", NodeID = "name",
              units = "TWh", fontSize = 30, nodeWidth = 30,
              fontFamily = "微软雅黑")

来看结果吧：

客户购买路径图

不能更丑了，已经。

在做项目排班的时候经常会遇到一个问题，就是如何在Excel中标记中国的节假日？
经过在网上找各种API，发现不是要钱就是服务器404，再不然就是没有标记完全（比如只标记了节假日，但调休加班没有）。所以，最后还是背靠度娘，通过度娘提供的数据来自己做一个带中国节假日日历列表。

度娘的接口

https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php?query=2020%E5%B9%B4&resource_id=6018&format=json

可以看到query对应的值就是你要查询的年月对应的日历。这里有个好处就是，返回的数据会包含当年的所有节假日和调休加班日，如下：

image.png

所以，可以在holiday的list中看到当年所有的放假和调休加班（放假对应的status是1，而调休加班则是2），再结合日历本身的周六周日，就可以对当年所有的日期进行标记，最终输出某一天是法定放假还是法定上班了。

以下是，所有代码

以下是对小白的操作

• 用法就是，复制这些文本
• 在本地存储为任意一个text文档
• 将此文档的后缀名由”.txt”修改为”.py”
• 然后使用python运行此文件
• 要修改年份，只需要调整最后的year=2020这个代码就可以了

# -*- coding: utf-8 -*-
"""
Created on Mon Jun  8 17:18:15 2020

@author: 西湖味精三月鲜
"""

# 百度获取日历
# https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php?query=2020%E5%B9%B4&resource_id=6018&format=json


import pandas as pd
import requests
import json
import numpy as np

# 生成某一年的日历
def gen_calendar(year=2020):
    # 生成日历列表
    start_date=str(year)+'0101'
    end_date=str(year)+'1231'
    df=pd.DataFrame()
    dt=pd.date_range(start_date, end_date,freq='1D')
    df['date']=dt
    # 计算周几
    df['dayofweek']=df['date'].dt.dayofweek+1
    # 获取法定节假日
    up1='https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php?query='
    up2='%E5%B9%B4&resource_id=6018&format=json'
    url="".join([up1,str(year),up2])
    r=requests.get(url)
    r_json=json.loads(r.text)
    # 获取放假信息
    h_data=r_json['data'][0]['holiday']
    h_df=pd.DataFrame()
    for i in range(len(h_data)):
        each_d=h_data[i]['list']
        each_df=pd.DataFrame(each_d)
        h_df=h_df.append(each_df)
    # 处理一下数据，去重等等
    h_df.drop_duplicates(inplace=True)
    h_df.reset_index(drop=True,inplace=True)
    h_df['date']=pd.to_datetime(h_df['date'])
    
    # 合并数据
    df2=pd.merge(df,h_df,how='left',on='date')
    df2.fillna(0,inplace=True)
    df2['status']=df2['status'].astype('int')
    # 返回是否假日
    judge=np.where(df2['dayofweek']<6,0,1)+df2['status']
    judge=np.where((judge==2) | (judge==1),'Y','N')
    df2['isholiday']=judge
    
    return df2



in __name__=="__main__":
    year=2020
    df=gen_calendar(year)
    df2.to_csv('{}年节日历表.csv'.format(year),index=False)

以下是懒人入口，2011-2020年的都在这里

• 只有2011年及之后年份的数据
• 只有国务院公布了放假安排后，才会有当年的数据，比如现在就没有2021年的
• dayofweek是星期几
• status是放假安排的判断，1表示法定放假，2表示法定上班，0没有特殊意义
• isholiday就是最后的结果了，Y表示是法定节假日，N表示是要上班的日子
• 下载链接：
  链接:https://pan.baidu.com/s/1M1ehYSAVoLt-WvHlf4EM4Q 提取码:s7wm

黄页88网站反爬措施对手机号进行了一些加密处理。这里介绍一下怎么解密手机号码的方法。

首先，我们看一下网站显示的手机号是这样的：

显示的手机号

使用ctrl c复制粘贴后变成了这样：

复制后的手机号码

而实际上，用Python爬虫获取到的内容是这样的：

爬虫获取到的数据

经过分析，发现这些数据其实有以下特点：

1. 每次刷新网页，编码会变
2. 编码之间其实有关系（实际上就是0-9转换成了16进制）

所以，我们的思路就是：

1. 确定手机号码开头1对应的是第一个编码
2. 然后根据第一个编码获取0-9对应的16进制编码
3. 在通过编码检索出这串编码对应的电话号码

步骤：

1. 首先爬取到电话号码的代码

code_list='򈊷򈊻򈊼򈊹򈊷򈊸򈊼򈊽򈊽򈊽&#x882b7'

2. 要转换为16进制，需要把&#替换为0

# 替换&#为0，用于后面直接转换为10进制数
code_list=code_list.replace("&#","0")

In [4]: code_list
Out[4]: '0x882b7;0x882bb;0x882bc;0x882b9;0x882b7;0x882b8;0x882bc;0x882bd;0x882bd;0x882bd;0x882b7'

3. 上面是个字符串，要对每个编码进行处理，还是需要转换成列表，刚好对应11个号码

# 转换成列表
code_list=code_list.split(';')

In [6]: code_list
Out[6]: 
['0x882b7',
 '0x882bb',
 '0x882bc',
 '0x882b9',
 '0x882b7',
 '0x882b8',
 '0x882bc',
 '0x882bd',
 '0x882bd',
 '0x882bd',
 '0x882b7']

4. 因为手机号码的第一位是1，所以确定第一位16进制对应的10进制值，就可以知道0-9对应的10进制值是多少

# 确定第一个号码1对应的10进制值
c1=int(code_list[0],base=16)

In [8]: c1
Out[8]: 557751

5. 知道了1对应的值，就创建0-9对应的10进制值

# 创建0-9对应的10进制值
int_list=range(c1-1,c1+9)

In [10]: int_list
Out[10]: range(557750, 557760)

6. 然后将上面的数据转换成16进制

# 将其转换为hex
hex_list=[str(hex(i)) for i in int_list]

In [12]: hex_list
Out[12]: 
['0x882b6',
 '0x882b7',
 '0x882b8',
 '0x882b9',
 '0x882ba',
 '0x882bb',
 '0x882bc',
 '0x882bd',
 '0x882be',
 '0x882bf']

7. 创建0-9的列表，并转换成字符串，方便后面组装成电话号码（这里0-9的顺序和hex_list里面的顺序是一一对应的）

# 创建0-9的数字对应列表
str_list=[str(i) for i in range(0,10)]

In [14]: str_list
Out[14]: ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']

8. 将hex和0-9的字符串组装成字典，方便后面查询

# 组装成字典方便对应
code_dict=dict(zip(hex_list,str_list))

In [16]: code_dict
Out[16]: 
{'0x882b6': '0',
 '0x882b7': '1',
 '0x882b8': '2',
 '0x882b9': '3',
 '0x882ba': '4',
 '0x882bb': '5',
 '0x882bc': '6',
 '0x882bd': '7',
 '0x882be': '8',
 '0x882bf': '9'}

9. 最后一步就是通过字典查询并组装成最终的电话号码了（为了避免各种纠纷：这里的电话号码后面几位进行了修改，不是真实的用户电话）

# 见证奇迹的时刻，把电话号码翻译过来
phone="".join([code_dict[p] for p in code_list])

In [18]: phone
Out[18]: '15631267771'

所有代码如下：

code_list='򈊷򈊻򈊼򈊹򈊷򈊸򈊼򈊽򈊽򈊽&#x882b7'
# 替换&#为0，用于后面直接转换为10进制数
code_list=code_list.replace("&#","0")
# 转换成列表
code_list=code_list.split(';')
# 确定第一个号码1对应的10进制值
c1=int(code_list[0],base=16)

# 创建0-9对应的10进制值
int_list=range(c1-1,c1+9)

# 将其转换为hex
hex_list=[str(hex(i)) for i in int_list]

# 创建0-9的数字对应列表
str_list=[str(i) for i in range(0,10)]

# 组装成字典方便对应
code_dict=dict(zip(hex_list,str_list))

# 见证奇迹的时刻，把电话号码翻译过来
phone="".join([code_dict[p] for p in code_list])

上面这个过程最主要的一点是，我们假设编码的第一位是1，其他号码都是通过这个推算来的。但无法避免有些手机号码填错（第一位不是1），或者填的是固定电话的情况，所以无法适用于这些情况。

一、国内的常用坐标系

1、WGS-84坐标系：地心坐标系，GPS原始坐标体系

在中国，任何一个地图产品都不允许使用GPS坐标，据说是为了保密。

2、GCJ-02 坐标系：国测局坐标，火星坐标系

1）国测局02年发布的坐标体系，它是一种对经纬度数据的加密算法，即加入随机的偏差。

2）互联网地图在国内必须至少使用GCJ-02进行首次加密，不允许直接使用WGS-84坐标下的地理数据，同时任何坐标系均不可转换为WGS-84坐标。

3）是国内最广泛使用的坐标体系，高德、腾讯、Google中国地图都使用它。

3、CGCS2000坐标系：国家大地坐标系

该坐标系是通过中国GPS 连续运行基准站、 空间大地控制网以及天文大地网与空间地网联合平差建立的地心大地坐标系统。

4、BD-09坐标系

百度中国地图所采用的坐标系，由GCJ-02进行进一步的偏移算法得到。

5、搜狗坐标系

搜狗地图所采用的坐标系，由GCJ-02进行进一步的偏移算法得到。

6、图吧坐标系

图吧地图所采用的坐标系，由GCJ-02进行进一步的偏移算法得到。

以上原文地址：https://blog.csdn.net/m0_37738114/article/details/80452485

二、常用地图使用的坐标系

百度地图————BD09————在GCJ-02坐标系基础上再次加密（境外为WGS-84）
高德地图————GCJ-02———由WGS-84加密而来
google地图———GCJ-02———由WGS-84加密而来（境外为WGS-84）
腾讯地图————GCJ-02———由WGS-84加密而来
bing地图————WGS-84———原始坐标

三、常用地图坐标系转换API

1. 其他坐标系转高德坐标：官方链接

API：
      https://restapi.amap.com/v3/assistant/coordinate/convert?
      locations=116.481499,39.990475&coordsys=gps&output=xml&key=<用户的key>
参数：
      coordsys：gps;mapbar;baidu;autonavi(不进行转换)
      output：JSON,XML

2. 其他坐标系转百度坐标：官方链接

API：
      http://api.map.baidu.com/geoconv/v1/?
      coords=114.21892734521,29.575429778924&from=1&to=5&ak=你的密钥
参数：
from：源坐标类型
1：GPS设备获取的角度坐标，WGS84坐标;
2：GPS获取的米制坐标、sogou地图所用坐标;
3：google地图、soso地图、aliyun地图、mapabc地图和amap地图所用坐标，国测局（GCJ02）坐标;
4：3中列表地图坐标对应的米制坐标;
5：百度地图采用的经纬度坐标;
6：百度地图采用的米制坐标;
7：mapbar地图坐标;
8：51地图坐标

to：目标坐标类型：
3：国测局（GCJ02）坐标;
4：3中对应的米制坐标;
5：bd09ll(百度经纬度坐标);
6：bd09mc(百度米制经纬度坐标)

四、应用场景

先介绍2款通过地名获取地图坐标的api：

百度：
http://api.map.baidu.com/geocoder?address=解放碑&output=json&key=你的密钥&city=重庆

高德：
https://restapi.amap.com/v3/geocode/geo?address=解放碑&output=json&key=你的密钥&city=重庆

使用过程中，个人感觉高德获取的结果更完整一些。通过高德获取的坐标系，可以直接用于Excel的三维地图、PowerBI地图（直观上看没什么偏移量，具体差异是否有差异还需要考证）。
但如果使用Python，地理数据可视化较好的一个选择是pyecharts，echarts的坐标又基于百度，所以又要采用百度的坐标系。
所以，才需要上面这些转化。不过都没有这些地图坐标转WGS84的。

本文主要记录Scrapy的常用命令，用于备忘。适用于Windows平台。
例如，我们要爬取这个网站：https://www.tudinet.com/market-252-0-0-0/ 重庆地区的土地转让信息。

整体流程如下：

1、使用scrapy startproject cq_land命令创建项目
2、修改settings.py，使爬虫生效（ITEM_PIPELINES、 USER_AGENT 等）
3、修改items.py，用于存储爬取回来的数据
4、使用scrapy genspider tudinet tudinet.com 命令，创建爬虫文件，用于爬取网页内容
5、编写上一步生成的tudinet.py爬虫文件，完成网页内容解析
6、修改pipelines.py文件，对获取到的信息进行整理，完成存储

1、万事第一步：创建工程

首先在cmd或powershell窗口，CD到想要创建项目的目录，然后输入以下命令，创建了一个名为cq_land的项目。

scrapy startproject cq_land
PS C:\WINDOWS\system32> e:
PS E:\> cd E:\web_data
PS E:\web_data> scrapy startproject cq_land
New Scrapy project 'cq_land', using template directory 'c:\\programdata\\anaconda3\\lib\\site-packages\\scrapy\\templates\\project', created in:
    E:\web_data\cq_land

You can start your first spider with:
    cd cq_land
    scrapy genspider example example.com
PS E:\web_data>

这样就生成了一个cq_land的文件目录（完成后先不要关闭终端窗口，后面第4步还会用到）。接下来，我们主要针对items.py、settings.py、pipelines.py和spiders文件夹进行修改。

2、修改settings.py，使爬虫生效

将settings.py中，ITEM_PIPELINES 附近的注释去掉，修改为：

修改前：
#ITEM_PIPELINES = {
#    'cq_land.pipelines.CqLandPipeline': 300,
#}

修改后：
ITEM_PIPELINES = {
    'cq_land.pipelines.CqLandPipeline': 300,
}

有些网站可能需要设置USER_AGENT，所以，加上USER_AGENT防止一般的网站反爬。

USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"

3、修改items.py，用于存储爬取回来的数据

土地出让信息

观察数据结构，主要信息有很多字段，以获取标题和推出时间为例，定义两个item项目（items里面定义的内容，可以理解为定义了一个命名为item的字典，每个定义的项目最为键值对存储在item字典中——键值对存储的内容可以是任何Python对象[常用的字符串、列表等]），修改items.py文件内容如下：

class CqLandItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field() # 出让地标题
    list_time = scrapy.Field() # 推出时间

4、创建爬虫文件，用于爬取网页内容

这时候返回到cmd或powershell终端，cd进入cq_land目录，然后创建名为tudinet的爬虫文件，用于爬取土流网的数据。

PS E:\web_data> cd cq_land
PS E:\web_data\cq_land> scrapy genspider tudinet tudinet.com
Created spider 'tudinet' using template 'basic' in module:
  cq_land.spiders.tudinet
PS E:\web_data\cq_land>

完成后，将在spider文件夹下产生一个叫tudinet.py的文件。这个文件就是定义爬虫怎么解析网页的文件，解析的内容怎么存储到刚才定义好的item中。

5、编写tudinet.py文件，完成网页内容解析

首先需要将刚才定义好的item内容import进来，然后修改start_urls为我们要爬取的网页（这里我们只爬取一个网页作为示例）。然后在parse函数中定义处理过程，并返回结果，代码如下：

import scrapy
from cq_land.items import CqLandItem

class TudinetSpider(scrapy.Spider):
    name = 'tudinet'
    allowed_domains = ['tudinet.com']
    start_urls = ['https://www.tudinet.com/market-252-0-0-0']

    def parse(self, response):
        item=CqLandItem()
        item['title']=response.xpath("//div[@class='land-l-bt']/text()").extract()
        item['list_time']=response.xpath("//div[@class='land-l-cont']/dl/dd/p[1]/text()").extract()
        
        return item

以上是针对单个网页，但实际上我们爬虫多半是需要针对整个网站的所有土地转让信息进行爬取的，因此，我们根据网站翻页的变化，一共有100页可以供我们爬取。因此，我们可以在开头对start_urls进行重新定义，用以爬取这100个页面。

这里有2种处理方式，第一种处理方式，就是直接把这100个url作为列表放到start_urls 中。其他的就不用改动了。

第二种处理方式，就是重新定义start_requests函数。实际上定义这个函数就是把start_urls列表里面的地址用函数生成，然后再通过callback参数设置回调函数，让parse函数来处理Request产生的结果。

import scrapy
from cq_land.items import CqLandItem
from scrapy.http import Request

class TudinetSpider(scrapy.Spider):
    name = 'tudinet'
    allowed_domains = ['tudinet.com']
    # start_urls = ['https://www.tudinet.com/market-252-0-0-0']
    
    def start_requests(self):
        init_url='https://www.tudinet.com/market-252-0-0-0/list-pg'
        for i in range(1,101):
            yield Request("".join([init_url,str(i),'.html']),callback=self.parse)

    def parse(self, response):
        item=CqLandItem()
        item['title']=response.xpath("//div[@class='land-l-bt']/text()").extract()
        item['list_time']=response.xpath("//div[@class='land-l-cont']/dl/dd/p[1]/text()").extract()
        
        return item

实际上，对于有多个层次的网页，例如某些论坛，有很多文章列表。我们首先需要访问首页获取页面总数，然后遍历所有页面获取每个帖子的url，最后通过访问每个帖子的地址获取文章的详细信息。那么我们的爬虫文件结构如基本如下：

class abc_Spider(scrapy.Spider):
    name='abc'
    allowed+domains=['abc.com']
    start_urls=['论坛的首页']
    # 获取总页数
    def parse(self,response):
        pages=response.xpath("//xxxx//").extract()
        # 这里省略了将pages由字符转数字的过程
        for i in range(1,int(pages)):
            yield Request("".join(['xx.abc.com',str(i),"xxx"]),callback=self.get_detail_urls)
    # 获取所有文章详情页的页面url
    def get_detail_urls(self,response):
        detail_urls=response.xpath("//xxxx//").extract()
        for url in detail_urls:
            yield Request(url,callback=self.parse_content)
    # 对详情页内容进行解析，并返回结果
    def parse_content(self,response):
        item=abcitem()
        item['xx']=response.xpath("//xxxx//").extract()
        return item

6、修改pipelines.py，对获取到的信息进行整理，完成存储

将pipelines.py修改为如下内容，爬取的内容将会存储到cq_land.csv文件中。

import pandas as pd

class CqLandPipeline(object):        
    def process_item(self, item, spider):
        title=item['title']
        list_time=item['list_time']
        data=pd.DataFrame([title,list_time],index=['标题','推出时间']).T
        data.to_csv('cq_land.csv',index=False,encoding='gb2312')
        return item

需要注意的是，上述存储方式适用于单个网页的爬取。如果是多个网页，需要在data.to_csv中添加参数，mode=’a’，表示以追加的方式添加数据，同时应注意数据的列标题问题。另外，也可以使用数据库等方式在这里将数据直接存储到数据库。

7、使用scrapy crawl tudinet 运行爬虫

完成上述文件编辑后，返回cmd或powershell终端，运行：scrapy crawl tudinet

PS E:\web_data\cq_land> scrapy crawl tudinet
2019-04-15 19:35:34 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: cq_land)
2019-04-15 19:35:34 [scrapy.utils.log] INFO: Versions:
……
……

没有意外的话，上述代码会产生一个cq_land.csv文件，打开文件如果内容正确就说明爬虫编写成功了。
当然，scrapy crawl tudinet还可以带参数，用于显示日志的级别：

CRITICAL - 严重错误(critical)
ERROR - 一般错误(regular errors)
WARNING - 警告信息(warning messages)
INFO - 一般信息(informational messages)
DEBUG - 调试信息(debugging messages)

可以使用以下方法按需要显示日志
# 完全不输出日志
scrapy crawl tudinet --nolog
# 按默认输入日志
scrapy crawl tudinet -L DEBUG

以上就是scrapy爬虫的基本形式。
通常情况下，对于不熟悉scrapy的情形下，可能对scrapy产生的内容不了解，不知道哪里出了问题，这里可能需要用到scrapy的另一命令，scrapy shell url。这个命令会直接爬取url的内容，然后在终端中，通过ipython终端的方式产生交互，用户可以使用response.xpath() 等方法测试返回结果。如response.url就是请求的url。

PS E:\web_data\cq_land> scrapy shell https://www.tudinet.com/market-252-0-0-0
2019-04-15 20:21:03 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: cq_land)
2019-04-15 20:21:03 [scrapy.utils.log] INFO: Versions: lxml 4.2.1.0, libxml2 2.9.8, cssselect 1.0.3, parsel 1.5.1, w3lib 1.19.0, Twisted 18.9.0, Python 3.6.5 |Anaconda, Inc.| (default, Mar 29 2018, 13:32:41) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.0.2o  27 Mar 2018), cryptography 2.2.2, Platform Windows-10-10.0.17763-SP0
……
……
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object at 0x000001DAF8807358>
[s]   item       {}
[s]   request    <GET https://www.tudinet.com/market-252-0-0-0>
[s]   response   <200 https://www.tudinet.com/market-252-0-0-0>
[s]   settings   <scrapy.settings.Settings object at 0x000001DAF9B70898>
[s]   spider     <TudinetSpider 'tudinet' at 0x1daf9532f28>
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser
In [1]:

附：scrapy的命令列表

全局的命令有：

startproject ：创建项目（常用必须）
genspider ：创建爬虫（常用必须）
settings ：获取当前的配置信息，通过scrapy settings -h可以获取这个命令的所有帮助信息
runspider ：未创建项目的情况下，运行一个编写在Python文件中的spider
shell ： 在终端窗口请求一个网址，可用于探索爬取获得的内容（常用）
fetch ：过scrapy downloader 讲网页的源代码下载下来并显示出来
view ：将网页document内容下载下来，并且在浏览器显示出来
version ：查看版本信息，并查看依赖库的信息

项目命令有：

crawl ：运行爬虫（常用必须）
check ： 检查代码是否有错误
list ：列出所有可用爬虫
edit ：edit 在命令行下编辑spider ### 不建议运行
parse 
bench

前段时间看Think Python里面有句话记忆犹新，大概意思是：有时候Python让我们感到困惑，是因为实现一个效果的方法太多，而不是太少。

确实如此，Pandas的DataFrame数据选取就存在这样的问题。本来理解列表索引（了解列表索引请参考：一张图弄懂python索引和切片）就已经很困难了，DataFrame还带这么多方法。

废话少说，直接上结果。

1、loc：通过标签选取数据，即通过index和columns的值进行选取。loc方法有两个参数，按顺序控制行列选取。

#示例数据集
df=pd.DataFrame(np.arange(12).reshape(4,3),columns=list('abc'),index=list('defg'))

df
Out[189]: 
   a   b   c
d  0   1   2
e  3   4   5
f  6   7   8
g  9  10  11

#直接索引行
df.loc['d']
Out[190]: 
a    0
b    1
c    2
Name: d, dtype: int32

#索引多行
df.loc[['d','e']]
Out[191]: 
   a  b  c
d  0  1  2
e  3  4  5

#索引多列
df.loc[:,:'b']
Out[193]: 
   a   b
d  0   1
e  3   4
f  6   7
g  9  10

#如果索引的标签不在index或columns范围则会报错，a标签在列中，loc的第一个参数为行索引。
df.loc['a']
Traceback (most recent call last):
……
KeyError: 'the label [a] is not in the [index]'

2、iloc：通过行号选取数据，即通过数据所在的自然行列数为选取数据。iloc方法也有两个参数，按顺序控制行列选取。

注意：行号和索引有所差异，进行筛选后的数据行号会根据新的DataFrame变化，而索引不会发生变化。

df
Out[196]: 
   a   b   c
d  0   1   2
e  3   4   5
f  6   7   8
g  9  10  11

#选取一行
df.iloc[0]
Out[197]: 
a    0
b    1
c    2
Name: d, dtype: int32

#选取多行
df.iloc[0:2]
Out[198]: 
   a  b  c
d  0  1  2
e  3  4  5

#选取一列或多列
df.iloc[:,2:3]
Out[199]: 
    c
d   2
e   5
f   8
g  11

3、ix：混合索引，同时通过标签和行号选取数据。ix方法也有两个参数，按顺序控制行列选取。

注意：ix的两个参数中，每个参数在索引时必须保持只使用标签或行号进行数据选取，否则会返回一部分控制结果。

df
Out[200]: 
   a   b   c
d  0   1   2
e  3   4   5
f  6   7   8
g  9  10  11

#选取一行
df.ix[1]
Out[201]: 
a    3
b    4
c    5
Name: e, dtype: int32

#错误的混合索引（想选取第一行和e行）
df.ix[[0,'e']]
Out[202]: 
     a    b    c
0  NaN  NaN  NaN
e  3.0  4.0  5.0

#选取区域（e行的前两列）
df.ix['e':,:2]
Out[203]: 
   a   b
e  3   4
f  6   7
g  9  10

4、at/iat：通过标签或行号获取某个数值的具体位置。

df
Out[204]: 
   a   b   c
d  0   1   2
e  3   4   5
f  6   7   8
g  9  10  11

#获取第2行，第3列位置的数据
df.iat[1,2]
Out[205]: 5

#获取f行，a列位置的数据
df.at['f','a']
Out[206]: 6

5、直接索引 df[]

df
Out[208]: 
   a   b   c
d  0   1   2
e  3   4   5
f  6   7   8
g  9  10  11

#选取行
df[0:3]
Out[209]: 
   a  b  c
d  0  1  2
e  3  4  5
f  6  7  8

#选取列
df['a']
Out[210]: 
d    0
e    3
f    6
g    9
Name: a, dtype: int32

#选取多列
df[['a','c']]
Out[211]: 
   a   c
d  0   2
e  3   5
f  6   8
g  9  11

#行号和区间索引只能用于行（预想选取C列的数据，
#但这里选取除了df的所有数据，区间索引只能用于行，
#因defg均>c，所以所有行均被选取出来）
df['c':]
Out[212]: 
   a   b   c
d  0   1   2
e  3   4   5
f  6   7   8
g  9  10  11
df['f':]
Out[213]: 
   a   b   c
f  6   7   8
g  9  10  11

#df.选取列
df.a
Out[214]: 
d    0
e    3
f    6
g    9
Name: a, dtype: int32
#不能使用df.选择行
df.f
Traceback (most recent call last):
  File "<ipython-input-215-6438703abe20>", line 1, in <module>
    df.f
  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\generic.py", line 2744, in __getattr__
    return object.__getattribute__(self, name)
AttributeError: 'DataFrame' object has no attribute 'f'

6、总结

1）.loc,.iloc,.ix,只加第一个参数如.loc([1,2]),.iloc([2:3]),.ix[2]…则进行的是行选择
2）.loc,.at，选列是只能是列名，不能是position
3）.iloc,.iat，选列是只能是position，不能是列名
4）df[]只能进行行选择，或列选择，不能同时进行列选择，列选择只能是列名。行号和区间选择只能进行行选择。当index和columns标签值存在重复时，通过标签选择会优先返回行数据。df.只能进行列选择，不能进行行选择。

Python中的if elif else结构通常如下：

if cond1:
    a=1
elif cond2:
    a=2
else:
    a=3

在特殊情况下，我们可能希望把这个条件语句写成一行，如（列表推导式中）。
结论就是，将上述结构改为：

非列表：    结果甲 if 条件甲 else 结果乙 if 条件乙 else 结果丙
列表推导式：    [结果甲 if 条件甲 else 结果乙 if 条件乙 else 结果丙 for xx in list]
列表推导式筛选包含某个值的数据：    [结果甲 for xx in list if 条件甲]

如下例：
希望对一个字符串数据进行判断，获取一个该二手房信息属于哪种类型的房产：判断依据就是，如果字符串中含有别墅则是别墅，如果含有车位即为车位，其他为高层。

a='大鼎世纪滨江 | 车位 | 39.09平米 | 东 | 无电梯'
b='恒大城二期 | 2室2厅 | 71.49平米 | 东南 | 精装 | 有电梯'
c='协信彩云湖1号 | 叠拼别墅 | 5室2厅 | 280.49平米 | 南 | 简装 | 无电梯'
d=['大鼎世纪滨江 | 车位 | 39.09平米 | 东 | 无电梯',
      '恒大城二期 | 2室2厅 | 71.49平米 | 东南 | 精装 | 有电梯',
      '协信彩云湖1号 | 叠拼别墅 | 5室2厅 | 280.49平米 | 南 | 简装 | 无电梯']

#实现代码
tpye="别墅" if "别墅" in a else "车位" if "车位" in a else "高层"

#结果
In [177]: "别墅" if "别墅" in a else "车位" if "车位" in a else "高层"
Out[177]: '车位'

In [178]: "别墅" if "别墅" in b else "车位" if "车位" in b else "高层"
Out[178]: '高层'

In [179]: "别墅" if "别墅" in c else "车位" if "车位" in c else "高层"
Out[179]: '别墅'

#对于列表推导式
In [180]: ["别墅" if "别墅" in x else "车位" if "车位" in x else "高层" for x in d]
Out[180]: ['车位', '高层', '别墅']

#对于列表推导式，筛选只包含某个词的的数据
In [181]: ["别墅" for x in d if "别墅" in x]
Out[181]: ['别墅']

1. 由于目前PowerBI没有直接链接HIVE数据库的工具，因此首先需要下载两个驱动（第一个驱动貌似用不上，是适用于微软的hive数据库的），下载后分别安装：
   
   1. Microsoft® Hive ODBC Driver，下载地址：点击下载
      

      
      

   2. ClouderaHiveODBC6，下载地址：点击下载
      
2. 在电脑中搜索ODBC，打开64-bit ODBC Administrator
   

   
   

3. 选择”系统DSN”选项卡，点击”添加”，选择cloudera ODBC…，点击完成。
   

   
   

4. 具体配置如下：
   

   
   

5. 完成点击test，弹出对话框succeed说明配置成功了。
   
6. 这时候在PowerBI中，点击获取数据→其他→ODBC，数据源选择刚才配置好的hive数据库
   

   
   

7. 在弹出对话框中，数据库选项卡中输入用户名和密码，点击连接即可。