1.结构化：

• 单条新闻的详情字典：news
• 一个列表页所有单条新闻汇总列表：newsls.append(news)
• 所有列表页的所有新闻汇总列表：newstotal.extend(newsls)

2.转换成pandas的数据结构DataFrame

3.从DataFrame保存到excel

4.从DataFrame保存到sqlite3数据库

import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reimport pandasimport sqlite3  def getclick(url):#给定单条新闻链接，返回点击次数    newsid=re.search('_(.*).html',url).group(1).split('/')[1]    clickurl='http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80'.format(newsid)    click=int(requests.get(clickurl).text.split('.')[-1].lstrip("html('").rstrip("');"))    return click  def getdetail(url):#给定单条新闻链接，返回新闻细节的字典    resd=requests.get(url)    resd.encoding='utf-8'    soupd=BeautifulSoup(resd.text,'html.parser')    news={}    news['url']=url    news['title']=soupd.select('.show-title')[0].text    info=soupd.select('.show-info')[0].text    #news['dt']=datetime.strptime(info.lstrip('发布时间:')[0:19],'%Y-%m-%d %H:%M:')    #news['source']=re.search('来源:(.*)点击',info).group(1).strip()    news['content']=soupd.select('.show-content')[0].text.strip()    news['click']=getclick(url)    return(news)          def onepage(pageurl):#给定新闻列表页的链接，返回该页所有新闻细节字典的列表    res=requests.get(pageurl)    res.encoding='utf-8'    soup = BeautifulSoup(res.text,'html.parser')    newsls=[]    for news in soup.select('li'):        if len(news.select('.news-list-title'))>0:            newsls.append(getdetail(news.select('a')[0]['href']))    return(newsls) #print(onepage('http://news.gzcc.cn/html/xiaoyuanxinwen/')) newstotal=[]gzccurl='http://news.gzcc.cn/html/xiaoyuanxinwen/'newstotal.extend(onepage(gzccurl))#新闻列表首页#print(newstotal) res=requests.get(gzccurl)res.encoding='utf-8'soup = BeautifulSoup(res.text,'html.parser')n=int(soup.select('.a1')[0].text.rstrip('条'))pages=n//10+1 #新闻列表页的总页数  for i in range(2,3):    listurl='http://news.gzcc.cn/html/xiaoyuanxinwen/{}.html'.format(i)    newstotal.extend(onepage(listurl))#后面的每一个列表页#print(len(nestotal))  df=pandas.DataFrame(newstotal)#转换成pandas的数据结构DataFrameprint(df.head())#print(df['click'])df.to_excel('gzccnews.xlsx')#从DataFrame保存到excel#从DataFrame保存到sqlite3数据库with sqlite3.connect('gzccnewsdbl.sqlite')as db:    df.to_sql('gzccnewsdb1',con=db)