Python中extracttags怎么对多行文本提取特征词而不是一行一行计

[挫折是存折，而不是骨折]当今是一个励志的时代。这话不假，但，励志也是需要讲究方法的。一味地给别人心里灌黄连汤，灌得人苦不自支，最后再赏赐给人两罐蜂蜜的做法，不能说不允许，但至少是缺少技巧的，如此生搬...+阅读

Python中extracttags怎么对多行文本提取特征词而不是一行一行计

[python] view plain copy#coding:utf-8 import sys reload(sys) sys.setdefaultencoding(＂utf-8＂) from multiprocessing import Pool,Queue,Process import multiprocessing as mp import time,random import os import codecs import jieba.analyse jieba.analyse.set_stop_words(＂yy_stop_words.txt＂) def extract_keyword(input_string):#print(＂Do task by process {proc}＂.format(proc=os.getpid())) tags = jieba.analyse.extract_tags(input_string, topK=100)#print(＂key words:{kw}＂.format(kw=＂＂.join(tags))) return tags#def parallel_extract_keyword(input_string,out_file):def parallel_extract_keyword(input_string):#print(＂Do task by process {proc}＂.format(proc=os.getpid())) tags = jieba.analyse.extract_tags(input_string, topK=100)#time.sleep(random.random())#print(＂key words:{kw}＂.format(kw=＂＂.join(tags)))#o_f = open(out_file,'w')#o_f.write(＂＂.join(tags)+＂\n＂) return tags if __name__ == ＂__main__＂:data_file = sys.argv[1] with codecs.open(data_file) as f:lines = f.readlines() f.close() out_put = data_file.split('.')[0] +＂_tags.txt＂ t0 = time.time() for line in lines:parallel_extract_keyword(line)#parallel_extract_keyword(line,out_put)#extract_keyword(line) print（＂串行处理花费时间{t}＂.format(t=time.time()-t0)) pool = Pool(processes=int(mp.cpu_count()*0.7)) t1 = time.time()#for line in lines:#pool.apply_async(parallel_extract_keyword,(line,out_put)）#保存处理的结果，可以方便输出到文件 res = pool.map(parallel_extract_keyword,lines)#print(＂Print keywords:＂)#for tag in res:#print(＂＂.join(tag)) pool.close() pool.join() print（＂并行处理花费时间{t}s＂.format(t=time.time()-t1））运行：python data_process_by_multiprocess.py message.txt message.txt是每行是一个文档，共581行，7M的数据运行时间：不使用sleep来挂起进程，也就是把time.sleep(random.random（)）注释掉，运行可以大大节省时间。