（備忘録-python） 自然言語処理超入門：トピックモデルを理解・使用するその３(初心者向け)

#データセットの取得
from tensorflow.keras.datasets import imdb
# imdb = imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data()
#数値で取得しているため、テキストデータに戻す。
word_index = imdb.get_word_index()
# 最初の要素を予約（単語を登録）
word_index = {k:(v+3) for k,v in word_index.items()}
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2
word_index["<UNUSED>"] = 3
reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])
def decode_review(text):
return ' '.join([reverse_word_index.get(i, '?') for i in text])
#データをDataFrameにする。(csvとかで取得した際、to_csvでDFにすることが多いため)
import pandas as pd
train_df=pd.DataFrame(train_data)[0].map(decode_review)[::5].reset_index(drop=True)#データを軽くするため
test_df=pd.DataFrame(test_data)[0].map(decode_review)

clean_text_df=train_df.map(clean_text)
clean_text_df

input_dataset=clean_text_df.values
texts = [
    [w for w in doc.lower().split() if w not in stopwords.words('english')]
        for doc in input_dataset
]

import collections
import gensim
dictionary = gensim.corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
#一部の分析には不必要な単語を除去するための以下
count = collections.Counter(w for doc in texts for w in doc)
tokens_num = len(count.most_common())
N = int(tokens_num *0.01)
max_freq = count.most_common()[N][1]
#出現回数が上位1%以上や5回以下の単語を除去
corpus = [[w for w in doc if max_freq > w[1] >= 5] for doc in corpus]

num_topics = 8
lsi = gensim.models.LsiModel(
corpus=corpus,
num_topics=num_topics,
id2word=dictionary,
random_seed=42
)
num_topics = 8
lda = gensim.models.ldamodel.LdaModel(
corpus=corpus,
num_topics=num_topics,
id2word=dictionary,
random_state=42
)

#BoWでlda,lsiモデルで予測の学習からwordcloudの作製
test_text=test_df[0]
print(test_text)
text = clean_text(test_text)
text = dictionary.doc2bow(text.split())
lsi[text],lda[text]

dictionary = gensim.corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
tfidf = gensim.models.TfidfModel(corpus)
corpus_tfidf=tfidf[corpus]

num_topics = 8
lda_tfidf=gensim.models.ldamodel.LdaModel(
corpus=corpus_tfidf,
num_topics=num_topics,
id2word=dictionary,
random_state=42
)
num_topics = 8
lsi_tfidf=gensim.models.lsimodel.LsiModel(
corpus=corpus_tfidf,
num_topics=num_topics,
id2word=dictionary,
random_seed=42
)

#lda,lsiモデルで予測
test_text=test_df[0]
print(test_text)
test_text_ = clean_text(test_text)
test_text_ = dictionary.doc2bow(test_text_.split())
text_tfidf=tfidf[test_text_]
# lsi_tfidf[text_tfidf],lsi_tfidf[text_tfidf]
lsi_tfidf[text_tfidf],lda_tfidf[text_tfidf]