毎日何かしらトピックが尽きないし大規模言語モデル。今度は、Cerebras-GPTが発表された。ColaboratoryでCerebras-GPT-1.3Bを動かしてみた。無料版だとRAMがギリギリだったが、動かせた。
Generative AI is
a very powerful tool for the creation of new AI systems.The first step in creating a new system is to create a
model of the system. This model is then used to train the
system. The model can be created in a number of ways,
including by using a neural network, a deep learning
algorithm, or a combination of these. In this case, the model
is trained using the same training data as the training
data for a system, but with a different architecture. The
architecture of a model depends on the type of data that
the model will be trained on. For example, if the data is
tensorflow data, then the architecture is a convolutional
network. If the network is an LSTM, it is trained with
sequential layers. A convnet is similar to a Lattice
Network, except that the layers are convolutions rather
than
人工知能とは、 他人には自分の言葉を持っている。
「若者はそれを責めて、質問をしてくれる」
これは私たちが話し合い、どうしたのか。おじさんは「ご褒美さま」を発見し、「結局、現在、政治、公共事業者、個人投薬、交通予定」という。「次に、このような論争
生成した文章をみると、日本語はやはり苦ってぽい。生成速度は(1.3Bだから？）速い気がする。いずれにしても、日本語は整備されたデータセットをしっかり公開していくことが大事なんじゃないかなと再び思う今日この頃。
