自然言語
そうだ、正規化しよう。なお、この記事は自然言語処理の専門家でもなければ日本語の専門家でもない存在が書いています。大量に間違いがあるかもしれませんのでもしあなたがこの記事を参考にしようと思った際は気をつけてください。主に未来の私。サンプルデ…
そもそもこの記事について 以下の書籍の4-6の文章生成に挑戦したときの記憶です。 www.borndigital.co.jp 2022/5/20より長いことやったりやらなかったりしているため、記憶が薄れつつある箇所もございます。なお、あくまでも私の環境で発生したことしか記憶…
文字通りのメモの記事はこちら↓ 271108.hatenablog.com 前提 271108の知識関係なく考えること 文章生成システム バグ修正 アップデート：BeTSCAE*1 特定の単語から文章生成を開始することってできない？ 案１ 案２ 単語スワップ：BeTSCAE内 単語スワップ構想…
BeTSCAE.db? エミィ単語検索 BeTSCAE.db? PoSP_ID参考 https://github.com/taku910/mecab/blob/master/mecab-ipadic/right-id.def これ、BoS/EoSの区別をしていないから、微修正が必要かも。BeTSCAE側を修正でいいと思うし難しくない気がする。ここ最近エミ…
BeTSCAEの使い方です。桜井さんではないです。 BeTSCAEってなんですか？Amesiorineに入れるために頑張ってる機構です。えっちじゃん。えっちではない。 多分終わった部分 Q1:WDってなに？ Q2:SDって何？ Q3:MDって何？ Q4:WD_unknownって何？ Q5:ExcludedSっ…
はい、最終回にしたいです。多分無理だろうね。まあいいや。とりあえず仕様書的な感じでメモを書く。 （完全に271用怪文書、やることリスト） メモ-2 ２の例 仕様書的なメモ没 没理由（未貼付） 参考にしたりしなかったり後で読みたかったりするはずだった文…
事前に 偏差値３なので大昔、一番最初に読んだ本がマルコフ辞書って称してたのでマルコフ辞書って言い続けています。あんまりn-gramとの違いを理解しきっていない節があるので誰かが補足してくれたらありがたかったりします。誰がするんだろう。 考えたこと …
言葉ってめんどくさい。色とか、気持ちで伝えればいいのに。前回 271108.hatenablog.com 前々回かもしれないやつ 271108.hatenablog.com 参考 qiita.com sqlite3使ってデータベースでなんやかんややろうと思いましたが後回しにしました（愚かなので）辞書で…
言葉ってめんどくさい。色とか、気持ちで伝えればいいのに。 考えたこと この時点で思いつく問題点 データベースどうやってつくるんだっけ？ 未知の単語とかありそう。 とりあえず前回のメモを見つつ単語、読み、品詞にバラすものを作 from sudachipy import…
没メモ。 正直そのうち船井が使うんじゃないかと思ったので。
前回の記事、言葉ってめんどくさい - 271108の記憶貯蔵庫でなんやかんやなんやかんやしたことを使って愚かなことをしたので戒めとして書き残し。 pythonタグをつけるまでもないことなのでタグはつけずに投稿していましてよ。 sen に [{'A': '国民', 'pron': …
言葉ってめんどくさい。色とか、気持ちで伝えればいいのに。 要点 前書き インストール なんかエラー出た 追記：20220519 読みと品詞を取り出すコード 参考 要点 Sudachiのインストール Sudachi、なんかimportできない 形態素解析っぽいことをする 読みと品…
