「TwitterAPI」の記事 - Crieit

Node.jsで画像/動画つきツイートをTwitterに投稿すると大変だった...

2019-12-29T11:22:37+09:00

JavaScriotでツイートしたいなと思って、いろいろ試していたら、
30秒以上動画つきツイートが結構めんどくさかったので、その時の備忘録。

Node.jsでTwitter APIを使う

Node.jsでTwitter APIを使うときは、desmondmorris/node-twitterを使うのが良さそう

インストール

$ npm install twitter

ツイートしてみる

文字だけをツイートするのは、こんな感じ。

import Twitter from "twitter";

// 初期化
const client = new Twitter({
  consumer_key: TWITTER_CONSUMER_KEY,
  consumer_secret: TWITTER_CONSUMER_SECLET,
  access_token_key: ACCESS_TOKEN_KEY,
  access_token_secret: ACCESS_TOKEN_SECRET
});

// 文字だけをツイート
async function tweet(text: string) {
  const tweet = await client.post("statuses/update", { status: text });
}

tweet("ツイート").then();

Twitterクラスに.post()や、.get()が用意されているので、
Twitter APIのドキュメントを見ながら、呼び出していく感じ。

ツイートするのはPOST statuses/updateなのでドキュメントを参照。

画像つきでツイートしてみる

画像とか動画とかメディアつきだとちょっとめんどくさく...

ツイートと一緒に画像をアップロードできないので、

最初に画像をアップロードしてからmediaIdを取得し、
mediaIdと一緒にstatuses/updateでツイート

という段階的な感じになる。

import Twitter from "twitter";
const client = // 略


async function tweetWithImage(text: string, filePath: string) {
  const data = require('fs').readFileSync(filePath);

  // 画像をアップロード
  const media = await client.post('media/upload', {media: data});

  // mediaIdをパラメタに追加して、ツイート
  const params = { status: text, media_ids: media.media_id_string };
  const tweet = await client.post("statuses/update", params);
}

tweetWithImage("ツイート", "./imange.jpg").then();

複数の画像をつけたい場合は、それぞれアップロードして、
media_idsにカンマ区切りでmediaIdを指定する。

ただ、このmedia/uploadを1度だけ呼び出すシンプルな方法には制限があり、
GIFや動画はアップロードできない...

30秒以下の動画付きツイートをしてみる

動画やGIFをアップロードしたい場合は、Chunked media uploadという形でアップロードする必要がある。

この方法は、大きく3ステップに分かれている

初期化: command=INIT
アップロード: command=APPEND
完了: commaind=FINALIZE

import Twitter from "twitter";
const client = // 略


async function tweetWithChunkedMedia(text: string, filePath: string) {
  const mediaType = 'video/mp4';
  const mediaData = require('fs').readFileSync(filePath);
  const mediaSize = require('fs').statSync(filePath).size;

  // 動画をアップロード: INIT
  const media = await client.post('media/upload', {
    command    : 'INIT',
    total_bytes: mediaSize,
    media_type : mediaType
  });
  // INITでmediaIdが発行されるので、取得しておく
  const mediaId = media.media_id_string;

  // 動画をアップロード: UPLOAD
  await client.post('media/upload', {
    command      : 'APPEND',
    media_id     : mediaId,
    media        : mediaData,
    segment_index: 0
  });

  // 動画をアップロード: FINALIZE
  await client.post('media/upload', {
    command : 'FINALIZE',
    media_id: mediaId
  });

  // mediaIdをパラメタに追加して、ツイート
  const params = { status: text, media_ids: mediaId };
  const tweet = await client.post("statuses/update", params);
}

tweetWithChunkedMedia("ツイート", "./video.mp4").then();

動画やGIFのような大きいサイズのメディアは、分割してアップロードできるこの仕組みを使うっぽい。

ただ、30秒以上の動画や1MB(チャンクサイズ上限)を超える場合は、
INIT時にmedia_categoryを指定して、非同期アップロードをしないといけない。

30秒を超える動画付きツイートをしてみる

30秒を超える動画は、media_categoryをつけ、非同期アップロードで対応しないといけない。

media_categoryは、tweet_image, tweet_gif, tweet_videoを指定できるので、
アップロードするメディアに合わせて指定する。

また、チャンクサイズの上限が1MBなので、APPENDでデータをPOSTする際には注意。
1MB以上の場合は、1MB以下になるように分割し、segment_indexでindexを指定する。

import Twitter from "twitter";
const client = // 略


async function tweetWithChunkedMedia(text: string, filePath: string) {
  const mediaType = 'video/mp4';
  const mediaData = require('fs').readFileSync(filePath);
  const mediaSize = require('fs').statSync(filePath).size;

  // 動画をアップロード: INIT
  const media = await client.post('media/upload', {
    command    : 'INIT',
    total_bytes: mediaSize,
    media_type : mediaType,
    media_category: "tweet_video" // media_categoryを指定
  });

  const mediaId = media.media_id_string;

  // 動画をアップロード: UPLOAD
  await client.post('media/upload', {
    command      : 'APPEND',
    media_id     : mediaId,
    media        : mediaData,
    segment_index: 0
  });

  // 動画をアップロード: FINALIZE
  await client.post('media/upload', {
    command : 'FINALIZE',
    media_id: mediaId
  });

  // 動画をアップロード: STATUS
  while(true) {
    // アップロードのステータスをポーリング
    const status = await client.get('media/upload', {
      command : 'STATUS',
      media_id: mediaId
    });

    if (status.processing_info.state == "succeeded") {
      // 完了したら、ポーリングを終了
      break;
    } else if (status.processing_info.state == "failed") {
      // エラーになったら、例外を投げる
      throw new Error(status.processing_info.error.message);
    } else {
      // 処理中(in_progress)の場合は、指定された秒数分待つ
      await sleep(status.processing_info.check_after_secs + 1);
    }
  }

  // mediaIdをパラメタに追加して、ツイート
  const params = { status: text, media_ids: mediaId };
  const tweet = await client.post("statuses/update", params);
}

function sleep(time: number) {
  return new Promise((resolve, reject) => {
    setTimeout(() => resolve(), time * 1000);
  });
}

tweetWithChunkedMedia("ツイート", "./video.mp4").then();

かなりハマったのが以下の2点。

STATUSはFINALIZEしてからじゃないと、404が返ってくる
FINALIZEのレスポンスにもprocessing_infoがあるが、
STATUSをしないと永遠にpending状態。(STATUSを呼ぶと処理が始まる)

このあたり、ドキュメントに詳しい説明がなくて、かなりハマった...

axiosを使って外部URLのメディアをツイートする

Cloud Storageにある画像/動画を含めてツイートしたかったので、
axiosを使って外部URLを取得する処理を加えてみたのがこれ。

new TwitterApi().postTweet("ツイート", ["https://..."]);
みたいに呼び出すと、ダウンロード/アップロード/ツイートできる。(はず...)

import Twitter from "twitter";
import axios from "axios";

/**
 * スリープ処理
 * @param time スリープする秒数
 */
function sleep(time: number) {
  return new Promise((resolve, reject) => {
    setTimeout(() => resolve(), time * 1000);
  });
}

export default class TwitterApi {
  private client: Twitter;

  constructor() {
    this.client = new Twitter({
      consumer_key: // TWITTER_CONSUMER_KEY,
      consumer_secret: // TWITTER_CONSUMER_SECLET,
      access_token_key: // ACCESS_TOKEN_KEY,
      access_token_secret: // ACCESS_TOKEN_SECRET
    });
  }

  /**
   * ツイートするメイン処理
   * @param text ツイート文
   * @param medias 添付する外部URLのリスト
   */
  public async postTweet(text: string, medias: string[] = []) {
    let mediaIds: string[] = [];
    if (medias.length > 0) {
      // メディアファイルがあれば、アップロードしてmediaIdを取得
      mediaIds = await Promise.all(
        medias.map(async v => await this.uploadMedia(v.url))
      );
    }

    const res = await this.tweet(text, mediaIds);
  }

  /**
   * メディアのアップロード処理
   * @param url メディアのURL
   */
  private async uploadMedia(url: string) {
    // axiosを使って、メディアのデータを取得
    const res = await axios.create({ responseType: "arraybuffer" }).get(url);

    const mediaData: ArrayBuffer = res.data;
    const mediaSize = res.headers["content-length"];
    const mediaType = res.headers["content-type"];

    // INIT: mp4かgifなら、media_categoryを指定する
    const initParams = {
      command: "INIT",
      total_bytes: mediaSize,
      media_type: mediaType
    };
    if (mediaType == "video/mp4") {
      initParams["media_category"] = "tweet_video";
    } else if (mediaType == "image/gif") {
      initParams["media_category"] = "tweet_gif";
    }
    const data = await this.client.post("media/upload", initParams);

    const mediaId = data.media_id_string;

    // APPEND: 500Bくらいにチャンクを分けてアップロードする
    const chunkSize = 500000;
    const chunkNum = Math.ceil(mediaSize / chunkSize);

    for (let index = 0; index < chunkNum; index++) {
      const chunk = mediaData.slice(chunkSize * index, chunkSize * (index + 1));
      const resAppend = await this.client.post("media/upload", {
        command: "APPEND",
        media_id: mediaId,
        media: mediaData.slice(chunkSize * index, chunkSize * (index + 1)),
        segment_index: index
      });
    }

    // FINALIZE
    const resFinalize = await this.client.post("media/upload", {
      command: "FINALIZE",
      media_id: mediaId
    });
    if (!resFinalize.processing_info) {
      // media_categoryをしていないと、processing_infoがない
      return mediaId;
    } else if (resFinalize.processing_info.state == "succeeded") {
      return mediaId;
    } else if (resFinalize.processing_info.state == "failed") {
      throw new Error(resFinalize.processing_info.error.message);
    }

    // STATUS
    while (true) {
      const resStatus = await this.client.get("media/upload", {
        command: "STATUS",
        media_id: mediaId
      });
      if (resStatus.processing_info.state == "succeeded") {
        return mediaId;
      } else if (resStatus.processing_info.state == "failed") {
        throw new Error(resStatus.processing_info.error.message);
      } else {
        await sleep(resStatus.processing_info.check_after_secs + 1);
      }
    }
  }

  /**
   * ツイート処理
   * @param text ツイート文
   * @param mediaIds メディアIDのリスト
   */
  private async tweet(text: string, mediaIds: string[] = []) {
    const params = { status: text };

    if (mediaIds.length > 0) params["media_ids"] = mediaIds.join(",");

    const tweet = await this.client.post("statuses/update", params);
    return tweet;
  }
}

若干ハマったのが、以下の2点

axiosで取得する場合は、{ responseType: "arraybuffer" }でcreateしないといけない
cloudStrageでデータを取得できないので、downloadURLを取得しておかないといけない

Twitter APIむずい...

以上!!

こんなのつくってます!!

積読用の読書管理アプリ『積読ハウマッチ』をリリースしました！
積読ハウマッチは、Nuxt.js+Firebaseで開発してます!

もしよかったら、遊んでみてくださいヽ(=´▽`=)ﾉ

要望・感想・アドバイスなどあれば、
公式アカウント(@MemoryLoverz)や開発者(@kira_puka)まで♪

参考にしたサイト様

Twitterでツイートできる文字数を正確に数える(絵文字もURLも)

2019-12-29T11:18:43+09:00

Nuxt.jsでツイートするアプリを作りたいなと思い、
文字数ってどうやって計算するんだろ？って思ったら、
公式でライブラリ(twitter-text)が用意されているらしいので、使ってみたときの備忘録

Java版/Ruby版/JavaScript版/Objective-C版などいろいろあるらしい。

インストール

$ npm install twitter-text

使い方

const twitter = require('twitter-text');

// ツイートするテキスト
const tweetText = "This is a test tweet";

// twitter-textで計算
const result = twitter.parseTweet(tweet);
console.log(result)
/* Returns:
  {
    weightedLength: 20,
    permillage: 71,
    valid: true,
    displayRangeEnd: 19,
    displayRangeStart: 0,
    validRangeEnd: 19,
    validRangeStart: 0
  }
*/

// 日本語版の場合、文字数を2で割るとツイッターと同じになる。
const textLength = result.weightedLength / 2;

以上!!

こんなのつくってます!!

積読用の読書管理アプリ『積読ハウマッチ』をリリースしました！
積読ハウマッチは、Nuxt.js+Firebaseで開発してます!

もしよかったら、遊んでみてくださいヽ(=´▽`=)ﾉ

要望・感想・アドバイスなどあれば、
公式アカウント(@MemoryLoverz)や開発者(@kira_puka)まで♪

参考にしたサイト

GASでいいねしたツイートをいいねの数とリツイートの数と一緒に記録するやつ

2019-10-07T09:13:01+09:00

特定のユーザーのいいねしたツイート一覧を、ツイートに付いたいいねの数とリツイートの数も一緒に記録したくなって作りました。トリガー機能を使うと、定期的にいいねが記録されるようになります。

GASで自分のツイートを取得してスプレッドシートに記録するやつ

この記事も合わせて読むとわかりやすいかもしれません。

このように記録されます。



function getFav(){
  var service  = twitter.getService();
  var json = service.fetch("https://api.twitter.com/1.1/favorites/list.json?screen_name=いいねを取得したいアカウントのscreen name&count=100");
  var array = JSON.parse(json);

  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var sheet = ss.getSheetByName('いいねを記録したいシートの名前');
  var lastRow = sheet.getLastRow() +1;
  var lastId = sheet.getRange("F2").getValue();

  for(var i = 0; i <= array.length -1; i++) {

    var int = parseInt(i);

    if(i === 0){
      var recId = array[int]["id"];
      sheet.getRange("G2").setValue(recId);
    }

     var id = array[int]["id"];

     if(id > lastId){
       var time = array[int]["created_at"];
       var userId = array[int]["user"]["id_str"];
       var json = service.fetch("https://api.twitter.com/1.1/users/show.json?user_id="+userId+"&include_entities=false");
       var array2 = JSON.parse(json);
       var screenName = array2["screen_name"];
       var text = array[int]["text"];
       var favorite_count = array[int]["favorite_count"];
       var retweet_count = array[int]["retweet_count"];


       sheet.getRange(lastRow,1).setValue(time);
       sheet.getRange(lastRow,2).setValue(screenName);
       sheet.getRange(lastRow,3).setValue(text);
       sheet.getRange(lastRow,4).setValue(favorite_count);
       sheet.getRange(lastRow,5).setValue(retweet_count);
       sheet.getRange(lastRow,6).setValue(id);
     }
    lastRow = lastRow + 1;
    }

いいねを１００件取得して、idが以前記録したツイートより大きければ記録する…といった感じです。
何かあったら気軽にコメントください。

GASで自分のツイートを取得してスプレッドシートに記録するやつ

2019-10-07T09:10:43+09:00

急にツイ消ししたくなった場合に備えて、自分のツイートをグーグルスプレッドシートに記録しておくことにしました。

GASでTwitterの投稿とタイムライン取得
こちらの記事を参考にして書いてみました。

画像のように記録されます。


 var twitter = TwitterWebService.getInstance(
 '**********',       // 作成したアプリケーションのConsumer Key
 '**********'  // 作成したアプリケーションのConsumer Secret
);

// 認証を行う（必須）
function authorize() {
  twitter.authorize();
}

// 認証をリセット
function reset() {
  twitter.reset();
}

// 認証後のコールバック（必須）
function authCallback(request) {
  return twitter.authCallback(request);
}

function getMyTweets() {
  var service  = twitter.getService();
  var json = service.fetch("https://api.twitter.com/1.1/statuses/user_timeline.json?screen_name=ツイートを取得したいユーザーのid&count=30");
  var array = JSON.parse(json);

  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var sheet = ss.getSheetByName('ツイートを保存したいシートの名前');
  var lastRow = sheet.getLastRow() +1;
  var lastId = sheet.getRange("D2").getValue();

  for(var i = 0; i <= array.length -1; i++) {

    var int = parseInt(i);

    if(i === 0){
      var recId = array[int]["id"];
      sheet.getRange("D2").setValue(recId);
    }

     var id = array[int]["id"];

     if(id > lastId){
       var time = array[int]["created_at"];
       var text = array[int]["text"];

       sheet.getRange(lastRow,1).setValue(time);
       sheet.getRange(lastRow,2).setValue(text);
       sheet.getRange(lastRow,3).setValue(id); 
     }
    lastRow = lastRow + 1;
    }
  }

自分のツイートを最新のやつから30件まで取得して、idが以前取得したツイートより大きければスプレッドシートに書き込む……という感じです。

ここ違うよ〜とかもっと良い書き方あるよ〜って場合は気軽にコメントください。

話題のツイートを探せる「ツイレポ」に用いられている技術について（MySQL -> BigQueryに移行した）

2018-12-19T08:27:14+09:00

この記事は個人開発サービスに用いられている技術 Advent Calendar 2018 の19日目です。

昨日は@isaitoiさんの「Microsoftの技術でもちゃんとしたサービスを作れるんだぞ！！」でした。

こんにちは、2z（Twitter： @2zn01 ）です。

普段は会社員でWeb系の開発エンジニアとして働き、週末に趣味で個人開発をしています。

僕自身、普段あまり時間がない中でどう情報収集したらよいか困っているということもあり、エンジニアらしく技術で何とか解決するべく、ツイッターを活用し、エンジニアの情報収集を助けるキュレーションサービスを作ってみました。

作ったもの

ツイッターで話題になっている情報をジャンルごとにまとめる「ツイレポ」というサービスを作りました。

■ツイレポ
https://twirepo.com/

【お知らせ】ツイッターを活用したエンジニアの情報収集を助けるキュレーションサービス #ツイレポをリリースしました！🎉https://t.co/oFiPYwT34N時間がない中でどう情報収集したらよいか困っていたので、話題の情報のみをサクッと確認できるように作りました。ぜひ使ってみてください～！ pic.twitter.com/DHVGfBC0BQ
— 2z / AIメーカー開発 (@2zn01) 2018年12月2日

画面イメージはこんな感じです。

「ツイレポ」では以下のジャンルごとに話題となっているツイートを見ることができます。

トップ（ツイート）
ニュース
画像
動画
ライブ配信
ネットメディア
面白メディア
エンタメ
ライフスタイル
女性向けメディア
マーケティング
スタートアップ
ブログ
イラスト
いらすとや
漫画
本
アニメ/ドラマ/映画
音楽
アプリ
料理
飲食店
イベント
まとめサイト
プレスリリース
はてブ
NewsPicks
note / cakes
Voicy
bouncy
YouTube
TikTok
Amazon
bosyu
エンジニア求職
GitHub
Revue
技術論文
スライド
Advent Calendar
やってみた
歌ってみた
演奏してみた
弾いてみた
叩いてみた
踊ってみた
描いてみた
作ってみた
リリースした

技術以外のジャンルもありますが、サービスを作り上げるエンジニアたる者、色んなジャンルにアンテナを張って様々な情報に触れる必要があると思うわけです。

僕自身もアンテナを張りつつ、常に個人開発のサービスのアイディアに繋げられないかを考えていますので、このサービスによってその情報収集を楽にしたいと考えました。

また、ジャンルごとに以下基準で並び替えを行い、ランキング形式で情報を確認することができます。

リツイート数
いいね数
引用数
リプライ数
フォロワーのうち、リツイートしてくれた割合（リツイート数 / フォロワー数）
フォロワーのうち、いいねしてくれた割合（いいね数 / フォロワー数）
フォロワーのうち、引用してくれた割合（引用数 / フォロワー数）
フォロワーのうち、リプライしてくれた割合（リプライ数 / フォロワー数）

何で作ったの？

皆さんは情報収集って何でしていますか？

GIGAZINE、ITmediaなどの様々なネットメディア、それからはてなブックマーク、技術記事であればQiita、はてなブログ、等々、あげると切りがありません。

忙しいエンジニアにとっては、情報収集のためにすべてに目を通すのは難しいです。

きちんと情報収集されている方だと、RSSリーダーなどを使って自分の欲しい情報を効率的に得ている人もいるかと思います。

ただ、僕の場合、そこまでのことはやっておらず、はてなブックマークで話題になっている情報にさっと目を通して終わりというのがほとんどでした。

少ない時間の中でいかに効率良く情報収集できるか、を解決するために、今回自分でサービスを作ってみることにしました。

僕が目をつけたのは、ツイッターです。

ツイッターは自分がフォローした人がつぶやいた情報を見ることができますが、タイムラインではすべてを追うのは難しいです。
しかし、ツイートにはリツイート、いいね、リプライといった、他の人がつけた評価みたいなものがつけられています。

リツイート数やいいね数が多いものほど、話題になっている情報ととらえることができます。
この話題となっているツイートをキュレーションすることで、効率的に情報収集ができるのでは！？と考え、このサービスを作り始めました。

使用技術

Linux

クラウドのホスティングはGoogle Cloud Platformで、Google Compute Engine（GCE）でサーバを立てています。
サーバのOSはLinuxでCentOSの7系を使っています。

Apache

webサーバはApacheを使っています。
Nginxもありますが、Apacheは普段から使っており、設定も把握していたため、いつも通りの安定の選択としました。

MySQL

Amazon RDSを使ってMySQLを立てています。

BigQuery

Google Cloud PlatformのBigQueryを使うようにしました。

リリース後2週間ほどツイートを収集したら100万レコードを超えてしまい、応答速度的にも今後ヤバいな...ってなったので、BigQueryへデータを移行しました。

BigQueryへの完全移行ではなく、MySQLとBigQueryのハイブリッド構成としました。

移行については、この後ちょっと触れます。

PHP

サーバ側のプログラムはPHPを使って実装しました。

jQuery

クライアント側のJavaScriptは、jQueryを使って実装しました。

ツイッターAPI

ツイートの情報を取得するために使用しています。
使い方については、後述させて頂きます。

cron

cronを使って定期的にバッチを走らせてツイートを収集しています。

MySQL -> BigQueryへのデータ移行

mysql-to-google-bigquery を使って、移行しました。

要件としてはPHP 7以上である必要がありますが、使い方は超簡単です。

①composerを使ってライブラリをダウンロード

$ composer require memeddev/mysql-to-google-bigquery

②プロジェクト直下に .env ファイルを用意し、以下の環境変数を設定する

BQ_PROJECT_ID=bigquery-project-id
BQ_KEY_FILE=google-service-account-json-key-file.json
BQ_DATASET=bigquery-dataset-name

DB_DATABASE_NAME=mysql-database-name
DB_USERNAME=mysql_username
DB_PASSWORD=mysql_password
DB_HOST=mysql-host

③MySQL -> BigQueryへのデータ同期を実行する

$ vendor/bin/console sync table-name --create-table

これだけでMySQLからBigQueryへデータを移行できちゃいます。

MySQLとBigQueryのハイブリッド構成

BigQueryにデータはすべて移行したんですが、BigQueryは保存しているデータ量およびクエリの検索対象となったデータ量をもとに課金され、検索対象のデータ量による課金が今後ヤバくなるのは目に見えているため、MySQLも使ったハイブリッド構成にしました。

ツイートをジャンルごとにリツイート数などでソートして一覧を取得する部分は比較的DBに負荷がかかるため、BigQueryを使用しています。
なお、ユニークIDからの単一のツイート取得はそれほどDBに負荷がかからないため、MySQLを使用しています。

とはいえ、毎回一覧を取得するたびにBigQueryを呼び出すのも高くなっちゃうので、「ジャンルごと」 × 「ソートのオーダーごと」 × 「日ごと」でjsonファイルで分けて結果をキャッシュファイルとして保存するようにしました。

jsonファイルがある場合はそのファイルからデータを取得し、jsonファイルがない場合はBigQueryを呼び出して結果を受け取り、jsonファイルへ保存するといった具合にしています。こうすることで、BigQueryによる検索量による課金地獄を回避しています（汗）、、クラウド破産こわい...＞＜

また、jsonファイルを保存する際には、単一のディレクトリに保存するのではなく、ファイル名をハッシュ化して先頭の2文字をとって、ディレクトリの階層を2つ作って保存しています。

以下のような感じです。

①news_retweet_20181219.json の場合、「news_retweet_20181219」の文字をハッシュ化
②ハッシュ化された先頭2文字がa, bだった場合、a/b/ の階層でディレクトリを作成
③ a/b/news_retweet_20181209.json へjsonファイルを保存

これは一つのディレクトリに1000個を超える大量のファイルを置くと、読み込み等のパフォーマンスに悪影響が出てしまうからです。

バズったツイートの可視化

ツイートがバズった要因のようなものが少しでも可視化できたらと思い、以下に挙げたグラフを確認できるようにしてみました。

各ジャンルごとに下部メニューのグラフアイコンをクリック、または各ツイートのインフォメーションアイコンをクリックするとみることができます。

リツイート数、いいね数の分布

ランキング100位までのツイートのリツイート数、いいね数を分布図で可視化しました。
バズったツイートのリツイート数、いいね数の傾向を見ることができます。

ツイートの時間帯

ランキング100位までのツイートの時間帯を棒グラフで可視化しました。
バズったツイートがどの時間帯でツイートされたかを見ることができます。

ツイートの曜日・時間帯

ランキング100位までのツイートの曜日、時間帯をバブルチャートで可視化しました。
バズったツイートがどの曜日、時間帯でツイートされたかを見ることができます。

使われているワード

ランキング100位までのツイートで使われているワードをワードクラウドで可視化しました。
バズったツイートでは、どんなワードが使われているかを見ることができます。

エンゲージメント数

当該ツイートのエンゲージメント数を棒グラフで可視化しました。

エンゲージメント率

当該ツイートのエンゲージメント率をアクティビティゲージグラフで可視化しました。
フォロワーのうちの何％が反応してくれているかを見ることができます。

ツイッターAPI

ツイートはツイッターAPIを使って取得しています。

エンドポイント

GET
[https://api.twitter.com/1.1/search/tweets.json](https://api.twitter.com/1.1/search/tweets.json)

リクエストパラメータ

パラメータ	説明
q	ツイートを検索するワード。検索演算子も利用できます
geocode	緯度,経度,範囲(半径)を指定。
lang	検索対象とする言語を指定。
locale	検索に使用する言語を指定。
result_type	ツイート結果をpopular(話題のツイート)、recent(最新のツイート)、mixed(すべてのツイート)の中から指定。
count	ツイートを取得する数を指定。
until	yyyy-mm-ddの形式で検索期間のエンドを指定。
since_id	検索対象とするツイートIDのスタートを指定。
max_id	検索対象とするツイートIDのエンドを指定。
include_entities	レスポンス値にentitiesプロパティを含めるかを指定

また、上記のqパラメータには以下の検索演算子を使うことができます。
これはツイッターの検索でも同様に使用できますので、ぜひお試しください。

検索演算子	説明
min_retweets:○○	リツイート数が○○以上のツイートを取得できます。
min_faves:○○	いいね数が○○以上のツイートを取得できます。
min_replies:○○	リプライ数が○○以上のツイートを取得できます。
@○○	○○(ユーザーID)さんに関するツイートを（ユーザーがしたツイートも、ユーザーへのリプライ、メンションも含め）取得できます。
from:○○	○○(ユーザーID)さんがしたツイートを取得できます。
to:○○	○○(ユーザーID)さんへのツイート（リプライ、メンション）を取得できます。
since:yyyy-mm-dd	yyyy年mm月dd日以降のツイートを取得できます。
until::yyyy-mm-dd	yyyy年mm月dd日までのツイートを取得できます。
filter:images	画像が含まれるツイートを取得できます。
filter:videos	動画が含まれるツイートを取得できます。
filter:links	リンクが含まれるツイートを取得できます。
filter:news	ニュースに関するツイートを取得できます。
filter:periscope	ライブ配信に関するツイートを取得できます。
filter:verified	認証アカウントのツイートを取得できます。
filter:safe	不適切でないツイートを取得できます。
source:○○	ツイートの投稿元（クライアント）を指定して取得することができます。○○には「Instagram」などが使えるようです。
near:○○ within:××km	○○の場所、半径××km以内でツイートされたものを取得できます。
geocode:○○,△△,××km	緯度○○、経度△△、半径××km以内でツイートされたものを取得できます。
lang：○○	ツイートの言語を指定して検索することができます。日本語の場合は「ja」を指定します。
"○○ ××"	「○○ ××」に完全一致したツイートのみ取得できます。
:)	ポジティブなツイートを取得できるみたいです。
:(	ネガティブなツイートを取得できるみたいです。
-	条件の先頭に「-」をつけると否定の条件にすることができます。これを使うことで除外したツイートを取得できます。
OR	通常は半角スペースで複数のワードを入力するとAND検索となりますが、ORを使うことでOR検索をすることができます。

ツイート収集対象と条件

ツイートを取得する対象と条件について、以下にまとめてみます。
なお、以下は各ジャンルごとの条件で、これに以下の流れで条件を追加して収集しています。

1. リツイート数が 10000 またはいいね数が 10000 のツイート収集（すべて収集したら次へ）

　↓

1. リツイート数が 1000 またはいいね数が 1000 のツイート収集（すべて収集したら次へ）

　↓

1. リツイート数が 100 またはいいね数が 100 のツイート収集（すべて収集したら次へ）

　↓

1. リツイート数が 10 またはいいね数が 10 のツイート収集（すべて収集したら終わり）

　　※リツイート数といいね数がともに10未満のツイートは収集していません

トップ

lang:ja -filter:verified

日本語のツイートをすべて取得します。
ただし、フォロワー数が多く、リツイート数やいいね数が多くつく認証アカウントのツイートは除外しています。

ニュース

filter:news lang:ja

ニュースに関するツイートをすべて取得します。
ニュースでは信頼性の高い認証アカウントのツイートも含めています。

画像

filter:images lang:ja -filter:verified

画像が含まれるツイートをすべて取得します。
フォロワー数が多く、リツイート数やいいね数が多くつく認証アカウントのツイートは除外しています。

動画

filter:videos lang:ja -filter:verified

動画が含まれるツイートをすべて取得します。
フォロワー数が多く、リツイート数やいいね数が多くつく認証アカウントのツイートは除外しています。

ライブ配信

filter:periscope lang:ja -filter:verified

ライブ配信に関するツイートをすべて取得します。
フォロワー数が多く、リツイート数やいいね数が多くつく認証アカウントのツイートは除外しています。

ネットメディア

(gigazine.net OR gizmodo.jp OR nlab.itmedia.co.jp OR rocketnews24.com OR getnews.jp OR wired.jp OR itmedia.co.jp OR ggsoku.com) filter:links lang:ja

以下メディアのリンクが含まれたツイートを取得します。

面白メディア

(omocoro.jp OR labaq.com OR dailyportalz.jp OR curazy.com) filter:links lang:ja

以下メディアのリンクが含まれたツイートを取得します。

エンタメ

(oricon.co.jp OR mantan+web.jp OR nikkan*spa.jp OR wpb.shueisha.co.jp OR narinari.com OR news.mynavi.jp OR cinra.net OR rockinon.com) filter:links lang:ja

※半角ハイフン「-」がURLに含まれると、うまく検索できないケースがあったため、「+」や「*」に置き換えているものがあります。

以下メディアのリンクが含まれたツイートを取得します。

ライフスタイル

(nanapi.jp OR enuchi.jp OR locari.jp OR sheage.jp) filter:links lang:ja

以下メディアのリンクが含まれたツイートを取得します。

女性向けメディア

(men-joy.jp OR mainichikirei.jp OR otajo.jp OR youpouch.com OR mdpr.jp OR japan.techinsight.jp) filter:links lang:ja

以下メディアのリンクが含まれたツイートを取得します。

マーケティング

(liginc.co.jp OR bazubu.com OR ferret-plus.com OR seojapan.com OR webtan.impress.co.jp OR liskul.com OR gaiax-socialmedialab.jp OR seolaboratory.jp OR smmlab.jp OR dmlab.jp OR promonista.com OR cont+hub.com) filter:links lang:ja

※半角ハイフン「-」がURLに含まれると、うまく検索できないケースがあったため、「+」や「*」に置き換えているものがあります。

以下メディアのリンクが含まれたツイートを取得します。

スタートアップ

(japan.cnet.com OR jp.techcrunch.com OR thebridge.jp OR techwave.jp OR techable.jp OR thestartup.jp OR turnyourideasintoreality.com) filter:links lang:ja

以下メディアのリンクが含まれたツイートを取得します。

ブログ

(hatenablog.com OR hatenablog.jp OR hateblo.jp OR hatenadiary.com OR hatenadiary.jp OR ameblo.jp OR blog.livedoor.jp OR medium.com OR blogos.com OR blogger.com OR exblog.jp OR cocolog-nifty.com) filter:links lang:ja

以下ブログのリンクが含まれたツイートを取得します。

イラスト

(#pixiv OR pixivision) filter:images lang:ja

以下ワードのリンクが含まれたツイートを取得します。

#pixiv
pixivision

いらすとや

irasutoya.com filter:images lang:ja

以下サイトの画像が含まれたツイートを取得します。

いらすとや

漫画

(mangaz.com OR sukima.me OR bookstore.yahoo.co.jp OR comic-walker.com OR manga-bang.com OR #pixivコミック OR manga-zero.com OR cmoa.jp OR sokuyomi.jp OR renta.papy.co.jp OR mangabox.me OR comico.jp OR dokuha.jp OR comic-meteor.jp OR mangag.com OR comic-polaris.jp)

以下サイトのリンクが含まれたツイートを取得します。

本

(bookmeter.com OR booklog.jp OR honz.jp OR sinkan.jp OR flierinc.com OR bijodoku.com OR bizpow.bizocean.jp OR bukupe.com OR bookvinegar.jp OR book-smart.jp OR booklog.kinokuniya.co.jp) filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

アニメ/ドラマ/映画

(gyao.yahoo.co.jp OR anime.nicovideo.jp OR abema.tv OR fod.fujitv.co.jp OR cu.ntv.co.jp OR videomarket.jp OR tver.jp OR freshlive.tv) filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

音楽

spotify.com filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

Spotify

アプリ

(itunes.apple.com OR play.google.com) filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

料理

(cookpad.com OR kurashiru.com) filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

飲食店

(tabelog.com OR gnavi.co.jp OR retty.me OR hotpepper.jp OR hitosara.com) filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

イベント

(doorkeeper.jp OR connpass.com OR peatix.com OR atnd.org) filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

まとめサイト

(togetter.com OR matome.naver.jp) filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

プレスリリース

prtimes.jp filter:links lang:ja

以下メディアのリンクが含まれたツイートを取得します。

PR TIMES

はてブ

b.hatena.ne.jp filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

はてなブックマーク

NewsPicks

newspicks.com filter:links lang:ja

以下メディアのリンクが含まれたツイートを取得します。

NewsPicks

note / cakes

(note.mu OR cakes.mu) filter:links lang:ja

以下メディアのリンクが含まれたツイートを取得します。

note
cakes

Voicy

voicy.jp filter:links lang:ja

以下メディアのリンクが含まれたツイートを取得します。

Voicy

bouncy

bouncy.news filter:videos lang:ja

以下メディアの動画が含まれたツイートを取得します。

bouncy

YouTube

(youtu.be OR youtube.com) filter:links lang:ja

以下メディアの動画が含まれたツイートを取得します。

YouTube

TikTok

TikTok filter:videos lang:ja

以下ワードの動画が含まれたツイートを取得します。

TikTok

Amazon

(amazon.co.jp OR amzn.to) filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

Amazon

bosyu

bosyu.me filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

bosyu

エンジニア求職

#hiyokonitsuduke OR #Twitter転職 lang:ja

以下ワードのツイートを取得します。

#hiyokonitsuduke
#Twitter転職

GitHub

(github.com OR c) filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

Revue

getrevue.co filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

Revue

技術論文

arxiv.org filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

arXiv.org

技術記事

(qiita.com OR qrunch.io OR #Crieit) filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

Qiita
Qrunch
#Crieit

スライド

(slideshare.net OR speakerdeck.com) filter:links lang:ja

以下サイトのリンクが含まれたツイートを取得します。

Advent Calendar

Advent Calendar filter:links lang:ja

以下ワードのリンクが含まれたツイートを取得します。

Advent Calendar

やってみた

(やってみた OR やってみました) filter:videos lang:ja -filter:verified

以下ワードの動画が含まれたツイートを取得します。

やってみた
やってみました

歌ってみた

(歌ってみた OR 歌ってみました) filter:videos lang:ja -filter:verified

以下ワードの動画が含まれたツイートを取得します。

歌ってみた
歌ってみました

演奏してみた

(演奏してみた OR 演奏してみました) filter:videos lang:ja -filter:verified

以下ワードの動画が含まれたツイートを取得します。

演奏してみた
演奏してみました

弾いてみた

(弾いてみた OR 弾いてみました) filter:videos lang:ja -filter:verified

以下ワードの動画が含まれたツイートを取得します。

弾いてみた
弾いてみました

叩いてみた

(叩いてみた OR 叩いてみました) filter:videos lang:ja -filter:verified

以下ワードの動画が含まれたツイートを取得します。

叩いてみた
叩いてみました

踊ってみた

(踊ってみた OR 踊ってみました) filter:videos lang:ja -filter:verified

以下ワードの動画が含まれたツイートを取得します。

踊ってみた
踊ってみました

描いてみた

(描いてみた OR 描いてみました) filter:images lang:ja -filter:verified

以下ワードの画像が含まれたツイートを取得します。

描いてみた
描いてみました

作ってみた

```(作ってみた OR 作ってみました OR 作りました OR つくってみた OR つくってみました OR つくりました) (filter:links OR filter:media) lang:ja -filter:verified


以下ワードのリンク、画像、動画が含まれたツイートを取得します。

* 作ってみた
* 作ってみました
* 作りました
* つくってみた
* つくってみました
* つくりました


### リリースした

(リリースしました OR 開発しました OR Webサービス OR webサービス) (filter:links OR filter:media) lang:ja -filter:verified
```

以下ワードのリンク、画像、動画が含まれたツイートを取得します。

リリースしました
開発しました
Webサービス
webサービス

まとめ

今回は各ジャンルごとに話題のツイートを収集し、ランキングで表示するところまで実装しました。

作ってみて感じたのは、ジャンルによってはまだまだ収集したツイートの精度があまり良くなかったことです。
ツイートにつけられたリツイート数やいいね数での評価だけでは、自分の望む精度の高い情報にはまだ及びませんでした。

今後の課題としては、情報の精度をリツイート数やいいね数といったツイートの評価の他に「ツイレポ」のサービス内で改善できそうな点を考えていきたいと思います。
また、今回の実装でリツイート数やいいね数は収集してるので、これを使ってツイートがバズる要因や傾向なども分析していければと考えています。

なお、今回、ジャンル分けやその収集対象は自分の独断と偏見で決めてしまっていますので、これを入れたらいいんじゃないか、これを入れて欲しいなどのご要望がありましたら、「ツイレポ」のご意見・ご要望よりご連絡を頂ければ幸いです。

本サービスに少しでも興味をもって頂けましたら、ぜひ本記事のいいねや Twitterのフォロー、いいねやリツイートをして頂けると嬉しいです！

Twitter： @2zn01

【お知らせ】ツイッターを活用したエンジニアの情報収集を助けるキュレーションサービス #ツイレポをリリースしました！🎉https://t.co/oFiPYwT34N時間がない中でどう情報収集したらよいか困っていたので、話題の情報のみをサクッと確認できるように作りました。ぜひ使ってみてください～！ pic.twitter.com/DHVGfBC0BQ
— 2z / AIメーカー開発 (@2zn01) 2018年12月2日

ぜひこのサービスを使って情報収集してみてください！

■ツイレポ
https://twirepo.com/

明日は@Fujiyama_Yutaさんの「今作っているサービスを、この日までにリリースして記事を書きます！」です。

お楽しみに！

ElixirのExTwitterでツイートする

2018-09-21T20:04:31+09:00

ElixirにはExTwitterというTwitter用のライブラリがある。
それでツイートしてみた。

設定

ExTwitterの説明通り。access_tokenとaccess_token_secretはユーザーのものを使うので空にしている。

  def tweet(token, secret, body) do
    ex_twitter_configure(token, secret)
    ExTwitter.API.Tweets.update(body)
  end

  defp ex_twitter_configure(token, secret) do
    conf = [
      consumer_key: Application.get_env(:extwitter, :oauth)[:consumer_key],
      consumer_secret: Application.get_env(:extwitter, :oauth)[:consumer_secret],
      access_token: token,
      access_token_secret: secret
    ]

    ExTwitter.configure(:process, conf)
  end

ログイン中のユーザーのアクセストークンを使うために、API実行前に設定をしている。

TwitterのUser Streams廃止と仮想通貨投げ銭まとめ

2018-08-19T00:22:45+09:00

2018年8月23日にTwitterのUser Streams APIが廃止されます。それに伴い色々なサードパーティのアプリケーションが終了したり変更を余儀なくされています。ツイートで仮想通貨の投げ銭ができるサービスがいくつかありますが、現在どの様になっているのかまとめてみました。

MonaCoin（モナコイン）

モナコインはtipmonaというアカウントのコマンドで送金ができます。継続予定のようですが、対応が間に合わず一旦停止となるようです。再開され次第公式アカウントで報告があると思われます。

企業様よりこちらの新APIに対応するためご協力いただけることは決定しており、そちらの面での問題は解決しているのですがTwitterのAPI審査が間に合わず今すぐには継続することが困難です。審査が完了しAPIが利用可能になり次第速やかに対応、tipmonaを再開いたします。
— モナコインちゃんbot*一時停止/詳細は固定ツイ* (@tipmona) 2018年8月16日

Bitcoin（ビットコイン）

ビットコインはCoinTipというサービスで送金ができます。チップ機能以外は廃止したようです。ただ、たいして細かいツイートは無いようですので、おそらく専用のアプリケーション上から主な操作を行うためあまりツイート上の機能にこだわっていないのかもしれません。

こんにちは、#CoinTip からのお知らせです。Twitterアカウントの自動化に関するルールの変更により、返信系のコマンド(balance, deposit)停止をし、チップのお知らせも削除致しました。チップがまだできますので、引き続きよろしくお願いします。
— CoinTip (@cointip_jp) 2018年7月26日

Bitcoin Cash（ビットコインキャッシュ）

bch_tipというアカウントのコマンドがありますが、運営は終了となるようです。残高が残っている方は引き出しておきましょう。

NEM（ネム）

NEMはtipnemというアカウントのコマンドがあります。こちらのアカウントはゆるい感じでよく分からなかったのですが、User Streamsについて言及後、システムを更新したという言及があるので無事動いているのかもしれません。

ユーザーストリーム死んだけど生きてます👋
— NEM Mainnet tipbot (@tipnem) 2018年8月16日

XRP（リップル）

tipxrpというアカウントのコマンドがあります。User Streams APIの廃止に伴い、何らかの対応は行われているようです。ただ、不具合が出ているとの報告もあるようですので、使う場合はちょっと気にしながら利用した方が良いかもしれません。（固定ツイートを見ると丁度１年前くらいにpre-alphaと書かれていますがまだそうなのでしょうか？）

まとめ

廃止になるサービスも、縮小しつつ継続するサービスもあるようです。ツイートで仮想通貨を投げ銭できると色々と使い道が考えられるので、是非頑張って欲しいものです。

bosyuの募集一覧を勝手に作ってみた（機械学習解説付き）

2018-06-29T00:08:42+09:00

bosyu.meの一覧ページを作成してみました。ちなみに僕はbosyuの運営とは何の関わりもありません。

概要

ちょっと前にbosyuという募集を行うことができるサービスがリリースされました。応募が来るとサービス上で簡単一覧できる便利なサービスです。

ただ、Twitter上で自分のフォロワーさん宛に募集を行う形での利用を想定されて作られている感じのため、募集の一覧ページなどがありません。

そのため、募集一覧ページを勝手に作ってみました。

bosyu.meの募集一覧

ただ、ただほんとに一覧するだけだとTwitter上で#bosyuというハッシュタグを使って見ればいいだけなので、独自の機能としてカテゴリ分類機能を追加し、カテゴリ毎の募集を見られるようにしてみました。（カテゴリの自動分類方法詳細は後述）

環境

PHP7.2
Laravel5.6
Vue
Vue Material
Twitter API
Google Compute Engine(f1-micro)

ツイートの取得

1時間ごとくらいにツイートの保存処理を行っています。

こんな感じで初期化＆取得しています。特に複雑な点はなく、基本通りそのままです。URLとハッシュタグで検索しているので、Twitter上での検索よりは精度が高いと思います。TwitterではURLで検索しても検索結果が出てきませんのでここはAPIのみの利点です。

        $connection = new TwitterOAuth(
            env('TWITTER_CONSUMER_KEY'),
            env('TWITTER_CONSUMER_SECRET'),
            env('TWITTER_ACCESS_TOKEN'),
            env('TWITTER_ACCESS_TOKEN_SECRET')
        );

        $params = [
            'q' => 'bosyu.me/users #bosyu',
            'count' => 100,
        ];
        if ($maxId = Tweet::getMaxId()) {
            $params['since_id'] = $maxId;
        }
        $tweets = $connection->get("search/tweets", $params);

下記のような感じでリツイートや既に取得済みのツイートなどをフィルタリングしています。


    public static function isAvailableStatus($status)
    {
        if (strpos($status->text, '#bosyu') === false) {
            return false;
        }
        if (!empty($status->retweeted_status)) {
            return false;
        }
        $bosyuId = self::getBosyuId($status);
        if (!$bosyuId) {
            return false;
        }
        return true;
    }

検索フォーム

Vue Materialで表示を行っているので、検索フォームもVue Materialだけで実装しました。

カテゴリは選択たらすぐに画面が切り替わるのですが、Date Pickerはどうも選択時のcallbackが無いようだったので、仕方なく検索ボタンを押してもらう形にしました。デザインは綺麗なのに肝心な機能が抜けていたりして微妙ですね。誰か本家にプルリクエストを送って実装してください。

別にフォームまるまるコンポーネント化しようとは思ってなかったのですが、上記理由でv-modelを利用した値の取得方法しかなかったため、コンポーネント化されています。全部v-modelで管理してボタンでlocation.hrefするだけのシンプルなコンポーネントです。

機械学習によるカテゴリの自動分類

今回作るサービスの肝です。これがなければTwitterで情報を見ることができるのでほとんど意味がなくなってしまいます。

とりあえずざっと思いついた流れは下記のようなものです。

カテゴリをいくつか作る。
あらかじめツイートを集めて学習させる。
機械学習の結果を用いて取得したツイートの本文でカテゴリ分けする。

この機能はそのまま クラス分類(Classification) というらしいです。機械学習としては恐らくよく用いられる分類だと思いますので、既にいくつも簡単に実装できるAPIやライブラリなどが数多く見つかりました。せっかくなので見つけて検討した順番にここで紹介していきます。

Google Cloud Natural Language API

Google Cloud Natural Language

とりあえずGoogleなら何かあるだろ、と思って調べたら全くそのままのものがありました。これのclassifyTextメソッドを利用した「コンテンツの分類」という機能になります。しかもこれは学習させる必要がなく、予めGoogle側で定義されているカテゴリに分けてくれるというすぐれものです。しかもツイートであれば3万件ほどまで無料（多分）。

しかし試してみましたが、下記の問題がありました。

日本語対応してない
短い文章は無理

ということで一番手軽だったのですが、これは諦めることになりました…。

A3RT Text Classification API

よくわからないのですがRecruitが無料で公開しているAPIです。こんなすごいものを無料で公開し続けるというのはいまいち良く分からないです。APIになっているのでインフラも無料では済まないでしょうし。どうなってるんだろう…。

機能的にはこれで問題なかったのですが、とりあえず最初にGoogleのAPIを知ってしまったので学習が要らないAPIを引き続き探しました。このAPIはデフォルトで求人関連のモデルが入っているので、その他の分類を行うためには自分でモデルを作る必要があります（簡単ですがデータを用意する必要があります）。

Watson Natural Language Classifier

Watson Natural Language Classifier (自然言語分類)

これもA3RTと一緒だと思います。IBMが公開しているもので有料ですが無料枠があります。A3RTと同じ理由で次を探しました。

fastText

facebookresearch/fastText: Library for fast text representation and classification

こちらはfacebookが公開しているもので、A3RT、Watsonと同じクラス分類の機能があります。

なんかもうこれでいいんじゃないかな…と思ってこれを試しました。色々探しましたがGoogleのもののように良い感じに最初からカテゴリ分けされてるっぽいものはなさそうですし、ツイートであれば学習データを集めるのは特に難しいことではないし、学習させるというのも大事なことだと思ったためです。

また、下記のようなわかりやすい記事を見つけたのも試そうと思ったきっかけです。
機械学習で大量のテキストをカテゴリ別に分類してみよう！

具体的には

学習データのテキストファイルを作成
テキストをモデルに変換
モデルによりテキストを分類

という感じで非常に簡単をクラス分類を行うことができるライブラリになっており、割とすんなり実装できました。

ちなみに僕は結局途中からpipで準備するのが面倒になったのでpythonもやめて直接コマンドを叩く形で実装しました。

モデル作成

./fasttext supervised -input data.txt -output model

クラス分類実行

./fasttext predict-prob model.bin 分類する文章が保存されているテキストファイルのパス

試してみた

なんか、うまくいきませんでした。ツイートなので文章が全体的に短すぎるのか、何時間かしかかけずに集めたデータが少なすぎたのか、おかしなカテゴリに入ってしまうものが多発しました。

ということでここまで調べて実装しましたが機械学習でカテゴリ分けをするのはやめました。

実際に行ったカテゴリ分けの方法

ツイートに含まれるキーワードによりカテゴリ分けをする方法です。ひとつのカテゴリにいくつでもキーワードを設定できるようにしました。非常に的確にカテゴリ分類ができるようになりました。しかも非常に簡単です。そして非常にダサいです。

でも、今回の場合は募集ツイートに限るものだし、さほどバリエーションがあるとは思えません。文章も短く、精度も低くなりがちです。こういう場合にはわざわざ機械学習を導入せず、シンプルな方法を選択することも必要な場面はあると思います。今回はそれで良さそうな気がしています。分類されないものは全部「その他」カテゴリに入れています。

よろしければ実際に見てみてください。本家が一覧ページを作ったら消え去る運命のサイトです。

bosyu.meの募集一覧