チャットストリームエージェントを使用した Twitter アカウントの分析方法¶

はじめに¶

FlexAIでは、WebページをLLM（大規模言語モデル）が読み取れるMarkdown形式に変換するためのクローラーツール、例えばJinaを利用できます。

最近、wordware.aiが、クローラーを使ってソーシャルメディアをデータ収集し、LLM分析用の面白いアプリケーションを開発できることを教えてくれました。このアプリケーションは、特にデータ分析や洞察を提供するために設計されています。

しかし、かつてTwitterとして知られていた「X」は、2023年2月2日以降、無料のAPIアクセスを提供しなくなり、それに続いてクローリング対策を強化しました。そのため、JinaのようなツールはXのコンテンツに直接アクセスすることができなくなっています。

2023年2月9日から、Twitter APIの無料アクセスは終了し、v2およびv1.1のサポートも行われなくなります。代わりに、有料の基本プランが提供されます。 🧵

— Developers (@XDevelopers) February 2, 2023

幸いなことに、FlexAIにはHTTPツールがあり、これを使用して外部のクローリングツールにHTTPリクエストを送信できます。それでは、始めていきましょう！

Crawlbaseは、ビジネスや開発者向けに設計されたデータクローリングとスクレイピングのプラットフォームです。このツールを使うことで、X、Facebook、Instagramなどのソーシャルメディアプラットフォームからデータを収集できます。

登録は以下のリンクから行えます：crawlbase.com

FlexAIはオープンソースのLLMアプリケーション開発プラットフォームで、クラウドサービスを利用するか、docker composeを使用してローカルに展開できます。

この記事では、ローカル展開を希望しない方のために、無料のFlexAI Cloudサンドボックスアカウントをこちらから登録する方法を紹介します：https://cloud.flexai.com.tr/signin。

Info:

FlexAI Cloud Sandboxのユーザーは、200の無料クレジットを取得できます。これは、200のGPT-3.5メッセージまたは20のGPT-4メッセージに相当します。

以下は、FlexAIを展開するための簡単な手順です：

git clone https://github.com/flexai/flexai.git

cd dify/docker
cp .env.example .env
docker compose up -d

アカウント設定にて、モデルプロバイダーを設定してください：

LLMプロバイダー設定画面1 LLMプロバイダー設定画面2