カンマ区切り(CSV)ファイルは、カンマを使用して値を区切ったテキストファイルです。ファイルの各行はデータレコードです。各レコードは、カンマで区切られた1つ以上のフィールドで構成されています。カンマをフィールドの区切り文字として使用することが、このファイル形式の名前の由来です。CSVファイルは通常、表形式のデータ（数値とテキスト）をプレーンテキストで保存しますが、どのような場合でも各行のフィールド数は同じになります。
これは InterSystems FAQ サイトの記事です。
ObjectScriptの%Netパッケージのライブラリクラスを利用して、ファイルを他のサーバーにアップロードすることができます。
以下のCurl コマンドと同じことを ObjectScript で実現する方法を紹介します。
curl -X POST "http://localhost/api/upload/csv?a=123&b=999" -F file=@"C:/temp/a.csv":/temp/a.csv"クライアントのObjectScriptコードを以下の様に作成します。
コミュニティの皆さんこんにちは。
突然ですが、皆さんはIRISの機能にある「ユニットテスト」は利用されているでしょうか。
筆者はまだ実装まで行えていませんが、各関数の品質保証を担保するため導入を検討している段階です。
現状、IRISのユニットテストには下記２点の対応すべき点があると考えています。
特にテストが継続的に自動で実施されないと、ユニットテスト自体が次第に陳腐化し、実行されなくなり忘れ去られる恐れがあると考えます。
ただし、意味もなく定期的にテストを実行しても効果がありません。
そこで、Gitのpushのタイミングで行おうと考えました。
次にテスト環境です。
テスト環境の構築は、テスト自動化の観点からみるとCI/CDツール等を利用するのが一般的だと思います。
ただ今回は、テスト環境の構築を簡易にすませたいと考え、IRISの既存技術を組み合わせて構築しようと考えました。
そこで運用幅の広いInteroperabilityとユニットテストを組み合わせて、テストの自動化が可能か考察していきたいと思います。
【ユニットテスト全体概要】
【全体の流れ】
■ユーザの開発環境
①ユーザは改修したクラスをGitへpushする
■Git用のサーバ
開発者の皆さん、こんにちは。
突然ですが、2024年6月25日に開発者向けセミナー「FHIR 新機能のご紹介～2024.1～」が開催されました。
ご視聴になられた方も多数いらっしゃると思います。
まだご視聴になられていない方は是非一度、ご覧になってみてください。
YouTubeリンク
さて、こちらのセミナーにおいてご紹介された、IRIS for Health 2024.1からの新機能「FHIR Object Model」を用いて、リポジトリタイプのInteroperability開発の具体的なサンプルを作成してみました。
自身の備忘のため、すぐ開発環境を構築できるよう、コンテナ環境かつGitHubの公開もしております。
利用方法は、GitHub内のREADMEを参照ください。
GitHubリンク
我々には、Redditユーザーが書いた、おいしいレシピデータセット がありますが, 情報のほとんどは投稿されたタイトルや説明といったフリーテキストです。埋め込みPythonやLangchainフレームワークにあるOpenAIの大規模言語モデルの機能を使い、このデータセットを簡単にロードし、特徴を抽出、分析する方法を紹介しましょう。
まず最初に、データセットをロードするかデータセットに接続する必要があります。
これを実現するにはさまざまな方法があります。たとえばCSVレコードマッパーを相互運用性プロダクションで使用したり csvgenのようなすばらしい OpenExchange アプリケーションを使用することもできます。
今回、外部テーブルを使用します。これは物理的に別の場所に保存されているデータをIRIS SQLで統合する非常に便利な機能です。
まずは外部サーバ(Foreign Server)を作成します。
CREATE FOREIGN SERVER dataset FOREIGN DATA WRAPPER CSV HOST '/app/data/'
その上でCSVファイルに接続する外部テーブルを作成します。
CREATE FOREIGN TABLE dataset.Recipes (
CREATEDDATE DATE,
NUMCOMMENTS INTEGER,
TITLE VARCHAR,
USERNAME VARCHAR,
COMMENT VARCHAR,
NUMCHAR INTEGER
) SERVER dataset FILE 'Recipes.csv' USING
{
"from": {
"file": {
"skip": 1
}
}
}
以上です。すぐに「dataset.Recipes」にSQLクエリを実行できます。
## どんなデータが必要？
データセットは興味深く、直ぐに処理したいと思うのですが、調理のレシピを決めたいのであれば、分析に使える情報がもう少し必要です。 ２つの永続化クラス（テーブル）を使用します。
これで 「yummy.data*」 テーブルにデータセットの内容をロードすることができます。
do ##class(yummy.Utils).LoadDataset()
一見良さそうに見えますが、スコア、難易度、材料、準備時間、調理時間フィールドのデータをどのように生成するのかを見つける必要があります。
## レシピの分析 各レシピのタイトルと説明を処理します
以下を使用します
LLM(大規模言語モデル)は自然言語を処理するための本当に素晴らしいツールです。
LangChainはPythonで動くようになっているので、Embedded Pythonを使ってInterSystems IRISで直接使うことができます。 LangChain is ready to work in Python, so we can use it directly in InterSystems IRIS using Embedded Python.
完全な SimpleOpenAI クラスは以下のようになります。
/// レシピ向けのシンプルな OpenAI 分析
Class yummy.analysis.SimpleOpenAI Extends Analysis
{
Property CuisineType As %String;
Property PreparationTime As %Integer;
Property Difficulty As %String;
Property Ingredients As %String;
/// 実行
/// ターミナルから実行できます。
/// set a = ##class(yummy.analysis.SimpleOpenAI).%New(##class(yummy.data.Recipe).%OpenId(8))
/// do a.Run()
/// zwrite a
Method Run()
{
try {
do ..RunPythonAnalysis()
set reasons = ""
// 好きな調理タイプ
if "spanish,french,portuguese,italian,korean,japanese"[..CuisineType {
set ..Score = ..Score + 2
set reasons = reasons_$lb("It seems to be a "_..CuisineType_" recipe!")
}
// 丸一日調理に費やしたくない :)
if (+..PreparationTime < 120) {
set ..Score = ..Score + 1
set reasons = reasons_$lb("You don't need too much time to prepare it")
}
// 好きな材料ボーナス
set favIngredients = $listbuild("kimchi", "truffle", "squid")
for i=1:1:$listlength(favIngredients) {
set favIngred = $listget(favIngredients, i)
if ..Ingredients[favIngred {
set ..Score = ..Score + 1
set reasons = reasons_$lb("Favourite ingredient found: "_favIngred)
}
}
set ..Reason = $listtostring(reasons, ". ")
} catch ex {
throw ex
}
}
/// 分析結果でレシピを更新する
Method UpdateRecipe()
{
try {
// 親クラスの処理を先に呼び出す
do ##super()
// 個別のOpenAI 解析結果を追加
set ..Recipe.Ingredients = ..Ingredients
set ..Recipe.PreparationTime = ..PreparationTime
set ..Recipe.Difficulty = ..Difficulty
set ..Recipe.CuisineType = ..CuisineType
} catch ex {
throw ex
}
}
/// 埋め込み Python + Langchain で分析を実行
/// do ##class(yummy.analysis.SimpleOpenAI).%New(##class(yummy.data.Recipe).%OpenId(8)).RunPythonAnalysis(1)
Method RunPythonAnalysis(debug As %Boolean = 0) [ Language = python ]
{
# load OpenAI APIKEY from env
import os
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv('/app/.env')
# account for deprecation of LLM model
import datetime
current_date = datetime.datetime.now().date()
# date after which the model should be set to "gpt-3.5-turbo"
target_date = datetime.date(2024, 6, 12)
# set the model depending on the current date
if current_date > target_date:
llm_model = "gpt-3.5-turbo"
else:
llm_model = "gpt-3.5-turbo-0301"
from langchain.chat_models import ChatOpenAI
from langchain.prompts import ChatPromptTemplate
from langchain.chains import LLMChain
from langchain.output_parsers import ResponseSchema
from langchain.output_parsers import StructuredOutputParser
# init llm model
llm = ChatOpenAI(temperature=0.0, model=llm_model)
# prepare the responses we need
cuisine_type_schema = ResponseSchema(
name="cuisine_type",
description="What is the cuisine type for the recipe? \
Answer in 1 word max in lowercase"
)
preparation_time_schema = ResponseSchema(
name="preparation_time",
description="How much time in minutes do I need to prepare the recipe?\
Anwer with an integer number, or null if unknown",
type="integer",
)
difficulty_schema = ResponseSchema(
name="difficulty",
description="How difficult is this recipe?\
Answer with one of these values: easy, normal, hard, very-hard"
)
ingredients_schema = ResponseSchema(
name="ingredients",
description="Give me a comma separated list of ingredients in lowercase or empty if unknown"
)
response_schemas = [cuisine_type_schema, preparation_time_schema, difficulty_schema, ingredients_schema]
# get format instructions from responses
output_parser = StructuredOutputParser.from_response_schemas(response_schemas)
format_instructions = output_parser.get_format_instructions()
analysis_template = """\
Interprete and evaluate a recipe which title is: {title}
and the description is: {description}
{format_instructions}
"""
prompt = ChatPromptTemplate.from_template(template=analysis_template)
messages = prompt.format_messages(title=self.Recipe.Title, description=self.Recipe.Description, format_instructions=format_instructions)
response = llm(messages)
if debug:
print("======ACTUAL PROMPT")
print(messages[0].content)
print("======RESPONSE")
print(response.content)
# populate analysis with results
output_dict = output_parser.parse(response.content)
self.CuisineType = output_dict['cuisine_type']
self.Difficulty = output_dict['difficulty']
self.Ingredients = output_dict['ingredients']
if type(output_dict['preparation_time']) == int:
self.PreparationTime = output_dict['preparation_time']
return 1
}
}
「RunPythonAnalysis」メソッドがOpenAIが詰め込むところです :) ターミナルから直接実行してレシピを受け取れます。
do ##class(yummy.analysis.SimpleOpenAI).%New(##class(yummy.data.Recipe).%OpenId(12)).RunPythonAnalysis(1)
以下のような出力を受け取れます。
USER>do ##class(yummy.analysis.SimpleOpenAI).%New(##class(yummy.data.Recipe).%OpenId(12)).RunPythonAnalysis(1)
======実際の課題
レシピタイトルを解釈、評価: 巻きずし - アラスカロール
説明: 寿司がたべたいのに巻きすがない？ 代わりに簡単なバージョンを試してみてください。超簡単なのに、同じようにおいしい！
[Video Recipe](https://www.youtube.com/watch?v=1LJPS1lOHSM)
# 材料
提供量: \~サンドイッチ５枚分
* 米１カップ
* 水 3/4 カップ + 大さじ 2 1/2
* 昆布 小口切り １枚
* 米酢 大さじ２
* さとう 大さじ１
* 塩 小さじ1
* アボカド ２個
* カニカマ ６個
* 和風マヨ 大さじ2
* サーモン 1/2 ポンド
# レシピ
* 酢飯1合をボウルに入れ、2回以上、または水が透明になるまで米を洗う。炊飯器に米を移し、昆布の小口切り1枚と水3/4カップ＋大さじ2と1/2杯を加える。炊飯器の指示に従って炊く。
* 米酢大さじ2、砂糖大さじ1、塩小さじ1を中くらいのボウルに入れる。全体がよく混ざるまで混ぜる。
* 炊き上がったら昆布を取り除き、すぐに酢を入れた中ボウルに米をすべてすくい入れ、飯ベラを使ってよく混ぜる。米をつぶさないように、切るように混ぜること。炊きあがったら、キッチンタオルをかけて室温まで冷ます。
* アボカド1個の上部を切り、アボカドの中央に切り込みを入れ、ナイフに沿って回転させる。次にアボカドを半分ずつ取り、ひねる。その後、ピットのある側を取り、慎重にピットに切り込みを入れ、ひねって取り除く。その後、手で皮をむく。この手順をもう片方のアボカドでも繰り返す。作業スペースを確保するため、作業台を片付けるのを忘れずに。次に、アボカドを下向きに置き、薄くスライスする。スライスしたら、ゆっくりと広げていく。それが終わったら、脇に置いておく。
* カニカマから包みをはずす。カニカマを縦にむいていく。すべてのカニカマを剥いたら、横に回転させながら細かく刻み、和風マヨ（大さじ2）とともにボウルに入れ、全体がよく混ざるまで混ぜる。
* 鋭利なナイフを斜めに入れ、木目に逆らって薄くスライスする。切り口の厚さは好みによる。ただ、すべてのピースが同じような厚さになるようにする。
* 海苔巻きラップを手に取る。キッチンバサミを使い、海苔巻きラップの半分の位置から切り始め、ラップの中心を少し過ぎるまで切る。ラップを垂直に回転させ、作り始める。すし飯を握るために、手に水をつけておく。酢飯を手に取り、海苔巻きの左上の四辺に広げる。次に、右上にサーモンを2切れ並べる。右下にアボカドを2切れのせる。最後に左下にカニサラダを小さじ2杯ほどのせる。次に、右上の四つ角を右下の四つ角に折り込み、さらに左下の四つ角に折り込む。最後に、左上の四つ角をサンドイッチの残りの部分に折り込む。その後、ラップを上に置き、半分に切って、生姜とわさびを2、3枚添えれば出来上がり。
出力は、先頭と末尾の"``json "と"``"を含む、以下のスキーマでフォーマットされたマークダウンのコードスニペットでなければなりません：
json
{
"cuisine_type": string // レシピの調理タイプは？ 小文字の1単語で回答
"preparation_time": integer // レシピの準備に必要な時間(分)は？ 整数で回答（不明な場合はnull）
"difficulty": string // レシピの難易度は？ 「容易」「標準」「難しい」「とても難しい」のうちから１つを回答
"ingredients": string // 小文字のカンマ区切りの材料リスト、不明な場合は空
}
======応答
json
{
"cuisine_type": "japanese",
"preparation_time": 30,
"difficulty": "easy",
"ingredients": "sushi rice, water, konbu, rice vinegar, sugar, salt, avocado, imitation crab sticks, japanese mayo, salmon"
}
良さそうです。OpenAIのプロンプトは有用な情報を返してくれるようです。ターミナルから分析クラス全体を実行してみましょう：
set a = ##class(yummy.analysis.SimpleOpenAI).%New(##class(yummy.data.Recipe).%OpenId(12))
do a.Run()
zwrite a
USER>zwrite a
a=37@yummy.analysis.SimpleOpenAI ; <OREF>
+----------------- general information ---------------
| oref value: 37
| class name: yummy.analysis.SimpleOpenAI
| reference count: 2
+----------------- attribute values ------------------
| CuisineType = "japanese"
| Difficulty = "easy"
| Ingredients = "sushi rice, water, konbu, rice vinegar, sugar, salt, avocado, imitation crab sticks, japanese mayo, salmon"
| PreparationTime = 30
| Reason = "It seems to be a japanese recipe!. You don't need too much time to prepare it"
| Score = 3
+----------------- swizzled references ---------------
| i%Recipe = ""
| r%Recipe = "30@yummy.data.Recipe"
+-----------------------------------------------------
## 全レシピを解析する！
当然、読み込んだすべてのレシピで分析を実行したいでしょう。 この方法でレシピ ID の範囲を分析することができます
USER>do ##class(yummy.Utils).AnalyzeRange(1,10)
> Recipe 1 (1.755185s)
> Recipe 2 (2.559526s)
> Recipe 3 (1.556895s)
> Recipe 4 (1.720246s)
> Recipe 5 (1.689123s)
> Recipe 6 (2.404745s)
> Recipe 7 (1.538208s)
> Recipe 8 (1.33001s)
> Recipe 9 (1.49972s)
> Recipe 10 (1.425612s)
その後、レシピテーブルを再度表示させ、結果をチェックします。
select * from yummy_data.Recipe
どんぐりカボチャのピザか、豚肉入り韓国風豆腐キムチを試してみます:） いずれにせよ、家で再確認する必要がありますね :）
サンプルソースは全て https://github.com/isc-afuentes/recipe-inspector にあります。
この簡単な例で、InterSystems IRIS で LLM テクニックを使用して機能を追加したり、データの一部を分析する方法を学びました。
これを起点に以下のことが考えられます
他にどんなことが試せそうでしょうか？ご意見をお聞かせください！
最近、LOAD DATA という素晴らしい新機能を使用することがありました。この記事では、初めて使用した際の体験についてお話しします。 以下の箇条書きには優先順がなく、他の評価も含まれません。 これらは、LOAD DATA コマンドを使用したときに私が気付いたことを記したものです。 また、プレビューリリースである IRIS バージョン 2021.2.0.617 を使用していることも記しておきたいと思います。 そのため、ここに記録されたことは、それ以降の IRIS バージョンに適用しない可能性があります。 それでも誰かのお役に立てるかもしれません。
JDBC 経由で最初のテストを行いました。 最初に躓いたのは、ファイルとファイルパスが、当然 (^-)_ サーバー側でなければならないということです！ JDBC ドライバーはクライアント側でこれを処理しません。 おそらく明確なことかもしれませんが、最初にこのことを考慮していませんでした。
ドキュメントには、以下のように書かれています。
「ファイル名には .txt または .csv（カンマ区切り値）の接尾辞が含まれていること。」
私の観察では、この動作は書かれていることと異なりました。 接尾辞は無関係です。
データファイルを読み込む際に、行を間違ってしまいました。 行に問題がある場合、その行は無視されます。 これは、バックグラウンドでサイレントに処理されるため、手放しではクライアントには通知されません。 https://https//youtu.be/jm7bDK0FoiI を見た後に、問題の詳細を表示するには、%SQL_Diag.Result and %SQL_Diag.Message を確認しなければならないことに気づきました。 また、この動作は、次のページにもすでに説明されていたことに気づきました。https://docs.intersystems.com/iris20212/csp/docbook/DocBook.UI.Page.cls?KEY=RSQL_loaddata ... つまり、マニュアルを読めということですね (^_-)
表示例を以下に示します。
SELECT * FROM %SQL_Diag.Result ORDER BY createTime DESC
読み込みの errorCount 列を確認しましょう。
%SQL_Diag.Message で（行の）詳細を確認できます。
SELECT * FROM %SQL_Diag.Message ORDER BY messageTime DESC
特定の diagResult に絞り込むことができます（%SQL_Diag.Result.ID = %SQL_Diag.Message.diagResult）。
SELECT * FROM %SQL_Diag.Message WHERE diagResult=4 ORDER BY messageTime DESC
私の Openflights Dataset サンプルアプリでは、LOAD DATA ですべての外部ファイルの読み込みを試してみました。 ステートメントは、私も以前にテーブルを作成したことのあるテキスト（sql）ファイル内にバンドルされています。
$SYSTEM.SQL.Schema.ImportDDL では、読み込めないことがわかりました。
ちなみに、ImportDDL のドキュメントには、すべての SQL ステートメントに対応しているわけではないことが書かれています。 このページには、ほんの一部の SQL ステートメントが記載されています。
残念ながら、LOAD DATA はこのリストに含まれていません。ちなみに USE DATABASE についても残念ながら未対応です。
読み込み中のデータエンコードの問題を回避するには、%Java Server を次のように設定してください。-Dfile.encoding=UTF-8
詳細については、こちらの記事をご覧ください。 この問題は、次の IRIS リリースでは解消されているでしょう。
JDBC でデータを読み込むと、%qparsets エラーで停止します。 エラーは次のように表示されます。
Error: [SQLCODE: <-400>:<Fatal error occurred>] [Error: <<UNDEFINED>zExecute+83^%sqlcq.OPENFLIGHTS.cls10.1 *%qparsets>] [Location: <ServerLoop>]
でも心配はいりません。それでもデータは読み込まれています (^-^) 詳細については、こちらの記事をご覧ください。
この問題は、次の IRIS リリースでは解消されているでしょう。
Andreas
開発者の皆さん、こんにちは！
CSVまたはURLからCSVデータをプログラムでInterSystems IRISにインポートしなければならない場合があります。 そして、適切なデータ型でクラスが作成され、そのデータがインポートされることを期待するでしょう。
それを実現するcsvgenモジュールをOpen Exchangeに公開しました。
IRISにCSVファイルをインポートするだけであれば、次のようにすることができます。
.png)
.png)
.png)
USER>do ##class(community.csvgen).Generate("/usr/data/titanic.csv",,"Data.Titanic")
Class name: Data.Titanic
Header: PassengerId INTEGER,Survived INTEGER,Pclass INTEGER,Name VARCHAR(250),Sex VARCHAR(250),Age INTEGER,SibSp INTEGER,Parch INTEGER,Ticket VARCHAR(250),Fare MONEY,Cabin VARCHAR(250),Embarked VARCHAR(250)
Records imported: 891
USER>または、GitHubのCOVID-19 Dataのように、インターネット上にCSVがある場合は、次のようにしてデータを取得できます。
USER>d ##class(community.csvgen).GenerateFromURL("https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse_covid_19_data/csse_covid_19_daily_reports/05-29-2020.csv",",","Data.Covid19")
Class name: Data.Covid19
Header: FIPS INTEGER,Admin2 VARCHAR(250),Province_State VARCHAR(250),Country_Region VARCHAR(250),Last_Update DATE,Lat MONEY,Long_ DOUBLE,Confirmed INTEGER,Deaths INTEGER,Recovered INTEGER,Active INTEGER,Combined_Key VARCHAR(250),Incidence_Rate DOUBLE,Case-Fatality_Ratio DOUBLE
Records imported: 3522
USER>
パッケージはZPMを使ってインストールできます。
USER>zpm zpm:USER>install csvgen
csvgenモジュールは単なる CSV2CLASSメソッドのラッパーです。
ObjectScriptの品質プロファイルについて。
あまり理想的な品質ではないため、ご協力、大歓迎です！
まずはこの記事で手短にこの疑問に回答します。 この連載のパート2には、pButtonsから抽出されたパフォーマンスデータのグラフを含めました。 pButtonsの.htmlファイルからmgstatなどのメトリックを抽出してExcelで簡単にグラフ作成する方法として、カット＆ペーストよりも素早く行える方法がないか、オフラインで尋ねられました。
pButtonsは、収集したデータをWRCに送信して確認しやすくするために、そのデータを1つのhtmlファイルにコンパイルするのですが、 特に24時間などの長い収集時間で実行されるpButtonsの場合は、mgstat、vmstatなどの時間ベースのデータをグラフィック表示にして確認できれば、トレンドやパターンが見やすくなります。
pButtons データをhtmlファイルにロールアップしてから解凍するのに時間を掛けるのはばかげているように聞こえるかもしれませんが、pButtonsはパフォーマンスの問題をトラブルシューティングするためにWRCが多数のシステムメトリックのビューを取得するためのツールであることを忘れてはいけません。 システムレベルのメトリックとCachéメトリックは個別に実行できますが、この連続作業ではpButtonsを使用してパフォーマンスメトリックを1つのファイルにキャプチャして分析するのが便利です。すべてのCachéインストールにそのファイルのコピーが存在するかコピーをダウンロードできるため、すべての基本メトリックをさまざまなオペレーティングシステムで使用することができます。 また、ほかの方法でデータを収集しているのでなければ、これらのメトリックを1つの単純なルーチンで毎日キャプチャできるようにすると便利です。
_2017年2月。 この記事のスクリプトをPythonで書き直し、インタラクティブhtmlを含むグラフを追加しました。_Pythonユーティリティの方がはるかに役立つと思います。 「Yape - もう1つのpButtonsエクストラクタ（チャートを自動作成）」を参考にしてください。
私はAppleのノートパソコンを使用しており、つまりはUnixオペレーティングシステムを実行しているため、csvファイルへのデータの抽出には当然ながら簡単なシェルスクリプトを使用します。 次のスクリプトは、pButtonsの.htmlファイルからmgstat、vmstat、またはWindows Performance Monitorデータを抽出します。 以下の例ではほとんどの*nixシステムにインストールされているPerlを使用していますが、Windowsではほかのスクリプト言語やPowershellを使用する可能性は無限にあります。
あなたが普段使用しているツールで抽出するために必要となるすべての情報を得られるように、私がどのように抽出しているのかを説明します。 htmlファイルにメトリックを区切るためのマーカーが使われていることが重要です。 たとえば、mgstat次のように囲まれています。
<!-- beg_mgstat -->
および
<!-- end_mgstat -->
mgstatセクションには、他にもいくつかの記述子情報があり、その後にmgstat出力の見出し行が続きます。 vmstatとwin_perfmonにも同様のマーカーがあります。
この単純なスクリプトは、開始マーカーを見つけてから、ヘッダー行から終了マーカーの前の行までのすべてを出力します。
#!/usr/bin/perl
# extract_pButtons.pl - Simple extractor for pButtons
# usage: ./extract_pButtons.pl <input pButtons> <search start> <search first line output>
# pButtons has the following markers in the html source
# Metrics Parameters to pass
# -------- -------------------
# mgstat mgstat Date
# windows performance monitor win_perfmon Time
# vmstat vmstat fre
# usage example - Search for mgstat and redirect to .csv file
# ./extract_pButtons.pl DB1_20160211_0001_24Hour_5Sec.html mgstat Date > myMgstatOutput.csv
# usage example - Process a set of html files
# for i in $(ls *.html); do ./extract_pButtons.pl ${i} vmstat fre > ${i}.vmstat.csv ; done
# usage example - Pipeline to add commas
# ./extract_pButtons.pl P570A_CACHE_20150418_0030_day.html vmstat fre | ./make_csv.pl >P570A_CACHE_20150418_0030_day.html.vmstat.csv
$filename=$ARGV[0];
$string=$ARGV[1];
$firstLine=$ARGV[2];
$searchBeg="beg_".$string;
$search2=$firstLine;
$foundEnd="end_".$string;
$foundString=0;
$printIt=0;
$break=0;
open HTMLFILEIN, "<".$filename or die "Bad input file";
while (<HTMLFILEIN>) {
if (/$searchBeg/) {
$foundString=1;
}
# Look for first actual line - use something on header line
if (($foundString==1) && (/$search2/)) {
$printIt=1;
}
# No more data
if (/$foundEnd/) {
$break=1;
}
if ($break==0) {
if ($printIt==1) {
print;
}
}
}
close HTMLFILEIN;
スクリプトの先頭にある#コメントに示される通り、extract_pButtons.plは、データを画面に出力するか、出力をcsvファイルにリダイレクトするか、グラフ作成ユーティリティなど、長いワークフローのパイプラインで使用することができます。 私はオープンソースのgnuplotを使用していますが、Excelでも構いません。
次の短いPerlスクリプトは、vmstatまたはその他のテキストファイルの出力を処理しやすくするために、カンマ区切りファイルに変換するのに役立ちます。
#!/usr/bin/perl
# Convert space delimited text file to csv
# Usage example 1:
# Will create backup file vmstat.csv.bak and original file called vmstat.csv will be updated
# ./make_csv.pl freecnt.csv
# Usage example 2:
# No backup, original vmstat.txt file stays same, new output csv file
# ./make_csv.pl < vmstat.txt >freecnt.csv
use strict;
# create .bak backup file for each change
$^I = ".bak";
while (<>) {
# remove leading blanks; substitute 1 or more blanks for a single comma
s/^ +//;s/ +/,/g;
print;
}
pButtonsファイルの.htmlソースを調べて、何が含まれているのかを理解することをお勧めします。 含まれているのはシステムメトリックだけではありません。 たとえば.htmlファイルの上部には、pButtonsが実行するコマンドのリストとバージョン情報が記載されています。
データの抽出やグラフ作成にWindowsスクリプトを使用しているか、より優れた、または異なるワークフローを使用している場合は、開発者コミュニティに投稿してシェアすることをお勧めします。