Wins.cgiのデータをCSV形式のファイルに落とし込むプログラムを作りました。これは、予想大会で管理者の皆さんが登録するデータを、エクセル形式で一覧にしてみることができるようにするものです。
csv_out.php（仮名）
このデータ出力プログラムは、この間作った「海外競馬データベース」の管理用に作られたものなので、正式なコンテンツとして公開する予定はありませんが、一応ここにおいておきますので、使ってみたい方は使ってみてください。EXELで分析すれば、JRA-VANとまでは行かないものの、それなりに使えると思います。
wins.cgiでは、race.cgiというファイルに全レースの基本情報（日程、開催場所、条件など）が保持されています。そしてregistXXX.cgi（登録、枠順）と、resultXXX.cgi(結果)がレースごとに作られます。200のレースが開催されていたとすると、「200×2(regist.cgi,result.cgi)＋1(race.cgi) = 401」のファイルを見に行きます。これはかなり重い処理なので、サーバが重い時間帯に動かしたり、出力ボタンの連打などをすると危険です。やらないようにお願いします。
海外競馬データベースのテーブルとCSVは同じ形式です。swanさんの管理エクセルに合わせてあります。したがって、このCSVを編集すれば簡単に「海外競馬データベース」を更新することができますし、Swanさんのデータの管理も若干楽になると思います。
CSVに落とさず、直接データを海外競馬データベースに登録することも考えたのですが、過去のデータを見ると、馬体重欄にオッズを入れてあったりして、やはりごみデータのチェックは多少したほうがよさそうだったので、ひとまずやめました。データベースの修正画面を作るまでは保留です。
【主な仕様】
・入力ファイル、出力ファイルの文字コードはSJIS。PHPはSJISに対応していないので、ソース内でエンコード&デコード。出力フォームのHTMLはEUC-JP。
・Wins.cgiの登録データを「CSVカンマ区切り」のファイルに出力する。現在のところ、基本情報（1レースにつき1行）のみ。
・騎手名などは結果情報のデータを優先して書き出す（乗り替りがあるので）。結果情報に騎手がない場合は、登録情報から騎手名を持ってくる。
・「（中止）、（XX頭）」などの文字は排除。
・半角のアポストロフィ「'」は、半角スペースに置換される。これはMySqlにアポストロフィを入れるのがちょっと厄介だからです（不可能ではない）。Predegee Onlineでも同じような対応になってます（「MR.O'Brien」 →「MR.O Brien」）。
・カンマ区切りのcsvなので、半角カンマ「,」は「.」に置換。
・外国馬は大文字の手前にスペースが入る（「NorthTheTrade」は「North The Trade」に）。ただし、前置詞（「to」、「of」など）が小文字だと、少しおかしくなる「HouseofFortune」は「Hoseof Fortune」になってしまう。
・国名・競馬場名（ex. 「愛・カラ」）というデータは国と競馬場に分けて、配置される。ただし、「香」「独」「豪」の文字、が国名に使われた場合、うまく配置されないバグがある。原因は文字コードの問題だと思いますが、ちょっと調べきれてません。
・NARのHPの結果データコピペを使って競争結果を入力した場合、元データにごみ（「?」）が入る。これがうまく処理できず、出力されてしまう。
・PHPはS-JISへの対応が遅れていて、最近ようやくできるようになりました。作ってる最中、文字化けではまって死にそうでした。あまりの文字化けに、一瞬Perlで書き直そうと思ったのは内緒です（笑）。
・最後に関数の構造をいじったせいで、ひとまず動いてるだけといった状態です。変数の受け渡しをちゃんとチェックする時間がなかったので、Global変数連発という恥ずかしい状態になってます。
【次やること】
・レース詳細データを設計する。
・MySQLでログを保持する掲示板を作る。これを改造する予定。
» 続きを読む
Posted by 1972 at
00:30
|
コメント (0)
|
Clip!!
構想１年、製作５時間の超大作（？）「海外競馬DB」の試作品ができました。
海外競馬ＤＢ（試作品）：開発中なので、タイミングによってはつながらないかも。
Shodo Farmもなくなっちゃいましたし、もともと海外競馬は血統がメインで、予想に生かせるようなサイトはあまりありません。当たり前ですが。で、神様のような海外予想大会管理人のSwanさんが予想大会を管理する上でデータを保管していらしたので、せっかく集めた情報を生かせないかということで、土日作ってみました。馬券なんてまじめに予想してもどうせあたりゃしないし。
「牝馬限定」とか、「距離別」にデータを取りたいので、まだまだ検索ボックスを改造する予定ですが、ひとまず使ってみて感想を書いていただけるとうれしいです。
さて、こういうデータベースをどうやって作るのかという話を何回かに分けて書いてみたいと思います。
大量のデータが扱われている競馬ですが、データの構造としてはそれほど複雑ではありません。頻繁に更新されるデータの集まりをトランザクションテーブルというのですが、競馬のデータというのは以下の３つのトランザクションテーブルでほぼ足りてしまいます。
（１）レース主要データ：１レースにあたり１つしかないもの（賞金、馬場状態、配当、頭数、出走条件、勝ちタイムなど）
（２）レース詳細データ：１レースあたり複数データが生じるもの（登録馬、着差、馬体重など）
（３）馬データ：１頭あたり、ひとつしかないも各馬の属性（父、母、毛色、産地、オーナーなど）
かいつまんで言えば、Exelのシート３枚でほぼ足りるということです。たとえばJSEで言えば、レースの詳細情報、レース主要データ、馬データはそれぞれこんな感じです。
レースに関しては「登録情報」「枠順確定」「レース結果」と３つ必要じゃないか、という気がしないでもないのですが、登録された馬に対して、「出走」、「出走回避」、「枠順確定」と状態（ステータス）が変わっていくだけなので、概念上は一つにすることができます。その一方、たとえば馬の故障履歴とか、オーナーの変更履歴、調教タイムのようなものまでデータベースで管理しようとすると、より複雑になりますが、そこまでやる人はまずいないですね。やったらすごいですけど。
トランザクションデータ以外にマスタデータと呼ばれるものがあります。それは、参照はされるけれども、更新されることはほとんどないデータです。たとえば、騎手、調教師、競馬場などです。こういうものはマスタテーブルという別のExelシート（のようなもの）ものに集めます。「騎手マスタ」、「調教師マスタ」、「競馬場マスタ」。マスタまで作るかどうかはまだまだ考えてません。
このように、いろんなデータを分類して頭の中で整理することを「論理設計」「概念設計」といいます。データを整理し、なるべく重複するデータを持たないようにすることがシンプルな設計のコツです。 このあと、実際に管理のしやすさとか、パフォーマンスを考慮して実際のデータベースを設計します。これを「物理設計」といいます。今のサーバでMySQLをどの程度酷使しても平気か？など。この話また次回。
今回作ってみたのは１：レース主要データ」の部分です。もちろんこれだけでは血統表や、各馬の出走履歴を扱うことはできません。元データがあちこちに散逸してる上、微妙に表記が異なるので、（「Pat Day」と「Pat. Day」になってたり）整形するのが大変そうです。血統表は作るの自体は面白そうですが、ほかにいくらでもあるので、あまり作る気ありません。作ったらデータ集めなきゃいけないし、めんどくさいので＾＾；
P.S.
データベースの名前をどなたか考えてください（笑）
Posted by 1972 at
19:19
|
コメント (0)
|
Clip!!
早いもので、あさ◎も開設してからはや1年半が経とうとしています。最近の楽天サーバのトラブルで移転という騒ぎになったのですが、ちょうどいい機会ですので、私がどんな考えであのサイトを運営してるかを少し書いてみます。
そもそもあさ◎は仲間内で予想大会でもやろうかということで、軽い気持ちで開設されたものです。私も当初は予想大会と掲示板だけという簡単なHPをと思い、あまり力を入れるつもりもありませんでした。ところが、vovoxさんが作ってくださったHPのデザインがあまりにも素晴らしかったので、私も触発されてきちんとしたHPにしてみようと考えるようになりました。
自分自身初めて管理するサイトだったのですが、最初から念頭においていたのは以下の2点です。
（１）参加型のサイトにしたい
（２）Web関連の技術について学んでみよう
（１）参加型のサイトにしたい
コンテンツの企画と管理を参加者みんなでやろう、というものです。現在は大体以下のような感じになってます。
（a）誰かが企画を持ち込む、
（b）私がそのための環境を用意、
（c）vovoxさんがデザインを担当、
（d）運営はみんなで行う、
コラム、海外予想大会、POG、ファンタジーベースボール、妄想大会等、あのサイトのほとんどの企画が、私の発案ではありません。また、現在、コラムの執筆者から予想大会の管理まで何らかの形でサイト管理に携わってる方は20人を超えると思います。また、vovoxさんはお忙しい中、だいたい4度位にわたってサイトのリニューアルをしてくださっています。
これは一般論ですが、参加型サイトは管理者と参加者双方にメリットがあると思います。管理者にとっては、�，い蹐鵑淵▲ぅ妊◆▲灰鵐謄鵐弔鮟犬瓩襪海箸�できる、�▲汽ぅ箸鮓朕佑任鷲垈椎修並腓�なサイズににすることができる、�５案擦望茲辰心覯茲留娠弔鯒い擦襪海箸砲茲辰董⊃靴靴ご覯茲棒貲阿任�る、�ぜ�身が忙しいときでもうまく回すことができる。一方、利用者にとっても、�￣娠弔�円滑に行われる分、快適にサイトを利用できる、��提供した情報を一定の人数に見てもらうことができる、��情報の共有ができる、というメリットが考えられます。
競馬でいうと、ＪＳＥなどは参加型で運営されています。ＪＳＥはこことは比べ物にならない規模のお化けサイトですが、運営面ですごく参考にしています。あそこは情報の提供（馬登録や情報投稿）は参加型で、運営（不正投稿の削除、レース結果のアップなど）と、メンテナンス（サーバ移転、パフォーマンスチューニング）は管理者の方が一手にやっています。あそこは参加者の情報提供のモチベーションを最大限あげてくれるような仕組みになっています。まず規模が大きいので、情報を投稿すれば多くの人に見てもらえます。その上データベースなので、掲示板と違って投稿した情報が死にません。また、管理する側からすれば、データが自然と増えていくのは大きなメリットです。
しかしその一方で、あそこまで大きな規模のサイトの運営とメンテナンスを一手にやり、しかもその中で、管理人さんは折を見て新しい仕様の追加までやるのは、おそらくものすごく大変だと思います。ＪＳＥも当初はファン同士の交流ももっとできるようなルールだったようですが、やはりファン同士のいさかいが多すぎて、そうした交流は現在は若干抑えられています。また、いろいろ暖めてる企画・仕様がおありの様子なのですが、やはりあれだけやることが多いと、なかなか新しいことに取り組むのも大変だと思います。
管理者としてはどうしても新企画、新仕様とくらべると運営とメンテナンスのほうを優先せざるを得ません。しかし、一方で管理者というのは新しいことをやりながらモチベーションを維持していくものです。この辺はおそらく人にもよると思いますが、少なくとも私はそうです。ですから、私としては運営・メンテの手間をなるべく最小限に抑えて、最大限新しいことに取り組みたい、と考えています。
そこで、あさ◎では開設当初からＪＳＥよりさらに一歩踏み込んで、情報提供だけでなく運営までもなるべく参加型にできないかなということで、今のような体制を試してみました。運営まで参加型にするためには、継続して運営をお任せできる常連さんに恵まれなくてはなりません。また、荒らし対策などの後ろ向きな対応は最小限に押さえら得れてなければなりません。幸い、前者の常連さんには開設当初から本当に恵まれています。また、後者の荒らし対策ほうですが、ほとんど宣伝もリンクもされていない陸の孤島サイトという感じになっていますので、今のところほとんど問題はおきていません。
要するに、運営の管理の方針として、ＪＳＥよりも参加型の度合いを高めて、その一方で少しクローズ（宣伝をしない）なのが今のあさ◎だと思います（もちろんコンテンツの規模や内容は足元にも及ばないです）。つまり一言で言えば、より怠け者の管理人でも何とかなる体制ということです（笑）
（２）Web関連の技術について学んでみよう
これは完全に個人的なものです。仕事でプログラムは作ったことがありますが、WEB関連は素人です。上記のようなえらそうなことを考えていたにもかかわらず、このサイトを立ち上げたときはHTMLすらろくにわからない状態でした。とりあえず一通りのことを出来るようになりたかったのと、サイトのデザインについて勉強してみたいと考えていました。そこで、「食わず嫌いをせずにうまいかまずいかは食べてから判断しよう」という、いいかげんな方針の下、使えそうなものには次々と飛びついていきました。
・改造したcgiは15くらい
・ろくに検証せず、さっさとBlogにとびつき、執筆者のみなさまに迷惑を・・
・延べ約70ものcgiを設置してvovoxさんに迷惑を・・
・すぐにサイトの構造を変えてvovoxさんに（以下略
私は技術そのものよりも「もっとも楽、かつユーザビリティが高くなる方法」を考えるのが好きなので、サイトの構造やら掲示板などを本当にコロコロ変えて、逆にみなさまにものすごくご迷惑をかけています。できるだけ運営に支障の出ないやり方でやりますので、大変申し訳ありませんがお付き合いください。
でも、おかげさまで基本的なことは大体できるようになってきたのと、この新しいサーバではiswebよりもいろいろ新しいことができそうなので、次はもう少し発展的なことをやってみたいと思っています。
・・・とまぁ、このような感じで駄文を書きましたが、要するに何が言いたいのかといいますと、こんなダメ管理人が運営しているにもかかわらず、ここまで今回のサーバのトラブル以外のトラブルもなく順調に運営できているのは、ひとえに運営に協力してくださってるみなさまのおかげですと、この機会にお礼を申し上げたいなと。どうもありがとうございます。そしてこれからもよろしくお願いします。
Posted by 1972 at
10:03
|
コメント (0)
|
Clip!!
こっちは個人的に感じたことなどをつらつらと書いていこうと思います。
基本的に競馬とは関係のない話になると思います。
最近少しお勉強熱が上がってるので、
そういったことを備忘録代わりに書いていければと思います。
Posted by 1972 at
08:46
|
コメント (0)
|
Clip!!
