サイト巡回ツールを作る

ＷＥＢサイトから自動的にデータを抽出するツールを
ＶＢＳを使って作っている。
　ＶＢＳにした理由はインストールにＤＬＬなどが
いらないのが理由なんですが、ＶＢscriptの開発環境
が貧弱で結構苦労しております。
　サイト巡回はＭＳのＩＥコンポーネントを
使用してＩＥを実際に立ち上げて　巡回先のサイトに
アクセスして表示されたＨＴＭＬをＤＯＭオブジェクト
として扱えば　必要なデータを取得する事ができる。
　しかし最近のサイトは静的なものが少ないんで
ＴＯＰページから必要なデータを表示するまでに
フォームに値をセットしたり　リンクもＵＲＬでなく
javascriptがしこんであったして　何階層か遷移させ
ないといけないんでけっこう面倒です。
階層ごとのサイトのＨＴＭＬソースを開いて解析
しないといけない事が多いです。