Program & Script 視線入力の強い味方UWSCスクリプト |
●スクリプトって何?
私がUWSCというスクリプトなるものを知ったのはついこないだのことですから、まだまだ勉強中の初心者です。しかし、ALSという病気は待ってはくれませんから、一刻も早く自分を助ける道具を自分の手で作る必要がありました。何故なら、手が不自由な人がWindowsパソコンを普通に使えるようになるためのツールやサービスがほとんど存在しないからです。先ずはこの動画をご覧ください。マウスを使わずに視線入力キーボード操作でウィンドウを移動させたりサイズを変えています。さらに複数のアプリを次々と終了させています。■スクリプトによるウィンドウ操作(動画)・・・旧バージョン
■スクリプトによるMicrosoft Wordの文書編集(動画)・・・旧バージョンUWSCスクリプトは、パソコンのキーボードやマウスの操作、メニューや画面の動きを記録して再生したりプログラミングできます。ここに掲載したスクリプトは、視線入力キーボードや視線マウスを使って1文字〜3文字の短いコマンド入力やボタン操作をすることで画面操作や文章編集よく行う様々な操作を自動的にやってくれます。私が組んだスクリプトは公開してありダウンロードできます。
機能 スクリプト名 説明 コメント (0)パソコンのボリューム操作
(メニュー方式)01-volume.uws シンプルにパソコンの音量調整 パソコン本体のボリュームを操作します。 (1)ウィンドウ移動&サイズ変更
(メニュー方式)01-win-controler.uws ウィンドウ移動
ウィンドウサイズ変更
ウィンドウの最大化&元に戻す
エクスプローラーの操作
アプリの切り替え
アプリの終了ウィンドウの上を掴んで移動させる、ウィンドウのヘリをつかんで広げる、そんな何でもないことが視線入力では至難の業です。それを簡単にやるためのツールです。 (2)iTunesオペレータ(メニュー方式) 01-itunes.uws
(iTunes Operator)アルバム選択
Play/Pause/Stop
Previous/Next
Shuffle ON/OFF
ボリューム±iTunesのさまざまな操作をボタン一発で行うために作りました。
しかもiTunesの弱点をカバーしてより使いやすく あります。
私のお気に入りで毎日愛用しており日々改良されています。
使用上の注意1:SettingsにあるiTunes起動時間は、遅いパソコンでは7秒以上に設定してください。
使用上の注意2:Videoモードの時の制御が非常に難しいため試行錯誤中です。(3)文書編集・Web閲覧ツール(メニュー方式) 01-docs-editor.uws 文章入力
カーソル移動
文字列・行選択
行選択モード
コピペ&削除&編集機能
Webブラウジング
Webスクロール
Gmail、Youtube、MS Word機能
よく使う語登録MS Wordなどを使って文書を作成したり本や原稿を執筆するために作りました。
Webブラウザを使いこなすための機能を充実しつつあります。
Gmail、Youtube、Facebook機能を実験中です。
Web閲覧でテキストをコピペする場合は、テキストの開始位置をマウスでクリックしてからテキストを範囲選択してください。(4)ペイント・オペレータ(メニュー方式) 01-paint-operator.uws
01-paint-adjustor.uws画像の範囲指定して選択。
サイズ変更、トリミング。
コピー/切り取り/ペースト。
画像の移動、図形描画、スクリーンショット。
操作の取り消しなど。ホームページや書籍の執筆で使用する画像編集のためにペイントでの操作を視線入力化しました。
画面の拡大縮小、任意の範囲選択、トリミング、全体あるいは部分の上下左右移動などの画像編集が、マウス操作より精密なピクセル単位でできます。
新たに消しゴム機能とスクリーンショット機能を追加しました。
まだまだ上手く動いてくれないところやバグがたくさんあります。(5)UWSC.ini捜索 02-ini.uws UWSC.iniを見つける。 どこにあるのか見つけにくいUWSC.iniファイルを一発で見つけてくれます。UWSCのランチメニューの位置や文字サイズを変える際に必要です。 (6)UWSCコーディング編集ツール(コマンド入力方式) 02-uwsc-editor.uws UWSCのコーディングを補助する。
サクラエディタを使ってください。関数や構文を書いてくれるのでスペルミスしなくなり、
コーディングスピードも5倍以上速いです。
自分用に作ったのでかなり癖があります。(7)UWSCウィンドウ情報収集ツール 02-window-rep.uws UWSCの開発に必要な情報を収集する。
サクラエディタを使ってください。ウィンドウの上にマウスポインタをかざすだけで、ウィンドウID、タイトル、クラスを収集してテキストファイルに記録してくれます。
●スクリプトの使い方
UWSCスクリプトには癖がありますから、使いこなすにはその癖をよく理解しておく理解しておく必要があります。<操作の癖>
★ スクリプトはあなたに代わってキーボードやマウス操作をします。操作したい画面が出ていないと正しく動きません。
→ 別のウィンドウに切り替えたり、マウスポインタが視線入力キーボードとかぶった場所にあると認識されません。
★ コマンドの多くはよく知られているショートカットと同じキー(例えばVコマンド=Ctrl+V、Zコマンド=Ctrl+Zのように)に設定してあります。
★ 操作のコマンドは、全角・半角・大文字・小文字は区別しない。
★ 視線入力キーボードの入力では、かな変換操作のために2回Enterになることが多い。<デスクトップにアイコンを作って使う>
UWSCスクリプトは普通は次に説明するランチメニューに登録しておき、先ずはランチメニューを呼び出してそこで処理を選んで起動します。しかし、ランチメニューの登録が面倒、いちいちランチメニューを経由しないで一発で起動したいと思う人は多いと思います。常時使いたいスクリプトのアイコンをデスクトップに置いておく、それをスタートメニューにピン留めする方法を先にご紹介します。(1)UWSCのアイコンを右クリックしてショートカットのコピーを作る。
(2)今作ったショートカットのプロパティを開いて、「リンク先」の後ろに起動したいスクリプト名を追加します(赤枠)。
(3)そのままだとアイコンが元のままで面白くないのでアイコンを変更しましょう。「アイコンの変更」画面を開いても選択肢が表示されませんが「参照」ところに以下のアドレスをコピペしてEnterするといろいろ出てきます(青枠)。
「%SystemRoot%\System32\shell32.dll」
(4)出来上がったアイコンを右クリックすれば、スタートメニューのピン留めができます。下の画像は左側が素のiTunesで右側がスクリプトで起動されるiTunes、いつも使うのは右側です。
<ランチメニューに登録して使う>
★ ランチメニュー(お昼のメニューではありません)に登録しておくと、メニューから使いたいスクリプトの番号を選ぶだけでスクリプトを呼び出せます。
★ ランチメニューの呼び出しの初期設定は「Ctrl+W」ですが4つある視線入力キーボードのどこからでも呼び出せるように「Ctrl+Space」に変更しました。ランチメニューの設定で変更できます。
★ ランチメニューの実行画面では、番号・アルファベットをタイプするとスクリプトが実行されます。
★ 同時に2つ以上のスクリプト<を実行させたい時は、ランチメニューの左下の「別プロセスで実行」をチェックしておきます。●UWSC入手と設定方法
<入手の方法と基本的な設定>
私が使っているのと同じものを差し上げます。以下のファイルをダウンロードして解凍したら、フォルダごと「ドキュメント」に移動させてそこに置いておきます。特にインストール作業はありません。UWSCフォルダの中にある「UWSC.exe」をクリックすれば起動して待機状態になります。uwsc2020.zip・・・この中にUWSC本体と公開しているスクリプト及び.iniファイルなど必要なものが全部入っています(2020.3.1 最新版です。頻繁に更新しています。ダウンロードされた場合は全部入れ替えてください。)。
「UWSC.exe」が起動すると、右下のタスクトレイで見つけることができます。右クリックでUWSCの記録・再生の設定が現れます。これを使うとマウスやキーボード操作を覚えさせることができます。左クリックでランチメニューの設定が現れます。最初はランチメニューはからっぽなので登録は各自で行ってください(後述)。
必要に応じて使いたい場合は右クリックでスタートメニューにピン留めしておけばいいでしょう。パソコンの起動と同時にUWSCを常駐させておきたい場合は、UWSC.exeをスタートアップに登録しておきます。スタートアップに登録する方法は以下のサイトを参照してください。
https://www.tipsfound.com/windows10/11012
<ランチメニューの表示場所・メッセージの文字サイズ>
ランチメニューはデフォルトでは画面のど真ん中に出るため視線入力キーボードとかぶって使いにくいです。入力画面やメッセージ画面の文字が小さいのも修正したいところです。これらの設定は場所は「UWSC.ini」というファイルに書いてあり、これを書き換えることで場所を変更できます。「UWSC.ini」はパソコンによって場所が一定ではないので、エクスプローラーの検索入力のところに「%APPDATA%\UWSC」と入力するか(右の画像)、画面左下ので右クリックして「ファイル名を指定して実行」のところに「%APPDATA%\UWSC」と入力します。
UWSC.ini捜索スクリプトを作りました。上記UWSCダウンロード・ファイルの中にある「INI.UWS」を実行すると探し出してくれます。
UWSC.iniの中のDefaultFontが入力画面やメッセージ画面のフォントの設定です。コンマの左側がフォントの指定で、コンマの右側がフォントサイズの指定です。フォントサイズは10か11くらいが使いやすいです。
UWSC.iniの中のPositionがランチメニューの画面上の表示アドレス(X,Y座標のピクセル数)です。デフォルトは「-1,-1」でこれは画面のど真ん中になります。「30,50」から「50,100」くらいにしておくと画面左上隅になって具合がいいです(下の画像)。数字が増えるにつれて右へ下へ移動します。UWSC.iniの設定が反映されるためにはUWSC.exeを再起動する必要があります。
●(1)ウィンドウ移動&サイズ変更ツール
スクリプト・ソースコード:01-win-controler.uwsマウスによるドラッグが苦手な視線入力では、ウィンドウの位置を変えたりサイズを変えるのが大変です。ショートカットの「Alt+Space」を使えばできないことはありませんが大変な労力が必要です。そこでウィンドウ移動&サイズ変更ツールを作りました。
<ウィンドウ操作機能の概要>
バージョン2.0まではコマンド入力をする形式だったのでコマンドを覚えなければなりませんでした。バージョン3.0からはコマンドをタイプする必要がないメニュー操作式に変更したので操作性が大幅に向上しました。<さまざまなウィンドウ&アプリ操作>
ウィンドウの最大化、元のサイズ、他のアプリに切り替えてのウィンドウの操作、アプリの終了などができます。当該アプリを終了させた時は、操作の対象は自動的にマウスカーソルが置かれている次のアプリに引き継がれてゆきます。<ウィンドウが画面からはみ出ない制御>
ウィンドウを移動させたり拡大するとウィンドウが画面からはみ出したりどこか見えないところに行ってしまうことがあります。そのような困ったことにならないように、お使いのパソコンの画面サイズとウィンドウサイズを自動的に判定して動作を制限します。注意:このツールは、Windowsアプリのファイルメニューに標準的についている「Alt+Space」機能を使っています。アプリによっては「Alt+Space」機能がないため動作しないことがあります。
メニュー 機能 説明 □ 終了 □ スクリプトの終了 - |← 最大化 →| ウィンドウの最大化 フルスクリーン状態にする。 →| 普通サイズ |← 元のサイズのウィンドウ フルスクリーン状態でないウィンドウ。 ← 左に移動 ← 左方向に移動 - → 右に移動 → 右方向に移動 - ↑ 上に移動 ↑ 上方向に移動 - ↓ 下に移動 ↓ 下方向に移動 - 右を拡大 →→ 拡大 ウィンドウの右側を拡大。 右を縮小 ←← 縮小 ウィンドウの右側を縮小。 下を拡大 ↓↓ 拡大 ウィンドウの下側を拡大。 下を縮小 ↑↑ 縮小 ウィンドウの下側を縮小。 アプリを閉じる アプリの終了 - アプリの切り替え ターゲットのアプリの切り替え タスクビュー画面が出るので切り替えたいアプリを左クリック。 Windowsその他の機能 エクスプローラー機能
Windows設定画面- 移動・変化の調整 移動量・拡大/縮小の変化量の指定 デフォルトは6。調整範囲は1〜30。
●(2)iTunesオペレータ
ショートカットキーなどのキーボード操作なしで、iTunesのほとんどの操作ができるようにしたスクリプトです。iTunesの弱点をカバーしているので、視線入力でなくても普通に便利です。スクリプトが起動すると最初に「iTunes」を起動します。続いてiTunesおよびパソコンのボリュームをチェックして初期設定します。それが終わるとようやく操作メニューが現れます。
使用上の注意:iTunesを起動するためのパス(iTunes.exeがある場所)が01-itunes.iniに書いてあります。通常は「C:\Program Files\iTunes\iTunes.exe」ですがこれと異なる場所にインストールされている場合は書き換えてください。
ソースコード:01-itunes.uws
メニュー 表示 説明 メインメニュー Select Album アルバム選びの画面スクロール。
アルバム画面は「グリッド形式」が条件です。。Play> / Pause|| Play。
Pause ON/OFF。<<Previous 曲の先頭に戻る(1度押し)。
前の曲に戻る(2度押し)。Next>> 次の曲。 Stop ■ (完全)停止。 Volume ++ 音量を2クリック上げる。 Volume + 音量を1クリック上げる。 Volume − 音量を1クリック下げる。 Volume −− 音量を2クリック下げる。 Mute -Volume- 音量を下げてミュートON/OFF。
右側に現在のボリューム値が表示される。Now Playing! 現在演奏中の曲を表示。 Shuffle シャッフルをON/OFF。 Media メディア切り替え。(Music、Movie、TV、Podcast・・・)
注意:Music以外のメディアは上手く操作し切れていません。Window Control ウィンドウサイズの変更や移動操作。 Settings 設定メニューへ。 Move → R
L ← Move・操作メニュー/メッセージ表示位置の左右移動。
・操作メニューが他のアプリ操作の邪魔になる時に左右に逃げます。□ End □ スクリプトの終了。 設定メニュー 終了 メインメニューに戻る。 iTunesを起動 iTunesが起動されていない時。 Select&Play待機 Select&Playを開始してから自動的にメインメニューに戻るまでの待機時間。 アプリ画面優先 他のアプリ同時使用に配慮した動きをするか、常にiTunesを最前面にする動きの切り替え。 PC/iTunesボリューム設定 ・PCボリュームの初期化再設定(0%〜100%)。
・iTunesボリュームの初期化再設定(0〜22)。PC/iTunesボリューム + ・PCsボリューム設定を2%上げる。
・iTunesボリューム設定を1ポイント上げる。PC/iTunesボリューム − ・PCボリューム設定を2%下げる。
・iTunesボリューム設定を1ポイント上げる。サイドバーON/OFF プレイリスト等のサイドバー表示ON/OFF。 iTunesを同時に終了ON/OFF スクリプト終了時にiTunesも同時に終了するON/OFF。 iTunes環境設定 iTunesの環境設定画面へ。 iTunes起動時間 ご使用のパソコンに合わせて余裕ある時間を設定してください。 メディア設定 iTunes起動時のメディア初期設定。 メニュー上下位置 ・メニューの上下位置の微調整(ディスプレイ上辺からピクセルで指定)。
・操作メニューが他のアプリ操作の邪魔になる時に位置を調整できます。メニュー左右位置 ・メニューの左右位置の微調整(ディスプレイ左右端からピクセルで指定)。
・操作メニューが他のアプリ操作の邪魔になる時に位置を調整できます。注意:このスクリプトは、ユーザー設定を「01-iTunes.ini」および「01-iTunes.bak」ファイルに保存しています。
注意:iTunesを起動するためのパス(通常は"C:\Program Files\iTunes\iTunes.exe")を「01-iTunes.ini」に書き込んであります。iTunesが別の場所にインストールされている場合は修正してください。
注意:このスクリプトは起動時にパソコンとiTunesのボリュームの設定を行っていますが、iTunesが十分起動しきれないうちにその設定が始まってしまうとボリューム設定にずれが生じます。iTunesの起動に要する時間はパソコンごとに異なります。iTunes起動時間はパソコン起動後が1回目が最も長くかかり、2回目からは早くなります。●(3)文書編集多機能ツール
文書の作成では、ひたすら書き進めていくだけでなく、後から書き足す、削除する、コピペする、順序を入れ替えるといった作業のためにマウスを頻繁に動かしますが、これが視線入力ではとても面倒です。このスクリプトは文書作成と編集を助ける目的で作りました。さらにWebブラウザをスクロールしたり画面の情報をメモ帳などにコピーすることもできます。標準的な流れは以下の通りです。
文書編集:「開始」→「カーソル移動」→「文章入力」→「編集」→「選択」→「コピー/切り取り/削除」→「カーソル移動」→「貼り付け/書き足し/編集」・・・ソースコード:01-docs-editor.uwsWeb閲覧 :「開始」→「画面スクロール」→「閲覧」→「マウスクリック」→「選択」→「コピー/切り取り/削除」→「MS Word起動」→「貼り付け/書き足し/編集」・・・
<メインメニュー>
メインメニューの下に非常に多くのサブメニューがあり、より細かい指定ができます。
メニュー 機能 説明 終了 スクリプトの終了 - マウス操作 マウスで左クリックするまで待機。 ・マウスによるカーソル位置決め。
・ダイアログボックスなどのクリック操作。テキスト入力 多機能のテキスト入力機能。 ・テキスト入力。
・コマンド操作。
(カーソル移動、スクロール、改行、TAB、削除、文字列選択、コピー、貼り付け、取り消し、よく使う語学、入力困難文字、半角変換入力、各メニューの呼び出し)← カーソル移動 → 文章中で左右方向にカーソルを移動。 文字数を指定して移動、微調整、左右端移動ができる。 ↑ カーソル移動 ↓ 文章中で上下方向にカーソルを移動。 行数を指定して移動、微調整、文頭・文末移動ができる。 ↑ スクロール ↓ 文章中で上下方向にスクロール。 行単位、ページ単位のスクロール、微調整ができる。
Web画面で複数のスクロールがある時はカーソルポジションを指定できる。削除 任意の文字列の削除。 文字数を指定しながらBackspace、Deleteで削除する。 貼り付け コピーペースト。 直近にコピーしたものの貼り付け。 よく使う語 自分がよく使う語を登録。 名前や住所、ブログのURL、入力しづらい語句などを登録しておける。 入力困難文字 視線入力キーボードで入力しづらい文字入力機能。 半角記号、全角記号、全角スペースなどをボタン一つで入力できる。 文字列選択 任意の文字列を選択。 ・選択範囲の微調整。
・左端から、右端までも可。
・コピー、切り取り、削除。
・コピー、切り取りは最大2つまで記憶できる。行選択 任意の複数行を選択。 ・選択範囲の微調整。
・文頭から、文末までも可。
・コピー、切り取り、削除。アプリの切り替え 作業対象アプリの切り替え。 ・1つのスクリプトで複数のアプリを切り替えて使える。
・Webサイトを見ながら記事を書くなど同時に2つのアプリを使うことができる。
・ブラウザの記事をコピーしてMS Wordに切り替えて貼り付けるなど。ウィンドウ操作 作業対象アプリのウィンドウサイズ変更、最大化、ウィンドウの移動。 01-win-controler.uwsを呼び出している。 Web操作 Webアプリケーション支援。 ・ブラウザ(Internet Explorer、Firefox、Edge)機能。
・Gmail機能(実験中、メールアドレス入力で難航中)。
・Facebook機能(実験中、いろいろと難航中)。
・Youtube機能(実験中、ボリューム調節で難航中)。メニューを右へ → メニュー位置の左右移動 メニューが画面の邪魔になる時にボタンひとつで左右に移動。 ※このスクリプトは開発途上です。日々更新しています。こんな機能が欲しい、ここが使いにくいといったご希望がありましたら掲示板またはメールにてお知らせください。
●(4)ペイント・オペレータ(開発中)
マウスやキーボード操作なしで、ペイントによる画像編集の主な操作ができるようにしたスクリプトです。画像の加工処理はペイントが行いますが、このスクリプトが精密な操作や煩雑な操作を代行します。使用上の注意1:使用するパソコンのディスプレイによって画像と画面の位置関係にずれが生じます。このスクリプトにはそのずれを検出するユーティリティを用意しました。初めて使用する時に自動実行されます。Settingsメニューにありますので必要に応じて実行してください。
使用上の注意2:スクリプトが操作する自動マウスが画像処理をしますので、操作画面上に他のウィンドウや視線入力キーボードがあると処理ができません。ソースコード:01-paint-operator.uws(スクリプト本体)
ソースコード:01-paint-adjuster.uws(ユーティリティ)
メニュー 表示 説明 メインメニュー ■ 終了 ■ スクリプトの終了。 ファイル 画像ファイルを開く。開いている画像サイズの表示。 画面調整・設定 ディスプレイの調整などさまざまな設定。 ズーム +/− ズーム(表示のみで画像サイズは変わらない)。
画面に収まりきれない大きな画像を処理する際に使う。サイズ変更 % 画像サイズを倍率1%単位で変更。 範囲を選択 画像を1ピクセル単位で範囲選択。 → トリミング ← トリミング(選択部分を残して他を削除)。 コピー / 切取り / 貼付け コピー、切り取り、貼り付け。 ←↑ 移動 ↓→ 選択部分の上下左右の移動。 図形描画 直線・丸・四角形などの図形を描く。 塗りつぶし 色をつける。 消しゴム 画像の部分を精密に消す。 選択解除 選択を解除。 操作の取消 遡って操作を取り消す。 スクリーンショット パソコン画面をキャプチャして貼り付ける。 ズームメニュー Quit Zoomの終了。 ズーム +(拡大表示) 小さな画像を拡大表示。 ズーム −(縮小) 大きな画像を縮小表示。 ズームのリセット ズームを等倍に戻す。 ズーム再調整 Zoomの状態とZoom比のずれを修正する。 Selectメニュー Quit Selectの終了。 Go 選択の実行。 Enter X/Y 選択範囲(上下左右のX/Y値)をピクセルで指定。
選択範囲を左上のX/Y値とW/Hをピクセルで指定。Left 選択範囲の左側X値の設定・修正。 Right 選択範囲の右側X値の設定・修正。 Top 選択範囲の上側Y値の設定・修正。 Bottom 選択範囲の下側Y値の設定・修正。 Select All すべてを選択。 Copy コピー(選択後に表示される)。 Cut 切り取り(選択後に表示される)。 Paste 貼り付け(選択後に表示される)。 Copy/Cut/Pasteメニュー Quit Copy/Cut/Pasteの終了。 Copy コピー。 Cut 切り取り。 Paste 貼り付け。 Moveメニュー Quit Moveの終了。 ← Left 左方向への移動量の設定。 Right → 右方向への移動量の設定。 ↑ Up 上方向への移動量の設定。 Down ↓ 下方向への移動量の設定。 Select All すべてを選択。 Draw Shapeメニュー Quit Draw Shapeの終了。 Select Shape 図形の選択。マウスor←↑↓→キーで選択したらEnter。 Select Line 線の太さの選択。マウスor←↑↓→キーで選択したらEnter。 Select Color 色の選択(色1のみ)。マウスで選択したらEnter。 Enter Position X/Y 図形の始点と終点をX/Y座標で指定。 Go 図形描画。 Saveメニュー Quit Saveの終了。 Overwrite Save 上書き保存。 Save with Name as JPG Jpg形式で名前を付けて保存。 Save with Name as PNG Png形式で名前を付けて保存。
Enjoy iTunes Music with Eye Trackerに戻る