Насколько реально задокументировать закрытый протокол?

А какой протокол? Если он не шифруется, то да, снифить. Если шифруется - то лучше забить.

а протокол который используется в MetaTrader шифруется?

Я его не знаю, но протокол связи с брокером не может не шифроваться.

art.tsgnet: может у кого уже был опыт работы с закрытыми протоколами насколько это реально и каким образом, снифать каждый пакет?

http://www.wireshark.org/

Go deep, как говорится.

http://www.mt4api.net/

Так, думаю, будет проще.