Не смотрели что-нибудь из серии Max/MSP, PureData? Если хочется в виде программы писать, а не стрелочек рисованных — Overtone, SuperCollider, CSound, ChucK, Faust? Ну и если вдруг придется упор на графику делать — Processing? Еще кажется Pixelang из этой серии.

Это все специализированные языки для создания звука и изображений. Я очень уважаю ваш порыв, но есть ли смысл изобретать велосипед?