Jeśli ma być prosto i przyjemnie to polecam Visual Studio Express 2012 for Windows Desktop (darmowe środowisko, również do zastosowań komercyjnych). Wersja 2010 też może być. Tworzysz nowy projekt w języku, który preferujesz. Ja polecałbym C# lub Basica. Typ projektu to Windows Forms. Na formatkę przeciągasz to, co chciałbyś mieć, np. Button, TextBox (dostępne w zakładce ToolBox, po lewej stronie). Właściwości kontrolek ustawiasz wizualnie, wyklikując. Dodatkowo przeciągasz kontrolkę SerialPort do obsługi RS232. Również w edytorze wizualnym ustawiasz parametry (ilość bitów, nazwa portu, parzystość itp.). Do tego etapu nie trzeba znać żadnego języka. Teraz czas to oprogramować. Klikasz dwa razy na Button i zostaniesz przekierowany do edytora tekstowego, gdzie musisz wpisać kilka linii kodu. Otworzyć port, wysłać tekst, który został wpisany do TextBox'a itd.
Prosty przykład:
W ustawieniach projektu wybierz trochę starszą wersję .NET'a - na przykład 3.5. Z Twojego punktu widzenia będzie to bez różnicy (jako początkujący). Dla klienta będzie trochę prościej, bo .NET 3.5 jest już standardowo wbudowany w Windows 7, dzięki czemu nie będzie musiał doinstalować 4.0 lub 4.5.