mudpy/tests/selftest.py

   1 # Copyright (c) 2004-2019 mudpy authors. Permission to use, copy,
   2 # modify, and distribute this software is granted under terms
   3 # provided in the LICENSE file distributed with this software.
   4
   5 import os
   6 import pathlib
   7 import re
   8 import shutil
   9 import subprocess
  10 import sys
  11 import telnetlib
  12 import time
  13
  14 pidfile = "var/mudpy.pid"
  15
  16 test_account0_setup = (
  17     (0, "Identify yourself:", "luser0"),
  18     (0, "Enter your choice:", "n"),
  19     (0, 'Enter a new password for "luser0":', "Test123"),
  20     (0, "Enter the same new password again:", "Test123"),
  21     (0, r"What would you like to do\?", "c"),
  22     (0, "Pick a birth gender for your new avatar:", "f"),
  23     (0, "Choose a name for her:", "1"),
  24     (0, "What would you like to do?", "a"),
  25     (0, "Whom would you like to awaken?", ""),
  26 )
  27
  28 test_account1_setup = (
  29     (1, "Identify yourself:", "luser1"),
  30     (1, "Enter your choice:", "n"),
  31     (1, 'Enter a new password for "luser1":', "Test456"),
  32     (1, "Enter the same new password again:", "Test456"),
  33     (1, r"What would you like to do\?", "c"),
  34     (1, "Pick a birth gender for your new avatar:", "m"),
  35     (1, "Choose a name for him:", "1"),
  36     (1, "What would you like to do?", "a"),
  37     (1, "Whom would you like to awaken?", ""),
  38 )
  39
  40 test_actor_appears = (
  41     (0, r"You suddenly realize that .* is here\.", ""),
  42 )
  43
  44 test_explicit_punctuation = (
  45     (0, "> ", "say Hello there!"),
  46     (0, r'You exclaim, "Hello there\!"', ""),
  47     (1, r'exclaims, "Hello there\!"', "say And you are?"),
  48     (1, r'You ask, "And you are\?"', ""),
  49     (0, r'asks, "And you are\?"', "say I'm me, of course."),
  50     (0, r'''You say, "I'm me, of course\."''', ""),
  51     (1, r'''says, "I'm me, of course\."''', "say I wouldn't be so sure..."),
  52     (1, r'''You muse, "I wouldn't be so sure\.\.\."''', ""),
  53     (0, r'''muses, "I wouldn't be so sure\.\.\."''', "say You mean,"),
  54     (0, 'You begin, "You mean,"', ""),
  55     (1, 'begins, "You mean,"', "say I know-"),
  56     (1, 'You begin, "I know-"', ""),
  57     (0, 'begins, "I know-"', "say Don't interrupt:"),
  58     (0, r'''You begin, "Don't interrupt:"''', ""),
  59     (1, r'''begins, "Don't interrupt:"''', "say I wasn't interrupting;"),
  60     (1, r'''You begin, "I wasn't interrupting;"''', ""),
  61     (0, r'''begins, "I wasn't interrupting;"''', ""),
  62 )
  63
  64 test_implicit_punctuation = (
  65     (0, '> ', "say Whatever"),
  66     (0, r'You say, "Whatever\."', ""),
  67     (1, r'says, "Whatever\."', ""),
  68 )
  69
  70 test_typo_replacement = (
  71     (1, '> ', "say That's what i think."),
  72     (1, r'''You say, "That's what I think\."''', ""),
  73     (0, r'''says, "That's what I think\."''', "say You know what i'd like."),
  74     (0, r'''You say, "You know what I'd like\."''', ""),
  75     (1, r'''says, "You know what I'd like\."''', "say Then i'll tell you."),
  76     (1, r'''You say, "Then I'll tell you\."''', ""),
  77     (0, r'''says, "Then I'll tell you\."''', "say Now i'm ready."),
  78     (0, r'''You say, "Now I'm ready\."''', ""),
  79     (1, r'''says, "Now I'm ready\."''', "say That's teh idea."),
  80     (1, r'''You say, "That's the idea\."''', ""),
  81     (0, r'''says, "That's the idea\."''', "say It's what theyre saying."),
  82     (0, r'''You say, "It's what they're saying\."''', ""),
  83     (1, r'''says, "It's what they're saying\."''', "say Well, youre right."),
  84     (1, r'''You say, "Well, you're right\."''', ""),
  85     (0, r'''says, "Well, you're right\."''', ""),
  86 )
  87
  88 test_sentence_capitalization = (
  89     (0, "> ", "say this sentence should start with a capital T."),
  90     (0, 'You say, "This sentence', ""),
  91     (1, 'says, "This sentence', ""),
  92 )
  93
  94 test_chat_mode = (
  95     (1, '> ', "chat"),
  96     (1, r'(?s)Entering chat mode .*> \(chat\) ', "Feeling chatty."),
  97     (1, r'You say, "Feeling chatty\."', "!chat"),
  98     (0, r'says, "Feeling chatty\."', ""),
  99     (1, '> ', "say Now less chatty."),
 100     (1, r'You say, "Now less chatty\."', ""),
 101     (0, r'says, "Now less chatty\."', ""),
 102 )
 103
 104 test_wrapping = (
 105     (0, '> ', "say " + 100 * "o"),
 106     (1, r'says,\r\n"O[o]+\."', ""),
 107 )
 108
 109 test_forbid_ansi_input = (
 110     (0, '> ', "say \x1b[35mfoo\x1b[0m"),
 111     (1, r'says, "\[35mfoo\[0m\."', ""),
 112 )
 113
 114 test_movement = (
 115     (0, "> ", "move north"),
 116     (0, r"You exit to the north\.", ""),
 117     (1, r"exits to the north\.", "move north"),
 118     (0, r"arrives from the south\.", "move south"),
 119     (0, r"You exit to the south\.", ""),
 120     (1, r"exits to the south\.", "move south"),
 121     (0, r"arrives from the north\.", "move east"),
 122     (0, r"You exit to the east\.", ""),
 123     (1, r"exits to the east\.", "move east"),
 124     (0, r"arrives from the west\.", "move west"),
 125     (0, r"You exit to the west\.", ""),
 126     (1, r"exits to the west\.", "move west"),
 127     (0, r"arrives from the east\.", "move up"),
 128     (0, r"You exit upward\.", ""),
 129     (1, r"exits upward\.", "move up"),
 130     (0, r"arrives from below\.", "move down"),
 131     (0, r"You exit downward\.", ""),
 132     (1, r"exits downward\.", "move down"),
 133     (0, r"arrives from above\.", ""),
 134 )
 135
 136 test_actor_disappears = (
 137     (1, "> ", "quit"),
 138     (0, r"You suddenly wonder where .* went\.", ""),
 139 )
 140
 141 test_account1_teardown = (
 142     (1, "What would you like to do?", "d"),
 143     (1, "Whom would you like to delete?", ""),
 144     (1, "What would you like to do?", "p"),
 145     (1, "permanently delete your account?", "y"),
 146     (1, "Disconnecting...", ""),
 147 )
 148
 149 test_admin_setup = (
 150     (2, "Identify yourself:", "admin"),
 151     (2, "Enter your choice:", "n"),
 152     (2, 'Enter a new password for "admin":', "Test789"),
 153     (2, "Enter the same new password again:", "Test789"),
 154     (2, r"What would you like to do\?", "c"),
 155     (2, "Pick a birth gender for your new avatar:", "m"),
 156     (2, "Choose a name for him:", "1"),
 157     (2, "What would you like to do?", "a"),
 158     (2, "Whom would you like to awaken?", ""),
 159 )
 160
 161 test_preferences = (
 162     (0, "> ", "preferences"),
 163     (0, r"prompt \x1b\[32m.*> ", "preferences prompt #"),
 164     (0, r"# ", "preferences prompt"),
 165     (0, r"#.*# ", "preferences prompt >"),
 166     (2, "> ", "preferences loglevel 0"),
 167     (2, "> ", "preferences"),
 168     (2, r"loglevel \x1b\[32m0\x1b\[0m.*> ", "preferences loglevel zero"),
 169     (2, r'''cannot be set to type "<class 'str'>"\..*> ''', ""),
 170 )
 171
 172 test_crlf_eol = (
 173     # Send a CR+LF at the end of the line instead of the default CR+NUL,
 174     # to make sure they're treated the same
 175     (2, "> ", b"say I use CR+LF as my EOL, not CR+NUL.\r\n"),
 176     (2, r'You say, "I use CR\+LF as my EOL, not CR\+NUL\.".*> ', ""),
 177 )
 178
 179 test_telnet_iac = (
 180     # Send a double (escaped) IAC byte within other text, which should get
 181     # unescaped and deduplicated to a single \xff in the buffer and then
 182     # the line of input discarded as a non-ASCII sequence
 183     (2, "> ", b"say argle\xff\xffbargle\r\0"),
 184     (2, r"Non-ASCII characters from admin: b'say.*argle\\xffbargle'.*> ", ""),
 185 )
 186
 187 test_telnet_unknown_command = (
 188     # Send an unsupported negotiation command #127 which should get filtered
 189     # from the line of input
 190     (2, "> ", b"say glop\xff\x7fglyf\r\0"),
 191     (2, r'Ignored unknown command 127 from admin\..*"Glopglyf\.".*> ', ""),
 192 )
 193
 194 test_telnet_unknown_option = (
 195     # Send an unassigned negotiation option #127 which should get logged
 196     (2, "> ", b"\xff\xfe\x7f\r\0"),
 197     (2, r'''Received "don't 127" from admin\..*> ''', ""),
 198 )
 199
 200 test_admin_restriction = (
 201     (0, "> ", "help halt"),
 202     (0, r"That is not an available command\.", "halt"),
 203     (0, '(not sure what "halt" means|Arglebargle, glop-glyf)', ""),
 204 )
 205
 206 test_admin_help = (
 207     (2, "> ", "help"),
 208     (2, r"halt.*Shut down the world\.", "help halt"),
 209     (2, "This will save all active accounts", ""),
 210 )
 211
 212 test_reload = (
 213     (2, "> ", "reload"),
 214     (2, r"Reloading all code modules, configs and data\."
 215         r".* User admin reloaded the world\.",
 216      "show element account.admin"),
 217     (2, 'These are the properties of the "account.admin" element.*'
 218         r'  \x1b\[32mpasshash:\r\n\x1b\[31m\$.*> ', ""),
 219 )
 220
 221 test_set_facet = (
 222     (2, "> ", "set actor.avatar_admin_0 gender female"),
 223     (2, r'You have successfully \(re\)set the "gender" facet of element', ""),
 224 )
 225
 226 test_set_refused = (
 227     (2, "> ", "set mudpy.limit password_tries 10"),
 228     (2, r'The "mudpy\.limit" element is kept in read-only file', ""),
 229 )
 230
 231 test_show_version = (
 232     (2, "> ", "show version"),
 233     (2, r"Running mudpy .* on .* Python 3.*with.*pyyaml.*> ", ""),
 234 )
 235
 236 test_show_files = (
 237     (2, "> ", "show files"),
 238     (2, r'These are the current files containing the universe:.*'
 239         r'  \x1b\[31m\(rw\) \x1b\[32m/.*/account.yaml\x1b\[0m'
 240         r' \x1b\[33m\[private\]\x1b\[0m.*> ', ""),
 241 )
 242
 243 test_show_file = (
 244     (2, "> ", "show file %s" %
 245         os.path.join(os.getcwd(), "data/internal.yaml")),
 246     (2, r'These are the nodes in the.*file:.*internal\.counters.*> ', ""),
 247 )
 248
 249 test_show_groups = (
 250     (2, "> ", "show groups"),
 251     (2, r'These are the element groups:.*'
 252         r'  \x1b\[32maccount\x1b\[0m.*> ', ""),
 253 )
 254
 255 test_show_group = (
 256     (2, "> ", "show group account"),
 257     (2, r'These are the elements in the "account" group:.*'
 258         r'  \x1b\[32maccount\.admin\x1b\[0m.*> ', ""),
 259 )
 260
 261 test_show_element = (
 262     (2, "> ", "show element mudpy.limit"),
 263     (2, r'These are the properties of the "mudpy\.limit" element.*'
 264         r'  \x1b\[32mpassword_tries: \x1b\[31m3.*> ',
 265      "show element actor.avatar_admin_0"),
 266     (2, r'These are the properties of the "actor.avatar_admin_0" element.*'
 267         r'  \x1b\[32mgender: \x1b\[31mfemale.*> ', ""),
 268 )
 269
 270 test_show_log = (
 271     (2, "> ", "show log"),
 272     (2, r"There are [0-9]+ log lines in memory and [0-9]+ at or above level "
 273         r"[0-9]+\. The matching lines\r\nfrom [0-9]+ to [0-9]+ are:", ""),
 274 )
 275
 276 test_custom_loglevel = (
 277     (2, "> ", "set account.admin loglevel 2"),
 278     (2, "You have successfully .*> ", "show log"),
 279     (2, r"There are [0-9]+ log lines in memory and [0-9]+ at or above level "
 280         r"[0-9]+\. The matching lines\r\nfrom [0-9]+ to [0-9]+ are:", ""),
 281 )
 282
 283 test_invalid_loglevel = (
 284     (2, "> ", "set account.admin loglevel two"),
 285     (2, r'''Value "two" of type "<class 'str'>" cannot be coerced .*> ''', ""),
 286 )
 287
 288 test_log_no_errors = (
 289     (2, "> ", "show log 7"),
 290     (2, r"None of the [0-9]+ lines in memory matches your request\.", ""),
 291 )
 292
 293 final_cleanup = (
 294     (0, "> ", "quit"),
 295     (0, "What would you like to do?", "d"),
 296     (0, "Whom would you like to delete?", ""),
 297     (0, "What would you like to do?", "p"),
 298     (0, "permanently delete your account?", "y"),
 299     (0, "Disconnecting...", ""),
 300     (2, "> ", "quit"),
 301     (2, "What would you like to do?", "d"),
 302     (2, "Whom would you like to delete?", ""),
 303     (2, "What would you like to do?", "p"),
 304     (2, "permanently delete your account?", "y"),
 305     (2, "Disconnecting...", ""),
 306 )
 307
 308 dialogue = (
 309     (test_account0_setup, "first account setup"),
 310     (test_account1_setup, "second account setup"),
 311     (test_actor_appears, "actor spontaneous appearance"),
 312     (test_explicit_punctuation, "explicit punctuation"),
 313     (test_implicit_punctuation, "implicit punctuation"),
 314     (test_typo_replacement, "typo replacement"),
 315     (test_sentence_capitalization, "sentence capitalization"),
 316     (test_chat_mode, "chat mode"),
 317     (test_wrapping, "wrapping"),
 318     (test_forbid_ansi_input, "raw escape input is filtered"),
 319     (test_movement, "movement"),
 320     (test_actor_disappears, "actor spontaneous disappearance"),
 321     (test_account1_teardown, "second account teardown"),
 322     (test_admin_setup, "admin account setup"),
 323     (test_preferences, "set and show preferences"),
 324     (test_crlf_eol, "send crlf from the client as eol"),
 325     (test_telnet_iac, "escape stray telnet iac bytes"),
 326     (test_telnet_unknown_command, "strip unknown telnet command"),
 327     (test_telnet_unknown_option, "log unknown telnet option"),
 328     (test_admin_restriction, "restricted admin commands"),
 329     (test_admin_help, "admin help"),
 330     (test_reload, "reload"),
 331     (test_set_facet, "set facet"),
 332     (test_set_refused, "refuse altering read-only element"),
 333     (test_show_version, "show version and diagnostic info"),
 334     (test_show_files, "show a list of loaded files"),
 335     (test_show_file, "show nodes from a specific file"),
 336     (test_show_groups, "show groups"),
 337     (test_show_group, "show group"),
 338     (test_show_element, "show element"),
 339     (test_show_log, "show log"),
 340     (test_custom_loglevel, "custom loglevel"),
 341     (test_invalid_loglevel, "invalid loglevel"),
 342     (test_log_no_errors, "no errors logged"),
 343     (final_cleanup, "delete remaining accounts"),
 344 )
 345
 346
 347 def start_service(config):
 348     # Clean up any previously run daemon which didn't terminate
 349     if os.path.exists(pidfile):
 350         pidfd = open(pidfile)
 351         pid = int(pidfd.read())
 352         try:
 353             # Stop the running service
 354             os.kill(pid, 15)
 355             time.sleep(1)
 356         except ProcessLookupError:
 357             # If there was no process, just remove the stale PID file
 358             os.remove(pidfile)
 359         # If there's a preexisting hung service, we can't proceed
 360         assert not os.path.exists(pidfile)
 361
 362     # Clean up any previous test output
 363     for f in pathlib.Path(".").glob("capture_*.log"):
 364         # have to use .name here since remove() doesn't support passing a
 365         # PosixPath argument until Python3.6
 366         os.remove(f.name)
 367     for d in ("data", "var"):
 368         shutil.rmtree(d, ignore_errors=True)
 369
 370     # Start the service and wait for it to be ready for connections
 371     service = subprocess.Popen(("mudpy", config),
 372                                stdout=subprocess.PIPE,
 373                                stderr=subprocess.PIPE)
 374     time.sleep(1)
 375     return(service)
 376
 377
 378 def stop_service(service):
 379     success = True
 380
 381     # The no-op case when no service was started
 382     if service is None:
 383         return(success)
 384
 385     # This handles when the service is running as a direct child process
 386     service.terminate()
 387     returncode = service.wait(10)
 388     if returncode != 0:
 389         tlog("\nERROR: Service exited with code %s." % returncode)
 390         success = False
 391
 392     # This cleans up a daemonized and disassociated service
 393     if os.path.exists(pidfile):
 394         pidfd = open(pidfile)
 395         pid = int(pidfd.read())
 396         try:
 397             # Stop the running service
 398             os.kill(pid, 15)
 399             time.sleep(1)
 400         except ProcessLookupError:
 401             # If there was no process, just remove the stale PID file
 402             os.remove(pidfile)
 403         # The PID file didn't disappear, so we have a hung service
 404         if os.path.exists(pidfile):
 405             tlog("\nERROR: Hung daemon with PID %s." % pid)
 406             success = False
 407
 408     # Log the contents of stdout and stderr, if any
 409     stdout, stderr = service.communicate()
 410     tlog("\nRecording stdout as capture_stdout.log.")
 411     serviceout = open("capture_stdout.log", "w")
 412     serviceout.write(stdout.decode("utf-8"))
 413     tlog("\nRecording stderr as capture_stderr.log.")
 414     serviceerr = open("capture_stderr.log", "w")
 415     serviceerr.write(stderr.decode("utf-8"))
 416
 417     return(success)
 418
 419
 420 def tlog(message, quiet=False):
 421     logfile = "capture_tests.log"
 422     with open(logfile, "a") as logfd:
 423         logfd.write(message + "\n")
 424     if not quiet:
 425         sys.stdout.write(message)
 426     return True
 427
 428
 429 def option_callback(telnet_socket, command, option):
 430     if option == b'\x7f':
 431         # We use this unassigned option value as a canary, so short-circuit
 432         # any response to avoid endlessly looping
 433         pass
 434     elif command in (telnetlib.DO, telnetlib.DONT):
 435         telnet_socket.send(b"%s%s%s" % (telnetlib.IAC, telnetlib.WONT, option))
 436     elif command in (telnetlib.WILL, telnetlib.WONT):
 437         telnet_socket.send(b"%s%s%s" % (telnetlib.IAC, telnetlib.DONT, option))
 438
 439
 440 def main():
 441     captures = ["", "", ""]
 442     lusers = [telnetlib.Telnet(), telnetlib.Telnet(), telnetlib.Telnet()]
 443     success = True
 444     start = time.time()
 445     service = None
 446     if len(sys.argv) > 1:
 447         # Start the service if a config file was provided on the command line
 448         service = start_service(sys.argv[1])
 449     for luser in lusers:
 450         luser.open("::1", 4000)
 451         luser.set_option_negotiation_callback(option_callback)
 452     for test, description in dialogue:
 453         tlog("\nTesting %s..." % description)
 454         test_start = time.time()
 455         for conversant, question, answer in test:
 456             tlog("luser%s waiting for: %s" % (conversant, question),
 457                  quiet=True)
 458             try:
 459                 index, match, received = lusers[conversant].expect(
 460                     [re.compile(question.encode("utf-8"), flags=re.DOTALL)], 5)
 461                 captures[conversant] += received.decode("utf-8")
 462             except ConnectionResetError:
 463                 tlog("\nERROR: Unable to connect to server.")
 464                 success = False
 465                 break
 466             except EOFError:
 467                 tlog("\nERROR: luser%s premature disconnection expecting:\n\n"
 468                      "%s\n\n"
 469                      "Check the end of capture_%s.log for received data."
 470                      % (conversant, question, conversant))
 471                 success = False
 472                 break
 473             try:
 474                 captures[conversant] += lusers[
 475                     conversant].read_very_eager().decode("utf-8")
 476             except Exception:
 477                 pass
 478             if index != 0:
 479                 tlog("\nERROR: luser%s did not receive expected string:\n\n"
 480                      "%s\n\n"
 481                      "Check the end of capture_%s.log for received data."
 482                      % (conversant, question, conversant))
 483                 success = False
 484                 break
 485             if type(answer) is str:
 486                 tlog("luser%s sending: %s" % (conversant, answer), quiet=True)
 487                 lusers[conversant].write(("%s\r\0" % answer).encode("utf-8"))
 488                 captures[conversant] += "%s\r\n" % answer
 489             elif type(answer) is bytes:
 490                 tlog("luser%s sending raw bytes: %s" % (conversant, answer),
 491                      quiet=True)
 492                 lusers[conversant].get_socket().send(answer)
 493                 captures[conversant] += "!!!RAW BYTES: %s" % answer
 494             else:
 495                 tlog("\nERROR: answer provided with unsupported type %s"
 496                      % type(answer))
 497                 success = False
 498                 break
 499         if not success:
 500             break
 501         tlog("Completed in %.3f seconds." % (time.time() - test_start))
 502     duration = time.time() - start
 503     for conversant in range(len(captures)):
 504         try:
 505             captures[conversant] += lusers[
 506                 conversant].read_very_eager().decode("utf-8")
 507         except Exception:
 508             pass
 509         lusers[conversant].close()
 510         logfile = "capture_%s.log" % conversant
 511         tlog("\nRecording session %s as %s." % (conversant, logfile))
 512         log = open(logfile, "w")
 513         log.write(captures[conversant])
 514         log.close()
 515     if not stop_service(service):
 516         success = False
 517     tlog("\nRan %s tests in %.3f seconds." % (len(dialogue), duration))
 518     if success:
 519         tlog("\nSUCCESS\n")
 520     else:
 521         tlog("\nFAILURE\n")
 522         sys.exit(1)
 523
 524
 525 if __name__ == '__main__':
 526     sys.exit(main())