mudpy/tests/selftest.py

   1 # Copyright (c) 2004-2019 mudpy authors. Permission to use, copy,
   2 # modify, and distribute this software is granted under terms
   3 # provided in the LICENSE file distributed with this software.
   4
   5 import os
   6 import pathlib
   7 import re
   8 import shutil
   9 import subprocess
  10 import sys
  11 import telnetlib
  12 import time
  13
  14 pidfile = "var/mudpy.pid"
  15
  16 test_account0_setup = (
  17     (0, "Identify yourself:", "luser0"),
  18     (0, "Enter your choice:", "n"),
  19     (0, 'Enter a new password for "luser0":', "Test123"),
  20     (0, "Enter the same new password again:", "Test123"),
  21     (0, r"What would you like to do\?", "c"),
  22     (0, "Pick a birth gender for your new avatar:", "f"),
  23     (0, "Choose a name for her:", "1"),
  24     (0, "What would you like to do?", "a"),
  25     (0, "Whom would you like to awaken?", ""),
  26 )
  27
  28 test_account1_setup = (
  29     (1, "Identify yourself:", "luser1"),
  30     (1, "Enter your choice:", "n"),
  31     (1, 'Enter a new password for "luser1":', "Test456"),
  32     (1, "Enter the same new password again:", "Test456"),
  33     (1, r"What would you like to do\?", "c"),
  34     (1, "Pick a birth gender for your new avatar:", "m"),
  35     (1, "Choose a name for him:", "1"),
  36     (1, "What would you like to do?", "a"),
  37     (1, "Whom would you like to awaken?", ""),
  38 )
  39
  40 test_actor_appears = (
  41     (0, r"You suddenly realize that .* is here\.", ""),
  42 )
  43
  44 test_explicit_punctuation = (
  45     (0, "> ", "say Hello there!"),
  46     (0, r'You exclaim, "Hello there\!"', ""),
  47     (1, r'exclaims, "Hello there\!"', "say And you are?"),
  48     (1, r'You ask, "And you are\?"', ""),
  49     (0, r'asks, "And you are\?"', "say I'm me, of course."),
  50     (0, r'''You say, "I'm me, of course\."''', ""),
  51     (1, r'''says, "I'm me, of course\."''', "say I wouldn't be so sure..."),
  52     (1, r'''You muse, "I wouldn't be so sure\.\.\."''', ""),
  53     (0, r'''muses, "I wouldn't be so sure\.\.\."''', "say You mean,"),
  54     (0, 'You begin, "You mean,"', ""),
  55     (1, 'begins, "You mean,"', "say I know-"),
  56     (1, 'You begin, "I know-"', ""),
  57     (0, 'begins, "I know-"', "say Don't interrupt:"),
  58     (0, r'''You begin, "Don't interrupt:"''', ""),
  59     (1, r'''begins, "Don't interrupt:"''', "say I wasn't interrupting;"),
  60     (1, r'''You begin, "I wasn't interrupting;"''', ""),
  61     (0, r'''begins, "I wasn't interrupting;"''', ""),
  62 )
  63
  64 test_implicit_punctuation = (
  65     (0, '> ', "say Whatever"),
  66     (0, r'You say, "Whatever\."', ""),
  67     (1, r'says, "Whatever\."', ""),
  68 )
  69
  70 test_typo_replacement = (
  71     (1, '> ', "say That's what i think."),
  72     (1, r'''You say, "That's what I think\."''', ""),
  73     (0, r'''says, "That's what I think\."''', "say You know what i'd like."),
  74     (0, r'''You say, "You know what I'd like\."''', ""),
  75     (1, r'''says, "You know what I'd like\."''', "say Then i'll tell you."),
  76     (1, r'''You say, "Then I'll tell you\."''', ""),
  77     (0, r'''says, "Then I'll tell you\."''', "say Now i'm ready."),
  78     (0, r'''You say, "Now I'm ready\."''', ""),
  79     (1, r'''says, "Now I'm ready\."''', "say That's teh idea."),
  80     (1, r'''You say, "That's the idea\."''', ""),
  81     (0, r'''says, "That's the idea\."''', "say It's what theyre saying."),
  82     (0, r'''You say, "It's what they're saying\."''', ""),
  83     (1, r'''says, "It's what they're saying\."''', "say Well, youre right."),
  84     (1, r'''You say, "Well, you're right\."''', ""),
  85     (0, r'''says, "Well, you're right\."''', ""),
  86 )
  87
  88 test_sentence_capitalization = (
  89     (0, "> ", "say this sentence should start with a capital T."),
  90     (0, 'You say, "This sentence', ""),
  91     (1, 'says, "This sentence', ""),
  92 )
  93
  94 test_chat_mode = (
  95     (1, '> ', "chat"),
  96     (1, r'(?s)Entering chat mode .*> \(chat\) ', "Feeling chatty."),
  97     (1, r'You say, "Feeling chatty\."', "!chat"),
  98     (0, r'says, "Feeling chatty\."', ""),
  99     (1, '> ', "say Now less chatty."),
 100     (1, r'You say, "Now less chatty\."', ""),
 101     (0, r'says, "Now less chatty\."', ""),
 102 )
 103
 104 test_wrapping = (
 105     (0, '> ', "say " + 100 * "o"),
 106     (1, r'says,\r\n"O[o]+\."', ""),
 107 )
 108
 109 test_forbid_ansi_input = (
 110     (0, '> ', "say \x1b[35mfoo\x1b[0m"),
 111     (1, r'says, "\[35mfoo\[0m\."', ""),
 112 )
 113
 114 test_escape_macros = (
 115     (0, '> ', "say $(red)bar$(nrm)"),
 116     (1, r'says, "\$\(red\)bar\$\(nrm\)."', ""),
 117 )
 118
 119 test_movement = (
 120     (0, "> ", "move north"),
 121     (0, r"You exit to the north\.", ""),
 122     (1, r"exits to the north\.", "move north"),
 123     (0, r"arrives from the south\.", "move south"),
 124     (0, r"You exit to the south\.", ""),
 125     (1, r"exits to the south\.", "move south"),
 126     (0, r"arrives from the north\.", "move east"),
 127     (0, r"You exit to the east\.", ""),
 128     (1, r"exits to the east\.", "move east"),
 129     (0, r"arrives from the west\.", "move west"),
 130     (0, r"You exit to the west\.", ""),
 131     (1, r"exits to the west\.", "move west"),
 132     (0, r"arrives from the east\.", "move up"),
 133     (0, r"You exit upward\.", ""),
 134     (1, r"exits upward\.", "move up"),
 135     (0, r"arrives from below\.", "move down"),
 136     (0, r"You exit downward\.", ""),
 137     (1, r"exits downward\.", "move down"),
 138     (0, r"arrives from above\.", ""),
 139 )
 140
 141 test_actor_disappears = (
 142     (1, "> ", "quit"),
 143     (0, r"You suddenly wonder where .* went\.", ""),
 144 )
 145
 146 test_account1_teardown = (
 147     (1, "What would you like to do?", "d"),
 148     (1, "Whom would you like to delete?", ""),
 149     (1, "What would you like to do?", "p"),
 150     (1, "permanently delete your account?", "y"),
 151     (1, "Disconnecting...", ""),
 152 )
 153
 154 test_admin_setup = (
 155     (2, "Identify yourself:", "admin"),
 156     (2, "Enter your choice:", "n"),
 157     (2, 'Enter a new password for "admin":', "Test789"),
 158     (2, "Enter the same new password again:", "Test789"),
 159     (2, r"What would you like to do\?", "c"),
 160     (2, "Pick a birth gender for your new avatar:", "m"),
 161     (2, "Choose a name for him:", "1"),
 162     (2, "What would you like to do?", "a"),
 163     (2, "Whom would you like to awaken?", ""),
 164 )
 165
 166 test_preferences = (
 167     (0, "> ", "preferences"),
 168     (0, r"prompt \x1b\[32m.*> ", "preferences prompt $(foo)"),
 169     (0, r"\$\(foo\) ", "preferences prompt"),
 170     (0, r"\$\(foo\).*\$\(foo\) ", "preferences prompt >"),
 171     (2, "> ", "preferences loglevel 0"),
 172     (2, "> ", "preferences"),
 173     (2, r"loglevel \x1b\[32m0\x1b\[0m.*> ", "preferences loglevel zero"),
 174     (2, r'''cannot be set to type "<class 'str'>"\..*> ''', ""),
 175 )
 176
 177 test_crlf_eol = (
 178     # Send a CR+LF at the end of the line instead of the default CR+NUL,
 179     # to make sure they're treated the same
 180     (2, "> ", b"say I use CR+LF as my EOL, not CR+NUL.\r\n"),
 181     (2, r'You say, "I use CR\+LF as my EOL, not CR\+NUL\.".*> ', ""),
 182 )
 183
 184 test_telnet_iac = (
 185     # Send a double (escaped) IAC byte within other text, which should get
 186     # unescaped and deduplicated to a single \xff in the buffer and then
 187     # the line of input discarded as a non-ASCII sequence
 188     (2, "> ", b"say argle\xff\xffbargle\r\0"),
 189     (2, r"Non-ASCII characters from admin: b'say.*argle\\xffbargle'.*> ", ""),
 190 )
 191
 192 test_telnet_unknown_command = (
 193     # Send an unsupported negotiation command #127 which should get filtered
 194     # from the line of input
 195     (2, "> ", b"say glop\xff\x7fglyf\r\0"),
 196     (2, r'Ignored unknown command 127 from admin\..*"Glopglyf\.".*> ', ""),
 197 )
 198
 199 test_telnet_unknown_option = (
 200     # Send an unassigned negotiation option #127 which should get logged
 201     (2, "> ", b"\xff\xfe\x7f\r\0"),
 202     (2, r'''Received "don't 127" from admin\..*> ''', ""),
 203 )
 204
 205 test_admin_restriction = (
 206     (0, "> ", "help halt"),
 207     (0, r"That is not an available command\.", "halt"),
 208     (0, '(not sure what "halt" means|Arglebargle, glop-glyf)', ""),
 209 )
 210
 211 test_admin_help = (
 212     (2, "> ", "help"),
 213     (2, r"halt.*Shut down the world\.", "help halt"),
 214     (2, "This will save all active accounts", ""),
 215 )
 216
 217 test_reload = (
 218     (2, "> ", "reload"),
 219     (2, r"Reloading all code modules, configs and data\."
 220         r".* User admin reloaded the world\.",
 221      "show element account.admin"),
 222     (2, 'These are the properties of the "account.admin" element.*'
 223         r'  \x1b\[32mpasshash:\r\n\x1b\[31m\$.*> ', ""),
 224 )
 225
 226 test_set_facet = (
 227     (2, "> ", "set actor.avatar_admin_0 gender female"),
 228     (2, r'You have successfully \(re\)set the "gender" facet of element', ""),
 229 )
 230
 231 test_set_refused = (
 232     (2, "> ", "set mudpy.limit password_tries 10"),
 233     (2, r'The "mudpy\.limit" element is kept in read-only file', ""),
 234 )
 235
 236 test_show_version = (
 237     (2, "> ", "show version"),
 238     (2, r"Running mudpy .* on .* Python 3.*with.*pyyaml.*> ", ""),
 239 )
 240
 241 test_show_files = (
 242     (2, "> ", "show files"),
 243     (2, r'These are the current files containing the universe:.*'
 244         r'  \x1b\[31m\(rw\) \x1b\[32m/.*/account.yaml\x1b\[0m'
 245         r' \x1b\[33m\[private\]\x1b\[0m.*> ', ""),
 246 )
 247
 248 test_show_file = (
 249     (2, "> ", "show file %s" %
 250         os.path.join(os.getcwd(), "data/internal.yaml")),
 251     (2, r'These are the nodes in the.*file:.*internal\.counters.*> ', ""),
 252 )
 253
 254 test_show_groups = (
 255     (2, "> ", "show groups"),
 256     (2, r'These are the element groups:.*'
 257         r'  \x1b\[32maccount\x1b\[0m.*> ', ""),
 258 )
 259
 260 test_show_group = (
 261     (2, "> ", "show group account"),
 262     (2, r'These are the elements in the "account" group:.*'
 263         r'  \x1b\[32maccount\.admin\x1b\[0m.*> ', ""),
 264 )
 265
 266 test_show_element = (
 267     (2, "> ", "show element mudpy.limit"),
 268     (2, r'These are the properties of the "mudpy\.limit" element.*'
 269         r'  \x1b\[32mpassword_tries: \x1b\[31m3.*> ',
 270      "show element actor.avatar_admin_0"),
 271     (2, r'These are the properties of the "actor.avatar_admin_0" element.*'
 272         r'  \x1b\[32mgender: \x1b\[31mfemale.*> ', ""),
 273 )
 274
 275 test_show_log = (
 276     (2, "> ", "show log"),
 277     (2, r"There are [0-9]+ log lines in memory and [0-9]+ at or above level "
 278         r"[0-9]+\. The matching lines\r\nfrom [0-9]+ to [0-9]+ are:", ""),
 279 )
 280
 281 test_custom_loglevel = (
 282     (2, "> ", "set account.admin loglevel 2"),
 283     (2, "You have successfully .*> ", "show log"),
 284     (2, r"There are [0-9]+ log lines in memory and [0-9]+ at or above level "
 285         r"[0-9]+\. The matching lines\r\nfrom [0-9]+ to [0-9]+ are:", ""),
 286 )
 287
 288 test_invalid_loglevel = (
 289     (2, "> ", "set account.admin loglevel two"),
 290     (2, r'''Value "two" of type "<class 'str'>" cannot be coerced .*> ''', ""),
 291 )
 292
 293 test_log_no_errors = (
 294     (2, "> ", "show log 7"),
 295     (2, r"None of the [0-9]+ lines in memory matches your request\.", ""),
 296 )
 297
 298 final_cleanup = (
 299     (0, "> ", "quit"),
 300     (0, "What would you like to do?", "d"),
 301     (0, "Whom would you like to delete?", ""),
 302     (0, "What would you like to do?", "p"),
 303     (0, "permanently delete your account?", "y"),
 304     (0, "Disconnecting...", ""),
 305     (2, "> ", "quit"),
 306     (2, "What would you like to do?", "d"),
 307     (2, "Whom would you like to delete?", ""),
 308     (2, "What would you like to do?", "p"),
 309     (2, "permanently delete your account?", "y"),
 310     (2, "Disconnecting...", ""),
 311 )
 312
 313 dialogue = (
 314     (test_account0_setup, "first account setup"),
 315     (test_account1_setup, "second account setup"),
 316     (test_actor_appears, "actor spontaneous appearance"),
 317     (test_explicit_punctuation, "explicit punctuation"),
 318     (test_implicit_punctuation, "implicit punctuation"),
 319     (test_typo_replacement, "typo replacement"),
 320     (test_sentence_capitalization, "sentence capitalization"),
 321     (test_chat_mode, "chat mode"),
 322     (test_wrapping, "wrapping"),
 323     (test_forbid_ansi_input, "raw escape input is filtered"),
 324     (test_escape_macros, "replacement macros are escaped"),
 325     (test_movement, "movement"),
 326     (test_actor_disappears, "actor spontaneous disappearance"),
 327     (test_account1_teardown, "second account teardown"),
 328     (test_admin_setup, "admin account setup"),
 329     (test_preferences, "set and show preferences"),
 330     (test_crlf_eol, "send crlf from the client as eol"),
 331     (test_telnet_iac, "escape stray telnet iac bytes"),
 332     (test_telnet_unknown_command, "strip unknown telnet command"),
 333     (test_telnet_unknown_option, "log unknown telnet option"),
 334     (test_admin_restriction, "restricted admin commands"),
 335     (test_admin_help, "admin help"),
 336     (test_reload, "reload"),
 337     (test_set_facet, "set facet"),
 338     (test_set_refused, "refuse altering read-only element"),
 339     (test_show_version, "show version and diagnostic info"),
 340     (test_show_files, "show a list of loaded files"),
 341     (test_show_file, "show nodes from a specific file"),
 342     (test_show_groups, "show groups"),
 343     (test_show_group, "show group"),
 344     (test_show_element, "show element"),
 345     (test_show_log, "show log"),
 346     (test_custom_loglevel, "custom loglevel"),
 347     (test_invalid_loglevel, "invalid loglevel"),
 348     (test_log_no_errors, "no errors logged"),
 349     (final_cleanup, "delete remaining accounts"),
 350 )
 351
 352
 353 def start_service(config):
 354     # Clean up any previously run daemon which didn't terminate
 355     if os.path.exists(pidfile):
 356         pidfd = open(pidfile)
 357         pid = int(pidfd.read())
 358         try:
 359             # Stop the running service
 360             os.kill(pid, 15)
 361             time.sleep(1)
 362         except ProcessLookupError:
 363             # If there was no process, just remove the stale PID file
 364             os.remove(pidfile)
 365         # If there's a preexisting hung service, we can't proceed
 366         assert not os.path.exists(pidfile)
 367
 368     # Clean up any previous test output
 369     for f in pathlib.Path(".").glob("capture_*.log"):
 370         # have to use .name here since remove() doesn't support passing a
 371         # PosixPath argument until Python3.6
 372         os.remove(f.name)
 373     for d in ("data", "var"):
 374         shutil.rmtree(d, ignore_errors=True)
 375
 376     # Start the service and wait for it to be ready for connections
 377     service = subprocess.Popen(("mudpy", config),
 378                                stdout=subprocess.PIPE,
 379                                stderr=subprocess.PIPE)
 380     time.sleep(1)
 381     return(service)
 382
 383
 384 def stop_service(service):
 385     success = True
 386
 387     # The no-op case when no service was started
 388     if service is None:
 389         return(success)
 390
 391     # This handles when the service is running as a direct child process
 392     service.terminate()
 393     returncode = service.wait(10)
 394     if returncode != 0:
 395         tlog("\nERROR: Service exited with code %s." % returncode)
 396         success = False
 397
 398     # This cleans up a daemonized and disassociated service
 399     if os.path.exists(pidfile):
 400         pidfd = open(pidfile)
 401         pid = int(pidfd.read())
 402         try:
 403             # Stop the running service
 404             os.kill(pid, 15)
 405             time.sleep(1)
 406         except ProcessLookupError:
 407             # If there was no process, just remove the stale PID file
 408             os.remove(pidfile)
 409         # The PID file didn't disappear, so we have a hung service
 410         if os.path.exists(pidfile):
 411             tlog("\nERROR: Hung daemon with PID %s." % pid)
 412             success = False
 413
 414     # Log the contents of stdout and stderr, if any
 415     stdout, stderr = service.communicate()
 416     tlog("\nRecording stdout as capture_stdout.log.")
 417     serviceout = open("capture_stdout.log", "w")
 418     serviceout.write(stdout.decode("utf-8"))
 419     tlog("\nRecording stderr as capture_stderr.log.")
 420     serviceerr = open("capture_stderr.log", "w")
 421     serviceerr.write(stderr.decode("utf-8"))
 422
 423     return(success)
 424
 425
 426 def tlog(message, quiet=False):
 427     logfile = "capture_tests.log"
 428     with open(logfile, "a") as logfd:
 429         logfd.write(message + "\n")
 430     if not quiet:
 431         sys.stdout.write(message)
 432     return True
 433
 434
 435 def option_callback(telnet_socket, command, option):
 436     if option == b'\x7f':
 437         # We use this unassigned option value as a canary, so short-circuit
 438         # any response to avoid endlessly looping
 439         pass
 440     elif command in (telnetlib.DO, telnetlib.DONT):
 441         telnet_socket.send(telnetlib.IAC + telnetlib.WONT + option)
 442     elif command in (telnetlib.WILL, telnetlib.WONT):
 443         telnet_socket.send(telnetlib.IAC + telnetlib.DONT + option)
 444
 445
 446 def main():
 447     captures = ["", "", ""]
 448     lusers = [telnetlib.Telnet(), telnetlib.Telnet(), telnetlib.Telnet()]
 449     success = True
 450     start = time.time()
 451     service = None
 452     if len(sys.argv) > 1:
 453         # Start the service if a config file was provided on the command line
 454         service = start_service(sys.argv[1])
 455     for luser in lusers:
 456         luser.open("::1", 4000)
 457         luser.set_option_negotiation_callback(option_callback)
 458     for test, description in dialogue:
 459         tlog("\nTesting %s..." % description)
 460         test_start = time.time()
 461         for conversant, question, answer in test:
 462             tlog("luser%s waiting for: %s" % (conversant, question),
 463                  quiet=True)
 464             try:
 465                 index, match, received = lusers[conversant].expect(
 466                     [re.compile(question.encode("utf-8"), flags=re.DOTALL)], 5)
 467                 captures[conversant] += received.decode("utf-8")
 468             except ConnectionResetError:
 469                 tlog("\nERROR: Unable to connect to server.")
 470                 success = False
 471                 break
 472             except EOFError:
 473                 tlog("\nERROR: luser%s premature disconnection expecting:\n\n"
 474                      "%s\n\n"
 475                      "Check the end of capture_%s.log for received data."
 476                      % (conversant, question, conversant))
 477                 success = False
 478                 break
 479             try:
 480                 captures[conversant] += lusers[
 481                     conversant].read_very_eager().decode("utf-8")
 482             except Exception:
 483                 pass
 484             if index != 0:
 485                 tlog("\nERROR: luser%s did not receive expected string:\n\n"
 486                      "%s\n\n"
 487                      "Check the end of capture_%s.log for received data."
 488                      % (conversant, question, conversant))
 489                 success = False
 490                 break
 491             if type(answer) is str:
 492                 tlog("luser%s sending: %s" % (conversant, answer), quiet=True)
 493                 lusers[conversant].write(("%s\r\0" % answer).encode("utf-8"))
 494                 captures[conversant] += "%s\r\n" % answer
 495             elif type(answer) is bytes:
 496                 tlog("luser%s sending raw bytes: %s" % (conversant, answer),
 497                      quiet=True)
 498                 lusers[conversant].get_socket().send(answer)
 499                 captures[conversant] += "!!!RAW BYTES: %s" % answer
 500             else:
 501                 tlog("\nERROR: answer provided with unsupported type %s"
 502                      % type(answer))
 503                 success = False
 504                 break
 505         if not success:
 506             break
 507         tlog("Completed in %.3f seconds." % (time.time() - test_start))
 508     duration = time.time() - start
 509     for conversant in range(len(captures)):
 510         try:
 511             captures[conversant] += lusers[
 512                 conversant].read_very_eager().decode("utf-8")
 513         except Exception:
 514             pass
 515         lusers[conversant].close()
 516         logfile = "capture_%s.log" % conversant
 517         tlog("\nRecording session %s as %s." % (conversant, logfile))
 518         log = open(logfile, "w")
 519         log.write(captures[conversant])
 520         log.close()
 521     if not stop_service(service):
 522         success = False
 523     tlog("\nRan %s tests in %.3f seconds." % (len(dialogue), duration))
 524     if success:
 525         tlog("\nSUCCESS\n")
 526     else:
 527         tlog("\nFAILURE\n")
 528         sys.exit(1)
 529
 530
 531 if __name__ == '__main__':
 532     sys.exit(main())