mudpy/tests/selftest.py

   1 # Copyright (c) 2004-2019 mudpy authors. Permission to use, copy,
   2 # modify, and distribute this software is granted under terms
   3 # provided in the LICENSE file distributed with this software.
   4
   5 import os
   6 import pathlib
   7 import re
   8 import shutil
   9 import subprocess
  10 import sys
  11 import telnetlib
  12 import time
  13
  14 pidfile = "var/mudpy.pid"
  15
  16 test_account0_setup = (
  17     (0, "Identify yourself:", "luser0"),
  18     (0, "Enter your choice:", "n"),
  19     (0, 'Enter a new password for "luser0":', "Test123"),
  20     (0, "Enter the same new password again:", "Test123"),
  21     (0, r"What would you like to do\?", "c"),
  22     (0, "Pick a birth gender for your new avatar:", "f"),
  23     (0, "Choose a name for her:", "1"),
  24     (0, "What would you like to do?", "a"),
  25     (0, "Whom would you like to awaken?", ""),
  26 )
  27
  28 test_account1_setup = (
  29     (1, "Identify yourself:", "luser1"),
  30     (1, "Enter your choice:", "n"),
  31     (1, 'Enter a new password for "luser1":', "Test456"),
  32     (1, "Enter the same new password again:", "Test456"),
  33     (1, r"What would you like to do\?", "c"),
  34     (1, "Pick a birth gender for your new avatar:", "m"),
  35     (1, "Choose a name for him:", "1"),
  36     (1, "What would you like to do?", "a"),
  37     (1, "Whom would you like to awaken?", ""),
  38 )
  39
  40 test_actor_appears = (
  41     (0, r"You suddenly realize that .* is here\.", ""),
  42 )
  43
  44 test_explicit_punctuation = (
  45     (0, "> ", "say Hello there!"),
  46     (0, r'You exclaim, "Hello there\!"', ""),
  47     (1, r'exclaims, "Hello there\!"', "say And you are?"),
  48     (1, r'You ask, "And you are\?"', ""),
  49     (0, r'asks, "And you are\?"', "say I'm me, of course."),
  50     (0, r'''You say, "I'm me, of course\."''', ""),
  51     (1, r'''says, "I'm me, of course\."''', "say I wouldn't be so sure..."),
  52     (1, r'''You muse, "I wouldn't be so sure\.\.\."''', ""),
  53     (0, r'''muses, "I wouldn't be so sure\.\.\."''', "say You mean,"),
  54     (0, 'You begin, "You mean,"', ""),
  55     (1, 'begins, "You mean,"', "say I know-"),
  56     (1, 'You begin, "I know-"', ""),
  57     (0, 'begins, "I know-"', "say Don't interrupt:"),
  58     (0, r'''You begin, "Don't interrupt:"''', ""),
  59     (1, r'''begins, "Don't interrupt:"''', "say I wasn't interrupting;"),
  60     (1, r'''You begin, "I wasn't interrupting;"''', ""),
  61     (0, r'''begins, "I wasn't interrupting;"''', ""),
  62 )
  63
  64 test_implicit_punctuation = (
  65     (0, '> ', "say Whatever"),
  66     (0, r'You say, "Whatever\."', ""),
  67     (1, r'says, "Whatever\."', ""),
  68 )
  69
  70 test_typo_replacement = (
  71     (1, '> ', "say That's what i think."),
  72     (1, r'''You say, "That's what I think\."''', ""),
  73     (0, r'''says, "That's what I think\."''', "say You know what i'd like."),
  74     (0, r'''You say, "You know what I'd like\."''', ""),
  75     (1, r'''says, "You know what I'd like\."''', "say Then i'll tell you."),
  76     (1, r'''You say, "Then I'll tell you\."''', ""),
  77     (0, r'''says, "Then I'll tell you\."''', "say Now i'm ready."),
  78     (0, r'''You say, "Now I'm ready\."''', ""),
  79     (1, r'''says, "Now I'm ready\."''', "say That's teh idea."),
  80     (1, r'''You say, "That's the idea\."''', ""),
  81     (0, r'''says, "That's the idea\."''', "say It's what theyre saying."),
  82     (0, r'''You say, "It's what they're saying\."''', ""),
  83     (1, r'''says, "It's what they're saying\."''', "say Well, youre right."),
  84     (1, r'''You say, "Well, you're right\."''', ""),
  85     (0, r'''says, "Well, you're right\."''', ""),
  86 )
  87
  88 test_sentence_capitalization = (
  89     (0, "> ", "say this sentence should start with a capital T."),
  90     (0, 'You say, "This sentence', ""),
  91     (1, 'says, "This sentence', ""),
  92 )
  93
  94 test_chat_mode = (
  95     (1, '> ', "chat"),
  96     (1, r'(?s)Entering chat mode .*> \(chat\) ', "Feeling chatty."),
  97     (1, r'You say, "Feeling chatty\."', "!chat"),
  98     (0, r'says, "Feeling chatty\."', ""),
  99     (1, '> ', "say Now less chatty."),
 100     (1, r'You say, "Now less chatty\."', ""),
 101     (0, r'says, "Now less chatty\."', ""),
 102 )
 103
 104 test_wrapping = (
 105     (0, '> ', "say " + 100 * "o"),
 106     (1, r'says,\r\n"O[o]+\."', ""),
 107 )
 108
 109 test_forbid_ansi_input = (
 110     (0, '> ', "say \x1b[35mfoo\x1b[0m"),
 111     (1, r'says, "\[35mfoo\[0m\."', ""),
 112 )
 113
 114 test_escape_macros = (
 115     (0, '> ', "say $(red)bar$(nrm)"),
 116     (1, r'says, "\$\(red\)bar\$\(nrm\)."', ""),
 117 )
 118
 119 test_movement = (
 120     (0, "> ", "move north"),
 121     (0, r"You exit to the north\.", ""),
 122     (1, r"exits to the north\.", "move north"),
 123     (0, r"arrives from the south\.", "move south"),
 124     (0, r"You exit to the south\.", ""),
 125     (1, r"exits to the south\.", "move south"),
 126     (0, r"arrives from the north\.", "move east"),
 127     (0, r"You exit to the east\.", ""),
 128     (1, r"exits to the east\.", "move east"),
 129     (0, r"arrives from the west\.", "move west"),
 130     (0, r"You exit to the west\.", ""),
 131     (1, r"exits to the west\.", "move west"),
 132     (0, r"arrives from the east\.", "move up"),
 133     (0, r"You exit upward\.", ""),
 134     (1, r"exits upward\.", "move up"),
 135     (0, r"arrives from below\.", "move down"),
 136     (0, r"You exit downward\.", ""),
 137     (1, r"exits downward\.", "move down"),
 138     (0, r"arrives from above\.", ""),
 139 )
 140
 141 test_actor_disappears = (
 142     (1, "> ", "quit"),
 143     (0, r"You suddenly wonder where .* went\.", ""),
 144 )
 145
 146 test_account1_teardown = (
 147     (1, "What would you like to do?", "d"),
 148     (1, "Whom would you like to delete?", ""),
 149     (1, "What would you like to do?", "p"),
 150     (1, "permanently delete your account?", "y"),
 151     (1, "Disconnecting...", ""),
 152 )
 153
 154 test_admin_setup = (
 155     (2, "Identify yourself:", "admin"),
 156     (2, "Enter your choice:", "n"),
 157     (2, 'Enter a new password for "admin":', "Test789"),
 158     (2, "Enter the same new password again:", "Test789"),
 159     (2, r"What would you like to do\?", "c"),
 160     (2, "Pick a birth gender for your new avatar:", "m"),
 161     (2, "Choose a name for him:", "1"),
 162     (2, "What would you like to do?", "a"),
 163     (2, "Whom would you like to awaken?", ""),
 164 )
 165
 166 test_preferences = (
 167     (0, "> ", "preferences"),
 168     (0, r"prompt \x1b\[32m.*> ", "preferences prompt $(foo)"),
 169     (0, r"\$\(foo\) ", "preferences prompt"),
 170     (0, r"\$\(foo\).*\$\(foo\) ", "preferences prompt $(time)>"),
 171     (0, "[0-9]> ", "preferences prompt >"),
 172     (2, "> ", "preferences loglevel 0"),
 173     (2, "> ", "preferences"),
 174     (2, r"loglevel \x1b\[32m0\x1b\[0m.*> ", "preferences loglevel zero"),
 175     (2, r'''cannot be set to type "<class 'str'>"\..*> ''', ""),
 176 )
 177
 178 test_crlf_eol = (
 179     # Send a CR+LF at the end of the line instead of the default CR+NUL,
 180     # to make sure they're treated the same
 181     (2, "> ", b"say I use CR+LF as my EOL, not CR+NUL.\r\n"),
 182     (2, r'You say, "I use CR\+LF as my EOL, not CR\+NUL\.".*> ', ""),
 183 )
 184
 185 test_telnet_iac = (
 186     # Send a double (escaped) IAC byte within other text, which should get
 187     # unescaped and deduplicated to a single \xff in the buffer and then
 188     # the line of input discarded as a non-ASCII sequence
 189     (2, "> ", b"say argle\xff\xffbargle\r\0"),
 190     (2, r"Non-ASCII characters from admin: b'say.*argle\\xffbargle'.*> ", ""),
 191 )
 192
 193 test_telnet_unknown_command = (
 194     # Send an unsupported negotiation command #127 which should get filtered
 195     # from the line of input
 196     (2, "> ", b"say glop\xff\x7fglyf\r\0"),
 197     (2, r'Ignored unknown command 127 from admin\..*"Glopglyf\.".*> ', ""),
 198 )
 199
 200 test_telnet_unknown_option = (
 201     # Send an unassigned negotiation option #127 which should get logged
 202     (2, "> ", b"\xff\xfe\x7f\r\0"),
 203     (2, r'''Received "don't 127" from admin\..*> ''', ""),
 204 )
 205
 206 test_admin_restriction = (
 207     (0, "> ", "help halt"),
 208     (0, r"That is not an available command\.", "halt"),
 209     (0, '(not sure what "halt" means|Arglebargle, glop-glyf)', ""),
 210 )
 211
 212 test_admin_help = (
 213     (2, "> ", "help"),
 214     (2, r"halt.*Shut down the world\.", "help halt"),
 215     (2, "This will save all active accounts", ""),
 216 )
 217
 218 test_help = (
 219     (0, "> ", "help say"),
 220     (0, r"See also: .*chat.*> ", ""),
 221 )
 222
 223 test_abbrev = (
 224     (0, "> ", "h"),
 225     (0, r"h\[elp\].*m\[ove\].*> ", "he mo"),
 226     (0, r"Move in a specific direction\..*> ", "mov north"),
 227     (0, r"You exit to the north\..*> ", "m south"),
 228     (0, r"You exit to the south\..*> ", ""),
 229 )
 230
 231 test_reload = (
 232     (2, "> ", "reload"),
 233     (2, r"Reloading all code modules, configs and data\."
 234         r".* User admin reloaded the world\.",
 235      "show element account.admin"),
 236     (2, 'These are the properties of the "account.admin" element.*'
 237         r'  \x1b\[32mpasshash:\r\n\x1b\[31m\$.*> ', ""),
 238 )
 239
 240 test_set_facet = (
 241     (2, "> ", "set actor.avatar_admin_0 gender female"),
 242     (2, r'You have successfully \(re\)set the "gender" facet of element', ""),
 243 )
 244
 245 test_set_refused = (
 246     (2, "> ", "set mudpy.limit password_tries 10"),
 247     (2, r'The "mudpy\.limit" element is kept in read-only file', ""),
 248 )
 249
 250 test_show_version = (
 251     (2, "> ", "show version"),
 252     (2, r"Running mudpy .* on .* Python 3.*with.*pyyaml.*> ", ""),
 253 )
 254
 255 test_show_time = (
 256     (2, "> ", "show time"),
 257     (2, r"\r\n[0-9]+ increments elapsed.*> ", ""),
 258 )
 259
 260 test_show_files = (
 261     (2, "> ", "show files"),
 262     (2, r'These are the current files containing the universe:.*'
 263         r'  \x1b\[31m\(rw\) \x1b\[32m/.*/account.yaml\x1b\[0m'
 264         r' \x1b\[33m\[private\]\x1b\[0m.*> ', ""),
 265 )
 266
 267 test_show_file = (
 268     (2, "> ", "show file %s" %
 269         os.path.join(os.getcwd(), "data/internal.yaml")),
 270     (2, r'These are the nodes in the.*file:.*internal\.counters.*> ', ""),
 271 )
 272
 273 test_show_groups = (
 274     (2, "> ", "show groups"),
 275     (2, r'These are the element groups:.*'
 276         r'  \x1b\[32maccount\x1b\[0m.*> ', ""),
 277 )
 278
 279 test_show_group = (
 280     (2, "> ", "show group account"),
 281     (2, r'These are the elements in the "account" group:.*'
 282         r'  \x1b\[32maccount\.admin\x1b\[0m.*> ', ""),
 283 )
 284
 285 test_show_element = (
 286     (2, "> ", "show element mudpy.limit"),
 287     (2, r'These are the properties of the "mudpy\.limit" element.*'
 288         r'  \x1b\[32mpassword_tries: \x1b\[31m3.*> ',
 289      "show element actor.avatar_admin_0"),
 290     (2, r'These are the properties of the "actor.avatar_admin_0" element.*'
 291         r'  \x1b\[32mgender: \x1b\[31mfemale.*> ', ""),
 292 )
 293
 294 test_show_result = (
 295     (2, "> ", "show result 12345*67890"),
 296     (2, r"\r\n838102050\r\n.*> ", "show result 1/0"),
 297     (2, r"Your expression raised an exception.*division by zero.*> ", ""),
 298 )
 299
 300 test_show_log = (
 301     (2, "> ", "show log"),
 302     (2, r"There are [0-9]+ log lines in memory and [0-9]+ at or above level "
 303         r"[0-9]+\. The matching lines\r\nfrom [0-9]+ to [0-9]+ are:", ""),
 304 )
 305
 306 test_custom_loglevel = (
 307     (2, "> ", "set account.admin loglevel 2"),
 308     (2, "You have successfully .*> ", "show log"),
 309     (2, r"There are [0-9]+ log lines in memory and [0-9]+ at or above level "
 310         r"[0-9]+\. The matching lines\r\nfrom [0-9]+ to [0-9]+ are:", ""),
 311 )
 312
 313 test_invalid_loglevel = (
 314     (2, "> ", "set account.admin loglevel two"),
 315     (2, r'''Value "two" of type "<class 'str'>" cannot be coerced .*> ''', ""),
 316 )
 317
 318 test_log_no_errors = (
 319     (2, "> ", "show log 7"),
 320     (2, r"None of the [0-9]+ lines in memory matches your request\.", ""),
 321 )
 322
 323 final_cleanup = (
 324     (0, "> ", "quit"),
 325     (0, "What would you like to do?", "d"),
 326     (0, "Whom would you like to delete?", ""),
 327     (0, "What would you like to do?", "p"),
 328     (0, "permanently delete your account?", "y"),
 329     (0, "Disconnecting...", ""),
 330     (2, "> ", "quit"),
 331     (2, "What would you like to do?", "d"),
 332     (2, "Whom would you like to delete?", ""),
 333     (2, "What would you like to do?", "p"),
 334     (2, "permanently delete your account?", "y"),
 335     (2, "Disconnecting...", ""),
 336 )
 337
 338 dialogue = (
 339     (test_account0_setup, "first account setup"),
 340     (test_account1_setup, "second account setup"),
 341     (test_actor_appears, "actor spontaneous appearance"),
 342     (test_explicit_punctuation, "explicit punctuation"),
 343     (test_implicit_punctuation, "implicit punctuation"),
 344     (test_typo_replacement, "typo replacement"),
 345     (test_sentence_capitalization, "sentence capitalization"),
 346     (test_chat_mode, "chat mode"),
 347     (test_wrapping, "wrapping"),
 348     (test_forbid_ansi_input, "raw escape input is filtered"),
 349     (test_escape_macros, "replacement macros are escaped"),
 350     (test_movement, "movement"),
 351     (test_actor_disappears, "actor spontaneous disappearance"),
 352     (test_account1_teardown, "second account teardown"),
 353     (test_admin_setup, "admin account setup"),
 354     (test_preferences, "set and show preferences"),
 355     (test_crlf_eol, "send crlf from the client as eol"),
 356     (test_telnet_iac, "escape stray telnet iac bytes"),
 357     (test_telnet_unknown_command, "strip unknown telnet command"),
 358     (test_telnet_unknown_option, "log unknown telnet option"),
 359     (test_admin_restriction, "restricted admin commands"),
 360     (test_admin_help, "admin help"),
 361     (test_help, "help command"),
 362     (test_abbrev, "command abbreviation"),
 363     (test_reload, "reload"),
 364     (test_set_facet, "set facet"),
 365     (test_set_refused, "refuse altering read-only element"),
 366     (test_show_version, "show version and diagnostic info"),
 367     (test_show_time, "show elapsed world clock increments"),
 368     (test_show_files, "show a list of loaded files"),
 369     (test_show_file, "show nodes from a specific file"),
 370     (test_show_groups, "show groups"),
 371     (test_show_group, "show group"),
 372     (test_show_element, "show element"),
 373     (test_show_result, "show result of a python expression"),
 374     (test_show_log, "show log"),
 375     (test_custom_loglevel, "custom loglevel"),
 376     (test_invalid_loglevel, "invalid loglevel"),
 377     (test_log_no_errors, "no errors logged"),
 378     (final_cleanup, "delete remaining accounts"),
 379 )
 380
 381
 382 def start_service(config):
 383     # Clean up any previously run daemon which didn't terminate
 384     if os.path.exists(pidfile):
 385         pidfd = open(pidfile)
 386         pid = int(pidfd.read())
 387         try:
 388             # Stop the running service
 389             os.kill(pid, 15)
 390             time.sleep(1)
 391         except ProcessLookupError:
 392             # If there was no process, just remove the stale PID file
 393             os.remove(pidfile)
 394         # If there's a preexisting hung service, we can't proceed
 395         assert not os.path.exists(pidfile)
 396
 397     # Clean up any previous test output
 398     for f in pathlib.Path(".").glob("capture_*.log"):
 399         # have to use .name here since remove() doesn't support passing a
 400         # PosixPath argument until Python3.6
 401         os.remove(f.name)
 402     for d in ("data", "var"):
 403         shutil.rmtree(d, ignore_errors=True)
 404
 405     # Start the service and wait for it to be ready for connections
 406     service = subprocess.Popen(("mudpy", config),
 407                                stdout=subprocess.PIPE,
 408                                stderr=subprocess.PIPE)
 409     time.sleep(1)
 410     return(service)
 411
 412
 413 def stop_service(service):
 414     success = True
 415
 416     # The no-op case when no service was started
 417     if service is None:
 418         return(success)
 419
 420     # This handles when the service is running as a direct child process
 421     service.terminate()
 422     returncode = service.wait(10)
 423     if returncode != 0:
 424         tlog("\nERROR: Service exited with code %s." % returncode)
 425         success = False
 426
 427     # This cleans up a daemonized and disassociated service
 428     if os.path.exists(pidfile):
 429         pidfd = open(pidfile)
 430         pid = int(pidfd.read())
 431         try:
 432             # Stop the running service
 433             os.kill(pid, 15)
 434             time.sleep(1)
 435         except ProcessLookupError:
 436             # If there was no process, just remove the stale PID file
 437             os.remove(pidfile)
 438         # The PID file didn't disappear, so we have a hung service
 439         if os.path.exists(pidfile):
 440             tlog("\nERROR: Hung daemon with PID %s." % pid)
 441             success = False
 442
 443     # Log the contents of stdout and stderr, if any
 444     stdout, stderr = service.communicate()
 445     tlog("\nRecording stdout as capture_stdout.log.")
 446     serviceout = open("capture_stdout.log", "w")
 447     serviceout.write(stdout.decode("utf-8"))
 448     tlog("\nRecording stderr as capture_stderr.log.")
 449     serviceerr = open("capture_stderr.log", "w")
 450     serviceerr.write(stderr.decode("utf-8"))
 451
 452     return(success)
 453
 454
 455 def tlog(message, quiet=False):
 456     logfile = "capture_tests.log"
 457     with open(logfile, "a") as logfd:
 458         logfd.write(message + "\n")
 459     if not quiet:
 460         sys.stdout.write(message)
 461     return True
 462
 463
 464 def option_callback(telnet_socket, command, option):
 465     if option == b'\x7f':
 466         # We use this unassigned option value as a canary, so short-circuit
 467         # any response to avoid endlessly looping
 468         pass
 469     elif command in (telnetlib.DO, telnetlib.DONT):
 470         telnet_socket.send(telnetlib.IAC + telnetlib.WONT + option)
 471     elif command in (telnetlib.WILL, telnetlib.WONT):
 472         telnet_socket.send(telnetlib.IAC + telnetlib.DONT + option)
 473
 474
 475 def main():
 476     captures = ["", "", ""]
 477     lusers = [telnetlib.Telnet(), telnetlib.Telnet(), telnetlib.Telnet()]
 478     success = True
 479     start = time.time()
 480     service = None
 481     if len(sys.argv) > 1:
 482         # Start the service if a config file was provided on the command line
 483         service = start_service(sys.argv[1])
 484     for luser in lusers:
 485         luser.open("::1", 4000)
 486         luser.set_option_negotiation_callback(option_callback)
 487     for test, description in dialogue:
 488         tlog("\nTesting %s..." % description)
 489         test_start = time.time()
 490         for conversant, question, answer in test:
 491             tlog("luser%s waiting for: %s" % (conversant, question),
 492                  quiet=True)
 493             try:
 494                 index, match, received = lusers[conversant].expect(
 495                     [re.compile(question.encode("utf-8"), flags=re.DOTALL)], 5)
 496                 captures[conversant] += received.decode("utf-8")
 497             except ConnectionResetError:
 498                 tlog("\nERROR: Unable to connect to server.")
 499                 success = False
 500                 break
 501             except EOFError:
 502                 tlog("\nERROR: luser%s premature disconnection expecting:\n\n"
 503                      "%s\n\n"
 504                      "Check the end of capture_%s.log for received data."
 505                      % (conversant, question, conversant))
 506                 success = False
 507                 break
 508             try:
 509                 captures[conversant] += lusers[
 510                     conversant].read_very_eager().decode("utf-8")
 511             except Exception:
 512                 pass
 513             if index != 0:
 514                 tlog("\nERROR: luser%s did not receive expected string:\n\n"
 515                      "%s\n\n"
 516                      "Check the end of capture_%s.log for received data."
 517                      % (conversant, question, conversant))
 518                 success = False
 519                 break
 520             if type(answer) is str:
 521                 tlog("luser%s sending: %s" % (conversant, answer), quiet=True)
 522                 lusers[conversant].write(("%s\r\0" % answer).encode("utf-8"))
 523                 captures[conversant] += "%s\r\n" % answer
 524             elif type(answer) is bytes:
 525                 tlog("luser%s sending raw bytes: %s" % (conversant, answer),
 526                      quiet=True)
 527                 lusers[conversant].get_socket().send(answer)
 528                 captures[conversant] += "!!!RAW BYTES: %s" % answer
 529             else:
 530                 tlog("\nERROR: answer provided with unsupported type %s"
 531                      % type(answer))
 532                 success = False
 533                 break
 534         if not success:
 535             break
 536         tlog("Completed in %.3f seconds." % (time.time() - test_start))
 537     duration = time.time() - start
 538     for conversant in range(len(captures)):
 539         try:
 540             captures[conversant] += lusers[
 541                 conversant].read_very_eager().decode("utf-8")
 542         except Exception:
 543             pass
 544         lusers[conversant].close()
 545         logfile = "capture_%s.log" % conversant
 546         tlog("\nRecording session %s as %s." % (conversant, logfile))
 547         log = open(logfile, "w")
 548         log.write(captures[conversant])
 549         log.close()
 550     if not stop_service(service):
 551         success = False
 552     tlog("\nRan %s tests in %.3f seconds." % (len(dialogue), duration))
 553     if success:
 554         tlog("\nSUCCESS\n")
 555     else:
 556         tlog("\nFAILURE\n")
 557         sys.exit(1)
 558
 559
 560 if __name__ == '__main__':
 561     sys.exit(main())