没有太多意义的角落

Custom readtable的实例

我的AI模型，以及绘图软件的图像存储，用的都是哈希表。可惜的是，在Common Lisp标准中，哈希表属于“无字面量格式、不可打印”的对象，想要创建哈希表并存入值只能通过MAKE-HASH-TABLE函数和(SETF GETHASH)函数一个个把值写进去。可是，我要用文件存储哈希表，存一大堆(SETF GETHASH xxx…)无疑是相当低效的。既然标准里没有，那就自己写一个吧。

参照社区的样本，我们把语法设置成 #h(TEST-FUNCTION key value key value…)这样，让它在被读到的时候转换成一系列的(SETF GETHASH)。

首先是readtable，写一个函数来读这个数据。我稍微优化了一下，让它流式读取并收集代码，这样在处理大量数据的时候能避免多余的内存分配（开玩笑，我一个AI模型大几十M的哈希表，让它多执行一句代码我吃屎）。

(defun |#h-reader| (stream char arg)
  "Literal hash table reader macro function, specially tuned for
reading large data.

It does not support omitting the test function.  Test function should
always present as the first value of the list."
  (declare (ignore char arg))
  (read-char stream)
  (let* ((test (read stream t nil t))
         (table (gensym))
         (forms (list table))
         key)
    (tagbody
     loop-start
     (let ((c (read-char stream t nil t)))
       (if (whitespace-char-p c)
         (go loop-start)
         (if (not (eql c #\)))
           (progn
             (unread-char c stream)
             (let ((form (read stream t nil t)))
               (if key
                 (progn
                   (setq forms (cons `(setf (gethash ,key ,table) ,form) forms)
                         key nil))
                 (setq key form)))
             (go loop-start))))))
    (if key (error "Unmatched hash-table keys and values"))
    `(let ((,table (make-hash-table :test ,test)))
       ,@forms)))

因为全是底层函数(一大半的special form)所以写的又臭又长毫无美感，但是效率是很高的，这边编译完刚好整500条汇编指令。

之后就是设置一下，让读取器在读到“#h” 的时候就调用它：

(set-dispatch-macro-character #\# #\h #'|#h-reader|)

OK，读取器的部分结束了。下一步，让Lisp的Printer（打印器吧）在遇到哈希表时就按这个格式打出来

Printer是lisp的一个独特的结构化的功能，就是把数据转化成字符串。Lisp的Printer可以以字面量的形式打印列表（链表）、数组甚至是结构体，单单不能打印哈希表（它在遇到这种不能打印的对象的时候会写成#<名称 + 内存地址> 的形式，这个#<> 也是个读取宏，它表示“不能读的东西”，读取器读到它会直接报错xxx）

想自定义Lisp的打印功能也很简单，给PRINT-OBJECT这个generic function加个method就可以了（这个操作在一般OOP里应该是叫派生函数。Lisp的object system比一般OOP要灵活太多了）

(let ((*redefinition-action* nil)
      (*handle-warn-on-redefinition* nil))
  (defmethod print-object ((obj hash-table) out)
    (format out "#h(~S" (hash-table-test obj))
    (maphash (lambda (key val)
               (write-char #\Space out)
               (prin1 key out)
               (write-char #\Space out)
               (prin1 val out))
             obj)
    (write-char #\) out)))

就很简单的写个井h ，再把全部内容以可读（READ-able）形式写出去就好了。上面format的~S和PRIN1就会以可读形式写，或者把*PRINT-ESCAPE*和*PRINT-READABLE*两个变量绑上true，再用一般的WRITE，也是一样的。

这就OK了。测试一下：

(prin1-to-string #h(eql 1 2 3 4)) => "#h(EQL 1 2 3 4)"
(gethash 3 #h(eql 1 2 3 4)) => 4, T

实测用这种方法dump的模型比我以前用哈希表转成列表再转回来的方式快了差不多三分之一，主要是GC和malloc花费的时间大幅减少。想优化Lisp代码就是这么简单。

237 viewsApril & May, edited 04:52